14 KiB
Отчёт — лабораторная 2
- Автор, группа: Пинаев Олег Константинович, БПИ2302.
- Целевая оценка: 5, трек 1 — согласованность кэша.
- Коммиты: API
6fff618, инфраструктура1dc5f08, проверки6cccda1, инструменты замеров6866407. Хеши измеренных модулей и образов сохранены вevidence/. - Источники:
README.md,contracts/, документация PostgreSQL, Redis и Node.js; ИИ использовался для разработки, подготовки тестов, замеров и черновика отчёта.
Запуск из чистого clone
Docker с Compose, Python 3.9+ и make. Для локальной сборки и собственных тестов — Node.js 24.20.0, pnpm 10.14.0.
cp .env.example .env
docker compose --env-file .env config --quiet
docker compose --env-file .env up -d --build --wait
make test PYTHON=python BASE_URL=http://127.0.0.1:8080
make test-persistence ACTION_SCRIPT=scripts/restart.sh PYTHON=python BASE_URL=http://127.0.0.1:8080
APP_PORT задаёт опубликованный порт API; POSTGRES_* — настройки БД, REDIS_PORT — локальный порт Redis. Внутри Compose DATABASE_URL и CACHE_URL указывают на сервисы postgres и redis; локальные команды используют адреса из .env. SESSION_TTL_SECONDS — срок сессии, CACHE_PREFIX — пространство ключей; SESSION_STORE=postgres. Учебный пароль в .env.example следует заменить в локальном .env.
Архитектура и решения
NestJS/Fastify → PostgreSQL; Redis используется как кэш. Из lab1 сохранены пользователи, чаты, проверка членства, формат ошибок и cursor-пагинация. Состояние перенесено из памяти в таблицы users, chats, chat_members, messages, sessions; добавлены PK/FK, уникальность username и индексы. Создание чата, участников и увеличение эпох списков выполняются одной транзакцией. История упорядочена по (created_at, id) и имеет индекс (chat_id, created_at, id); поздние страницы используют сравнение пары, без OFFSET.
Пароли хранятся как Argon2id в PHC-формате: 19 MiB, 2 прохода, parallelism=1, соль 16 байт, ключ 32 байта. Basic применяется при входе; бизнес-запросы требуют opaque Bearer. В PostgreSQL хранится SHA-256 токена, срок истечения и признак отзыва. По умолчанию сессия действует 3600 секунд, logout отзывает её;
PostgreSQL — источник истины. Redis хранит сущности на 300 секунд, страницы на 30 секунд. Ключ истории включает эпоху из БД и параметры страницы. Эпоха — сумма до 16 счётчиков chat_message_epochs: запись атомарно увеличивает один из них и вставляет сообщение одним CTE. Это распределяет блокировки записей одного чата. Проверка сессии, публичный профиль, членство и эпоха для GET истории получаются одним SQL. Эпоха списка чатов хранится в users.chats_epoch и меняется вместе с созданием чата.
После подтверждённой записи следующий GET получает новую эпоху и не использует старый ключ, даже если Redis пропустил инвалидацию. Задержавшаяся загрузка может заполнить только ключ старой эпохи; он исчезнет по TTL. При недоступном Redis API читает PostgreSQL; при недоступной БД возвращает 503. Ожидание подключения и SQL — 5 секунд, транзакция — 10 секунд; Redis-команда — 300 мс. Dockerfile разделяет сборку, миграции и runtime, запускает API от UID/GID 10001.
Доказательства критериев
| Проверка | Команда/сценарий | Результат |
|---|---|---|
| Сборка, миграции, линтер | docker compose build backend migrate, docker compose up -d backend, pnpm.cmd lint |
PASS, backend healthy; проверки выбранной версии |
| Публичный smoke | python -X utf8 tests/smoke.py --base-url http://127.0.0.1:8080 |
PASS на текущем образе; повторные проверки |
| Полный перезапуск | python -X utf8 scripts/test-persistence.py --scenario full-restart --base-url http://127.0.0.1:8080 --output evidence/cache-epochs-full-restart.json |
Сохранён PASS, 49,081 с на весь сценарий: те же контейнеры и volumes, данные и прежние токены сохранены; JSON |
| Публичная сохранность | python -X utf8 scripts/test-persistence.py --scenario public --base-url http://127.0.0.1:8080 --output evidence/persistence-public.json |
PASS на текущем образе, исходный HTTP-дедлайн 2 с; 34,502 с на сценарий. Все три сервиса перезапущены, контейнеры и volumes сохранены; JSON |
| KDF, сессии, гонки и rollback | Проверки test/passwords.mjs, test/persistence.mjs, test/resilience.mjs через node --test в benchmark-контейнере |
PASS на текущем образе, включая короткий TTL, logout, неверный пароль и отказы зависимостей; вместе с кэшем и пагинацией 15/15, команда и результат |
| Кэш и актуальные эпохи | docker compose -f compose.yaml -f test/compose.benchmark.yaml run --rm --no-deps --pull never benchmark node --test test/cache-epochs.mjs test/cache.mjs |
PASS: 3 теста на текущей схеме, свежесть, конкурентная запись и rollback; JSON |
| Индекс и пагинация | node test/explain-history.mjs, pnpm test:pagination |
EXPLAIN на 60 000 сообщений; проверены границы timestamp, отсутствие пропусков/дублей и изоляция чатов; |
| Трек 1 | Конкурентный старый SELECT, пропущенная инвалидация, восстановление Redis со старыми ключами | Stale read воспроизведён до защиты; после — PASS. |
Hook scripts/restart.sh останавливает backend, PostgreSQL и Redis, запускает существующие контейнеры, ждёт готовности хранилищ и сохраняет volumes. scripts/restart.cmd вызывает его через Git Bash. Публичная проверка с HTTP-дедлайном 2 секунды прошла; проверки KDF, сессий, отказов, кэша и пагинации — 15/15 PASS. Запуск из чистого clone пока не проверен.
Эксперименты и отказы
Гипотеза трека 1: эпоха в PostgreSQL, изменяемая атомарно с сообщением, устраняет stale read при отказе Redis и запоздалом заполнении кэша. До защиты два сценария возвращали старую историю: восстановление Redis с прежними ключами и завершение старого SELECT после новой записи. После добавления эпох оба проходят. Первое сравнение: 10 000 сообщений, конкурентность 16, прогрев 3 с, чтение 10 с, 512 записей, три повтора. Медианы до / после: чтение — SQL/HTTP 1,412 / 2,011, p95 292,651 / 332,510 мс; запись — SQL/HTTP 2,313 / 4, p95 216,752 / 894,578 мс. Свежесть исправлена ценой дополнительных SQL и блокировки счётчика;
Затем запись сведена к одному CTE, профиль включён в проверку сессии, проверки доступа объединены, общая эпоха разделена на 16 счётчиков. Матрица с меняющимся порядком, три повтора, 100 000 сообщений, 32 клиента, чтения по минуте и 4096 записей:
| Вариант | Чтение, RPS | Запись, RPS | SQL/HTTP чтения |
|---|---|---|---|
| Прежний CTE и один счётчик | 226,076 | 90,772 | 2,004 |
| Профиль из JOIN сессии | 170,523 | 141,474 | 2,010 |
| Единая проверка сессии/членства/эпохи | 246,934 | 117,777 | 1,006 |
| Та же проверка и 16 счётчиков | 242,548 | 165,061 | 1,004 |
Выбран последний вариант: близкая скорость чтения и лучшая средняя скорость записи в этой матрице.
Отдельный контроль сравнивает выбранный код с теми же SQL-оптимизациями, но без Redis и чтения/обновления эпох. Три повтора, 100 000 сообщений, limit=50, конкурентность 32, прогрев 10 с, чтение 60 с, 4096 записей на повтор:
| Метрика | Redis и эпохи | Без кэша и эпох |
|---|---|---|
| Средний RPS чтения | 184,211 | 130,213 |
| Средняя задержка чтения, мс | 173,466 | 245,478 |
| Среднее p95 чтения, мс | 427,674 | 762,396 |
| SQL/HTTP чтения | 1,009 | 2 |
| Средний RPS записи | 120,634 | 128,279 |
| Средняя задержка записи, мс | 264,880 | 249,032 |
| Среднее p95 записи, мс | 666,798 | 556,831 |
Чтение быстрее по среднему RPS на 41,5%, запись медленнее на 6,0%. Всего 81 693 успешных запроса, ошибок нет. С Redis чтение быстрее во всех трёх повторах, но преимущество меняется от 5,7% до 120,2%; результаты записи пересекаются.
Индекс исследован отдельно через EXPLAIN (ANALYZE, BUFFERS) на 60 000 сообщений. Медиана первой страницы — 28,718 → 0,094 мс после индекса. На странице после 18 000 сообщений замена OR на сравнение пары снижает проверенные строки 18 051 → 51, время 10,479 → 0,080 мс. Результаты выборок совпадают; изменения экспериментальной схемы отменены ROLLBACK. Планы.
Ограничения и следующие шаги
Один PostgreSQL и один Docker-host: проверена устойчивость к потере кэша, высокая доступность БД не реализована. Гарантия свежести относится к GET, начатому после подтверждения записи; чтения идут в основной PostgreSQL. Изменения данных в обход приложения должны увеличивать эпоху. После восстановления БД из старого backup нужно сменить CACHE_PREFIX или очистить Redis. Cache stampede отдельно не устранён.
Нагрузка closed-loop; API, генератор и инструментация делят процесс, другие контейнеры делят host. CPU/RSS и p50/p95/p99 сохранены в сырых JSON; CPU PostgreSQL отдельно не измерялся. Средние p95 в таблице — среднее перцентилей повторов. Синтетические сессии обходят KDF; нагрузка измеряет первую страницу и запись в один чат. Последовательное сравнение с отключённым кэшем не позволяет точно отделить стоимость Redis от стоимости эпох.