Сообщения должны переживать рестарт, а доступ идти через Bearer, а не X-User-Id. Трек 2 сравнивает план keyset-запроса и сверяет pg_restore.
11 KiB
Отчёт — лабораторная 2
- Автор, группа: Белоусов Анатолий Фахраддинович, БПИ2303
- Целевая оценка; выбранный трек 5: 5, трек 2 (план запроса и восстановление)
- Commit/PR: ветка
solution/bpi2303-belousov - Использованные источники, библиотеки и помощь ИИ: Go
net/http,pgxv5,go-redisv9,golang.org/x/crypto/argon2,google/uuid; публичныеtests/; Cursor/Composer для реализации и прогонов. Пароли — Argon2id, не bcrypt: bcrypt обрезает пароль на 72 байта, а контракт разрешает до 128 code points.
Запуск из чистого clone
Нужны Docker, Go 1.23+ (собственные тесты и трек 2), Python 3.9+.
cp .env.example .env
docker compose --env-file .env up -d --build
# дождаться {"status":"ok"} на http://127.0.0.1:8080/health/ready
make test
make student-test
make test-persistence ACTION_SCRIPT=scripts/restart.sh
bash scripts/check_deps.sh
bash scripts/run_track2.sh
Остановка без удаления данных: docker compose --env-file .env stop.
Удаление учебных volumes: docker compose --env-file .env down -v.
Образы: сборка golang:1.23.8-bookworm, runtime gcr.io/distroless/static-debian12:nonroot, PostgreSQL postgres:16.6, Redis redis:7.4.1 с appendonly yes и appendfsync everysec.
Соответствие .env.example: DATABASE_URL и REDIS_URL задаются контейнеру явно. DATABASE_URL_FILE / CACHE_URL_FILE тоже читаются, если прямого URL нет. SESSION_TTL_SECONDS по умолчанию 3600. Пароль messenger в example — синтетический пароль локального стенда.
Миграции вшиты в бинарник и применяются при старте. Повторный старт не дублирует строки: версия лежит в schema_migrations.
Архитектура и решения
Клиент → API (один процесс) → PostgreSQL для пользователей, чатов, состава и сообщений. Redis хранит только сессии.
Пароль проверяется Argon2id (m=19456,t=2,p=1). В Redis лежит SHA-256 токена, не сам токен. Токен — 32 случайных байта (256 бит), клиенту отдаётся hex. TTL ключа равен оставшемуся сроку сессии и рестартом API не продлевается. AOF на volume переживает рестарт Redis. kill -9 процесса Redis может потерять около секунды записей (appendfsync everysec) — это граница durability, не «данные вечны».
POST /auth/sessions принимает только Basic. Остальные защищённые методы — только Bearer. X-User-Id не читается. Недоступные Postgres или Redis дают 503, а не успех от имени анонима.
Создание чата — одна транзакция: строка чата и все участники фиксируются вместе. Неизвестный участник откатывает вставку. Гонка одинакового username закрыта UNIQUE, а не проверкой «сначала SELECT».
История читается keyset-запросом (created_at, id) по индексу messages_history_idx (chat_id, created_at, id). Кэша истории нет, поэтому успешная запись видна следующему чтению без инвалидации. Пул: до 10 соединений, statement_timeout=3s, таймаут подключения 2s.
Из lab1 перенесены контрактные правила пользователей/чатов/сообщений, opaque cursor, non-root образ, healthcheck и остановка по SIGTERM за ≤10 с. Идентификация заменена с X-User-Id на сессию, память процесса больше не хранит данные.
Доказательства критериев
Стенд прогона: macOS, 8 CPU, 8 GiB RAM, Docker Desktop, лимиты контейнеров не заданы (NanoCpus=0, Memory=0). Дата прогона: 2026-10-14.
| Критерий README | Команда/сценарий | Наблюдаемый результат | Файл доказательства |
|---|---|---|---|
| Публичный smoke | make test |
PASS: lab2 public API scenario |
evidence/smoke-pass.txt |
| Сохранность данных и сессии | make test-persistence ACTION_SCRIPT=scripts/restart.sh |
PASS: persistence preserved confirmed data and existing session |
evidence/persistence.txt |
| Повтор миграций, JSON, чужой чат, пустой текст | make student-test |
ok student-tests |
evidence/student-test.txt |
| Гонка username | 8 параллельных POST одного username | 1×201 и 7×409 | evidence/student-test.txt |
| Откат создания чата | неизвестный участник | 400, строк с этим title: 0 | evidence/student-test.txt |
| Неверный пароль, logout, X-User-Id, Basic на /users/me | student-test | 401, после logout повторный DELETE тоже 401 | evidence/student-test.txt |
| Короткий TTL | SESSION_TTL=2s, пауза 2.5 с |
401 | evidence/student-test.txt |
| Redis/Postgres недоступны | scripts/check_deps.sh и закрытый клиент Redis |
/health/ready = 503, Bearer не становится 200; после start снова 200 |
evidence/deps-down.txt, evidence/student-test.txt |
| EXPLAIN на большой истории | трек 2, чат 74449 сообщений | см. ниже | evidence/track2/ |
| Backup и сверка | pg_dump -Fc → новая база |
100000 сообщений, checksum совпал | evidence/track2/restore.json |
scripts/restart.sh перезапускает postgres, redis и api и не вызывает down -v. До и после прогона контейнеры — mtusi2026lab2-api-1, mtusi2026lab2-postgres-1, mtusi2026lab2-redis-1.
Эксперименты и отказы (трек 2)
Гипотеза. Индекс только по chat_id заставляет для keyset-страницы в середине большого чата прочитать хвост истории и отсортировать его. Индекс (chat_id, created_at, id) отдаёт страницу прямым чтением. Второй индекс почти не меняет стоимость вставки на 5000 строк.
Методика. Отдельная база track2, не стенд smoke. 6 чатов размерами 1, 50, 500, 5000, 20000 и 74449 (сумма 100000). Запрос — keyset LIMIT 50 от сообщения с OFFSET 30000 в самом большом чате. Два плана: EXPLAIN (ANALYZE, BUFFERS). Затем вставка 5000 строк в отдельную таблицу с одним индексом и с двумя. Потом pg_dump -Fc и pg_restore в новую базу track2_restore. Сверка: число чатов и сообщений, SHA-256 потока (id, created_at, text) и id первого сообщения большого чата. Повтор: bash scripts/run_track2.sh.
Чтение.
| План | Корневой узел | Что под ним | Execution Time | Shared Hit Blocks |
|---|---|---|---|---|
Только chat_id |
Limit | Sort → Bitmap Heap Scan 44448 строк | 16.435 ms | 847 |
(chat_id, created_at, id) |
Limit | Index Only Scan ровно 50 строк | 0.091 ms | 1 |
Слабый план прочитал десятки тысяч строк чата. Рабочий план прочитал страницу. В продовой миграции оставлен только составной индекс.
Запись. 5000 строк: 30 ms с индексом chat_id и 31 ms с двумя индексами. На этом объёме цена второго индекса теряется в шуме. Утверждать, что индекс «бесплатный навсегда», нельзя: при гораздо большей скорости вставки он начнёт быть виден.
Восстановление. Counts и checksum совпали, 100000 = 100000. Дамп снят после COMMIT загрузки, поэтому сверка не показывает потерю незафиксированных строк. appendfsync everysec у Redis к этому дампу не относится: в дампе только PostgreSQL.
| Воздействие | Что ожидаем | Что наблюдали | Время восстановления / потеря данных |
|---|---|---|---|
scripts/restart.sh |
те же сообщения и тот же токен | PASS persistence | API дождался Postgres и поднялся в пределах 90 с теста; подтверждённые строки на месте |
docker compose stop redis |
/health/ready 503, не анонимный 200 |
503, затем 200 | около секунды после start |
docker compose stop postgres |
то же для БД | 503, затем 200 | около секунды после start |
pg_restore в новую базу |
те же 100000 строк | checksum совпал | дамп консистентен на момент pg_dump; незакоммиченное не входило |
Ограничения и следующие шаги
Один Docker-host не переживает потерю машины. Рестарт Redis с AOF everysec может потерять последнюю секунду новых сессий при жёстком убийстве процесса. История сообщений не кэшируется: read-after-write здесь свойство PostgreSQL, а не инвалидации кэша. Разница стоимости записи двух индексов на 5000 строках не доказана. EXPLAIN ANALYZE — один прогон на локальном диске Docker, не распределённый бенчмарк.