ЛР 2 — БВТ2304 — Кораблев — на 5 #19

Closed
Sh1pYe wants to merge 1 commits from Sh1pYe/mtusi2026lab2:solution/BVT2304-korablev into master
First-time contributor

Лабораторная 2

Автор / группа: БВТ2304, Кораблев Петр
Целевая оценка (3/4/5): 5
Трек 5, если заявлен: Трек 2 «План запроса и восстановление» (110 025 сообщений с неравномерными чатами, сравнение 4 индексов и keyset vs OFFSET, стоимость записи, backup → restore в новое хранилище → сверка 12/12)

Что реализовано и что перенесено

Перенесено из lab1 (с объявленным переходом 1→2: password при регистрации, Basic только для создания сессии, Bearer вместо X-User-Id): HTTP-слой на net/http (router.go, handlers.go, middleware.go, helpers.go), конверт ошибок apperr/, request-id, валидация, keyset-курсоры (created_at, id), healthcheck live/ready, таймауты HTTP-сервера, graceful shutdown (SIGTERM/SIGINT → Shutdown). In-memory Store заменён на PostgreSQL с теми же операциями.

Реализовано в lab2:

  • PostgreSQL 17 — источник истины: пользователи, чаты, участники, сообщения и сессии. Версионируемая миграция 0001_init.sql встроена в бинарник через go:embed. Применяется отдельным bootstrap-сервисом migrate под advisory lock; повторный запуск ничего не дублирует (migrations up to date).
  • Схема и целостность:
    • PK/FK, UNIQUE (username), CHECK-ограничения;
    • составной FK messages(chat_id, sender_id) → chat_members: база сама гарантирует, что автор сообщения — участник чата;
    • индекс истории (chat_id, created_at, id).
  • Аутентификация:
    • пароли через Argon2id (m=19 MiB, t=2, p=1, соль 16 байт), не больше 4 хешей одновременно;
    • для неизвестного пользователя считается dummy-hash, поэтому он получает тот же 401 + WWW-Authenticate, что и неверный пароль;
    • Basic принимается только на POST /auth/sessions;
    • opaque Bearer-токен — 256 бит (crypto/rand, base64url), в БД и Valkey хранится только SHA-256(token);
    • срок жизни задаёт SESSION_TTL_SECONDS, ни запросы, ни рестарт его не продлевают;
    • logout DELETE /auth/sessions/current → 204, после него 401;
    • X-User-Id доступа не даёт.
  • Атомарность: создание чата — одна транзакция (INSERT chats + INSERT chat_members). Неизвестный участник → FK → rollback целиком → 400. Гонку регистрации решает UNIQUE (23505 → 409).
  • Уровень 4:
    • Valkey 8 — кэш сессий (cache-aside), источник истины — PostgreSQL. TTL записи = min(остаток сессии, 60 с). Persistence Valkey выключена сознательно: после restart/FLUSHALL сессии читаются из БД, никто не разлогинивается. Logout делает DEL → UPDATE revoked_at → DEL; если Valkey недоступен — 503 ещё до изменения БД.
    • Деградация. Без Valkey: таймауты 300 мс + circuit breaker 2 с, запросы обслуживаются из PostgreSQL. Без PostgreSQL: ready 503, бизнес-запросы 503, аноним — 401, неизвестный токен не принимается.
    • Запросы и пул. Параметризованные запросы (pgx); пул DB_MAX_CONNS=10, ConnectTimeout 3 с; statement_timeout 5 с, lock_timeout 2 с, idle_in_transaction_session_timeout 10 с; контекст HTTP-запроса — 8 с.
    • EXPLAIN. Индекс истории обоснован EXPLAIN (ANALYZE, BUFFERS) на 110 025 сообщениях: Index Scan using messages_chat_history_idx, без Sort.
  • Трек 2 (оценка 5):
    • Отдельный контейнер pg-research со свежим volume, детерминированный сид: 1 чат на 60 000 сообщений, 20 чатов по 1 500 и 2 000 маленьких.
    • Сравнение 4 вариантов индекса. Только (chat_id, created_at, id) укладывается в ≤0.05 мс на всех сценариях. (chat_id) ломается на большом чате, (created_at, id) — на маленьком. OFFSET 55 000 медленнее keyset более чем в 1000 раз при любом индексе.
    • Цена записи: составной индекс даёт +46 % WAL на вставку.
    • Backup pg_dump -Fc → restore в пустой volume pg-restore. RTO ≈ 2.2 с, сверка 12/12: количества строк, контрольные суммы, история чатов, выборка, индексы.
    • Граница потери данных: сообщение, записанное после дампа, в копии отсутствует (RPO = интервал между бэкапами).
  • Инфраструктура:
    • compose.yaml: postgres + migrate + valkey + api; закреплённые теги образов, именованный volume pgdata, healthchecks, профили ttl и research;
    • секреты — через Compose secrets (secrets/ и .env вне Git), API слушает только 127.0.0.1:8080, порты БД и Valkey наружу не опубликованы;
    • Dockerfile multi-stage, non-root;
    • scripts/restart.sh (+ restart.cmd для Windows) перезапускает API, PostgreSQL и Valkey без удаления volumes.

Команды запуска из чистого clone

git clone https://gitea.privcloud.tech/Sh1pYe/mtusi2026lab2.git && cd mtusi2026lab2 && git checkout solution/BVT2304-korablev
python scripts/init_secrets.py                       # secrets/* со случайными паролями и .env (вне Git)
docker compose --env-file .env up -d --build --wait api
docker compose ps                                    # api/postgres/valkey healthy
curl http://127.0.0.1:8080/health/ready              # 200 {"status":"ok"}

make check
make validate                                        # venv с requirements-dev.txt
make test                                            # публичный smoke
make test-persistence ACTION_SCRIPT=scripts/restart.sh   # на Windows: scripts\restart.cmd
python student-tests/run_tests.py --base-url http://127.0.0.1:8080 --short-ttl-url http://127.0.0.1:8081
python scripts/track2/run_track2.py --repeat 21      # эксперимент трека 2

docker compose --profile ttl --profile research stop       # безопасная остановка (volumes сохраняются)
docker compose --profile ttl --profile research down -v    # НАМЕРЕННОЕ удаление учебных данных
## Лабораторная 2 **Автор / группа:** БВТ2304, Кораблев Петр **Целевая оценка (3/4/5):** 5 **Трек 5, если заявлен:** Трек 2 «План запроса и восстановление» (110 025 сообщений с неравномерными чатами, сравнение 4 индексов и keyset vs OFFSET, стоимость записи, backup → restore в новое хранилище → сверка 12/12) ### Что реализовано и что перенесено **Перенесено из lab1** (с объявленным переходом 1→2: `password` при регистрации, Basic только для создания сессии, Bearer вместо `X-User-Id`): HTTP-слой на `net/http` (`router.go`, `handlers.go`, `middleware.go`, `helpers.go`), конверт ошибок `apperr/`, request-id, валидация, keyset-курсоры `(created_at, id)`, healthcheck live/ready, таймауты HTTP-сервера, graceful shutdown (SIGTERM/SIGINT → `Shutdown`). In-memory Store заменён на PostgreSQL с теми же операциями. **Реализовано в lab2:** * **PostgreSQL 17 — источник истины:** пользователи, чаты, участники, сообщения и сессии. Версионируемая миграция `0001_init.sql` встроена в бинарник через `go:embed`. Применяется отдельным bootstrap-сервисом `migrate` под advisory lock; повторный запуск ничего не дублирует (`migrations up to date`). * **Схема и целостность:** * PK/FK, `UNIQUE (username)`, CHECK-ограничения; * составной FK `messages(chat_id, sender_id) → chat_members`: база сама гарантирует, что автор сообщения — участник чата; * индекс истории `(chat_id, created_at, id)`. * **Аутентификация:** * пароли через Argon2id (m=19 MiB, t=2, p=1, соль 16 байт), не больше 4 хешей одновременно; * для неизвестного пользователя считается dummy-hash, поэтому он получает тот же 401 + `WWW-Authenticate`, что и неверный пароль; * Basic принимается только на `POST /auth/sessions`; * opaque Bearer-токен — 256 бит (`crypto/rand`, base64url), в БД и Valkey хранится только `SHA-256(token)`; * срок жизни задаёт `SESSION_TTL_SECONDS`, ни запросы, ни рестарт его не продлевают; * logout `DELETE /auth/sessions/current` → 204, после него 401; * `X-User-Id` доступа не даёт. * **Атомарность:** создание чата — одна транзакция (`INSERT chats` + `INSERT chat_members`). Неизвестный участник → FK → rollback целиком → 400. Гонку регистрации решает `UNIQUE` (23505 → 409). * **Уровень 4:** * **Valkey 8 — кэш сессий (cache-aside), источник истины — PostgreSQL.** TTL записи = `min(остаток сессии, 60 с)`. Persistence Valkey выключена сознательно: после restart/`FLUSHALL` сессии читаются из БД, никто не разлогинивается. Logout делает DEL → `UPDATE revoked_at` → DEL; если Valkey недоступен — 503 ещё до изменения БД. * **Деградация.** Без Valkey: таймауты 300 мс + circuit breaker 2 с, запросы обслуживаются из PostgreSQL. Без PostgreSQL: `ready` 503, бизнес-запросы 503, аноним — 401, неизвестный токен не принимается. * **Запросы и пул.** Параметризованные запросы (pgx); пул `DB_MAX_CONNS=10`, `ConnectTimeout` 3 с; `statement_timeout` 5 с, `lock_timeout` 2 с, `idle_in_transaction_session_timeout` 10 с; контекст HTTP-запроса — 8 с. * **EXPLAIN.** Индекс истории обоснован `EXPLAIN (ANALYZE, BUFFERS)` на 110 025 сообщениях: `Index Scan using messages_chat_history_idx`, без Sort. * **Трек 2 (оценка 5):** * Отдельный контейнер `pg-research` со свежим volume, детерминированный сид: 1 чат на 60 000 сообщений, 20 чатов по 1 500 и 2 000 маленьких. * Сравнение 4 вариантов индекса. Только `(chat_id, created_at, id)` укладывается в ≤0.05 мс на всех сценариях. `(chat_id)` ломается на большом чате, `(created_at, id)` — на маленьком. OFFSET 55 000 медленнее keyset более чем в 1000 раз при любом индексе. * Цена записи: составной индекс даёт +46 % WAL на вставку. * Backup `pg_dump -Fc` → restore в **пустой** volume `pg-restore`. RTO ≈ 2.2 с, сверка 12/12: количества строк, контрольные суммы, история чатов, выборка, индексы. * Граница потери данных: сообщение, записанное после дампа, в копии отсутствует (RPO = интервал между бэкапами). * **Инфраструктура:** * `compose.yaml`: postgres + migrate + valkey + api; закреплённые теги образов, именованный volume `pgdata`, healthchecks, профили `ttl` и `research`; * секреты — через Compose secrets (`secrets/` и `.env` вне Git), API слушает только `127.0.0.1:8080`, порты БД и Valkey наружу не опубликованы; * Dockerfile multi-stage, non-root; * `scripts/restart.sh` (+ `restart.cmd` для Windows) перезапускает API, PostgreSQL и Valkey без удаления volumes. ### Команды запуска из чистого clone ```bash git clone https://gitea.privcloud.tech/Sh1pYe/mtusi2026lab2.git && cd mtusi2026lab2 && git checkout solution/BVT2304-korablev python scripts/init_secrets.py # secrets/* со случайными паролями и .env (вне Git) docker compose --env-file .env up -d --build --wait api docker compose ps # api/postgres/valkey healthy curl http://127.0.0.1:8080/health/ready # 200 {"status":"ok"} make check make validate # venv с requirements-dev.txt make test # публичный smoke make test-persistence ACTION_SCRIPT=scripts/restart.sh # на Windows: scripts\restart.cmd python student-tests/run_tests.py --base-url http://127.0.0.1:8080 --short-ttl-url http://127.0.0.1:8081 python scripts/track2/run_track2.py --repeat 21 # эксперимент трека 2 docker compose --profile ttl --profile research stop # безопасная остановка (volumes сохраняются) docker compose --profile ttl --profile research down -v # НАМЕРЕННОЕ удаление учебных данных
Sh1pYe added 1 commit 2026-10-08 14:25:40 +03:00
Lab2- оценка 5
Skeleton contracts / contracts (pull_request) Failing after 29s
Application (lab2) / app (pull_request) Failing after 36s
41e8d67a1a
Sh1pYe changed title from Lab2- оценка 5 to ЛР 2 — БВТ2304 — Кораблев — на 5 2026-10-08 14:26:24 +03:00
Owner

Принято. Закрываю МР.

Принято. Закрываю МР.
veprickiy closed this pull request 2026-10-31 00:08:34 +03:00

Pull request closed

Please reopen this pull request to perform a merge.
Sign in to join this conversation.
No Reviewers
No labels
2 Participants
Notifications
Due Date
No due date set.
Dependencies

No dependencies set.

Reference: mtusi2026/mtusi2026lab2#19