ЛР 2 — БВТ2303 — Тюнин — на 5 #33

Closed
ilya.tyunin wants to merge 4 commits from ilya.tyunin/mtusi2026lab2:master into master
First-time contributor

Лабораторная 2

Автор / группа: Тюнин Илья БВТ2303
Целевая оценка (3/4/5): 5
Трек 1, если заявлен: Трек 1 «Согласованность кэша» — при 32 конкурентных чтениях холодной страницы × 5 повторностей: 160 SQL-запросов истории в naive против 5 в protected (−96,9 %), read-after-write подтверждён, сессия и история переживают рестарт Redis

Что реализовано

  • PostgreSQL 16.4 — источник истины: users, chats, chat_members, messages; версионируемые миграции 001_initial.sql, 002_timestamp_precision.sql; raw pg.Pool с ограниченным пулом, connection/statement timeout и параметризованными запросами, без ORM.
  • Транзакционные границы: создание чата (валидация участников + chat + membership) и отправка сообщения (membership + insert + message_version) — в одной транзакции с rollback; проверено отсутствие частичных данных.
  • Redis 7.4.2 с AOF — серверные Bearer-сессии с TTL, expiry и logout; одновременно версионированный кэш истории с lock на конкретную страницу (chat_id, message_version, cursor, limit) и fallback в PostgreSQL при недоступности Redis.
  • Аутентификация по контракту lab2: Basic только на POST /auth/sessions (UTF-8, первый :), Bearer на бизнес-endpoint, X-User-Id не аутентифицирует и не подменяет владельца, Argon2id, opaque-токен 256 бит.
  • Воспроизводимый стенд: Compose с pinned-образами, именованными volumes, healthchecks, сервисом миграций перед API, конфигурацией через .env.
  • Наблюдаемость: token-gated GET /internal/metrics и POST /internal/metrics/reset — SQL-метки, операции Redis, cache hit/miss/lock wait, session get/set/del, request count, агрегаты латентности; деградации кэша и зависимостей пишутся счётчиками и warn-логами, а не проглатываются.
  • Перенесено из lab1 с объявленным переходом: health, регистрация/пользователи, чаты и участники, сообщения, keyset-пагинация — переведены на новую аутентификацию.

Подробности решения — REPORT.md (архитектура, схема, транзакции, политика кэша, команды, ограничения).
Проверки уровня 3/4 — evidence/level3-4-verification.md.
Трек 1 — evidence/track1-cache-consistency.md и evidence/track1-explain.md.
Навигация по доказательствам — evidence/README.md.
Ручной клиент для разбора API — bruno/README.md.

Команды запуска из чистого clone

cp .env.example .env
password=$(openssl rand -hex 32)
sed -i "s/^POSTGRES_PASSWORD=.*/POSTGRES_PASSWORD=$password/" .env
sed -i "s|^DATABASE_URL=.*|DATABASE_URL=postgresql://messenger:$password@postgres:5432/messenger|" .env
sed -i "s/^METRICS_TOKEN=.*/METRICS_TOKEN=$(openssl rand -hex 16)/" .env
unset password

docker compose --env-file .env config --quiet
docker compose --env-file .env up -d --build      # postgres/redis healthy, migrate exit 0, api healthy
curl -fsS http://localhost:8080/health/ready

Пояснения по переменным и паролю существующего volume — .env.example и REPORT.md § «Конфигурация и секреты».

Результаты проверок (фактический вывод)

make check                                                 PASS
make validate                                              PASS
make test BASE_URL=http://localhost:8080                   PASS: lab2 public API scenario
make test-persistence ACTION_SCRIPT=scripts/restart.sh     PASS: preserved confirmed data and existing session
(cd app && npm run build)                                  PASS
(cd app && npm test)                                       5 files, 13 tests passed
(cd app && npx tsc --noEmit)                               PASS
integration suite (реальные PostgreSQL/Redis)              7 passed | 1 skipped
то же с SESSION_TTL_SECONDS=2                              8 passed (expiry → 401)
коллекция Bruno (bru run -r --env local)                    28 запросов, 56 проверок — все зелёные

Трек 1 (32 конкурентных GET × 5 повторностей, CACHE_MISS_DELAY_MS=75):

Режим SQL messages.history Cache hits Ошибок p50, мс
naive 160 0 0 ≈ 89
protected 5 155 0 ≈ 20

Отдельно проверены: гонка одинакового username (201 + 409, в таблице ровно 1 строка, unique-индекс), rollback при неизвестном участнике чата (400, строк не осталось), отказы Redis и PostgreSQL (/health/ready 503, анонимный доступ не выдаётся, процесс API жив, после старта — 200 с тем же токеном), EXPLAIN (ANALYZE, BUFFERS) на 10 002 сообщениях (Index Scan по messages_chat_created_id_idx, keyset-предикат в Index Cond).

  • Весь обязательный минимум текущей и предыдущих работ сохранён с объявленными переходами.
  • Контракт и публичные тесты не ослаблены (contracts/ и tests/ не изменялись).
  • make check и make test выполнены; приложен реальный вывод (выше и в evidence).
  • Сценарии отказов/безопасности своего уровня воспроизведены (отказы Redis/PostgreSQL, expiry, logout/replay, spoofing, rollback — журнал).
  • Все секреты и приватные ключи находятся вне Git: .env и локальные секреты покрыты .gitignore, в отчёте и evidence нет токенов и паролей.
  • README задания сохранён, REPORT.md содержит инструкцию именно этого решения.

Ограничения / известные ошибки

  • Метрики локальны процессу API и сбрасываются при его рестарте; при нескольких репликах их нельзя суммировать как распределённый снимок.
  • Измерения трека 1 — closed-loop на одном хосте (32 конкурентных читателя, 5 повторностей): это не production-пропускная способность.
  • redis-data хранит действующие сессии: удаление volume осознанно разлогинивает пользователей; AOF плюс сохранённый volume — проверенная граница durability.
  • CACHE_MODE=naive и CACHE_MISS_DELAY_MS предназначены только для эксперимента и задаются переменными окружения при пересоздании контейнера api (например, CACHE_MODE=naive CACHE_MISS_DELAY_MS=75 docker compose --env-file .env up -d api); задержка влияет только на naive-путь.
  • Порты PostgreSQL/Redis наружу не публикуются, поэтому интеграционный набор запускается с адресами контейнеров (команда в REPORT.md § «Команды проверок»).
  • Сырые прогоны бенчмарка не коммитятся (локальные идентификаторы); их хеши — в evidence/track1-cache-consistency.md §8.
## Лабораторная 2 Автор / группа: Тюнин Илья БВТ2303 Целевая оценка (3/4/5): 5 Трек 1, если заявлен: Трек 1 «Согласованность кэша» — при 32 конкурентных чтениях холодной страницы × 5 повторностей: **160 SQL-запросов истории в naive против 5 в protected (−96,9 %)**, read-after-write подтверждён, сессия и история переживают рестарт Redis ### Что реализовано - **PostgreSQL 16.4 — источник истины**: `users`, `chats`, `chat_members`, `messages`; версионируемые миграции `001_initial.sql`, `002_timestamp_precision.sql`; raw `pg.Pool` с ограниченным пулом, connection/statement timeout и параметризованными запросами, без ORM. - **Транзакционные границы**: создание чата (валидация участников + chat + membership) и отправка сообщения (membership + insert + `message_version`) — в одной транзакции с rollback; проверено отсутствие частичных данных. - **Redis 7.4.2 с AOF — серверные Bearer-сессии** с TTL, expiry и logout; одновременно версионированный кэш истории с lock на конкретную страницу `(chat_id, message_version, cursor, limit)` и fallback в PostgreSQL при недоступности Redis. - **Аутентификация по контракту lab2**: Basic только на `POST /auth/sessions` (UTF-8, первый `:`), Bearer на бизнес-endpoint, `X-User-Id` не аутентифицирует и не подменяет владельца, Argon2id, opaque-токен 256 бит. - **Воспроизводимый стенд**: Compose с pinned-образами, именованными volumes, healthchecks, сервисом миграций перед API, конфигурацией через `.env`. - **Наблюдаемость**: token-gated `GET /internal/metrics` и `POST /internal/metrics/reset` — SQL-метки, операции Redis, cache hit/miss/lock wait, session get/set/del, request count, агрегаты латентности; деградации кэша и зависимостей пишутся счётчиками и `warn`-логами, а не проглатываются. - **Перенесено из lab1** с объявленным переходом: health, регистрация/пользователи, чаты и участники, сообщения, keyset-пагинация — переведены на новую аутентификацию. Подробности решения — [`REPORT.md`](https://gitea.privcloud.tech/ilya.tyunin/mtusi2026lab2/src/branch/master/REPORT.md) (архитектура, схема, транзакции, политика кэша, команды, ограничения). Проверки уровня 3/4 — [`evidence/level3-4-verification.md`](https://gitea.privcloud.tech/ilya.tyunin/mtusi2026lab2/src/branch/master/evidence/level3-4-verification.md). Трек 1 — [`evidence/track1-cache-consistency.md`](https://gitea.privcloud.tech/ilya.tyunin/mtusi2026lab2/src/branch/master/evidence/track1-cache-consistency.md) и [`evidence/track1-explain.md`](https://gitea.privcloud.tech/ilya.tyunin/mtusi2026lab2/src/branch/master/evidence/track1-explain.md). Навигация по доказательствам — [`evidence/README.md`](https://gitea.privcloud.tech/ilya.tyunin/mtusi2026lab2/src/branch/master/evidence/README.md). Ручной клиент для разбора API — [`bruno/README.md`](https://gitea.privcloud.tech/ilya.tyunin/mtusi2026lab2/src/branch/master/bruno/README.md). ### Команды запуска из чистого clone ```sh cp .env.example .env password=$(openssl rand -hex 32) sed -i "s/^POSTGRES_PASSWORD=.*/POSTGRES_PASSWORD=$password/" .env sed -i "s|^DATABASE_URL=.*|DATABASE_URL=postgresql://messenger:$password@postgres:5432/messenger|" .env sed -i "s/^METRICS_TOKEN=.*/METRICS_TOKEN=$(openssl rand -hex 16)/" .env unset password docker compose --env-file .env config --quiet docker compose --env-file .env up -d --build # postgres/redis healthy, migrate exit 0, api healthy curl -fsS http://localhost:8080/health/ready ``` Пояснения по переменным и паролю существующего volume — [`.env.example`](https://gitea.privcloud.tech/ilya.tyunin/mtusi2026lab2/src/branch/master/.env.example) и [REPORT.md § «Конфигурация и секреты»](https://gitea.privcloud.tech/ilya.tyunin/mtusi2026lab2/src/branch/master/REPORT.md). ### Результаты проверок (фактический вывод) ```text make check PASS make validate PASS make test BASE_URL=http://localhost:8080 PASS: lab2 public API scenario make test-persistence ACTION_SCRIPT=scripts/restart.sh PASS: preserved confirmed data and existing session (cd app && npm run build) PASS (cd app && npm test) 5 files, 13 tests passed (cd app && npx tsc --noEmit) PASS integration suite (реальные PostgreSQL/Redis) 7 passed | 1 skipped то же с SESSION_TTL_SECONDS=2 8 passed (expiry → 401) коллекция Bruno (bru run -r --env local) 28 запросов, 56 проверок — все зелёные ``` Трек 1 (32 конкурентных GET × 5 повторностей, `CACHE_MISS_DELAY_MS=75`): | Режим | SQL `messages.history` | Cache hits | Ошибок | p50, мс | | --------- | ---------------------: | ---------: | -----: | ------: | | naive | 160 | 0 | 0 | ≈ 89 | | protected | 5 | 155 | 0 | ≈ 20 | Отдельно проверены: гонка одинакового username (201 + 409, в таблице ровно 1 строка, unique-индекс), rollback при неизвестном участнике чата (`400`, строк не осталось), отказы Redis и PostgreSQL (`/health/ready` 503, анонимный доступ не выдаётся, процесс API жив, после старта — 200 с тем же токеном), `EXPLAIN (ANALYZE, BUFFERS)` на 10 002 сообщениях (Index Scan по `messages_chat_created_id_idx`, keyset-предикат в `Index Cond`). - [x] Весь обязательный минимум текущей и предыдущих работ сохранён с объявленными переходами. - [x] Контракт и публичные тесты не ослаблены (`contracts/` и `tests/` не изменялись). - [x] `make check` и `make test` выполнены; приложен реальный вывод (выше и в evidence). - [x] Сценарии отказов/безопасности своего уровня воспроизведены (отказы Redis/PostgreSQL, expiry, logout/replay, spoofing, rollback — [журнал](https://gitea.privcloud.tech/ilya.tyunin/mtusi2026lab2/src/branch/master/evidence/level3-4-verification.md)). - [x] Все секреты и приватные ключи находятся вне Git: `.env` и локальные секреты покрыты `.gitignore`, в отчёте и evidence нет токенов и паролей. - [x] README задания сохранён, `REPORT.md` содержит инструкцию именно этого решения. ### Ограничения / известные ошибки - Метрики локальны процессу API и сбрасываются при его рестарте; при нескольких репликах их нельзя суммировать как распределённый снимок. - Измерения трека 1 — closed-loop на одном хосте (32 конкурентных читателя, 5 повторностей): это не production-пропускная способность. - `redis-data` хранит действующие сессии: удаление volume осознанно разлогинивает пользователей; AOF плюс сохранённый volume — проверенная граница durability. - `CACHE_MODE=naive` и `CACHE_MISS_DELAY_MS` предназначены только для эксперимента и задаются переменными окружения при пересоздании контейнера `api` (например, `CACHE_MODE=naive CACHE_MISS_DELAY_MS=75 docker compose --env-file .env up -d api`); задержка влияет только на naive-путь. - Порты PostgreSQL/Redis наружу не публикуются, поэтому интеграционный набор запускается с адресами контейнеров (команда в [REPORT.md](https://gitea.privcloud.tech/ilya.tyunin/mtusi2026lab2/src/branch/master/REPORT.md) § «Команды проверок»). - Сырые прогоны бенчмарка не коммитятся (локальные идентификаторы); их хеши — в [`evidence/track1-cache-consistency.md`](https://gitea.privcloud.tech/ilya.tyunin/mtusi2026lab2/src/branch/master/evidence/track1-cache-consistency.md) §8.
ilya.tyunin added 2 commits 2026-10-09 15:51:56 +03:00
feat: lab2 done
Skeleton contracts / contracts (pull_request) Canceled after 0s
575f8ee386
ilya.tyunin added 1 commit 2026-10-09 16:00:01 +03:00
docs: add pr link for report.md
Skeleton contracts / contracts (pull_request) Canceled after 0s
1bef3845bc
Owner
  • Невалидный курсор вызывает 500 вместо 400. Дата 2026-02-31 проходит проверку и доходит до SQL. Нужна строгая проверка календарной даты — cursor.ts:36.
  • Пароль из 12 пробелов принимается: регистрация возвращает 201 вместо требуемого 400. Проверяется только длина — create-user.dto.ts:15.
  • Не хватает автоматического e2e-теста отказов Redis/PostgreSQL. Есть моки и ручной
- Невалидный курсор вызывает 500 вместо 400. Дата 2026-02-31 проходит проверку и доходит до SQL. Нужна строгая проверка календарной даты — [cursor.ts:36](https://gitea.privcloud.tech/ilya.tyunin/mtusi2026lab2/src/commit/1bef3845bc132b8ee2164e07d3dcada951c9f746/app/src/common/http/cursor.ts#L36). - Пароль из 12 пробелов принимается: регистрация возвращает 201 вместо требуемого 400. Проверяется только длина — [create-user.dto.ts:15](https://gitea.privcloud.tech/ilya.tyunin/mtusi2026lab2/src/commit/1bef3845bc132b8ee2164e07d3dcada951c9f746/app/src/users/dto/create-user.dto.ts#L15). - Не хватает автоматического e2e-теста отказов Redis/PostgreSQL. Есть моки и ручной
ilya.tyunin added 1 commit 2026-10-10 02:14:20 +03:00
fix: правки
Skeleton contracts / contracts (pull_request) Canceled after 0s
ff47290919
Owner

Принято. Закрываю МР.

Принято. Закрываю МР.
veprickiy closed this pull request 2026-10-11 18:59:13 +03:00

Pull request closed

Please reopen this pull request to perform a merge.
Sign in to join this conversation.
No Reviewers
No labels
2 Participants
Notifications
Due Date
No due date set.
Dependencies

No dependencies set.

Reference: mtusi2026/mtusi2026lab2#33