ЛР 2 - БВТ2301 - Чурилин - на 5 #54

Closed
d1frend wants to merge 6 commits from d1frend/mtusi2026lab2:solution/bvt2301-churilin into master
First-time contributor

Лабораторная 2

Автор / группа: Чурилин / БВТ2301
Целевая оценка (3/4/5): 5
Трек 5, если заявлен: Track 2 — «План запроса и восстановление»

Что реализовано и что перенесено:

Из лабораторной 1 перенесён REST API мессенджера с сохранением публичного контракта. Реализовано постоянное хранение пользователей, чатов, участников, сообщений и сессий в PostgreSQL 16. Схема создаётся версионируемой миграцией golang-migrate.

Регистрация требует пароль длиной 12–128 Unicode code points. Пароли хешируются Argon2id с индивидуальной случайной солью и сохраняются в формате PHC. Вход выполняется через Basic Auth, после чего клиент получает opaque Bearer-токен. В PostgreSQL хранится только SHA-256 digest токена. Реализованы абсолютный TTL сессии и logout.

Создание чата и участников выполняется одной транзакцией. Проверены rollback при отсутствии участника и конкурентная регистрация одинакового username. Вставка сообщения атомарно проверяет членство отправителя. Для списков чатов и сообщений реализована keyset-пагинация по (created_at, id) с привязкой cursor к пользователю или чату.

Redis используется только как cache-aside кэш неизменяемых карточек чатов. PostgreSQL остаётся источником истины. Ключи имеют формат chat:v1:<chat_uuid>, значения хранятся как JSON, TTL по умолчанию равен 5 минутам. Redis ограничен 64 MiB и политикой allkeys-lru; RDB/AOF и Redis volume намеренно отключены. При недоступности Redis API продолжает чтение и запись через PostgreSQL. После восстановления Redis следующий cache miss снова заполняет кэш без рестарта API.

История сообщений в Redis не кэшируется. Курсор строится из Go time.Time, сериализуется в RFC 3339 Nano и при разборе проходит через time.Parse. Дополнительно проверен сценарий с шестью сообщениями: два одинаковых чтения первой страницы и два одинаковых чтения страницы с cursor вернули стабильные HTTP 200 и одинаковые данные.

Для Track 2 создан воспроизводимый эксперимент на настоящей схеме приложения с 100 000 сообщениями и неравномерным распределением по чатам 90 000 / 9 000 / 1 000. Сравнены:

  • keyset-запрос с индексом (chat_id, created_at, id);
  • запрос с OFFSET 50000 на том же индексе;
  • keyset-запрос с покрывающим индексом INCLUDE (sender_id, text);
  • стоимость загрузки 100 000 сообщений через EXPLAIN (ANALYZE, BUFFERS, WAL);
  • размеры индексов и объём WAL.

После эксперимента выполняется custom-format pg_dump, запускается отдельный PostgreSQL в уникальном Compose-проекте с новым named volume, создаётся новая база и выполняется pg_restore --exit-on-error. Source и restored базы сравниваются по каноническому fingerprint: количества всех таблиц, распределение сообщений, список индексов и первое, 50 000-е и 100 000-е сообщения. Временные базы, dump, контейнер, сеть и recovery-volume удаляются автоматически.

Команды запуска из чистого clone:

cp .env.example .env
mkdir -p secrets
chmod 700 secrets
umask 077

LAB_DB_PASSWORD="$(openssl rand -hex 24)"
printf '%s\n' "$LAB_DB_PASSWORD" > secrets/postgres_password.txt
printf 'postgresql://messenger:%s@postgres:5432/messenger?sslmode=disable\n' \
  "$LAB_DB_PASSWORD" > secrets/database_url.txt
unset LAB_DB_PASSWORD

chmod 600 secrets/postgres_password.txt secrets/database_url.txt

docker compose --env-file .env config --quiet
docker compose --env-file .env up -d --build
docker compose --env-file .env ps

python3 -m venv .venv
.venv/bin/python -m pip install -r requirements-dev.txt

make test-level5 PYTHON=.venv/bin/python
docker compose --env-file .env run --rm migrate

Полная инструкция, включая безопасную остановку и необязательный Redis Insight, находится в REPORT.md.

Результаты проверок и ссылка на REPORT.md:

Полная накопительная команда:

make test-level5 PYTHON=.venv/bin/python

Успешно выполнены:

  • go test ./...;
  • go test -race ./...;
  • go vet ./...;
  • make check;
  • полная OpenAPI 3.1 и JSON Schema validation;
  • docker compose config --quiet;
  • публичный smoke-сценарий;
  • конкурентная регистрация и rollback составной операции;
  • короткий SESSION_TTL_SECONDS=2, неправильный пароль и logout;
  • отказ Redis с fallback в PostgreSQL;
  • отказ PostgreSQL с корректными live/ready и ограниченными 503;
  • restart PostgreSQL, Redis и API с сохранением данных и действующей сессии;
  • EXPLAIN (ANALYZE, BUFFERS) на 10 000 сообщениях;
  • Track 2 на 100 000 сообщениях;
  • backup и восстановление в новый PostgreSQL volume;
  • повторный запуск мигратора: no change.

Результат финального запуска Track 2:

current index + keyset:
  rows=101, Buffers hit=6, Execution Time=0.112 ms

current index + OFFSET 50000:
  rows scanned=50101, Buffers hit=1383,
  Execution Time=6.703 ms

covering index + keyset:
  Index Only Scan, Heap Fetches=0,
  Buffers hit=6, Execution Time=0.073 ms

current index:
  WAL bytes=38560620, index bytes=5914624

covering index:
  WAL bytes=49573476, index bytes=16842752

backup_bytes=3000682
backup_ms=731
recovery_ms=8269
fingerprints_match=true

Покрывающий индекс оказался приблизительно в 2.85 раза больше и сгенерировал на 28.6% больше WAL. Поэтому в основной миграции сохранён узкий индекс: keyset-пагинация уже ограничивает работу размером страницы, а преимущество покрывающего индекса в одном локальном профиле не компенсирует доказанную стоимость хранения и записи.

Дополнительная проверка замечаний по другим MR:

PASS: repeated first and continuation message pages returned stable HTTP 200 responses

PASS: Redis outage used PostgreSQL fallback; readiness, session,
authorization and writes remained correct.

Redis after recovery:
DBSIZE = 1
key = chat:v1:<uuid>
TTL = 299

Это подтверждает, что после восстановления Redis кэш снова заполняется без рестарта API.

Отчёт: REPORT.md
Описание Track 2: docs/track2.md
Доказательства уровня 3: evidence/level3.md
Доказательства уровня 4: evidence/level4.md
Доказательства Track 2: evidence/level5-track2.md

Ограничения / известные ошибки:

Стенд учебный и одноузловой: он не обеспечивает HA PostgreSQL, API или Redis и не моделирует произвольный network partition.

Redis является только необязательным производным кэшем. При его недоступности первый fallback-запрос может дополнительно ждать настроенный timeout до 250 ms. После восстановления Redis cache miss снова заполняет кэш.

Track 2 выполнен на синтетических данных тремя последовательными локальными прогонами. Результаты не являются универсальной оценкой production-производительности и не моделируют конкурентную нагрузку, холодный disk cache, autovacuum/bloat, удалённое backup-хранилище или заполнение диска.

Наблюдаемое время восстановления 8.269 секунды включает старт отдельного PostgreSQL, healthcheck, создание базы, pg_restore и сверку. Оно не включает обнаружение аварии, передачу backup из удалённого хранилища, переключение приложения и прогрев.

Для согласованного snapshot потерь не обнаружено. Однако без WAL archiving/PITR коммиты после последнего snapshot будут потеряны, поэтому production RPO определяется периодичностью backup и границей snapshot.

Известных нарушений публичного API и обязательных критериев выбранного уровня по результатам выполненных проверок не обнаружено.

Источники и использование ИИ:

Использованы материалы задания, публичный OpenAPI-контракт и официальная документация Go, PostgreSQL 16, Docker Compose, Redis, pgx/v5, go-redis/v9, golang-migrate, Argon2id и HTTP Basic/Bearer authentication.

Codex использовался для анализа требований, переноса и проверки реализации, рефакторинга, подготовки автоматических сценариев отказа, SQL-эксперимента Track 2, backup/restore-проверки и документации. Все указанные unit, race, smoke, persistence, security, failure и Track 2 проверки выполнены локально на работающем стенде.

  • Весь обязательный минимум текущей и предыдущих работ сохранён с объявленными переходами.
  • Контракт и публичные тесты не ослаблены.
  • make check и make test выполнены; приложен реальный вывод.
  • Сценарии отказов/безопасности своего уровня воспроизведены.
  • Все секреты и приватные ключи находятся вне Git; отчёт не содержит tokens.
  • README задания сохранён, REPORT.md содержит инструкцию именно моего решения.
## Лабораторная 2 Автор / группа: Чурилин / БВТ2301 Целевая оценка (3/4/5): 5 Трек 5, если заявлен: Track 2 — «План запроса и восстановление» Что реализовано и что перенесено: Из лабораторной 1 перенесён REST API мессенджера с сохранением публичного контракта. Реализовано постоянное хранение пользователей, чатов, участников, сообщений и сессий в PostgreSQL 16. Схема создаётся версионируемой миграцией `golang-migrate`. Регистрация требует пароль длиной 12–128 Unicode code points. Пароли хешируются Argon2id с индивидуальной случайной солью и сохраняются в формате PHC. Вход выполняется через Basic Auth, после чего клиент получает opaque Bearer-токен. В PostgreSQL хранится только SHA-256 digest токена. Реализованы абсолютный TTL сессии и logout. Создание чата и участников выполняется одной транзакцией. Проверены rollback при отсутствии участника и конкурентная регистрация одинакового username. Вставка сообщения атомарно проверяет членство отправителя. Для списков чатов и сообщений реализована keyset-пагинация по `(created_at, id)` с привязкой cursor к пользователю или чату. Redis используется только как cache-aside кэш неизменяемых карточек чатов. PostgreSQL остаётся источником истины. Ключи имеют формат `chat:v1:<chat_uuid>`, значения хранятся как JSON, TTL по умолчанию равен 5 минутам. Redis ограничен 64 MiB и политикой `allkeys-lru`; RDB/AOF и Redis volume намеренно отключены. При недоступности Redis API продолжает чтение и запись через PostgreSQL. После восстановления Redis следующий cache miss снова заполняет кэш без рестарта API. История сообщений в Redis не кэшируется. Курсор строится из Go `time.Time`, сериализуется в RFC 3339 Nano и при разборе проходит через `time.Parse`. Дополнительно проверен сценарий с шестью сообщениями: два одинаковых чтения первой страницы и два одинаковых чтения страницы с cursor вернули стабильные HTTP 200 и одинаковые данные. Для Track 2 создан воспроизводимый эксперимент на настоящей схеме приложения с 100 000 сообщениями и неравномерным распределением по чатам `90 000 / 9 000 / 1 000`. Сравнены: - keyset-запрос с индексом `(chat_id, created_at, id)`; - запрос с `OFFSET 50000` на том же индексе; - keyset-запрос с покрывающим индексом `INCLUDE (sender_id, text)`; - стоимость загрузки 100 000 сообщений через `EXPLAIN (ANALYZE, BUFFERS, WAL)`; - размеры индексов и объём WAL. После эксперимента выполняется custom-format `pg_dump`, запускается отдельный PostgreSQL в уникальном Compose-проекте с новым named volume, создаётся новая база и выполняется `pg_restore --exit-on-error`. Source и restored базы сравниваются по каноническому fingerprint: количества всех таблиц, распределение сообщений, список индексов и первое, 50 000-е и 100 000-е сообщения. Временные базы, dump, контейнер, сеть и recovery-volume удаляются автоматически. Команды запуска из чистого clone: ```sh cp .env.example .env mkdir -p secrets chmod 700 secrets umask 077 LAB_DB_PASSWORD="$(openssl rand -hex 24)" printf '%s\n' "$LAB_DB_PASSWORD" > secrets/postgres_password.txt printf 'postgresql://messenger:%s@postgres:5432/messenger?sslmode=disable\n' \ "$LAB_DB_PASSWORD" > secrets/database_url.txt unset LAB_DB_PASSWORD chmod 600 secrets/postgres_password.txt secrets/database_url.txt docker compose --env-file .env config --quiet docker compose --env-file .env up -d --build docker compose --env-file .env ps python3 -m venv .venv .venv/bin/python -m pip install -r requirements-dev.txt make test-level5 PYTHON=.venv/bin/python docker compose --env-file .env run --rm migrate ``` Полная инструкция, включая безопасную остановку и необязательный Redis Insight, находится в [`REPORT.md`](REPORT.md). Результаты проверок и ссылка на REPORT.md: Полная накопительная команда: ```sh make test-level5 PYTHON=.venv/bin/python ``` Успешно выполнены: - `go test ./...`; - `go test -race ./...`; - `go vet ./...`; - `make check`; - полная OpenAPI 3.1 и JSON Schema validation; - `docker compose config --quiet`; - публичный smoke-сценарий; - конкурентная регистрация и rollback составной операции; - короткий `SESSION_TTL_SECONDS=2`, неправильный пароль и logout; - отказ Redis с fallback в PostgreSQL; - отказ PostgreSQL с корректными live/ready и ограниченными 503; - restart PostgreSQL, Redis и API с сохранением данных и действующей сессии; - `EXPLAIN (ANALYZE, BUFFERS)` на 10 000 сообщениях; - Track 2 на 100 000 сообщениях; - backup и восстановление в новый PostgreSQL volume; - повторный запуск мигратора: `no change`. Результат финального запуска Track 2: ```text current index + keyset: rows=101, Buffers hit=6, Execution Time=0.112 ms current index + OFFSET 50000: rows scanned=50101, Buffers hit=1383, Execution Time=6.703 ms covering index + keyset: Index Only Scan, Heap Fetches=0, Buffers hit=6, Execution Time=0.073 ms current index: WAL bytes=38560620, index bytes=5914624 covering index: WAL bytes=49573476, index bytes=16842752 backup_bytes=3000682 backup_ms=731 recovery_ms=8269 fingerprints_match=true ``` Покрывающий индекс оказался приблизительно в 2.85 раза больше и сгенерировал на 28.6% больше WAL. Поэтому в основной миграции сохранён узкий индекс: keyset-пагинация уже ограничивает работу размером страницы, а преимущество покрывающего индекса в одном локальном профиле не компенсирует доказанную стоимость хранения и записи. Дополнительная проверка замечаний по другим MR: ```text PASS: repeated first and continuation message pages returned stable HTTP 200 responses PASS: Redis outage used PostgreSQL fallback; readiness, session, authorization and writes remained correct. Redis after recovery: DBSIZE = 1 key = chat:v1:<uuid> TTL = 299 ``` Это подтверждает, что после восстановления Redis кэш снова заполняется без рестарта API. Отчёт: [`REPORT.md`](REPORT.md) Описание Track 2: [`docs/track2.md`](docs/track2.md) Доказательства уровня 3: [`evidence/level3.md`](evidence/level3.md) Доказательства уровня 4: [`evidence/level4.md`](evidence/level4.md) Доказательства Track 2: [`evidence/level5-track2.md`](evidence/level5-track2.md) Ограничения / известные ошибки: Стенд учебный и одноузловой: он не обеспечивает HA PostgreSQL, API или Redis и не моделирует произвольный network partition. Redis является только необязательным производным кэшем. При его недоступности первый fallback-запрос может дополнительно ждать настроенный timeout до 250 ms. После восстановления Redis cache miss снова заполняет кэш. Track 2 выполнен на синтетических данных тремя последовательными локальными прогонами. Результаты не являются универсальной оценкой production-производительности и не моделируют конкурентную нагрузку, холодный disk cache, autovacuum/bloat, удалённое backup-хранилище или заполнение диска. Наблюдаемое время восстановления 8.269 секунды включает старт отдельного PostgreSQL, healthcheck, создание базы, `pg_restore` и сверку. Оно не включает обнаружение аварии, передачу backup из удалённого хранилища, переключение приложения и прогрев. Для согласованного snapshot потерь не обнаружено. Однако без WAL archiving/PITR коммиты после последнего snapshot будут потеряны, поэтому production RPO определяется периодичностью backup и границей snapshot. Известных нарушений публичного API и обязательных критериев выбранного уровня по результатам выполненных проверок не обнаружено. Источники и использование ИИ: Использованы материалы задания, публичный OpenAPI-контракт и официальная документация Go, PostgreSQL 16, Docker Compose, Redis, `pgx/v5`, `go-redis/v9`, `golang-migrate`, Argon2id и HTTP Basic/Bearer authentication. Codex использовался для анализа требований, переноса и проверки реализации, рефакторинга, подготовки автоматических сценариев отказа, SQL-эксперимента Track 2, backup/restore-проверки и документации. Все указанные unit, race, smoke, persistence, security, failure и Track 2 проверки выполнены локально на работающем стенде. - [x] Весь обязательный минимум текущей и предыдущих работ сохранён с объявленными переходами. - [x] Контракт и публичные тесты не ослаблены. - [x] make check и make test выполнены; приложен реальный вывод. - [x] Сценарии отказов/безопасности своего уровня воспроизведены. - [x] Все секреты и приватные ключи находятся вне Git; отчёт не содержит tokens. - [x] README задания сохранён, REPORT.md содержит инструкцию именно моего решения.
d1frend added 5 commits 2026-10-15 21:11:45 +03:00
Owner

Обнаружены две проблемы обязательного формата API:

  1. Повреждённый UTF‑8 молча изменяет пароль. В POST /api/v1/users передан пароль из 12345678901 и сырого байта FF. Ожидался 400; получен 201. Затем Basic-вход с паролем 12345678901� также вернул 201. Декодер заменяет повреждённый ввод до проверки пароля: internal/transport/http/handlers/handler.go:66.
  2. Не проверяется Content-Type. POST /api/v1/users с Content-Type: text/plain и телом {"username":"mime_probe","display_name":"Test","password":"123456789012"} возвращает 201. По контракту ожидается отклонение неподдерживаемого формата, 415: internal/transport/http/handlers/handler.go:60.
Обнаружены две проблемы обязательного формата API: 1. Повреждённый UTF‑8 молча изменяет пароль. В POST /api/v1/users передан пароль из 12345678901 и сырого байта FF. Ожидался 400; получен 201. Затем Basic-вход с паролем 12345678901� также вернул 201. Декодер заменяет повреждённый ввод до проверки пароля: [internal/transport/http/handlers/handler.go:66](https://gitea.privcloud.tech/d1frend/mtusi2026lab2/src/commit/9fabf8dff3ba93244a7547d890ca0a83511c7fd9/internal/transport/http/handlers/handler.go#L66). 2. Не проверяется Content-Type. POST /api/v1/users с Content-Type: text/plain и телом {"username":"mime_probe","display_name":"Test","password":"123456789012"} возвращает 201. По контракту ожидается отклонение неподдерживаемого формата, 415: [internal/transport/http/handlers/handler.go:60](https://gitea.privcloud.tech/d1frend/mtusi2026lab2/src/commit/9fabf8dff3ba93244a7547d890ca0a83511c7fd9/internal/transport/http/handlers/handler.go#L60).
d1frend added 1 commit 2026-10-16 15:34:26 +03:00
исправлена валидация UTF-8 и Content-Type
Skeleton contracts / contracts (pull_request) Canceled after 0s
fe52c2a99f
Owner

Принято. Закрываю МР.

Принято. Закрываю МР.
veprickiy closed this pull request 2026-10-17 18:30:53 +03:00

Pull request closed

Please reopen this pull request to perform a merge.
Sign in to join this conversation.
No Reviewers
No labels
2 Participants
Notifications
Due Date
No due date set.
Dependencies

No dependencies set.

Reference: mtusi2026/mtusi2026lab2#54