Автор / группа: Чурилин / БВТ2301
Целевая оценка (3/4/5): 5
Трек 5, если заявлен: Track 2 — «План запроса и восстановление»
Что реализовано и что перенесено:
Из лабораторной 1 перенесён REST API мессенджера с сохранением публичного контракта. Реализовано постоянное хранение пользователей, чатов, участников, сообщений и сессий в PostgreSQL 16. Схема создаётся версионируемой миграцией golang-migrate.
Регистрация требует пароль длиной 12–128 Unicode code points. Пароли хешируются Argon2id с индивидуальной случайной солью и сохраняются в формате PHC. Вход выполняется через Basic Auth, после чего клиент получает opaque Bearer-токен. В PostgreSQL хранится только SHA-256 digest токена. Реализованы абсолютный TTL сессии и logout.
Создание чата и участников выполняется одной транзакцией. Проверены rollback при отсутствии участника и конкурентная регистрация одинакового username. Вставка сообщения атомарно проверяет членство отправителя. Для списков чатов и сообщений реализована keyset-пагинация по (created_at, id) с привязкой cursor к пользователю или чату.
Redis используется только как cache-aside кэш неизменяемых карточек чатов. PostgreSQL остаётся источником истины. Ключи имеют формат chat:v1:<chat_uuid>, значения хранятся как JSON, TTL по умолчанию равен 5 минутам. Redis ограничен 64 MiB и политикой allkeys-lru; RDB/AOF и Redis volume намеренно отключены. При недоступности Redis API продолжает чтение и запись через PostgreSQL. После восстановления Redis следующий cache miss снова заполняет кэш без рестарта API.
История сообщений в Redis не кэшируется. Курсор строится из Go time.Time, сериализуется в RFC 3339 Nano и при разборе проходит через time.Parse. Дополнительно проверен сценарий с шестью сообщениями: два одинаковых чтения первой страницы и два одинаковых чтения страницы с cursor вернули стабильные HTTP 200 и одинаковые данные.
Для Track 2 создан воспроизводимый эксперимент на настоящей схеме приложения с 100 000 сообщениями и неравномерным распределением по чатам 90 000 / 9 000 / 1 000. Сравнены:
keyset-запрос с индексом (chat_id, created_at, id);
запрос с OFFSET 50000 на том же индексе;
keyset-запрос с покрывающим индексом INCLUDE (sender_id, text);
стоимость загрузки 100 000 сообщений через EXPLAIN (ANALYZE, BUFFERS, WAL);
размеры индексов и объём WAL.
После эксперимента выполняется custom-format pg_dump, запускается отдельный PostgreSQL в уникальном Compose-проекте с новым named volume, создаётся новая база и выполняется pg_restore --exit-on-error. Source и restored базы сравниваются по каноническому fingerprint: количества всех таблиц, распределение сообщений, список индексов и первое, 50 000-е и 100 000-е сообщения. Временные базы, dump, контейнер, сеть и recovery-volume удаляются автоматически.
Полная инструкция, включая безопасную остановку и необязательный Redis Insight, находится в REPORT.md.
Результаты проверок и ссылка на REPORT.md:
Полная накопительная команда:
make test-level5 PYTHON=.venv/bin/python
Успешно выполнены:
go test ./...;
go test -race ./...;
go vet ./...;
make check;
полная OpenAPI 3.1 и JSON Schema validation;
docker compose config --quiet;
публичный smoke-сценарий;
конкурентная регистрация и rollback составной операции;
короткий SESSION_TTL_SECONDS=2, неправильный пароль и logout;
отказ Redis с fallback в PostgreSQL;
отказ PostgreSQL с корректными live/ready и ограниченными 503;
restart PostgreSQL, Redis и API с сохранением данных и действующей сессии;
EXPLAIN (ANALYZE, BUFFERS) на 10 000 сообщениях;
Track 2 на 100 000 сообщениях;
backup и восстановление в новый PostgreSQL volume;
повторный запуск мигратора: no change.
Результат финального запуска Track 2:
current index + keyset:
rows=101, Buffers hit=6, Execution Time=0.112 ms
current index + OFFSET 50000:
rows scanned=50101, Buffers hit=1383,
Execution Time=6.703 ms
covering index + keyset:
Index Only Scan, Heap Fetches=0,
Buffers hit=6, Execution Time=0.073 ms
current index:
WAL bytes=38560620, index bytes=5914624
covering index:
WAL bytes=49573476, index bytes=16842752
backup_bytes=3000682
backup_ms=731
recovery_ms=8269
fingerprints_match=true
Покрывающий индекс оказался приблизительно в 2.85 раза больше и сгенерировал на 28.6% больше WAL. Поэтому в основной миграции сохранён узкий индекс: keyset-пагинация уже ограничивает работу размером страницы, а преимущество покрывающего индекса в одном локальном профиле не компенсирует доказанную стоимость хранения и записи.
Дополнительная проверка замечаний по другим MR:
PASS: repeated first and continuation message pages returned stable HTTP 200 responses
PASS: Redis outage used PostgreSQL fallback; readiness, session,
authorization and writes remained correct.
Redis after recovery:
DBSIZE = 1
key = chat:v1:<uuid>
TTL = 299
Это подтверждает, что после восстановления Redis кэш снова заполняется без рестарта API.
Стенд учебный и одноузловой: он не обеспечивает HA PostgreSQL, API или Redis и не моделирует произвольный network partition.
Redis является только необязательным производным кэшем. При его недоступности первый fallback-запрос может дополнительно ждать настроенный timeout до 250 ms. После восстановления Redis cache miss снова заполняет кэш.
Track 2 выполнен на синтетических данных тремя последовательными локальными прогонами. Результаты не являются универсальной оценкой production-производительности и не моделируют конкурентную нагрузку, холодный disk cache, autovacuum/bloat, удалённое backup-хранилище или заполнение диска.
Наблюдаемое время восстановления 8.269 секунды включает старт отдельного PostgreSQL, healthcheck, создание базы, pg_restore и сверку. Оно не включает обнаружение аварии, передачу backup из удалённого хранилища, переключение приложения и прогрев.
Для согласованного snapshot потерь не обнаружено. Однако без WAL archiving/PITR коммиты после последнего snapshot будут потеряны, поэтому production RPO определяется периодичностью backup и границей snapshot.
Известных нарушений публичного API и обязательных критериев выбранного уровня по результатам выполненных проверок не обнаружено.
Источники и использование ИИ:
Использованы материалы задания, публичный OpenAPI-контракт и официальная документация Go, PostgreSQL 16, Docker Compose, Redis, pgx/v5, go-redis/v9, golang-migrate, Argon2id и HTTP Basic/Bearer authentication.
Codex использовался для анализа требований, переноса и проверки реализации, рефакторинга, подготовки автоматических сценариев отказа, SQL-эксперимента Track 2, backup/restore-проверки и документации. Все указанные unit, race, smoke, persistence, security, failure и Track 2 проверки выполнены локально на работающем стенде.
Весь обязательный минимум текущей и предыдущих работ сохранён с объявленными переходами.
Контракт и публичные тесты не ослаблены.
make check и make test выполнены; приложен реальный вывод.
Сценарии отказов/безопасности своего уровня воспроизведены.
Все секреты и приватные ключи находятся вне Git; отчёт не содержит tokens.
README задания сохранён, REPORT.md содержит инструкцию именно моего решения.
## Лабораторная 2
Автор / группа: Чурилин / БВТ2301
Целевая оценка (3/4/5): 5
Трек 5, если заявлен: Track 2 — «План запроса и восстановление»
Что реализовано и что перенесено:
Из лабораторной 1 перенесён REST API мессенджера с сохранением публичного контракта. Реализовано постоянное хранение пользователей, чатов, участников, сообщений и сессий в PostgreSQL 16. Схема создаётся версионируемой миграцией `golang-migrate`.
Регистрация требует пароль длиной 12–128 Unicode code points. Пароли хешируются Argon2id с индивидуальной случайной солью и сохраняются в формате PHC. Вход выполняется через Basic Auth, после чего клиент получает opaque Bearer-токен. В PostgreSQL хранится только SHA-256 digest токена. Реализованы абсолютный TTL сессии и logout.
Создание чата и участников выполняется одной транзакцией. Проверены rollback при отсутствии участника и конкурентная регистрация одинакового username. Вставка сообщения атомарно проверяет членство отправителя. Для списков чатов и сообщений реализована keyset-пагинация по `(created_at, id)` с привязкой cursor к пользователю или чату.
Redis используется только как cache-aside кэш неизменяемых карточек чатов. PostgreSQL остаётся источником истины. Ключи имеют формат `chat:v1:<chat_uuid>`, значения хранятся как JSON, TTL по умолчанию равен 5 минутам. Redis ограничен 64 MiB и политикой `allkeys-lru`; RDB/AOF и Redis volume намеренно отключены. При недоступности Redis API продолжает чтение и запись через PostgreSQL. После восстановления Redis следующий cache miss снова заполняет кэш без рестарта API.
История сообщений в Redis не кэшируется. Курсор строится из Go `time.Time`, сериализуется в RFC 3339 Nano и при разборе проходит через `time.Parse`. Дополнительно проверен сценарий с шестью сообщениями: два одинаковых чтения первой страницы и два одинаковых чтения страницы с cursor вернули стабильные HTTP 200 и одинаковые данные.
Для Track 2 создан воспроизводимый эксперимент на настоящей схеме приложения с 100 000 сообщениями и неравномерным распределением по чатам `90 000 / 9 000 / 1 000`. Сравнены:
- keyset-запрос с индексом `(chat_id, created_at, id)`;
- запрос с `OFFSET 50000` на том же индексе;
- keyset-запрос с покрывающим индексом `INCLUDE (sender_id, text)`;
- стоимость загрузки 100 000 сообщений через `EXPLAIN (ANALYZE, BUFFERS, WAL)`;
- размеры индексов и объём WAL.
После эксперимента выполняется custom-format `pg_dump`, запускается отдельный PostgreSQL в уникальном Compose-проекте с новым named volume, создаётся новая база и выполняется `pg_restore --exit-on-error`. Source и restored базы сравниваются по каноническому fingerprint: количества всех таблиц, распределение сообщений, список индексов и первое, 50 000-е и 100 000-е сообщения. Временные базы, dump, контейнер, сеть и recovery-volume удаляются автоматически.
Команды запуска из чистого clone:
```sh
cp .env.example .env
mkdir -p secrets
chmod 700 secrets
umask 077
LAB_DB_PASSWORD="$(openssl rand -hex 24)"
printf '%s\n' "$LAB_DB_PASSWORD" > secrets/postgres_password.txt
printf 'postgresql://messenger:%s@postgres:5432/messenger?sslmode=disable\n' \
"$LAB_DB_PASSWORD" > secrets/database_url.txt
unset LAB_DB_PASSWORD
chmod 600 secrets/postgres_password.txt secrets/database_url.txt
docker compose --env-file .env config --quiet
docker compose --env-file .env up -d --build
docker compose --env-file .env ps
python3 -m venv .venv
.venv/bin/python -m pip install -r requirements-dev.txt
make test-level5 PYTHON=.venv/bin/python
docker compose --env-file .env run --rm migrate
```
Полная инструкция, включая безопасную остановку и необязательный Redis Insight, находится в [`REPORT.md`](REPORT.md).
Результаты проверок и ссылка на REPORT.md:
Полная накопительная команда:
```sh
make test-level5 PYTHON=.venv/bin/python
```
Успешно выполнены:
- `go test ./...`;
- `go test -race ./...`;
- `go vet ./...`;
- `make check`;
- полная OpenAPI 3.1 и JSON Schema validation;
- `docker compose config --quiet`;
- публичный smoke-сценарий;
- конкурентная регистрация и rollback составной операции;
- короткий `SESSION_TTL_SECONDS=2`, неправильный пароль и logout;
- отказ Redis с fallback в PostgreSQL;
- отказ PostgreSQL с корректными live/ready и ограниченными 503;
- restart PostgreSQL, Redis и API с сохранением данных и действующей сессии;
- `EXPLAIN (ANALYZE, BUFFERS)` на 10 000 сообщениях;
- Track 2 на 100 000 сообщениях;
- backup и восстановление в новый PostgreSQL volume;
- повторный запуск мигратора: `no change`.
Результат финального запуска Track 2:
```text
current index + keyset:
rows=101, Buffers hit=6, Execution Time=0.112 ms
current index + OFFSET 50000:
rows scanned=50101, Buffers hit=1383,
Execution Time=6.703 ms
covering index + keyset:
Index Only Scan, Heap Fetches=0,
Buffers hit=6, Execution Time=0.073 ms
current index:
WAL bytes=38560620, index bytes=5914624
covering index:
WAL bytes=49573476, index bytes=16842752
backup_bytes=3000682
backup_ms=731
recovery_ms=8269
fingerprints_match=true
```
Покрывающий индекс оказался приблизительно в 2.85 раза больше и сгенерировал на 28.6% больше WAL. Поэтому в основной миграции сохранён узкий индекс: keyset-пагинация уже ограничивает работу размером страницы, а преимущество покрывающего индекса в одном локальном профиле не компенсирует доказанную стоимость хранения и записи.
Дополнительная проверка замечаний по другим MR:
```text
PASS: repeated first and continuation message pages returned stable HTTP 200 responses
PASS: Redis outage used PostgreSQL fallback; readiness, session,
authorization and writes remained correct.
Redis after recovery:
DBSIZE = 1
key = chat:v1:<uuid>
TTL = 299
```
Это подтверждает, что после восстановления Redis кэш снова заполняется без рестарта API.
Отчёт: [`REPORT.md`](REPORT.md)
Описание Track 2: [`docs/track2.md`](docs/track2.md)
Доказательства уровня 3: [`evidence/level3.md`](evidence/level3.md)
Доказательства уровня 4: [`evidence/level4.md`](evidence/level4.md)
Доказательства Track 2: [`evidence/level5-track2.md`](evidence/level5-track2.md)
Ограничения / известные ошибки:
Стенд учебный и одноузловой: он не обеспечивает HA PostgreSQL, API или Redis и не моделирует произвольный network partition.
Redis является только необязательным производным кэшем. При его недоступности первый fallback-запрос может дополнительно ждать настроенный timeout до 250 ms. После восстановления Redis cache miss снова заполняет кэш.
Track 2 выполнен на синтетических данных тремя последовательными локальными прогонами. Результаты не являются универсальной оценкой production-производительности и не моделируют конкурентную нагрузку, холодный disk cache, autovacuum/bloat, удалённое backup-хранилище или заполнение диска.
Наблюдаемое время восстановления 8.269 секунды включает старт отдельного PostgreSQL, healthcheck, создание базы, `pg_restore` и сверку. Оно не включает обнаружение аварии, передачу backup из удалённого хранилища, переключение приложения и прогрев.
Для согласованного snapshot потерь не обнаружено. Однако без WAL archiving/PITR коммиты после последнего snapshot будут потеряны, поэтому production RPO определяется периодичностью backup и границей snapshot.
Известных нарушений публичного API и обязательных критериев выбранного уровня по результатам выполненных проверок не обнаружено.
Источники и использование ИИ:
Использованы материалы задания, публичный OpenAPI-контракт и официальная документация Go, PostgreSQL 16, Docker Compose, Redis, `pgx/v5`, `go-redis/v9`, `golang-migrate`, Argon2id и HTTP Basic/Bearer authentication.
Codex использовался для анализа требований, переноса и проверки реализации, рефакторинга, подготовки автоматических сценариев отказа, SQL-эксперимента Track 2, backup/restore-проверки и документации. Все указанные unit, race, smoke, persistence, security, failure и Track 2 проверки выполнены локально на работающем стенде.
- [x] Весь обязательный минимум текущей и предыдущих работ сохранён с объявленными переходами.
- [x] Контракт и публичные тесты не ослаблены.
- [x] make check и make test выполнены; приложен реальный вывод.
- [x] Сценарии отказов/безопасности своего уровня воспроизведены.
- [x] Все секреты и приватные ключи находятся вне Git; отчёт не содержит tokens.
- [x] README задания сохранён, REPORT.md содержит инструкцию именно моего решения.
Обнаружены две проблемы обязательного формата API:
Повреждённый UTF‑8 молча изменяет пароль. В POST /api/v1/users передан пароль из 12345678901 и сырого байта FF. Ожидался 400; получен 201. Затем Basic-вход с паролем 12345678901� также вернул 201. Декодер заменяет повреждённый ввод до проверки пароля: internal/transport/http/handlers/handler.go:66.
Не проверяется Content-Type. POST /api/v1/users с Content-Type: text/plain и телом {"username":"mime_probe","display_name":"Test","password":"123456789012"} возвращает 201. По контракту ожидается отклонение неподдерживаемого формата, 415: internal/transport/http/handlers/handler.go:60.
Обнаружены две проблемы обязательного формата API:
1. Повреждённый UTF‑8 молча изменяет пароль. В POST /api/v1/users передан пароль из 12345678901 и сырого байта FF. Ожидался 400; получен 201. Затем Basic-вход с паролем 12345678901� также вернул 201. Декодер заменяет повреждённый ввод до проверки пароля: [internal/transport/http/handlers/handler.go:66](https://gitea.privcloud.tech/d1frend/mtusi2026lab2/src/commit/9fabf8dff3ba93244a7547d890ca0a83511c7fd9/internal/transport/http/handlers/handler.go#L66).
2. Не проверяется Content-Type. POST /api/v1/users с Content-Type: text/plain и телом {"username":"mime_probe","display_name":"Test","password":"123456789012"} возвращает 201. По контракту ожидается отклонение неподдерживаемого формата, 415: [internal/transport/http/handlers/handler.go:60](https://gitea.privcloud.tech/d1frend/mtusi2026lab2/src/commit/9fabf8dff3ba93244a7547d890ca0a83511c7fd9/internal/transport/http/handlers/handler.go#L60).
Blocking a user prevents them from interacting with repositories, such as opening or commenting on pull requests or issues. Learn more about blocking a user.
Лабораторная 2
Автор / группа: Чурилин / БВТ2301
Целевая оценка (3/4/5): 5
Трек 5, если заявлен: Track 2 — «План запроса и восстановление»
Что реализовано и что перенесено:
Из лабораторной 1 перенесён REST API мессенджера с сохранением публичного контракта. Реализовано постоянное хранение пользователей, чатов, участников, сообщений и сессий в PostgreSQL 16. Схема создаётся версионируемой миграцией
golang-migrate.Регистрация требует пароль длиной 12–128 Unicode code points. Пароли хешируются Argon2id с индивидуальной случайной солью и сохраняются в формате PHC. Вход выполняется через Basic Auth, после чего клиент получает opaque Bearer-токен. В PostgreSQL хранится только SHA-256 digest токена. Реализованы абсолютный TTL сессии и logout.
Создание чата и участников выполняется одной транзакцией. Проверены rollback при отсутствии участника и конкурентная регистрация одинакового username. Вставка сообщения атомарно проверяет членство отправителя. Для списков чатов и сообщений реализована keyset-пагинация по
(created_at, id)с привязкой cursor к пользователю или чату.Redis используется только как cache-aside кэш неизменяемых карточек чатов. PostgreSQL остаётся источником истины. Ключи имеют формат
chat:v1:<chat_uuid>, значения хранятся как JSON, TTL по умолчанию равен 5 минутам. Redis ограничен 64 MiB и политикойallkeys-lru; RDB/AOF и Redis volume намеренно отключены. При недоступности Redis API продолжает чтение и запись через PostgreSQL. После восстановления Redis следующий cache miss снова заполняет кэш без рестарта API.История сообщений в Redis не кэшируется. Курсор строится из Go
time.Time, сериализуется в RFC 3339 Nano и при разборе проходит черезtime.Parse. Дополнительно проверен сценарий с шестью сообщениями: два одинаковых чтения первой страницы и два одинаковых чтения страницы с cursor вернули стабильные HTTP 200 и одинаковые данные.Для Track 2 создан воспроизводимый эксперимент на настоящей схеме приложения с 100 000 сообщениями и неравномерным распределением по чатам
90 000 / 9 000 / 1 000. Сравнены:(chat_id, created_at, id);OFFSET 50000на том же индексе;INCLUDE (sender_id, text);EXPLAIN (ANALYZE, BUFFERS, WAL);После эксперимента выполняется custom-format
pg_dump, запускается отдельный PostgreSQL в уникальном Compose-проекте с новым named volume, создаётся новая база и выполняетсяpg_restore --exit-on-error. Source и restored базы сравниваются по каноническому fingerprint: количества всех таблиц, распределение сообщений, список индексов и первое, 50 000-е и 100 000-е сообщения. Временные базы, dump, контейнер, сеть и recovery-volume удаляются автоматически.Команды запуска из чистого clone:
Полная инструкция, включая безопасную остановку и необязательный Redis Insight, находится в
REPORT.md.Результаты проверок и ссылка на REPORT.md:
Полная накопительная команда:
Успешно выполнены:
go test ./...;go test -race ./...;go vet ./...;make check;docker compose config --quiet;SESSION_TTL_SECONDS=2, неправильный пароль и logout;EXPLAIN (ANALYZE, BUFFERS)на 10 000 сообщениях;no change.Результат финального запуска Track 2:
Покрывающий индекс оказался приблизительно в 2.85 раза больше и сгенерировал на 28.6% больше WAL. Поэтому в основной миграции сохранён узкий индекс: keyset-пагинация уже ограничивает работу размером страницы, а преимущество покрывающего индекса в одном локальном профиле не компенсирует доказанную стоимость хранения и записи.
Дополнительная проверка замечаний по другим MR:
Это подтверждает, что после восстановления Redis кэш снова заполняется без рестарта API.
Отчёт:
REPORT.mdОписание Track 2:
docs/track2.mdДоказательства уровня 3:
evidence/level3.mdДоказательства уровня 4:
evidence/level4.mdДоказательства Track 2:
evidence/level5-track2.mdОграничения / известные ошибки:
Стенд учебный и одноузловой: он не обеспечивает HA PostgreSQL, API или Redis и не моделирует произвольный network partition.
Redis является только необязательным производным кэшем. При его недоступности первый fallback-запрос может дополнительно ждать настроенный timeout до 250 ms. После восстановления Redis cache miss снова заполняет кэш.
Track 2 выполнен на синтетических данных тремя последовательными локальными прогонами. Результаты не являются универсальной оценкой production-производительности и не моделируют конкурентную нагрузку, холодный disk cache, autovacuum/bloat, удалённое backup-хранилище или заполнение диска.
Наблюдаемое время восстановления 8.269 секунды включает старт отдельного PostgreSQL, healthcheck, создание базы,
pg_restoreи сверку. Оно не включает обнаружение аварии, передачу backup из удалённого хранилища, переключение приложения и прогрев.Для согласованного snapshot потерь не обнаружено. Однако без WAL archiving/PITR коммиты после последнего snapshot будут потеряны, поэтому production RPO определяется периодичностью backup и границей snapshot.
Известных нарушений публичного API и обязательных критериев выбранного уровня по результатам выполненных проверок не обнаружено.
Источники и использование ИИ:
Использованы материалы задания, публичный OpenAPI-контракт и официальная документация Go, PostgreSQL 16, Docker Compose, Redis,
pgx/v5,go-redis/v9,golang-migrate, Argon2id и HTTP Basic/Bearer authentication.Codex использовался для анализа требований, переноса и проверки реализации, рефакторинга, подготовки автоматических сценариев отказа, SQL-эксперимента Track 2, backup/restore-проверки и документации. Все указанные unit, race, smoke, persistence, security, failure и Track 2 проверки выполнены локально на работающем стенде.
Обнаружены две проблемы обязательного формата API:
Принято. Закрываю МР.
Pull request closed