ЛР 2 - БВТ2304 - Тюрина - на 4 #49

Closed
Rakshasa wants to merge 1 commits from Rakshasa/mtusi2026lab2-fork:solution/BVT2304-Tyurina into master
First-time contributor

Лабораторная 2

Автор / группа: Тюрина Александра, БВТ2304
Целевая оценка (3/4/5): 4
Трек 5, если заявлен: не заявлен (дорожная карта по Треку 2 — в REPORT.md, в сдачу на 4 не входит)


Что реализовано и что перенесено

Перенесено из lab1 (в соответствии с CONTRIBUTING.md: только исходники, миграции, собственные тесты, Dockerfile и нужные конфигурации; .git, .env, credentials, volumes, README.md, COURSE.md, публичные tests/ и contracts/ не копировались поверх новой версии):

  • структура src/cmd/server, src/internal/{handler,model,store};
  • middleware X-Request-Id + структурированное логирование (метод, путь, длительность, request_id; без тел сообщений и токенов);
  • graceful shutdown по SIGTERM/SIGINT с таймаутом 5 с и SetKeepAlivesEnabled(false);
  • multi-stage Dockerfile (сборка в golang:1.22-alpine, рантайм в alpine:3.20, USER app, HEALTHCHECK на /health/ready);
  • .dockerignore, .env.example;
  • каркас собственных тестов student-tests/run-test.py (расширен под lab2).

Реализовано заново для lab2:

  • PostgreSQL как источник истины: таблицы users, chats, chat_members, messages, sessions с PK/FK, уникальным индексом по username и составным индексом истории (chat_id, created_at, id); миграция migrations/001_initial.sql применяется через embed.FS идемпотентно (таблица schema_migrations, лог Skipping migration … already applied при повторе).
  • Аутентификация lab2: регистрация требует password (валидация 12–128 code points), хеширование bcrypt (golang.org/x/crypto/bcrypt), поле PasswordHash с тегом json:"-" — в ответы не попадает. POST /api/v1/auth/sessions принимает только Authorization: Basic (base64 user:pass), без JSON-тела; выдаёт Bearer-токен (32 байта из crypto/rand). Все защищённые endpoint требуют Authorization: Bearer <token>; X-User-Id и Basic на бизнес-endpoint → 401.
  • Сессии: Redis + PostgreSQL с инвариантом «сессия жива ⇔ она в обоих». Источник истины — Postgres (пишется первым и обязательно); Redis — быстрый путь с TTL. POST /auth/sessions: при сбое Redis SET выполняется компенсационный DELETE в Postgres и отдаётся 503 (токен клиенту не выдаётся). DELETE /auth/sessions/current: удаляет из Postgres, затем из Redis; 204 отдаётся только если оба удаления прошли, иначе 503 — это закрывает баг «частичный отзыв оставляет токен живым через fallback/stale-кэш», который воспроизводился в режиме Redis. BearerAuthMiddleware при промахе в Redis делает fallback в Postgres и проверяет expires_at > NOW().
  • Redis с persistence, выдерживающим проверяемый рестарт: --appendonly yes --appendfsync everysec, named-volume redis_data; в compose depends_on.condition: service_healthy для postgres и redis.
  • Параметризованный SQL везде ($1…), без конкатенации; пулы ограничены: pgxpool MaxConns=25 / MinConns=5, redis PoolSize=20 / MinIdleConns=5, таймауты dial/read/write 3 с.
  • Курсорная пагинация по (created_at, id) с приёмом limit+1: запрос возвращает на одну запись больше; если > limit — режем до limit и ставим next_cursor, иначе null. Это чинит баг наивного len==limit, когда полная страница оказывается последней (падал second page must finish history). Один запрос к БД, без отдельного COUNT/EXISTS.
  • Атомарность составных операций: создание чата (INSERT chats + N × INSERT chat_members) — в одной транзакции с defer tx.Rollback; при ошибке откат, частичных записей не остаётся. Гонка регистрации одинакового username ловится уникальным индексом → 409 conflict (проверено конкурентным тестом).
  • Валидация контракта: DisallowUnknownFields на всех JSON-телах; проверка Content-Type → 415 до парсинга; единый error-конверт {"error":{"code","message","request_id"}} на 400/401/404/409/415/503; member_ids и items всегда массивы (не null) — make(..., 0) вместо var x []T, чтобы encoding/json не отдавал null там, где схема требует array.
  • Инфраструктура: docker-compose.yml (api + postgres + redis, закреплённые теги postgres:16-alpine, redis:7-alpine), scripts/restart.sh (проверяемый рестарт без удаления volumes), scripts/failure_tests.sh, scripts/benchmark.sh, .gitignore (секреты/volumes вне Git).

Команды запуска из чистого clone

git clone <URL_ФОСКА>
cd mtusi2026lab2-fork
cp .env.example .env                 # локальный конфиг, в git не попадает
docker compose --env-file .env config --quiet   # валидация compose
docker compose --env-file .env up -d --build
until curl -fsS http://localhost:8080/health/ready >/dev/null; do sleep 1; done

make check                            # целостность контракта + синтаксис Python-проверок (без приложения)
make test                             # публичный smoke tests/smoke.py
python3 student-tests/run-test.py --base-url http://localhost:8080   # собственные тесты
make test-persistence ACTION_SCRIPT=scripts/restart.sh               # персистентность через рестарт без потери volumes
./scripts/failure_tests.sh            # сценарии отказов (явный запуск, scaffold сам контейнеры не гасит)

Остановка/очистка учебного стенда: docker compose down (без -v; -v — только намеренный полный сброс).


Результаты проверок и ссылка на REPORT.md

  • make test — зелёный (tests/smoke.py проходит полностью, включая lab2-расширения: password, Basic→Bearer, отзыв сессии, 401 на X-User-Id/Basic в защищённых роутах, read-after-write, пагинация).
  • python3 student-tests/run-test.py — ALL STUDENT TESTS PASSED; покрывает 400/415/404-конверт, маску username, длину пароля, 409 дубликат, пустое/пробельное сообщение, чужой чат (GET и POST → 404 без утечки), многостраничную пагинацию (26 сообщений, страницы по 10, без повторов, порядок строгий), гонки 10 клиентов × 10 сообщений → ровно 100 уникальных ID, logout 204 → повтор 401.
  • make test-persistence ACTION_SCRIPT=scripts/restart.sh — зелёный: после рестарта тот же токен читает те же данные (Redis AOF + Postgres fallback), после logout — 401.
  • ./scripts/failure_tests.sh — неверный пароль → 401; logout → 401; короткий TTL → 401 после ожидания; Redis down → login 503, аноним 401, процесс жив; после восстановления → 201; Postgres down → 503 без внутренних деталей, процесс жив.
  • EXPLAIN (ANALYZE, BUFFERS) курсорной пагинации (см. scripts/benchmark.sh и блок 7 demo.md) — Index Scan/Index Only Scan по (chat_id, created_at, id), узел Sort отсутствует.
  • Non-root: docker compose exec -T api id → uid=100(app) (не uid=0); в рантайме нет Go-тулчейна (multi-stage).
  • SIGTERM: time docker compose stop api → real 0m0.xs (≪ 10 с); в логах Shutting down server... → Server exited properly; тел сообщений/паролей/токенов в stdout нет.

Подробный отчёт с доказательствами и методикой: REPORT.md. Пошаговый сценарий живой защиты по рубрике 4: demo.md.


Ограничения / известные ошибки

  • bcrypt и 72 байта. contracts/README.md допускает bcrypt «с учётом ограничений библиотеки»; диапазон 12–128 code points валидируется до хеширования. В lab7 обязателен Argon2id — переход запланирован, в lab2 не делается, чтобы не менять контракт.
  • Двойная запись сессий (Redis + Postgres) — не распределённая транзакция. Инвариант «сессия ⇔ оба хранилища» обеспечивается порядком операций и компенсацией (см. выше), а не 2PC. При сбое между DELETE в Postgres и DEL в Redis отдаётся 503, а не ложное 204; повтор идемпотентно сходится. Окно stale-кэша при живом Redis практически нулевое (Redis up ⇒ DEL проходит), при падении Redis middleware уходит в Postgres и stale не видит.
  • Замеры нагрузки — с одного ноутбука (MacBook Air, Apple Silicon, 8 GB RAM, без жёстких CPU/RAM-лимитов контейнеров). Цифры показывают тренд, а не абсолютный «проходной RPS»; профиль и длительность зафиксированы в REPORT.md/demo.md.
  • scripts/failure_tests.sh написан под локальный go run (использует pkill); для compose-стенда эквивалентные шаги воспроизведены вручную через docker compose stop/start redis|postgres (блок 6 demo.md). Оба варианта воспроизводимы; расхождение отмечено честно.
  • docker compose down -v намеренно теряет данные — это очистка учебного стенда, а не баг персистентности; персистентность проверяется restart.sh без -v.
  • Трек 5 не заявлен; в сдачу на 4 не входит.

Источники и использование ИИ

  • Go 1.22 (стандартная библиотека: net/http, context, encoding/json, encoding/base64, crypto/rand, crypto/sha256, crypto/subtle, os/signal, embed, sync).
  • github.com/go-chi/chi/v5 — маршрутизатор и middleware-конвейер.
  • github.com/google/uuid — идентификаторы и X-Request-Id.
  • github.com/jackc/pgx/v5 (+ pgxpool) — драйвер и пул соединений к PostgreSQL.
  • github.com/redis/go-redis/v9 — клиент Redis для кэша сессий.
  • golang.org/x/crypto/bcrypt — password KDF.
  • Документация: PostgreSQL transactions / EXPLAIN, Redis persistence, RFC 7617 (Basic authentication) — ссылки из README.md лабы.
  • ИИ-ассистент использовался для: ревью соответствия кода contracts/openapi.json/contracts/README.md; отладки рассинхрона сигнатур между main.go/handler.go/redis_store.go (ошибки компиляции too many/not enough arguments); разбора бага курсорной пагинации (limit+1 вместо len==limit); диагностики session user mismatch (несоответствие формата created_at RFC3339 vs RFC3339Nano в разных эндпоинтах) и member_ids/items: incorrect type (nil-слайс → null в JSON); подбора настроек пулов pgx/redis и таймаутов; оформления доказательств в REPORT.md/demo.md. Вся архитектура, SQL-миграции, логика аутентификации, инвариант инвалидации сессий и тесты написаны, прочитаны и осмыслены мной; код не переносился от других студентов. Чужие решения не использовались.

Чек-лист

  • Весь обязательный минимум текущей и предыдущих работ сохранён с объявленными переходами (lab1→lab2: password при регистрации, X-User-Id → Bearer, Basic только на /auth/sessions).
  • Контракт и публичные тесты не ослаблены: contracts/ и tests/ не изменялись; собственные тесты — отдельный student-tests/run-test.py, assertions не ослаблялись ради зелёного результата (баги пагинации/формата времени/null-массивов чинились в коде приложения, а не в тестах).
  • make check и make test выполнены; реальный вывод приложен в REPORT.md (разделы 4–5) и воспроизводится по demo.md.
  • Сценарии отказов/безопасности своего уровня воспроизведены: scripts/failure_tests.sh + ручные docker compose stop redis|postgres (блоки 5–6 demo.md); non-root, секреты вне Git, логи без содержимого сообщений/токенов/паролей.
  • Все секреты и приватные ключи находятся вне Git; отчёт не содержит tokens. .env создаётся из .env.example и не коммитится (.gitignore + .dockerignore); данные БД/Redis — в named-volumes, не часть репозитория; учётные данные в compose (lab2/lab2) — синтетические учебные креды изолированного стенда.
  • README задания сохранён (не перезаписывался); REPORT.md содержит инструкцию именно моего решения и доказательства уровня 4.
## Лабораторная 2 **Автор / группа:** Тюрина Александра, БВТ2304 **Целевая оценка (3/4/5):** 4 **Трек 5, если заявлен:** не заявлен (дорожная карта по Треку 2 — в `REPORT.md`, в сдачу на 4 не входит) --- ### Что реализовано и что перенесено **Перенесено из lab1** (в соответствии с `CONTRIBUTING.md`: только исходники, миграции, собственные тесты, Dockerfile и нужные конфигурации; `.git`, `.env`, credentials, volumes, `README.md`, `COURSE.md`, публичные `tests/` и `contracts/` **не** копировались поверх новой версии): - структура `src/cmd/server`, `src/internal/{handler,model,store}`; - middleware `X-Request-Id` + структурированное логирование (метод, путь, длительность, `request_id`; без тел сообщений и токенов); - graceful shutdown по `SIGTERM`/`SIGINT` с таймаутом 5 с и `SetKeepAlivesEnabled(false)`; - multi-stage `Dockerfile` (сборка в `golang:1.22-alpine`, рантайм в `alpine:3.20`, `USER app`, `HEALTHCHECK` на `/health/ready`); - `.dockerignore`, `.env.example`; - каркас собственных тестов `student-tests/run-test.py` (расширен под lab2). **Реализовано заново для lab2:** - **PostgreSQL как источник истины**: таблицы `users`, `chats`, `chat_members`, `messages`, `sessions` с PK/FK, уникальным индексом по `username` и составным индексом истории `(chat_id, created_at, id)`; миграция `migrations/001_initial.sql` применяется через `embed.FS` идемпотентно (таблица `schema_migrations`, лог `Skipping migration … already applied` при повторе). - **Аутентификация lab2**: регистрация требует `password` (валидация 12–128 code points), хеширование **bcrypt** (`golang.org/x/crypto/bcrypt`), поле `PasswordHash` с тегом `json:"-"` — в ответы не попадает. `POST /api/v1/auth/sessions` принимает **только** `Authorization: Basic` (base64 `user:pass`), без JSON-тела; выдаёт Bearer-токен (32 байта из `crypto/rand`). Все защищённые endpoint требуют `Authorization: Bearer <token>`; `X-User-Id` и `Basic` на бизнес-endpoint → **401**. - **Сессии: Redis + PostgreSQL с инвариантом «сессия жива ⇔ она в обоих»**. Источник истины — Postgres (пишется первым и обязательно); Redis — быстрый путь с TTL. `POST /auth/sessions`: при сбое Redis `SET` выполняется компенсационный `DELETE` в Postgres и отдаётся `503` (токен клиенту не выдаётся). `DELETE /auth/sessions/current`: удаляет из Postgres, затем из Redis; `204` отдаётся **только если оба удаления прошли**, иначе `503` — это закрывает баг «частичный отзыв оставляет токен живым через fallback/stale-кэш», который воспроизводился в режиме Redis. `BearerAuthMiddleware` при промахе в Redis делает fallback в Postgres и проверяет `expires_at > NOW()`. - **Redis с persistence, выдерживающим проверяемый рестарт**: `--appendonly yes --appendfsync everysec`, named-volume `redis_data`; в compose `depends_on.condition: service_healthy` для postgres и redis. - **Параметризованный SQL везде** (`$1…`), без конкатенации; пулы ограничены: pgxpool `MaxConns=25 / MinConns=5`, redis `PoolSize=20 / MinIdleConns=5`, таймауты dial/read/write 3 с. - **Курсорная пагинация по `(created_at, id)` с приёмом `limit+1`**: запрос возвращает на одну запись больше; если `> limit` — режем до `limit` и ставим `next_cursor`, иначе `null`. Это чинит баг наивного `len==limit`, когда полная страница оказывается последней (падал `second page must finish history`). Один запрос к БД, без отдельного `COUNT`/`EXISTS`. - **Атомарность составных операций**: создание чата (`INSERT chats` + N × `INSERT chat_members`) — в одной транзакции с `defer tx.Rollback`; при ошибке откат, частичных записей не остаётся. Гонка регистрации одинакового `username` ловится уникальным индексом → `409 conflict` (проверено конкурентным тестом). - **Валидация контракта**: `DisallowUnknownFields` на всех JSON-телах; проверка `Content-Type` → `415` до парсинга; единый error-конверт `{"error":{"code","message","request_id"}}` на 400/401/404/409/415/503; `member_ids` и `items` всегда массивы (не `null`) — `make(..., 0)` вместо `var x []T`, чтобы `encoding/json` не отдавал `null` там, где схема требует `array`. - **Инфраструктура**: `docker-compose.yml` (api + postgres + redis, закреплённые теги `postgres:16-alpine`, `redis:7-alpine`), `scripts/restart.sh` (проверяемый рестарт **без** удаления volumes), `scripts/failure_tests.sh`, `scripts/benchmark.sh`, `.gitignore` (секреты/volumes вне Git). --- ### Команды запуска из чистого clone ```bash git clone <URL_ФОСКА> cd mtusi2026lab2-fork cp .env.example .env # локальный конфиг, в git не попадает docker compose --env-file .env config --quiet # валидация compose docker compose --env-file .env up -d --build until curl -fsS http://localhost:8080/health/ready >/dev/null; do sleep 1; done make check # целостность контракта + синтаксис Python-проверок (без приложения) make test # публичный smoke tests/smoke.py python3 student-tests/run-test.py --base-url http://localhost:8080 # собственные тесты make test-persistence ACTION_SCRIPT=scripts/restart.sh # персистентность через рестарт без потери volumes ./scripts/failure_tests.sh # сценарии отказов (явный запуск, scaffold сам контейнеры не гасит) ``` Остановка/очистка учебного стенда: `docker compose down` (без `-v`; `-v` — только намеренный полный сброс). --- ### Результаты проверок и ссылка на REPORT.md - `make test` — **зелёный** (`tests/smoke.py` проходит полностью, включая lab2-расширения: password, Basic→Bearer, отзыв сессии, 401 на `X-User-Id`/`Basic` в защищённых роутах, read-after-write, пагинация). - `python3 student-tests/run-test.py` — **`ALL STUDENT TESTS PASSED`**; покрывает 400/415/404-конверт, маску username, длину пароля, 409 дубликат, пустое/пробельное сообщение, чужой чат (GET и POST → 404 без утечки), многостраничную пагинацию (26 сообщений, страницы по 10, без повторов, порядок строгий), гонки 10 клиентов × 10 сообщений → ровно 100 уникальных ID, logout 204 → повтор 401. - `make test-persistence ACTION_SCRIPT=scripts/restart.sh` — **зелёный**: после рестарта тот же токен читает те же данные (Redis AOF + Postgres fallback), после logout — 401. - `./scripts/failure_tests.sh` — неверный пароль → 401; logout → 401; короткий TTL → 401 после ожидания; Redis down → login 503, аноним 401, процесс жив; после восстановления → 201; Postgres down → 503 без внутренних деталей, процесс жив. - `EXPLAIN (ANALYZE, BUFFERS)` курсорной пагинации (см. `scripts/benchmark.sh` и блок 7 `demo.md`) — `Index Scan`/`Index Only Scan` по `(chat_id, created_at, id)`, узел `Sort` отсутствует. - Non-root: `docker compose exec -T api id` → `uid=100(app)` (не `uid=0`); в рантайме нет Go-тулчейна (multi-stage). - SIGTERM: `time docker compose stop api` → `real 0m0.xs` (≪ 10 с); в логах `Shutting down server...` → `Server exited properly`; тел сообщений/паролей/токенов в stdout нет. Подробный отчёт с доказательствами и методикой: **`REPORT.md`**. Пошаговый сценарий живой защиты по рубрике 4: **`demo.md`**. --- ### Ограничения / известные ошибки - **bcrypt и 72 байта.** `contracts/README.md` допускает bcrypt «с учётом ограничений библиотеки»; диапазон 12–128 code points валидируется до хеширования. В lab7 обязателен Argon2id — переход запланирован, в lab2 не делается, чтобы не менять контракт. - **Двойная запись сессий (Redis + Postgres) — не распределённая транзакция.** Инвариант «сессия ⇔ оба хранилища» обеспечивается порядком операций и компенсацией (см. выше), а не 2PC. При сбое между `DELETE` в Postgres и `DEL` в Redis отдаётся `503`, а не ложное `204`; повтор идемпотентно сходится. Окно stale-кэша при живом Redis практически нулевое (Redis up ⇒ `DEL` проходит), при падении Redis middleware уходит в Postgres и stale не видит. - **Замеры нагрузки — с одного ноутбука** (MacBook Air, Apple Silicon, 8 GB RAM, без жёстких CPU/RAM-лимитов контейнеров). Цифры показывают тренд, а не абсолютный «проходной RPS»; профиль и длительность зафиксированы в `REPORT.md`/`demo.md`. - **`scripts/failure_tests.sh` написан под локальный `go run`** (использует `pkill`); для compose-стенда эквивалентные шаги воспроизведены вручную через `docker compose stop/start redis|postgres` (блок 6 `demo.md`). Оба варианта воспроизводимы; расхождение отмечено честно. - **`docker compose down -v` намеренно теряет данные** — это очистка учебного стенда, а не баг персистентности; персистентность проверяется `restart.sh` **без** `-v`. - Трек 5 не заявлен; в сдачу на 4 не входит. --- ### Источники и использование ИИ - **Go 1.22** (стандартная библиотека: `net/http`, `context`, `encoding/json`, `encoding/base64`, `crypto/rand`, `crypto/sha256`, `crypto/subtle`, `os/signal`, `embed`, `sync`). - `github.com/go-chi/chi/v5` — маршрутизатор и middleware-конвейер. - `github.com/google/uuid` — идентификаторы и `X-Request-Id`. - `github.com/jackc/pgx/v5` (+ `pgxpool`) — драйвер и пул соединений к PostgreSQL. - `github.com/redis/go-redis/v9` — клиент Redis для кэша сессий. - `golang.org/x/crypto/bcrypt` — password KDF. - Документация: PostgreSQL transactions / EXPLAIN, Redis persistence, RFC 7617 (Basic authentication) — ссылки из `README.md` лабы. - **ИИ-ассистент** использовался для: ревью соответствия кода `contracts/openapi.json`/`contracts/README.md`; отладки рассинхрона сигнатур между `main.go`/`handler.go`/`redis_store.go` (ошибки компиляции `too many/not enough arguments`); разбора бага курсорной пагинации (`limit+1` вместо `len==limit`); диагностики `session user mismatch` (несоответствие формата `created_at` RFC3339 vs RFC3339Nano в разных эндпоинтах) и `member_ids/items: incorrect type` (nil-слайс → `null` в JSON); подбора настроек пулов pgx/redis и таймаутов; оформления доказательств в `REPORT.md`/`demo.md`. **Вся архитектура, SQL-миграции, логика аутентификации, инвариант инвалидации сессий и тесты написаны, прочитаны и осмыслены мной**; код не переносился от других студентов. Чужие решения не использовались. --- ### Чек-лист - [x] Весь обязательный минимум текущей и предыдущих работ сохранён с объявленными переходами (lab1→lab2: `password` при регистрации, `X-User-Id` → Bearer, Basic только на `/auth/sessions`). - [x] Контракт и публичные тесты не ослаблены: `contracts/` и `tests/` не изменялись; собственные тесты — отдельный `student-tests/run-test.py`, assertions не ослаблялись ради зелёного результата (баги пагинации/формата времени/`null`-массивов чинились в коде приложения, а не в тестах). - [x] `make check` и `make test` выполнены; реальный вывод приложен в `REPORT.md` (разделы 4–5) и воспроизводится по `demo.md`. - [x] Сценарии отказов/безопасности своего уровня воспроизведены: `scripts/failure_tests.sh` + ручные `docker compose stop redis|postgres` (блоки 5–6 `demo.md`); non-root, секреты вне Git, логи без содержимого сообщений/токенов/паролей. - [x] Все секреты и приватные ключи находятся вне Git; отчёт не содержит tokens. `.env` создаётся из `.env.example` и не коммитится (`.gitignore` + `.dockerignore`); данные БД/Redis — в named-volumes, не часть репозитория; учётные данные в compose (`lab2/lab2`) — синтетические учебные креды изолированного стенда. - [x] README задания сохранён (не перезаписывался); `REPORT.md` содержит инструкцию именно моего решения и доказательства уровня 4.
Rakshasa added 1 commit 2026-10-15 12:57:31 +03:00
lab2 - оценка 4
Skeleton contracts / contracts (pull_request) Canceled after 0s
84a40ae7ac
Owner

Принято. Закрываю МР.

Принято. Закрываю МР.
veprickiy closed this pull request 2026-10-31 00:08:26 +03:00

Pull request closed

Please reopen this pull request to perform a merge.
Sign in to join this conversation.
No Reviewers
No labels
2 Participants
Notifications
Due Date
No due date set.
Dependencies

No dependencies set.

Reference: mtusi2026/mtusi2026lab2#49