ЛР 3 — БВТ2303 — Васюкова — на 4 #2

Closed
Vasyukova-Nat wants to merge 18 commits from Vasyukova-Nat/mtusi2026lab3:solution/BVT2303-Vasyukova into main
First-time contributor

Лабораторная 3

Автор / группа: Васюкова Наталья, БВТ2303
Целевая оценка: 4
Трек 5: не заявлен

Что реализовано и что перенесено:
Перенесено из lab2 без изменений: PostgreSQL как источник истины, Redis-сессии, Argon2/scrypt-хеширование паролей (scrypt), keyset-пагинация сообщений, структурированное логирование, обработчики 503, Dockerfile (multi-stage, non-root, healthcheck), .dockerignore, публичные клиенты из tests/.

Реализовано в lab3:

  • Балансировка. nginx:1.27.3-alpine (infra/nginx.conf) как единственная публичная точка входа (127.0.0.1:8080:80). Upstream api_backend резолвит Docker-DNS api:8080 во все реплики. max_fails=1 fail_timeout=5s, proxy_next_upstream. Keepalive к upstream отключён, чтобы LB честно ротировал запросы.
  • ≥2 API-реплики. Сервис api в compose.yaml без container_name и без ports, deploy.replicas: 2, лимиты cpus: "1.0" / memory: 512M.
  • X-Instance-Id. docker-entrypoint.sh генерирует INSTANCE_ID при старте каждой реплики (и пишет в /tmp/instance_id для hook'а); middleware в src/app/main.py добавляет X-Instance-Id во все ответы.
  • Общая идемпотентность. POST /chats/{id}/messages требует Idempotency-Key. Scope: user_id + method + path + key. Атомарный INSERT … ON CONFLICT DO NOTHING RETURNING в idempotency_keys; победитель создаёт сообщение и фиксирует ответ, остальные получают replay или 409 при другом body_hash.
  • Graceful shutdown. SIGTERM → server.should_exit=True, uvicorn закрывает сокет и дожидается текущих запросов.
  • Action scripts. scripts/restart.bat/.sh (перезапуск LB + api + postgres + redis с сохранением volumes), scripts/stop-one.bat/.sh (останавливает именно ту реплику, чей INSTANCE_ID совпадает с TARGET_INSTANCE_ID, и оставляет её остановленной).
  • Свои тесты. student-tests/lab3_test_level4.py: два X-Instance-Id через LB, идемпотентность через реплики, отказ одной реплики с восстановлением.

Команды запуска из чистого clone:

git clone https://gitflic.ru/project/vasyukova-nat/mtusi2026lab3.git
git checkout solution/BVT2303-Vasyukova
copy .env.example .env
docker compose --env-file .env up -d --build
curl.exe -s http://localhost:8080/health/ready    # {"status":"ok"}

Windows-окружение (Python читает UTF-8 корректно только с этой переменной):

$env:PYTHONUTF8="1"

Проверки:

python scripts/check_contract.py
python scripts/validate_openapi.py
python tests/smoke.py --base-url http://localhost:8080
python student-tests/lab3_test_level4.py --base-url http://localhost:8080
python tests/resilience.py --mode persistence --action-script scripts/restart.bat --base-url http://localhost:8080
python tests/resilience.py --mode failover --action-script scripts/stop-one.bat --base-url http://localhost:8080
docker compose --env-file .env up -d api   # вернуть обе реплики после failover

Результаты проверок и ссылка на REPORT.md:

  • check_contract.py — PASS
  • validate_openapi.py — PASS
  • tests/smoke.py — PASS: lab3 public API scenario; infrastructure and grading evidence remain separate.
  • student-tests/lab3_test_level4.py — PASS, observed instances: ['00c1651b90c9', 'f8f94301bb06']; идемпотентность: 10 параллельных POST с одним ключом → ровно 1 сообщение; failover: after-fail instances: {'f8f94301bb06'}
  • resilience.py --mode persistence — PASS: persistence preserved confirmed data and existing session.
  • resilience.py --mode failover — {"observed_instances_before": 2, "successful_writes": 7, "failed_attempts": 0, "first_recovery_seconds": 5.189} — PASS

Полные команды, наблюдения и таблицы критериев — в REPORT.md.

Ограничения / известные ошибки:

  • Один Docker-host. LB, PostgreSQL и Redis — единичные экземпляры; отказ узла и HA БД/LB не заявляются.
  • Обнаружение отказа реплики реактивное: nginx узнаёт о ней по первой ошибке (max_fails=1 fail_timeout=5s), поэтому возможна задержка ~5 с до исключения из ротации. Это укладывается в требование «≤10 с».
  • Идемпотентность только на POST сообщения. POST /users и POST /chats без Idempotency-Key — повтор создаёт новый объект/409, как и предписано контрактом.
  • Миграции (init_schema()) запускаются на старте каждой реплики. Гонки нет благодаря CREATE TABLE IF NOT EXISTS; отдельный миграционный job не выделен — осознанное упрощение учебного уровня.
  • Нагрузочные замеры RPS/p50/p95/p99 при фиксированных лимитах не проводились (для целевой оценки 4 не требуются). Трек 5 не заявлен.

Источники и использование ИИ:

  • Контракт: contracts/openapi.json, contracts/README.md.

  • Инструкции: README.md, COURSE.md, CONTRIBUTING.md, tests/README.md, infra/README.md.

  • Библиотеки: fastapi==0.115.0, uvicorn[standard]==0.32.0, psycopg[binary]==3.2.3, psycopg_pool==3.2.3, redis==5.2.0, openapi-spec-validator==0.7.2.

  • ИИ: DeepSeek — помощь в структурировании кода и текста отчёта. Все фрагменты проверены, отредактированы и запущены разработчиком на локальном стенде.

  • Весь обязательный минимум текущей и предыдущих работ сохранён с объявленными переходами.

  • Контракт и публичные тесты не ослаблены.

  • make check и make test выполнены; приложен реальный вывод (в среде автора make недоступен, использованы эквивалентные прямые вызовы из REPORT.md).

  • Сценарии отказов/безопасности своего уровня воспроизведены (persistence, failover, идемпотентность под конкуренцией, graceful shutdown).

  • Все секреты и приватные ключи находятся вне Git; отчёт не содержит tokens.

  • README задания сохранён, REPORT.md содержит инструкцию именно моего решения.

## Лабораторная 3 Автор / группа: Васюкова Наталья, БВТ2303 Целевая оценка: 4 Трек 5: не заявлен Что реализовано и что перенесено: Перенесено из lab2 без изменений: PostgreSQL как источник истины, Redis-сессии, Argon2/scrypt-хеширование паролей (scrypt), keyset-пагинация сообщений, структурированное логирование, обработчики 503, Dockerfile (multi-stage, non-root, healthcheck), `.dockerignore`, публичные клиенты из `tests/`. Реализовано в lab3: - **Балансировка.** `nginx:1.27.3-alpine` (`infra/nginx.conf`) как единственная публичная точка входа (`127.0.0.1:8080:80`). Upstream `api_backend` резолвит Docker-DNS `api:8080` во все реплики. `max_fails=1 fail_timeout=5s`, `proxy_next_upstream`. Keepalive к upstream отключён, чтобы LB честно ротировал запросы. - **≥2 API-реплики.** Сервис `api` в `compose.yaml` без `container_name` и без `ports`, `deploy.replicas: 2`, лимиты `cpus: "1.0"` / `memory: 512M`. - **X-Instance-Id.** `docker-entrypoint.sh` генерирует `INSTANCE_ID` при старте каждой реплики (и пишет в `/tmp/instance_id` для hook'а); middleware в `src/app/main.py` добавляет `X-Instance-Id` во все ответы. - **Общая идемпотентность.** `POST /chats/{id}/messages` требует `Idempotency-Key`. Scope: `user_id + method + path + key`. Атомарный `INSERT … ON CONFLICT DO NOTHING RETURNING` в `idempotency_keys`; победитель создаёт сообщение и фиксирует ответ, остальные получают replay или 409 при другом `body_hash`. - **Graceful shutdown.** SIGTERM → `server.should_exit=True`, uvicorn закрывает сокет и дожидается текущих запросов. - **Action scripts.** `scripts/restart.bat/.sh` (перезапуск LB + api + postgres + redis с сохранением volumes), `scripts/stop-one.bat/.sh` (останавливает именно ту реплику, чей `INSTANCE_ID` совпадает с `TARGET_INSTANCE_ID`, и оставляет её остановленной). - **Свои тесты.** `student-tests/lab3_test_level4.py`: два `X-Instance-Id` через LB, идемпотентность через реплики, отказ одной реплики с восстановлением. Команды запуска из чистого clone: ``` git clone https://gitflic.ru/project/vasyukova-nat/mtusi2026lab3.git git checkout solution/BVT2303-Vasyukova copy .env.example .env docker compose --env-file .env up -d --build curl.exe -s http://localhost:8080/health/ready # {"status":"ok"} ``` Windows-окружение (Python читает UTF-8 корректно только с этой переменной): ``` $env:PYTHONUTF8="1" ``` Проверки: ``` python scripts/check_contract.py python scripts/validate_openapi.py python tests/smoke.py --base-url http://localhost:8080 python student-tests/lab3_test_level4.py --base-url http://localhost:8080 python tests/resilience.py --mode persistence --action-script scripts/restart.bat --base-url http://localhost:8080 python tests/resilience.py --mode failover --action-script scripts/stop-one.bat --base-url http://localhost:8080 docker compose --env-file .env up -d api # вернуть обе реплики после failover ``` Результаты проверок и ссылка на REPORT.md: - `check_contract.py` — PASS - `validate_openapi.py` — PASS - `tests/smoke.py` — `PASS: lab3 public API scenario; infrastructure and grading evidence remain separate.` - `student-tests/lab3_test_level4.py` — PASS, `observed instances: ['00c1651b90c9', 'f8f94301bb06']`; идемпотентность: 10 параллельных POST с одним ключом → ровно 1 сообщение; failover: `after-fail instances: {'f8f94301bb06'}` - `resilience.py --mode persistence` — `PASS: persistence preserved confirmed data and existing session.` - `resilience.py --mode failover` — `{"observed_instances_before": 2, "successful_writes": 7, "failed_attempts": 0, "first_recovery_seconds": 5.189}` — PASS Полные команды, наблюдения и таблицы критериев — в [REPORT.md](REPORT.md). Ограничения / известные ошибки: - Один Docker-host. LB, PostgreSQL и Redis — единичные экземпляры; отказ узла и HA БД/LB не заявляются. - Обнаружение отказа реплики реактивное: nginx узнаёт о ней по первой ошибке (`max_fails=1 fail_timeout=5s`), поэтому возможна задержка ~5 с до исключения из ротации. Это укладывается в требование «≤10 с». - Идемпотентность только на POST сообщения. `POST /users` и `POST /chats` без `Idempotency-Key` — повтор создаёт новый объект/409, как и предписано контрактом. - Миграции (`init_schema()`) запускаются на старте каждой реплики. Гонки нет благодаря `CREATE TABLE IF NOT EXISTS`; отдельный миграционный job не выделен — осознанное упрощение учебного уровня. - Нагрузочные замеры RPS/p50/p95/p99 при фиксированных лимитах не проводились (для целевой оценки 4 не требуются). Трек 5 не заявлен. Источники и использование ИИ: - Контракт: `contracts/openapi.json`, `contracts/README.md`. - Инструкции: `README.md`, `COURSE.md`, `CONTRIBUTING.md`, `tests/README.md`, `infra/README.md`. - Библиотеки: fastapi==0.115.0, uvicorn[standard]==0.32.0, psycopg[binary]==3.2.3, psycopg_pool==3.2.3, redis==5.2.0, openapi-spec-validator==0.7.2. - ИИ: DeepSeek — помощь в структурировании кода и текста отчёта. Все фрагменты проверены, отредактированы и запущены разработчиком на локальном стенде. - [x] Весь обязательный минимум текущей и предыдущих работ сохранён с объявленными переходами. - [x] Контракт и публичные тесты не ослаблены. - [x] `make check` и `make test` выполнены; приложен реальный вывод (в среде автора `make` недоступен, использованы эквивалентные прямые вызовы из `REPORT.md`). - [x] Сценарии отказов/безопасности своего уровня воспроизведены (persistence, failover, идемпотентность под конкуренцией, graceful shutdown). - [x] Все секреты и приватные ключи находятся вне Git; отчёт не содержит tokens. - [x] README задания сохранён, `REPORT.md` содержит инструкцию именно моего решения.
Vasyukova-Nat added 11 commits 2026-10-08 22:39:39 +03:00
Owner

На уровне 3 основные проблемы:

  • Неатомарная идемпотентность: после сбоя сообщение сохраняется, ключ остаётся незавершённым, а повтор зависает и получает 504. Это главный блокер. Код.
  • Вход с паролем на кириллице не работает: регистрация успешна, правильный пароль при входе даёт 401. Код.
  • Нарушения контракта: у ошибок API 500 отсутствуют обязательные заголовки; принимаются пробельные имена/названия, не-ASCII ключи и некорректный курсор чатов. Повтор с attachment_ids:[] отклоняется, хотя поручение требует его эквивалентности отсутствующему полю; здесь есть несогласованность с OpenAPI.

На уровне 4:

  • Описанное обновление останавливает обе API одновременно: получены 548 ошибок из 5382 запросов — 10,18%. Независимая поочерёдная замена прошла успешно. REPORT.md:177.
  • После общего restart LB иногда видит только одну из двух здоровых реплик. Потребовался отдельный рестарт LB. infra/nginx.conf:7.
  • Миграции запускаются каждой API, отдельного однократного этапа нет. src/app/main.py:35.
  • Лимиты CPU/RAM есть только у API, отсутствуют у PostgreSQL, Redis и LB. compose.yaml:9.
На уровне 3 основные проблемы: - Неатомарная идемпотентность: после сбоя сообщение сохраняется, ключ остаётся незавершённым, а повтор зависает и получает 504. Это главный блокер. [Код](https://gitea.privcloud.tech/Vasyukova-Nat/mtusi2026lab3/src/commit/d56698c3e360eb9421cb587b898462ea9e160067/src/app/api/messages.py#L96). - Вход с паролем на кириллице не работает: регистрация успешна, правильный пароль при входе даёт 401. [Код](https://gitea.privcloud.tech/Vasyukova-Nat/mtusi2026lab3/src/commit/d56698c3e360eb9421cb587b898462ea9e160067/src/app/api/auth.py#L51). - Нарушения контракта: у ошибок API 500 отсутствуют обязательные заголовки; принимаются пробельные имена/названия, не-ASCII ключи и некорректный курсор чатов. Повтор с attachment_ids:[] отклоняется, хотя поручение требует его эквивалентности отсутствующему полю; здесь есть несогласованность с OpenAPI. На уровне 4: - Описанное обновление останавливает обе API одновременно: получены 548 ошибок из 5382 запросов — 10,18%. Независимая поочерёдная замена прошла успешно. [REPORT.md:177](https://gitea.privcloud.tech/Vasyukova-Nat/mtusi2026lab3/src/commit/d56698c3e360eb9421cb587b898462ea9e160067/REPORT.md#L177). - После общего restart LB иногда видит только одну из двух здоровых реплик. Потребовался отдельный рестарт LB. [infra/nginx.conf:7](https://gitea.privcloud.tech/Vasyukova-Nat/mtusi2026lab3/src/commit/d56698c3e360eb9421cb587b898462ea9e160067/infra/nginx.conf#L7). - Миграции запускаются каждой API, отдельного однократного этапа нет. [src/app/main.py:35](https://gitea.privcloud.tech/Vasyukova-Nat/mtusi2026lab3/src/commit/d56698c3e360eb9421cb587b898462ea9e160067/src/app/main.py#L35). - Лимиты CPU/RAM есть только у API, отсутствуют у PostgreSQL, Redis и LB. [compose.yaml:9](https://gitea.privcloud.tech/Vasyukova-Nat/mtusi2026lab3/src/commit/d56698c3e360eb9421cb587b898462ea9e160067/compose.yaml#L9).
Vasyukova-Nat added 1 commit 2026-10-10 11:45:28 +03:00
Vasyukova-Nat added 1 commit 2026-10-10 11:54:35 +03:00
Vasyukova-Nat added 1 commit 2026-10-10 12:04:37 +03:00
Vasyukova-Nat added 1 commit 2026-10-10 15:58:48 +03:00
Vasyukova-Nat added 1 commit 2026-10-10 16:02:38 +03:00
Vasyukova-Nat added 2 commits 2026-10-10 16:12:47 +03:00
Author
First-time contributor

Все 7 замечаний исправила. Провела полный цикл повторного тестирования - все тесты успешно прошли.

Все 7 замечаний исправила. Провела полный цикл повторного тестирования - все тесты успешно прошли.
Owner

Принято. Закрываю МР.

Принято. Закрываю МР.
veprickiy closed this pull request 2026-10-11 18:59:16 +03:00

Pull request closed

Please reopen this pull request to perform a merge.
Sign in to join this conversation.
No Reviewers
No labels
2 Participants
Notifications
Due Date
No due date set.
Dependencies

No dependencies set.

Reference: mtusi2026/mtusi2026lab3#2