ЛР 3 - БВТ2303 - Кропивка - на 4 #3

Closed
Viktoria wants to merge 2 commits from Viktoria/mtusi2026lab3:solution/БВТ-23-Кропивка into main
First-time contributor

Лабораторная 3

Автор / группа: Кропивка Виктория / БВТ2303
Целевая оценка: 4
Трек 5: не заявлен

Что реализовано и что перенесено

  • сохранён минимум лабораторной 2: PostgreSQL, versioned migrations Alembic, Argon2id, Bearer-сессии с общим хранилищем отозванных токенов в Valkey, keyset-пагинация, connection pool с statement_timeout;
  • HAProxy round-robin перед двумя stateless API-репликами с Docker DNS discovery (127.0.0.11), healthcheck GET /health/ready каждые 2 секунды (fall 2 rise 2);
  • X-Instance-Id в каждом ответе, graceful shutdown, readiness, остановка выбранной реплики через scripts/stop-one.sh;
  • общая PostgreSQL-идемпотентность сообщений через таблицу idempotency_keys с обработкой гонок (UniqueViolation → перечитывание); обязательный Idempotency-Key для POST сообщений;
  • отдельный сервис migrate запускает alembic upgrade head однократно, API ждёт service_completed_successfully;
  • rolling update 2→2 под нагрузкой;
  • CPU/RAM-лимиты на всех сервисах, API не публикуют порты наружу, без container_name;
  • собственные black-box тесты: параллельная идемпотентность, гонка регистрации, rollback, expiry, отказы cache/БД.

Команды запуска из чистого clone

cp .env.example .env
docker compose --env-file .env up -d --build
docker compose ps
make test BASE_URL=http://localhost:8080
make test-persistence ACTION_SCRIPT=scripts/restart.sh BASE_URL=http://localhost:8080
make test-failover ACTION_SCRIPT=scripts/stop-one.sh BASE_URL=http://localhost:8080
cd student_tests
python3 test_parallel_idempotency.py --base-url http://localhost:8080
Результаты проверок
make test → PASS: lab3 public API scenario;

make test-persistence ACTION_SCRIPT=scripts/restart.sh → PASS: persistence preserved confirmed data and existing session;

failover реплики (прогон 1): восстановление за 2.718 секунды, 106 успешных записей во время отказа, 1 фейл;

failover второй реплики (прогон 2): восстановление за 2.488 секунды, 105 успешных записей, 1 фейл;

конкурентная идемпотентность: 10 одновременных POST с одним Idempotency-Key, {409: 9, 201: 1}, в истории одно сообщение;

rolling update под нагрузкой: 3197 успешных, 9 ошибок (0.28%), 53.2 RPS, p50 = 25 ms, p95 = 183 ms, p99 = 272 ms;

балансировка: чередование двух X-Instance-Id между запросами к /health/live.

Методика, результаты и ограничения приведены в REPORT.md, сырые метрики rolling update — в evidence/load-rolling.json.

Ограничения / известные ошибки
Все компоненты размещены на одном Docker-хосте. HAProxy и PostgreSQL остаются SPOF; проверяется отказ процесса API, а не узла. Нагрузочный клиент closed-loop (tests/load.py), поэтому результаты применимы для сравнения конфигураций этого стенда. Cleanup идемпотентных ключей по TTL не реализован — ключи хранятся вечно (для lab3 приемлемо).

Источники и использование ИИ
Использованы официальные материалы HAProxy, Docker Compose, FastAPI, psycopg 3, Alembic, PostgreSQL, Valkey. При подготовке решения использовался LLM-ассистент (Claude) для генерации черновиков кода и объяснения контракта; итоговый код проверен публичным smoke, тестами failover/persistence/parallel idempotency и воспроизводимыми экспериментами.

- [ x] Весь обязательный минимум текущей и предыдущих работ сохранён с объявленными переходами.
- [ x] Контракт и публичные тесты не ослаблены.
- [ x]  make check и make test выполнены; приложен реальный вывод.
- [ x] Сценарии отказов уровня 4 воспроизведены (failover обеих реплик, parallel idempotency, rolling update).
- [ x] Все секреты и приватные ключи находятся вне Git; отчёт не содержит tokens.
- [ x]  README задания сохранён, REPORT.md содержит инструкцию именно моего решения.
## Лабораторная 3 Автор / группа: Кропивка Виктория / БВТ2303 Целевая оценка: 4 Трек 5: не заявлен ### Что реализовано и что перенесено - сохранён минимум лабораторной 2: PostgreSQL, versioned migrations Alembic, Argon2id, Bearer-сессии с общим хранилищем отозванных токенов в Valkey, keyset-пагинация, connection pool с `statement_timeout`; - HAProxy round-robin перед двумя stateless API-репликами с Docker DNS discovery (`127.0.0.11`), healthcheck `GET /health/ready` каждые 2 секунды (`fall 2 rise 2`); - `X-Instance-Id` в каждом ответе, graceful shutdown, readiness, остановка выбранной реплики через `scripts/stop-one.sh`; - общая PostgreSQL-идемпотентность сообщений через таблицу `idempotency_keys` с обработкой гонок (`UniqueViolation` → перечитывание); обязательный `Idempotency-Key` для POST сообщений; - отдельный сервис `migrate` запускает `alembic upgrade head` однократно, API ждёт `service_completed_successfully`; - rolling update 2→2 под нагрузкой; - CPU/RAM-лимиты на всех сервисах, API не публикуют порты наружу, без `container_name`; - собственные black-box тесты: параллельная идемпотентность, гонка регистрации, rollback, expiry, отказы cache/БД. ### Команды запуска из чистого clone ```sh cp .env.example .env docker compose --env-file .env up -d --build docker compose ps make test BASE_URL=http://localhost:8080 make test-persistence ACTION_SCRIPT=scripts/restart.sh BASE_URL=http://localhost:8080 make test-failover ACTION_SCRIPT=scripts/stop-one.sh BASE_URL=http://localhost:8080 cd student_tests python3 test_parallel_idempotency.py --base-url http://localhost:8080 Результаты проверок make test → PASS: lab3 public API scenario; make test-persistence ACTION_SCRIPT=scripts/restart.sh → PASS: persistence preserved confirmed data and existing session; failover реплики (прогон 1): восстановление за 2.718 секунды, 106 успешных записей во время отказа, 1 фейл; failover второй реплики (прогон 2): восстановление за 2.488 секунды, 105 успешных записей, 1 фейл; конкурентная идемпотентность: 10 одновременных POST с одним Idempotency-Key, {409: 9, 201: 1}, в истории одно сообщение; rolling update под нагрузкой: 3197 успешных, 9 ошибок (0.28%), 53.2 RPS, p50 = 25 ms, p95 = 183 ms, p99 = 272 ms; балансировка: чередование двух X-Instance-Id между запросами к /health/live. Методика, результаты и ограничения приведены в REPORT.md, сырые метрики rolling update — в evidence/load-rolling.json. Ограничения / известные ошибки Все компоненты размещены на одном Docker-хосте. HAProxy и PostgreSQL остаются SPOF; проверяется отказ процесса API, а не узла. Нагрузочный клиент closed-loop (tests/load.py), поэтому результаты применимы для сравнения конфигураций этого стенда. Cleanup идемпотентных ключей по TTL не реализован — ключи хранятся вечно (для lab3 приемлемо). Источники и использование ИИ Использованы официальные материалы HAProxy, Docker Compose, FastAPI, psycopg 3, Alembic, PostgreSQL, Valkey. При подготовке решения использовался LLM-ассистент (Claude) для генерации черновиков кода и объяснения контракта; итоговый код проверен публичным smoke, тестами failover/persistence/parallel idempotency и воспроизводимыми экспериментами. - [ x] Весь обязательный минимум текущей и предыдущих работ сохранён с объявленными переходами. - [ x] Контракт и публичные тесты не ослаблены. - [ x] make check и make test выполнены; приложен реальный вывод. - [ x] Сценарии отказов уровня 4 воспроизведены (failover обеих реплик, parallel idempotency, rolling update). - [ x] Все секреты и приватные ключи находятся вне Git; отчёт не содержит tokens. - [ x] README задания сохранён, REPORT.md содержит инструкцию именно моего решения.
Viktoria added 1 commit 2026-10-09 15:58:20 +03:00
Owner

На уровне 3:

  • Небезопасный повтор после обрыва POST: остаётся ключ со статусом 0, сообщения нет, повтор возвращает 409 даже после восстановления API.
  • Конкурентная идемпотентность: одинаковые запросы дали 19 ответов 201 и один 409; требуются одинаковые 201 для всех.
  • ACL при повторе: посторонний участник получает 404, затем 409 вместо повторного 404.
  • Идентификация реплик: оба API возвращают X-Instance-Id: unknown; оригинальный failover-тест не проходит.
  • Ошибки контракта: неверные UUID/cursor дают 500 вместо 400; ответы API 500 теряют обязательные заголовки, readiness содержит неправильный request_id.

На уровне 4:

  • Не выполнено требование корректной конкурентной идемпотентности.
  • У migrate отсутствуют CPU/RAM-лимиты.
  • Описание healthcheck не соответствует фактической конфигурации.
На уровне 3: - Небезопасный повтор после обрыва POST: остаётся ключ со статусом 0, сообщения нет, повтор возвращает 409 даже после восстановления API. - Конкурентная идемпотентность: одинаковые запросы дали 19 ответов 201 и один 409; требуются одинаковые 201 для всех. - ACL при повторе: посторонний участник получает 404, затем 409 вместо повторного 404. - Идентификация реплик: оба API возвращают X-Instance-Id: unknown; оригинальный failover-тест не проходит. - Ошибки контракта: неверные UUID/cursor дают 500 вместо 400; ответы API 500 теряют обязательные заголовки, readiness содержит неправильный request_id. На уровне 4: - Не выполнено требование корректной конкурентной идемпотентности. - У migrate отсутствуют CPU/RAM-лимиты. - Описание healthcheck не соответствует фактической конфигурации.
Viktoria added 1 commit 2026-10-10 08:57:12 +03:00
Author
First-time contributor

Уровень 3

  1. Небезопасный повтор после обрыва POST. Причина — резервирование ключа со status=0 вне транзакции. Исправлено: INSERT messages и INSERT idempotency_keys в одной транзакции, response_status=201 сразу. При падении ROLLBACK откатывает всё, ключ не остаётся.

  2. Конкурентная идемпотентность. Причина — в except UniqueViolation возвращался 409. Исправлено: retry loop, перечитывание результата победителя. Проверка: 10 потоков → {201: 10}, Unique response bodies: 1, Messages in history: 1.

  3. ACL при повторе. Проверка chat_members перенесена первой. Посторонний всегда получает 404.

  4. X-Instance-Id: unknown. Удалена строка INSTANCE_ID: ${HOSTNAME:-unknown} из compose.yaml. src/instance.py использует socket.gethostname(). Проверка: docker compose exec api env | grep INSTANCE_ID — пусто, x-instance-id — hostname реплики.

  5. Ошибки контракта.

    • Неверный UUID → 400: функция valid_uuid в роутах с {chat_id}.
    • 500 теряли заголовки → все обработчики добавляют X-Request-Id, X-Instance-Id.
    • Readiness с неправильным request_id → берётся из middleware, совпадает с заголовком.

Уровень 4

  1. Конкурентная идемпотентность — см. п. 2 выше.
  2. Migrate без лимитов — добавлены cpus: 0.5, memory: 256M.
  3. Healthcheck в отчёте — синхронизировано с compose.yaml.

Все тесты после исправлений проходят: make test, make test-persistence, make test-failover, test_parallel_idempotency.py.

### Уровень 3 1. **Небезопасный повтор после обрыва POST.** Причина — резервирование ключа со `status=0` вне транзакции. Исправлено: `INSERT messages` и `INSERT idempotency_keys` в одной транзакции, `response_status=201` сразу. При падении ROLLBACK откатывает всё, ключ не остаётся. 2. **Конкурентная идемпотентность.** Причина — в `except UniqueViolation` возвращался `409`. Исправлено: retry loop, перечитывание результата победителя. Проверка: 10 потоков → `{201: 10}`, `Unique response bodies: 1`, `Messages in history: 1`. 3. **ACL при повторе.** Проверка `chat_members` перенесена первой. Посторонний всегда получает `404`. 4. **`X-Instance-Id: unknown`.** Удалена строка `INSTANCE_ID: ${HOSTNAME:-unknown}` из `compose.yaml`. `src/instance.py` использует `socket.gethostname()`. Проверка: `docker compose exec api env | grep INSTANCE_ID` — пусто, `x-instance-id` — hostname реплики. 5. **Ошибки контракта.** - Неверный UUID → `400`: функция `valid_uuid` в роутах с `{chat_id}`. - 500 теряли заголовки → все обработчики добавляют `X-Request-Id`, `X-Instance-Id`. - Readiness с неправильным `request_id` → берётся из middleware, совпадает с заголовком. ### Уровень 4 1. **Конкурентная идемпотентность** — см. п. 2 выше. 2. **Migrate без лимитов** — добавлены `cpus: 0.5`, `memory: 256M`. 3. **Healthcheck в отчёте** — синхронизировано с `compose.yaml`. Все тесты после исправлений проходят: `make test`, `make test-persistence`, `make test-failover`, `test_parallel_idempotency.py`.
Owner

Принято. Закрываю МР.

Принято. Закрываю МР.
veprickiy closed this pull request 2026-10-11 18:59:18 +03:00

Pull request closed

Please reopen this pull request to perform a merge.
Sign in to join this conversation.
No Reviewers
No labels
2 Participants
Notifications
Due Date
No due date set.
Dependencies

No dependencies set.

Reference: mtusi2026/mtusi2026lab3#3