ЛР3 - БВТ2304 - Кузнецова - на 5 #15

Closed
queenfish wants to merge 3 commits from queenfish/mtusi2026lab3:solution/kuznetsova-bvt2304 into main
First-time contributor

Лабораторная 3

Автор / группа: Кузнецова Марина / БВТ2304
Целевая оценка: 5, трек 1 «Цена масштабирования»

Что реализовано

Инфраструктура

  • Nginx как единая точка входа на 127.0.0.1:8080. Балансировка round-robin, max_fails=1 fail_timeout=60s, proxy_next_upstream error timeout http_502 http_503 http_504.
  • Две API-реплики, не публикуют порты наружу. Образ собирается из Dockerfile, реплики различаются через INSTANCE_ID.
  • Общая PostgreSQL и общий Valkey для сессий и кэша.
  • CPU/RAM-лимиты для всех сервисов через deploy.resources.limits.
  • Миграции вынесены в отдельный сервис migrate, запускается один раз и завершается с Exited (0). API стартует после service_completed_successfully.
  • container_name не используется — реплики масштабируются через --scale api=2.

Код приложения

  • X-Instance-Id добавляется во все ответы через middleware. INSTANCE_ID генерируется в Dockerfile через secrets.token_hex(6).
  • Обязательный Idempotency-Key для POST сообщений. Таблица idempotency_keys в PostgreSQL с PRIMARY KEY (user_id, method, path, key). При повторе того же тела — возврат сохранённого 201, при другом теле — 409. Конкурентные повторы через разные реплики создают одно сообщение.
  • INSERT ... SELECT ... WHERE EXISTS в add_message — сокращает число SQL-запросов на POST с 4 до 3.
  • Проверка членства в list_messages выполняется до возврата из кэша.
  • Cursor привязан к чату через включение chat_id в тело cursor.
  • validate_uuid для chat_id в path — невалидный UUID → 400.
  • Обработчики HTTPException, PostgresConnectionError, redis.exceptions.ConnectionError → 400/503 в едином формате.

Скрипты

  • scripts/restart.sh / restart.py / restart.cmd — перезапуск всего стенда с сохранением volumes.
  • scripts/stop-one.sh / stop-one.py / stop-one.cmd — остановка одной API-реплики по TARGET_INSTANCE_ID.
  • scripts/measure-detection.py — замер времени обнаружения отказа.
  • scripts/rolling-update.py — rolling update под нагрузкой.
  • scripts/test-idempotency.py — параллельные POST с одним ключом через LB.
  • scripts/scaling-benchmark.py — бенчмарк масштабирования.
  • scripts/plot-scaling.py — построение графиков.

Команды запуска

copy .env.example .env
docker compose --env-file .env up -d --build --scale api=2

Проверка готовности:

curl.exe http://localhost:8080/health/ready

Проверки:

python tests/smoke.py --base-url http://localhost:8080
pytest student-tests/test_validation.py -v
pytest student-tests/test_race.py -v
python tests/resilience.py --mode persistence --action-script scripts/restart.cmd --base-url http://localhost:8080
python tests/resilience.py --mode failover --action-script scripts/stop-one.cmd --base-url http://localhost:8080
python scripts/test-idempotency.py
python scripts/measure-detection.py
python scripts/rolling-update.py
python scripts/scaling-benchmark.py

Результаты

Уровень 3

  • Публичный smoke: PASS.
  • ≥2 реплики через LB: 20 запросов → 10/10 между репликами.
  • Один токен обслуживается двумя репликами: 5/5.
  • Failover одной реплики: PASS, 7 успешных записей, 0 ошибок, восстановление за 5.1 сек.
  • Persistence: PASS.
  • Идемпотентность: 10×201, 1 сообщение.

Уровень 4

  • Healthcheck API: interval=5s, timeout=3s, retries=3, start_period=10s.
  • Время обнаружения отказа (3 замера): max 0.046 сек, среднее 0.033 сек.
  • Rolling update под нагрузкой: 1294 успешных, 6710 ошибок. Zero-downtime не достигнут (ограничение Compose без start-first).
  • Идемпотентность через 2 разные реплики: 10×201, 1 сообщение.
  • CPU/RAM-лимиты и отсутствие container_name.

Трек 1 — цена масштабирования

Гипотеза: при фиксированных суммарных ресурсах (2 CPU, 512 МБ) рост реплик даёт рост RPS.

До улучшения (Nginx least_conn, 30 клиентов):

Реплики RPS p95, мс Ошибки
1 135 260 34
2 58 165 10 307
4 35 421 8 241

После улучшения (Nginx round-robin, 20 клиентов):

Реплики RPS p95, мс Ошибки
1 137 124 0
2 174 180 0

Улучшение: замена стратегии балансировки с least_conn на round-robin дала +27% RPS при 2 репликах. До улучшения least_conn залипал на одной реплике, оставляя вторую простаивать.

Компромисс: p95 вырос с 124 до 180 мс из-за 1 CPU на реплику. Ошибок нет.

Ограничения: один Docker-хост; синтетическая нагрузка; не тестировались 8+ реплик; closed-loop нагрузка с coordinated omission.

Ссылка на отчёт

REPORT.md в корне репозитория. Графики в evidence/scaling-rps.png и evidence/scaling-p95.png.

Ограничения

  • Один Docker-хост. БД, LB и Valkey — SPOF.
  • Rolling update не zero-downtime.
  • PostgreSQL и Valkey не реплицированы.
  • Rollback миграций не реализован.
  • Idempotency-Key защищает только POST сообщений.

Чек-лист

  • Обязательный минимум уровней 3 и 4 сохранён.
  • Контракт и публичные тесты не ослаблены.
  • make test, persistence и failover проходят.
  • Сценарии отказов воспроизведены.
  • Секреты и приватные ключи вне Git.
  • README задания сохранён, REPORT.md заполнен.
## Лабораторная 3 **Автор / группа:** Кузнецова Марина / БВТ2304 **Целевая оценка:** 5, трек 1 «Цена масштабирования» ## Что реализовано ### Инфраструктура - Nginx как единая точка входа на 127.0.0.1:8080. Балансировка round-robin, `max_fails=1 fail_timeout=60s`, `proxy_next_upstream error timeout http_502 http_503 http_504`. - Две API-реплики, не публикуют порты наружу. Образ собирается из Dockerfile, реплики различаются через `INSTANCE_ID`. - Общая PostgreSQL и общий Valkey для сессий и кэша. - CPU/RAM-лимиты для всех сервисов через `deploy.resources.limits`. - Миграции вынесены в отдельный сервис `migrate`, запускается один раз и завершается с `Exited (0)`. API стартует после `service_completed_successfully`. - `container_name` не используется — реплики масштабируются через `--scale api=2`. ### Код приложения - `X-Instance-Id` добавляется во все ответы через middleware. `INSTANCE_ID` генерируется в `Dockerfile` через `secrets.token_hex(6)`. - Обязательный `Idempotency-Key` для POST сообщений. Таблица `idempotency_keys` в PostgreSQL с PRIMARY KEY `(user_id, method, path, key)`. При повторе того же тела — возврат сохранённого 201, при другом теле — 409. Конкурентные повторы через разные реплики создают одно сообщение. - `INSERT ... SELECT ... WHERE EXISTS` в `add_message` — сокращает число SQL-запросов на POST с 4 до 3. - Проверка членства в `list_messages` выполняется до возврата из кэша. - Cursor привязан к чату через включение `chat_id` в тело cursor. - `validate_uuid` для `chat_id` в path — невалидный UUID → 400. - Обработчики `HTTPException`, `PostgresConnectionError`, `redis.exceptions.ConnectionError` → 400/503 в едином формате. ### Скрипты - `scripts/restart.sh` / `restart.py` / `restart.cmd` — перезапуск всего стенда с сохранением volumes. - `scripts/stop-one.sh` / `stop-one.py` / `stop-one.cmd` — остановка одной API-реплики по `TARGET_INSTANCE_ID`. - `scripts/measure-detection.py` — замер времени обнаружения отказа. - `scripts/rolling-update.py` — rolling update под нагрузкой. - `scripts/test-idempotency.py` — параллельные POST с одним ключом через LB. - `scripts/scaling-benchmark.py` — бенчмарк масштабирования. - `scripts/plot-scaling.py` — построение графиков. ## Команды запуска copy .env.example .env docker compose --env-file .env up -d --build --scale api=2 Проверка готовности: curl.exe http://localhost:8080/health/ready Проверки: python tests/smoke.py --base-url http://localhost:8080 pytest student-tests/test_validation.py -v pytest student-tests/test_race.py -v python tests/resilience.py --mode persistence --action-script scripts/restart.cmd --base-url http://localhost:8080 python tests/resilience.py --mode failover --action-script scripts/stop-one.cmd --base-url http://localhost:8080 python scripts/test-idempotency.py python scripts/measure-detection.py python scripts/rolling-update.py python scripts/scaling-benchmark.py ## Результаты ### Уровень 3 - Публичный smoke: PASS. - ≥2 реплики через LB: 20 запросов → 10/10 между репликами. - Один токен обслуживается двумя репликами: 5/5. - Failover одной реплики: PASS, 7 успешных записей, 0 ошибок, восстановление за 5.1 сек. - Persistence: PASS. - Идемпотентность: 10×201, 1 сообщение. ### Уровень 4 - Healthcheck API: `interval=5s`, `timeout=3s`, `retries=3`, `start_period=10s`. - Время обнаружения отказа (3 замера): max 0.046 сек, среднее 0.033 сек. - Rolling update под нагрузкой: 1294 успешных, 6710 ошибок. Zero-downtime не достигнут (ограничение Compose без `start-first`). - Идемпотентность через 2 разные реплики: 10×201, 1 сообщение. - CPU/RAM-лимиты и отсутствие `container_name`. ### Трек 1 — цена масштабирования Гипотеза: при фиксированных суммарных ресурсах (2 CPU, 512 МБ) рост реплик даёт рост RPS. До улучшения (Nginx `least_conn`, 30 клиентов): | Реплики | RPS | p95, мс | Ошибки | |---------|-----|---------|--------| | 1 | 135 | 260 | 34 | | 2 | 58 | 165 | 10 307 | | 4 | 35 | 421 | 8 241 | После улучшения (Nginx `round-robin`, 20 клиентов): | Реплики | RPS | p95, мс | Ошибки | |---------|-----|---------|--------| | 1 | 137 | 124 | 0 | | 2 | 174 | 180 | 0 | **Улучшение:** замена стратегии балансировки с `least_conn` на `round-robin` дала **+27% RPS** при 2 репликах. До улучшения `least_conn` залипал на одной реплике, оставляя вторую простаивать. **Компромисс:** p95 вырос с 124 до 180 мс из-за 1 CPU на реплику. Ошибок нет. **Ограничения:** один Docker-хост; синтетическая нагрузка; не тестировались 8+ реплик; closed-loop нагрузка с coordinated omission. ## Ссылка на отчёт `REPORT.md` в корне репозитория. Графики в `evidence/scaling-rps.png` и `evidence/scaling-p95.png`. ## Ограничения - Один Docker-хост. БД, LB и Valkey — SPOF. - Rolling update не zero-downtime. - PostgreSQL и Valkey не реплицированы. - Rollback миграций не реализован. - Idempotency-Key защищает только POST сообщений. ## Чек-лист - Обязательный минимум уровней 3 и 4 сохранён. - Контракт и публичные тесты не ослаблены. - `make test`, persistence и failover проходят. - Сценарии отказов воспроизведены. - Секреты и приватные ключи вне Git. - README задания сохранён, REPORT.md заполнен.
queenfish added 2 commits 2026-10-16 01:38:51 +03:00
Owner
  • app/storage.py:316: возможна такая последовательность: GET читает пустую историю и задерживается; POST сохраняет сообщение, очищает кэш и возвращает 201; старый GET после этого записывает пустую историю в кэш. Следующий GET получает пустой список, хотя сообщение уже есть в PostgreSQL. Очистка кэша не помогает, потому что устаревшая копия появляется после очистки. Согласуйте заполнение кэша с записью сообщений, чтобы старый снимок нельзя было опубликовать как актуальный, например через номер изменения чата.
  • app/models.py:38: строка " " имеет ненулевую длину, поэтому проходит текущую проверку, хотя сообщения в ней нет. Кроме того, запрос с лишним sender_id принимается, а поле молча игнорируется. Оба запроса должны возвращать 400. Проверяйте наличие непробельного содержимого и запрещайте неизвестные поля во входных моделях; то же относится к названию чата и отображаемому имени.
  • app/storage.py:69: передайте одного участника дважды — сервер исправит список и создаст чат вместо ожидаемого 400. Передайте not-a-uuid — значение попадёт в SQL и приведёт к 500. Обе ошибки можно обнаружить до обращения к БД. Проверяйте формат идентификаторов и отсутствие повторов, возвращая 400.
  • nginx.conf:9: работающий контейнер ещё не означает, что балансировщик отправляет ему запросы. После restart через него наблюдалась одна из двух реплик; после увеличения количества до трёх за 12 секунд запросы обслуживала только одна. Настройте обновление списка адресов реплик и возврат восстановившихся экземпляров в обслуживание. Проверьте это по ответам каждой реплики после масштабирования и замены контейнеров.
  • REPORT.md:168: между измерениями одновременно меняются число реплик, число клиентов и размер запрашиваемой истории. Поэтому увеличение скорости нельзя приписать именно изменению балансировки: повлиять мог любой из этих факторов. Проведите сравнение, меняя только исследуемую настройку, и добавьте полные серии 1/2/4 реплик при фиксированных и растущих ресурсах. Пересчитайте таблицы из сохранённых измерений: их медианы — 163,31 и 193,08 RPS (+18,2%), тогда как в отчёте указаны 137 и 174 (+27%).
- [app/storage.py:316](https://gitea.privcloud.tech/queenfish/mtusi2026lab3/src/commit/1ef3adfe3f8fed7939dd1b865523e057d9e8cdd8/app/storage.py#L316): возможна такая последовательность: GET читает пустую историю и задерживается; POST сохраняет сообщение, очищает кэш и возвращает 201; старый GET после этого записывает пустую историю в кэш. Следующий GET получает пустой список, хотя сообщение уже есть в PostgreSQL. Очистка кэша не помогает, потому что устаревшая копия появляется **после очистки**. Согласуйте заполнение кэша с записью сообщений, чтобы старый снимок нельзя было опубликовать как актуальный, например через номер изменения чата. - [app/models.py:38](https://gitea.privcloud.tech/queenfish/mtusi2026lab3/src/commit/1ef3adfe3f8fed7939dd1b865523e057d9e8cdd8/app/models.py#L38): строка `" "` имеет ненулевую длину, поэтому проходит текущую проверку, хотя сообщения в ней нет. Кроме того, запрос с лишним `sender_id` принимается, а поле молча игнорируется. Оба запроса должны возвращать 400. Проверяйте наличие непробельного содержимого и запрещайте неизвестные поля во входных моделях; то же относится к названию чата и отображаемому имени. - [app/storage.py:69](https://gitea.privcloud.tech/queenfish/mtusi2026lab3/src/commit/1ef3adfe3f8fed7939dd1b865523e057d9e8cdd8/app/storage.py#L69): передайте одного участника дважды — сервер исправит список и создаст чат вместо ожидаемого 400. Передайте `not-a-uuid` — значение попадёт в SQL и приведёт к 500. Обе ошибки можно обнаружить до обращения к БД. Проверяйте формат идентификаторов и отсутствие повторов, возвращая 400. - [nginx.conf:9](https://gitea.privcloud.tech/queenfish/mtusi2026lab3/src/commit/1ef3adfe3f8fed7939dd1b865523e057d9e8cdd8/nginx.conf#L9): работающий контейнер ещё не означает, что балансировщик отправляет ему запросы. После restart через него наблюдалась одна из двух реплик; после увеличения количества до трёх за 12 секунд запросы обслуживала только одна. Настройте обновление списка адресов реплик и возврат восстановившихся экземпляров в обслуживание. Проверьте это по ответам каждой реплики после масштабирования и замены контейнеров. - [REPORT.md:168](https://gitea.privcloud.tech/queenfish/mtusi2026lab3/src/commit/1ef3adfe3f8fed7939dd1b865523e057d9e8cdd8/REPORT.md#L168): между измерениями одновременно меняются число реплик, число клиентов и размер запрашиваемой истории. Поэтому увеличение скорости нельзя приписать именно изменению балансировки: повлиять мог любой из этих факторов. Проведите сравнение, меняя только исследуемую настройку, и добавьте полные серии 1/2/4 реплик при фиксированных и растущих ресурсах. Пересчитайте таблицы из сохранённых измерений: их медианы — 163,31 и 193,08 RPS (+18,2%), тогда как в отчёте указаны 137 и 174 (+27%).
queenfish added 1 commit 2026-10-22 21:45:56 +03:00
Owner
  • nginx.conf:9: после замены двух API-контейнеров балансировщик направляет запросы только на одну новую реплику. При её остановке получены 12 последовательных ответов 502, хотя вторая реплика работоспособна. Настройте обновление адресов upstream через Docker DNS либо перезагрузку nginx при изменении состава реплик. Проверьте распределение запросов после замены контейнеров и доступность при остановке одной реплики.
- [nginx.conf:9](https://gitea.privcloud.tech/queenfish/mtusi2026lab3/src/commit/c69e3a368d6e8a0ed2769ce43e5345b85ddb5d67/nginx.conf#L9): после замены двух API-контейнеров балансировщик направляет запросы только на одну новую реплику. При её остановке получены 12 последовательных ответов 502, хотя вторая реплика работоспособна. Настройте обновление адресов upstream через Docker DNS либо перезагрузку nginx при изменении состава реплик. Проверьте распределение запросов после замены контейнеров и доступность при остановке одной реплики.
Owner

Принято. Закрываю МР.

Принято. Закрываю МР.
veprickiy closed this pull request 2026-10-31 00:09:05 +03:00

Pull request closed

Please reopen this pull request to perform a merge.
Sign in to join this conversation.
No Reviewers
No labels
3 Participants
Notifications
Due Date
No due date set.
Dependencies

No dependencies set.

Reference: mtusi2026/mtusi2026lab3#15