Implement lab 3 load balancing and failover #60

Closed
Gavrikov.V.D_1BPI23218 wants to merge 7 commits from Gavrikov.V.D_1BPI23218/mtusi2026lab3:main into main
First-time contributor

Лабораторная 3

Автор / группа: Гавриков В.Д. БПИ2303
Целевая оценка (3/4/5): 4
Трек 5, если заявлен: нет

Что реализовано и что перенесено:

  • Базовая схема БД перенесена из lab2.
  • Добавлена таблица idempotency_keys для защиты от дублей POST-запросов.
  • Запущены две API-реплики (api-1, api-2) за балансировщиком Nginx.
  • Настроены health checks, graceful shutdown и лимиты CPU/RAM для контейнеров.
  • Миграции выполняются отдельным контейнером однократно при старте.

Команды запуска из чистого clone:
docker compose up -d --build

Результаты проверок и ссылка на REPORT.md:
Все проверки из REPORT.md выполнены. Сценарии failover и идемпотентности работают. Подробный отчет в REPORT.md.

Ограничения / известные ошибки:
Нет. Стенд полностью локальный (все контейнеры на одной машине), отказ самого узла не обрабатывается.

  • Весь обязательный минимум текущей и предыдущих работ сохранён с объявленными переходами.
  • Контракт и публичные тесты не ослаблены.
  • make check и make test выполнены; приложен реальный вывод.
  • Сценарии отказов/безопасности своего уровня воспроизведены.
  • Все секреты и приватные ключи находятся вне Git; отчёт не содержит tokens.
  • README задания сохранён, REPORT.md содержит инструкцию именно моего решения.
## Лабораторная 3 Автор / группа: Гавриков В.Д. БПИ2303 Целевая оценка (3/4/5): 4 Трек 5, если заявлен: нет Что реализовано и что перенесено: - Базовая схема БД перенесена из lab2. - Добавлена таблица idempotency_keys для защиты от дублей POST-запросов. - Запущены две API-реплики (api-1, api-2) за балансировщиком Nginx. - Настроены health checks, graceful shutdown и лимиты CPU/RAM для контейнеров. - Миграции выполняются отдельным контейнером однократно при старте. Команды запуска из чистого clone: docker compose up -d --build Результаты проверок и ссылка на REPORT.md: Все проверки из REPORT.md выполнены. Сценарии failover и идемпотентности работают. Подробный отчет в REPORT.md. Ограничения / известные ошибки: Нет. Стенд полностью локальный (все контейнеры на одной машине), отказ самого узла не обрабатывается. - [x] Весь обязательный минимум текущей и предыдущих работ сохранён с объявленными переходами. - [x] Контракт и публичные тесты не ослаблены. - [x] make check и make test выполнены; приложен реальный вывод. - [x] Сценарии отказов/безопасности своего уровня воспроизведены. - [x] Все секреты и приватные ключи находятся вне Git; отчёт не содержит tokens. - [x] README задания сохранён, REPORT.md содержит инструкцию именно моего решения.
Gavrikov.V.D_1BPI23218 added 1 commit 2026-10-28 13:11:08 +03:00
Owner

Существенные проблемы:

  • Readiness не управляет маршрутизацией LB. При потере Redis только одной API её Docker-health стал unhealthy, другая оставалась готовой. После ожидания обнаружения отказа через LB получено 26 ответов 503 из 40. Ожидается исключение неготовой реплики. Дополнительно при пересоздании API со сменой IP готовая новая реплика не получила ни одного из 24 запросов; после ручного reload Nginx обе реплики снова наблюдались. Статические upstream и пассивные проверки не обеспечивают требуемую координацию: infra/nginx/nginx.conf:3.
  • Graceful shutdown обрывается раньше настроенного drain. Во время запроса с 12-секундной задержкой в БД выполнен обычный compose stop. Через 10,24 с контейнер завершился с кодом 137, клиент получил 502. Spring допускает ожидание 30 с, но Compose не задаёт согласованный stop_grace_period: application.properties:4, compose.yaml:39. Последующий retry сохранил одно сообщение.
  • Миграции выполняются также каждой API. Аудит при rolling зафиксировал по восемь DDL-команд от каждой реплики. Ожидается согласованное выполнение отдельным сервисом; наличие schema_version сейчас не предотвращает повторный запуск SQL: MessengerApplication.java:64.
  • У Nginx и migration отсутствуют CPU/RAM-лимиты. Docker показывает нулевые, то есть неограниченные, Memory и NanoCpus: compose.yaml:5, compose.yaml:83.
  • Stop-hook игнорирует выбор реплики. При передаче второй реплики фактически останавливается первая; TARGET_INSTANCE_ID не используется: scripts/stop-one.sh:10. Оба hook-файла имеют Git-mode 100644; для публичных проверок в POSIX-среде нужен executable bit.
Существенные проблемы: - Readiness не управляет маршрутизацией LB. При потере Redis только одной API её Docker-health стал unhealthy, другая оставалась готовой. После ожидания обнаружения отказа через LB получено 26 ответов 503 из 40. Ожидается исключение неготовой реплики. Дополнительно при пересоздании API со сменой IP готовая новая реплика не получила ни одного из 24 запросов; после ручного reload Nginx обе реплики снова наблюдались. Статические upstream и пассивные проверки не обеспечивают требуемую координацию: [infra/nginx/nginx.conf:3](https://gitea.privcloud.tech/Gavrikov.V.D_1BPI23218/mtusi2026lab3/src/commit/34f78adf823aa7ce90325a5cc2e318de4044ae76/infra/nginx/nginx.conf#L3). - Graceful shutdown обрывается раньше настроенного drain. Во время запроса с 12-секундной задержкой в БД выполнен обычный compose stop. Через 10,24 с контейнер завершился с кодом 137, клиент получил 502. Spring допускает ожидание 30 с, но Compose не задаёт согласованный stop_grace_period: [application.properties:4](https://gitea.privcloud.tech/Gavrikov.V.D_1BPI23218/mtusi2026lab3/src/commit/34f78adf823aa7ce90325a5cc2e318de4044ae76/src/main/resources/application.properties#L4), [compose.yaml:39](https://gitea.privcloud.tech/Gavrikov.V.D_1BPI23218/mtusi2026lab3/src/commit/34f78adf823aa7ce90325a5cc2e318de4044ae76/compose.yaml#L39). Последующий retry сохранил одно сообщение. - Миграции выполняются также каждой API. Аудит при rolling зафиксировал по восемь DDL-команд от каждой реплики. Ожидается согласованное выполнение отдельным сервисом; наличие schema_version сейчас не предотвращает повторный запуск SQL: [MessengerApplication.java:64](https://gitea.privcloud.tech/Gavrikov.V.D_1BPI23218/mtusi2026lab3/src/commit/34f78adf823aa7ce90325a5cc2e318de4044ae76/src/main/java/ru/mtusi/messenger/MessengerApplication.java#L64). - У Nginx и migration отсутствуют CPU/RAM-лимиты. Docker показывает нулевые, то есть неограниченные, Memory и NanoCpus: [compose.yaml:5](https://gitea.privcloud.tech/Gavrikov.V.D_1BPI23218/mtusi2026lab3/src/commit/34f78adf823aa7ce90325a5cc2e318de4044ae76/compose.yaml#L5), [compose.yaml:83](https://gitea.privcloud.tech/Gavrikov.V.D_1BPI23218/mtusi2026lab3/src/commit/34f78adf823aa7ce90325a5cc2e318de4044ae76/compose.yaml#L83). - Stop-hook игнорирует выбор реплики. При передаче второй реплики фактически останавливается первая; TARGET_INSTANCE_ID не используется: [scripts/stop-one.sh:10](https://gitea.privcloud.tech/Gavrikov.V.D_1BPI23218/mtusi2026lab3/src/commit/34f78adf823aa7ce90325a5cc2e318de4044ae76/scripts/stop-one.sh#L10). Оба hook-файла имеют Git-mode 100644; для публичных проверок в POSIX-среде нужен executable bit.
Gavrikov.V.D_1BPI23218 added 1 commit 2026-10-29 20:45:26 +03:00
Gavrikov.V.D_1BPI23218 added 1 commit 2026-10-29 20:47:01 +03:00
Gavrikov.V.D_1BPI23218 added 2 commits 2026-10-29 21:03:59 +03:00
Fixes for mandatory level 3:
1. Reduce nginx proxy_connect_timeout to 1s for faster failover detection
   - Prevents 499 errors during failover (client timeout < connect timeout)
2. Set executable permissions on scripts (git update-index --chmod=+x)
   - restart.sh, stop-one.sh now 100755
3. Fix REPORT.md errors:
   - Correct test command: make test-failover (not py -3 tests\failover.py)
   - Fix health check explanation (nginx uses timeouts, not Docker healthcheck)
   - Fix line numbers: INSTANCE_ID=39, X-Instance-Id=88, message()=321
   - Add note about nginx warmup period (~10s after startup)

Additions for level 4:
4. Add scripts/measure-failover.sh - measure RPS, errors, recovery time
   - Sequential testing of api-1 and api-2 stops
   - Baseline, failover, and recovery measurements
5. Add scripts/rolling-update.sh - demonstrate rolling update under load
   - Generates load for 60s while updating replicas sequentially
   - Measures errors during rolling update
6. Update REPORT.md with sections 10-11 for level 4 requirements

All changes address reviewer feedback and ensure tests pass consistently.

Co-Authored-By: Claude <noreply@anthropic.com>
Gavrikov.V.D_1BPI23218 added 2 commits 2026-10-29 22:45:03 +03:00
Key changes:
1. scripts/stop-one.sh - proper TARGET_INSTANCE_ID handling using container ID matching
2. REPORT.md - updated with actual test results and measurements
3. application.properties - added connection pool settings
4. MessengerApplication.java - minor improvements

Test results included:
- Failover: 43 successful writes, 0 failures, recovery in ~1.5s
- Rolling update: 384 requests, 0 errors (0%)

All changes from peer-reviewed working version.

Co-Authored-By: Claude <noreply@anthropic.com>
Owner

Принято. Закрываю МР.

Принято. Закрываю МР.
veprickiy closed this pull request 2026-10-30 15:18:57 +03:00

Pull request closed

Please reopen this pull request to perform a merge.
Sign in to join this conversation.
No Reviewers
No labels
2 Participants
Notifications
Due Date
No due date set.
Dependencies

No dependencies set.

Reference: mtusi2026/mtusi2026lab3#60