5.9 KiB
Исправления по результатам аудита отказоустойчивости
Дата: 2026-10-29
1. Добавлены ограничения ресурсов для Nginx и migration
Проблема: У сервисов nginx и migration отсутствовали CPU/RAM-лимиты.
Решение:
- Nginx: 0.5 CPU / 128M RAM (лимит), 0.1 CPU / 64M RAM (резервирование)
- Migration: 0.5 CPU / 256M RAM (лимит), 0.1 CPU / 128M RAM (резервирование)
Файл: compose.yaml:5, compose.yaml:83
2. Исправлена координация Nginx с readiness-проверками
Проблема: Статические upstream и пассивные проверки не обеспечивали исключение неготовых реплик из балансировки.
Решение:
- Добавлен
proxy_next_upstreamс повторными попытками на другой реплике при ошибках (error, timeout, http_503) - Настроены параметры:
proxy_next_upstream_tries 2иproxy_next_upstream_timeout 10s - Добавлен keepalive pool для поддержания постоянных соединений к backend-серверам
- Включена поддержка HTTP/1.1 с keepalive
Примечание: Для полноценного динамического discovery потребуется Nginx Plus с активными health checks или внешнее решение (Consul, service mesh). Текущее решение использует пассивные проверки с быстрым failover.
Файл: infra/nginx/nginx.conf:3
3. Настроен graceful shutdown с согласованным таймаутом
Проблема: Контейнеры завершались с кодом 137 раньше настроенного Spring drain-периода (30 секунд).
Решение:
- Добавлен
stop_grace_period: 30sдля обоих API-реплик (api-1, api-2) - Теперь Docker Compose дождётся завершения запросов в течение 30 секунд перед отправкой SIGKILL
- Согласовано с настройкой Spring:
spring.lifecycle.timeout-per-shutdown-phase=30s
Файлы: compose.yaml:39 (api-1), compose.yaml:71 (api-2)
4. Предотвращено дублирование миграций
Проблема: Каждая API-реплика выполняла миграции, что приводило к дублированию DDL-команд.
Решение:
- Миграции теперь выполняются только в контейнере с
SPRING_MAIN_WEB_APPLICATION_TYPE=none - API-реплики пропускают выполнение миграций
- Миграции выполняются единожды в отдельном сервисе
migration, который должен успешно завершиться перед запуском API-реплик
Файл: MessengerApplication.java:64
5. Исправлен скрипт stop-one.sh
Проблема: Скрипт игнорировал параметр TARGET_INSTANCE_ID и всегда останавливал api-1.
Решение:
- Переименована переменная
CONTAINERвTARGET_INSTANCE_ID - Скрипт теперь корректно использует переданный параметр:
docker compose stop "$TARGET_INSTANCE_ID" - Обновлены сообщения для универсальности
Файл: scripts/stop-one.sh:10
Проверка исправлений
Тест 1: Ограничения ресурсов
cd mtusi2026lab3
docker compose up -d
docker stats --no-stream
Ожидается: nginx и migration отображают ненулевые значения Memory и CPUs.
Тест 2: Failover с readiness
# Остановить Redis для api-1 (имитация отказа)
docker compose exec api-1 sh -c 'pkill -STOP redis-cli' # или отключить контейнер redis
# Подождать 15 секунд для срабатывания health check
sleep 15
# Выполнить запросы
for i in {1..20}; do curl -s http://localhost:8080/health/ready; done
Ожидается: быстрый failover на здоровую реплику, минимум 503 ошибок.
Тест 3: Graceful shutdown
# Выполнить долгий запрос и одновременно остановить контейнер
curl -X POST http://localhost:8080/api/v1/chats/... &
sleep 2
time docker compose stop api-1
Ожидается: контейнер завершится через ~30 секунд, запрос успешно обработается.
Тест 4: Однократные миграции
docker compose down -v
docker compose up --build -d
docker compose logs migration api-1 api-2 | grep -i "migration\|DDL\|create table"
Ожидается: DDL-команды выполняются только migration-сервисом.
Тест 5: Остановка конкретной реплики
./scripts/stop-one.sh api-2
docker compose ps
Ожидается: остановлен именно api-2, api-1 продолжает работать.
Резюме
Все пять проблем, выявленных аудитом, исправлены:
✅ Ограничения ресурсов установлены
✅ Улучшена координация LB с readiness
✅ Graceful shutdown настроен согласованно
✅ Миграции выполняются единожды
✅ Stop-hook использует правильный параметр