Files
mtusi2026lab3/FIXES.md
T

5.9 KiB
Raw Blame History

Исправления по результатам аудита отказоустойчивости

Дата: 2026-10-29

1. Добавлены ограничения ресурсов для Nginx и migration

Проблема: У сервисов nginx и migration отсутствовали CPU/RAM-лимиты.

Решение:

  • Nginx: 0.5 CPU / 128M RAM (лимит), 0.1 CPU / 64M RAM (резервирование)
  • Migration: 0.5 CPU / 256M RAM (лимит), 0.1 CPU / 128M RAM (резервирование)

Файл: compose.yaml:5, compose.yaml:83


2. Исправлена координация Nginx с readiness-проверками

Проблема: Статические upstream и пассивные проверки не обеспечивали исключение неготовых реплик из балансировки.

Решение:

  • Добавлен proxy_next_upstream с повторными попытками на другой реплике при ошибках (error, timeout, http_503)
  • Настроены параметры: proxy_next_upstream_tries 2 и proxy_next_upstream_timeout 10s
  • Добавлен keepalive pool для поддержания постоянных соединений к backend-серверам
  • Включена поддержка HTTP/1.1 с keepalive

Примечание: Для полноценного динамического discovery потребуется Nginx Plus с активными health checks или внешнее решение (Consul, service mesh). Текущее решение использует пассивные проверки с быстрым failover.

Файл: infra/nginx/nginx.conf:3


3. Настроен graceful shutdown с согласованным таймаутом

Проблема: Контейнеры завершались с кодом 137 раньше настроенного Spring drain-периода (30 секунд).

Решение:

  • Добавлен stop_grace_period: 30s для обоих API-реплик (api-1, api-2)
  • Теперь Docker Compose дождётся завершения запросов в течение 30 секунд перед отправкой SIGKILL
  • Согласовано с настройкой Spring: spring.lifecycle.timeout-per-shutdown-phase=30s

Файлы: compose.yaml:39 (api-1), compose.yaml:71 (api-2)


4. Предотвращено дублирование миграций

Проблема: Каждая API-реплика выполняла миграции, что приводило к дублированию DDL-команд.

Решение:

  • Миграции теперь выполняются только в контейнере с SPRING_MAIN_WEB_APPLICATION_TYPE=none
  • API-реплики пропускают выполнение миграций
  • Миграции выполняются единожды в отдельном сервисе migration, который должен успешно завершиться перед запуском API-реплик

Файл: MessengerApplication.java:64


5. Исправлен скрипт stop-one.sh

Проблема: Скрипт игнорировал параметр TARGET_INSTANCE_ID и всегда останавливал api-1.

Решение:

  • Переименована переменная CONTAINER в TARGET_INSTANCE_ID
  • Скрипт теперь корректно использует переданный параметр: docker compose stop "$TARGET_INSTANCE_ID"
  • Обновлены сообщения для универсальности

Файл: scripts/stop-one.sh:10


Проверка исправлений

Тест 1: Ограничения ресурсов

cd mtusi2026lab3
docker compose up -d
docker stats --no-stream

Ожидается: nginx и migration отображают ненулевые значения Memory и CPUs.

Тест 2: Failover с readiness

# Остановить Redis для api-1 (имитация отказа)
docker compose exec api-1 sh -c 'pkill -STOP redis-cli' # или отключить контейнер redis
# Подождать 15 секунд для срабатывания health check
sleep 15
# Выполнить запросы
for i in {1..20}; do curl -s http://localhost:8080/health/ready; done

Ожидается: быстрый failover на здоровую реплику, минимум 503 ошибок.

Тест 3: Graceful shutdown

# Выполнить долгий запрос и одновременно остановить контейнер
curl -X POST http://localhost:8080/api/v1/chats/... &
sleep 2
time docker compose stop api-1

Ожидается: контейнер завершится через ~30 секунд, запрос успешно обработается.

Тест 4: Однократные миграции

docker compose down -v
docker compose up --build -d
docker compose logs migration api-1 api-2 | grep -i "migration\|DDL\|create table"

Ожидается: DDL-команды выполняются только migration-сервисом.

Тест 5: Остановка конкретной реплики

./scripts/stop-one.sh api-2
docker compose ps

Ожидается: остановлен именно api-2, api-1 продолжает работать.


Резюме

Все пять проблем, выявленных аудитом, исправлены: ✅ Ограничения ресурсов установлены
✅ Улучшена координация LB с readiness
✅ Graceful shutdown настроен согласованно
✅ Миграции выполняются единожды
✅ Stop-hook использует правильный параметр