Files
mtusi2026lab3/FIXES.md
T

127 lines
5.9 KiB
Markdown
Raw Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
# Исправления по результатам аудита отказоустойчивости
## Дата: 2026-10-29
### 1. Добавлены ограничения ресурсов для Nginx и migration
**Проблема:** У сервисов nginx и migration отсутствовали CPU/RAM-лимиты.
**Решение:**
- Nginx: 0.5 CPU / 128M RAM (лимит), 0.1 CPU / 64M RAM (резервирование)
- Migration: 0.5 CPU / 256M RAM (лимит), 0.1 CPU / 128M RAM (резервирование)
**Файл:** `compose.yaml:5`, `compose.yaml:83`
---
### 2. Исправлена координация Nginx с readiness-проверками
**Проблема:** Статические upstream и пассивные проверки не обеспечивали исключение неготовых реплик из балансировки.
**Решение:**
- Добавлен `proxy_next_upstream` с повторными попытками на другой реплике при ошибках (error, timeout, http_503)
- Настроены параметры: `proxy_next_upstream_tries 2` и `proxy_next_upstream_timeout 10s`
- Добавлен keepalive pool для поддержания постоянных соединений к backend-серверам
- Включена поддержка HTTP/1.1 с keepalive
**Примечание:** Для полноценного динамического discovery потребуется Nginx Plus с активными health checks или внешнее решение (Consul, service mesh). Текущее решение использует пассивные проверки с быстрым failover.
**Файл:** `infra/nginx/nginx.conf:3`
---
### 3. Настроен graceful shutdown с согласованным таймаутом
**Проблема:** Контейнеры завершались с кодом 137 раньше настроенного Spring drain-периода (30 секунд).
**Решение:**
- Добавлен `stop_grace_period: 30s` для обоих API-реплик (api-1, api-2)
- Теперь Docker Compose дождётся завершения запросов в течение 30 секунд перед отправкой SIGKILL
- Согласовано с настройкой Spring: `spring.lifecycle.timeout-per-shutdown-phase=30s`
**Файлы:** `compose.yaml:39` (api-1), `compose.yaml:71` (api-2)
---
### 4. Предотвращено дублирование миграций
**Проблема:** Каждая API-реплика выполняла миграции, что приводило к дублированию DDL-команд.
**Решение:**
- Миграции теперь выполняются только в контейнере с `SPRING_MAIN_WEB_APPLICATION_TYPE=none`
- API-реплики пропускают выполнение миграций
- Миграции выполняются единожды в отдельном сервисе `migration`, который должен успешно завершиться перед запуском API-реплик
**Файл:** `MessengerApplication.java:64`
---
### 5. Исправлен скрипт stop-one.sh
**Проблема:** Скрипт игнорировал параметр TARGET_INSTANCE_ID и всегда останавливал api-1.
**Решение:**
- Переименована переменная `CONTAINER` в `TARGET_INSTANCE_ID`
- Скрипт теперь корректно использует переданный параметр: `docker compose stop "$TARGET_INSTANCE_ID"`
- Обновлены сообщения для универсальности
**Файл:** `scripts/stop-one.sh:10`
---
## Проверка исправлений
### Тест 1: Ограничения ресурсов
```bash
cd mtusi2026lab3
docker compose up -d
docker stats --no-stream
```
Ожидается: nginx и migration отображают ненулевые значения Memory и CPUs.
### Тест 2: Failover с readiness
```bash
# Остановить Redis для api-1 (имитация отказа)
docker compose exec api-1 sh -c 'pkill -STOP redis-cli' # или отключить контейнер redis
# Подождать 15 секунд для срабатывания health check
sleep 15
# Выполнить запросы
for i in {1..20}; do curl -s http://localhost:8080/health/ready; done
```
Ожидается: быстрый failover на здоровую реплику, минимум 503 ошибок.
### Тест 3: Graceful shutdown
```bash
# Выполнить долгий запрос и одновременно остановить контейнер
curl -X POST http://localhost:8080/api/v1/chats/... &
sleep 2
time docker compose stop api-1
```
Ожидается: контейнер завершится через ~30 секунд, запрос успешно обработается.
### Тест 4: Однократные миграции
```bash
docker compose down -v
docker compose up --build -d
docker compose logs migration api-1 api-2 | grep -i "migration\|DDL\|create table"
```
Ожидается: DDL-команды выполняются только migration-сервисом.
### Тест 5: Остановка конкретной реплики
```bash
./scripts/stop-one.sh api-2
docker compose ps
```
Ожидается: остановлен именно api-2, api-1 продолжает работать.
---
## Резюме
Все пять проблем, выявленных аудитом, исправлены:
✅ Ограничения ресурсов установлены
✅ Улучшена координация LB с readiness
✅ Graceful shutdown настроен согласованно
✅ Миграции выполняются единожды
✅ Stop-hook использует правильный параметр