127 lines
5.9 KiB
Markdown
127 lines
5.9 KiB
Markdown
# Исправления по результатам аудита отказоустойчивости
|
||
|
||
## Дата: 2026-10-29
|
||
|
||
### 1. Добавлены ограничения ресурсов для Nginx и migration
|
||
|
||
**Проблема:** У сервисов nginx и migration отсутствовали CPU/RAM-лимиты.
|
||
|
||
**Решение:**
|
||
- Nginx: 0.5 CPU / 128M RAM (лимит), 0.1 CPU / 64M RAM (резервирование)
|
||
- Migration: 0.5 CPU / 256M RAM (лимит), 0.1 CPU / 128M RAM (резервирование)
|
||
|
||
**Файл:** `compose.yaml:5`, `compose.yaml:83`
|
||
|
||
---
|
||
|
||
### 2. Исправлена координация Nginx с readiness-проверками
|
||
|
||
**Проблема:** Статические upstream и пассивные проверки не обеспечивали исключение неготовых реплик из балансировки.
|
||
|
||
**Решение:**
|
||
- Добавлен `proxy_next_upstream` с повторными попытками на другой реплике при ошибках (error, timeout, http_503)
|
||
- Настроены параметры: `proxy_next_upstream_tries 2` и `proxy_next_upstream_timeout 10s`
|
||
- Добавлен keepalive pool для поддержания постоянных соединений к backend-серверам
|
||
- Включена поддержка HTTP/1.1 с keepalive
|
||
|
||
**Примечание:** Для полноценного динамического discovery потребуется Nginx Plus с активными health checks или внешнее решение (Consul, service mesh). Текущее решение использует пассивные проверки с быстрым failover.
|
||
|
||
**Файл:** `infra/nginx/nginx.conf:3`
|
||
|
||
---
|
||
|
||
### 3. Настроен graceful shutdown с согласованным таймаутом
|
||
|
||
**Проблема:** Контейнеры завершались с кодом 137 раньше настроенного Spring drain-периода (30 секунд).
|
||
|
||
**Решение:**
|
||
- Добавлен `stop_grace_period: 30s` для обоих API-реплик (api-1, api-2)
|
||
- Теперь Docker Compose дождётся завершения запросов в течение 30 секунд перед отправкой SIGKILL
|
||
- Согласовано с настройкой Spring: `spring.lifecycle.timeout-per-shutdown-phase=30s`
|
||
|
||
**Файлы:** `compose.yaml:39` (api-1), `compose.yaml:71` (api-2)
|
||
|
||
---
|
||
|
||
### 4. Предотвращено дублирование миграций
|
||
|
||
**Проблема:** Каждая API-реплика выполняла миграции, что приводило к дублированию DDL-команд.
|
||
|
||
**Решение:**
|
||
- Миграции теперь выполняются только в контейнере с `SPRING_MAIN_WEB_APPLICATION_TYPE=none`
|
||
- API-реплики пропускают выполнение миграций
|
||
- Миграции выполняются единожды в отдельном сервисе `migration`, который должен успешно завершиться перед запуском API-реплик
|
||
|
||
**Файл:** `MessengerApplication.java:64`
|
||
|
||
---
|
||
|
||
### 5. Исправлен скрипт stop-one.sh
|
||
|
||
**Проблема:** Скрипт игнорировал параметр TARGET_INSTANCE_ID и всегда останавливал api-1.
|
||
|
||
**Решение:**
|
||
- Переименована переменная `CONTAINER` в `TARGET_INSTANCE_ID`
|
||
- Скрипт теперь корректно использует переданный параметр: `docker compose stop "$TARGET_INSTANCE_ID"`
|
||
- Обновлены сообщения для универсальности
|
||
|
||
**Файл:** `scripts/stop-one.sh:10`
|
||
|
||
---
|
||
|
||
## Проверка исправлений
|
||
|
||
### Тест 1: Ограничения ресурсов
|
||
```bash
|
||
cd mtusi2026lab3
|
||
docker compose up -d
|
||
docker stats --no-stream
|
||
```
|
||
Ожидается: nginx и migration отображают ненулевые значения Memory и CPUs.
|
||
|
||
### Тест 2: Failover с readiness
|
||
```bash
|
||
# Остановить Redis для api-1 (имитация отказа)
|
||
docker compose exec api-1 sh -c 'pkill -STOP redis-cli' # или отключить контейнер redis
|
||
# Подождать 15 секунд для срабатывания health check
|
||
sleep 15
|
||
# Выполнить запросы
|
||
for i in {1..20}; do curl -s http://localhost:8080/health/ready; done
|
||
```
|
||
Ожидается: быстрый failover на здоровую реплику, минимум 503 ошибок.
|
||
|
||
### Тест 3: Graceful shutdown
|
||
```bash
|
||
# Выполнить долгий запрос и одновременно остановить контейнер
|
||
curl -X POST http://localhost:8080/api/v1/chats/... &
|
||
sleep 2
|
||
time docker compose stop api-1
|
||
```
|
||
Ожидается: контейнер завершится через ~30 секунд, запрос успешно обработается.
|
||
|
||
### Тест 4: Однократные миграции
|
||
```bash
|
||
docker compose down -v
|
||
docker compose up --build -d
|
||
docker compose logs migration api-1 api-2 | grep -i "migration\|DDL\|create table"
|
||
```
|
||
Ожидается: DDL-команды выполняются только migration-сервисом.
|
||
|
||
### Тест 5: Остановка конкретной реплики
|
||
```bash
|
||
./scripts/stop-one.sh api-2
|
||
docker compose ps
|
||
```
|
||
Ожидается: остановлен именно api-2, api-1 продолжает работать.
|
||
|
||
---
|
||
|
||
## Резюме
|
||
|
||
Все пять проблем, выявленных аудитом, исправлены:
|
||
✅ Ограничения ресурсов установлены
|
||
✅ Улучшена координация LB с readiness
|
||
✅ Graceful shutdown настроен согласованно
|
||
✅ Миграции выполняются единожды
|
||
✅ Stop-hook использует правильный параметр
|