7.2 KiB
Лабораторная работа №3
Группа БВТ2302, Рестеу Д. А.
Цель: балансировка API и проверка работы при отказе одной реплики.
Планируемая оценка: 4.
Что сделал
Взял REST API из второй лабораторной. PostgreSQL хранит пользователей, чаты и сообщения, а Redis — сессии. Эти данные не лежат в памяти отдельного API, поэтому оба экземпляра работают с одной базой и узнают один токен.
В compose.yaml добавил два сервиса api1 и api2, а перед ними Nginx (lb). Снаружи опубликован только 127.0.0.1:8080, запросы к репликам идут через внутреннюю сеть Docker. В каждом ответе API есть X-Instance-Id: api1 или api2.
Добавил миграцию 03_idempotency.sql с таблицей message_requests. Отправка сообщения теперь требует Idempotency-Key. Первая транзакция сохраняет сообщение и информацию о ключе вместе. Повтор с тем же ключом и текстом возвращает исходное сообщение, а повтор с другим текстом возвращает 409. Уникальный первичный ключ в PostgreSQL не позволяет параллельным запросам создать два сообщения. Срок действия ключа — 24 часа.
Для проверки готовности оставил /health/live и /health/ready. Второй endpoint проверяет PostgreSQL и Redis. В Nginx настроил DNS-переопределение адресов, таймауты и пассивное исключение недоступного API. У контейнеров API лимит 0,5 CPU и 256 MiB памяти. Отдельный migrate применяет SQL до запуска реплик.
Запуск
Нужны Docker Desktop с Compose и Python 3.9+ для проверок. Команды выполнять из корня лабораторной.
Для PowerShell:
Copy-Item .env.example .env
# В .env заменяю POSTGRES_PASSWORD на свой локальный пароль
docker compose --env-file .env up -d --build --wait
docker compose --env-file .env ps
python tests/smoke.py --base-url http://localhost:8080
python scripts/test_parallel.py
Swagger: http://localhost:8080/docs. Все запросы к API в тестах идут только через Nginx.
Проверка отказа прямо в PowerShell (без make и WSL):
python tests/resilience.py --mode failover --action-script scripts/stop-one.cmd
# Вернуть обе реплики
docker compose up -d --wait api1 api2
python tests/resilience.py --mode persistence --action-script scripts/restart.cmd
Для Linux/WSL с make:
cp .env.example .env
# Изменить пароль в .env
chmod +x scripts/*.sh
make check
make test
make test-parallel
При необходимости перед запуском проверяю настройки командой docker compose --env-file .env config --quiet.
Проверка отказа
Сначала запустить make test и make test-parallel. Затем в Linux/WSL:
make test-failover ACTION_SCRIPT=scripts/stop-one.sh
# После теста посмотреть реально остановленный контейнер:
docker compose ps -a
# Восстановить обе реплики:
docker compose up -d --wait api1 api2
# Повторить failover: тест сам выберет инстанс первого сообщения
make test-failover ACTION_SCRIPT=scripts/stop-one.sh
# Вернуть реплики
docker compose up -d --wait api1 api2
make test-persistence ACTION_SCRIPT=scripts/restart.sh
Скрипт stop-one.sh читает TARGET_INSTANCE_ID из теста и останавливает именно выбранную реплику. Если реплика уже остановлена, перед следующим запуском её нужно поднять.
Для поочередного обновления после сборки образа:
docker compose build api1 api2
./scripts/rolling-update.sh
На время этой операции отдельно запускаю python tests/load.py --duration 30 --concurrency 4 --output evidence/rolling-load.json, после чего просматриваю сохранённые показатели. На Windows для обновления использую scripts/rolling-update.cmd. Важно: для подтверждения обновления тест нагрузки должен идти одновременно со скриптом обновления.
Проверки и доказательства
| Проверка | Команда | Что должно получиться |
|---|---|---|
| Структура | make check |
PASS |
| Запуск и API | make test |
PASS, один полный пользовательский сценарий |
| Две реплики | повтор GET /health/live |
ответы с разными X-Instance-Id |
| Одновременный повтор POST | make test-parallel |
один ID сообщения в 12 ответах |
| Отказ реплики | make test-failover ACTION_SCRIPT=scripts/stop-one.sh |
запись продолжается через другую реплику |
| Сохранение данных | make test-persistence ACTION_SCRIPT=scripts/restart.sh |
тот же токен и сообщения после перезапуска |
| Нагрузка | make load |
фактические RPS, ошибки, p50/p95/p99 |
Реальные результаты test-failover и load нужно записать после запуска стенда на своём компьютере. До запуска Docker эти проверки не считаю выполненными.
Ограничения
Решение выдерживает остановку одного API, но не остановку Nginx, Redis, PostgreSQL или всего Docker-хоста — это оставшиеся единые точки отказа. Nginx проверяет недоступность через ошибки и таймауты запросов, а не активным опросом каждой реплики. Настроены fail_timeout=2s, proxy_connect_timeout=1s; фактическое восстановление проверяется отдельным failover-тестом. Команда docker compose down -v удалит тестовые данные, обычная docker compose down — нет.