forked from mtusi2026/mtusi2026lab3
108 lines
7.2 KiB
Markdown
108 lines
7.2 KiB
Markdown
# Лабораторная работа №3
|
||
|
||
Группа БВТ2302, Рестеу Д. А.
|
||
Цель: балансировка API и проверка работы при отказе одной реплики.
|
||
Планируемая оценка: 4.
|
||
|
||
## Что сделал
|
||
|
||
Взял REST API из второй лабораторной. PostgreSQL хранит пользователей, чаты и сообщения, а Redis — сессии. Эти данные не лежат в памяти отдельного API, поэтому оба экземпляра работают с одной базой и узнают один токен.
|
||
|
||
В `compose.yaml` добавил два сервиса `api1` и `api2`, а перед ними Nginx (`lb`). Снаружи опубликован только `127.0.0.1:8080`, запросы к репликам идут через внутреннюю сеть Docker. В каждом ответе API есть `X-Instance-Id`: `api1` или `api2`.
|
||
|
||
Добавил миграцию `03_idempotency.sql` с таблицей `message_requests`. Отправка сообщения теперь требует `Idempotency-Key`. Первая транзакция сохраняет сообщение и информацию о ключе вместе. Повтор с тем же ключом и текстом возвращает исходное сообщение, а повтор с другим текстом возвращает 409. Уникальный первичный ключ в PostgreSQL не позволяет параллельным запросам создать два сообщения. Срок действия ключа — 24 часа.
|
||
|
||
Для проверки готовности оставил `/health/live` и `/health/ready`. Второй endpoint проверяет PostgreSQL и Redis. В Nginx настроил DNS-переопределение адресов, таймауты и пассивное исключение недоступного API. У контейнеров API лимит 0,5 CPU и 256 MiB памяти. Отдельный `migrate` применяет SQL до запуска реплик.
|
||
|
||
## Запуск
|
||
|
||
Нужны Docker Desktop с Compose и Python 3.9+ для проверок. Команды выполнять из корня лабораторной.
|
||
|
||
Для PowerShell:
|
||
|
||
```powershell
|
||
Copy-Item .env.example .env
|
||
# В .env заменяю POSTGRES_PASSWORD на свой локальный пароль
|
||
|
||
docker compose --env-file .env up -d --build --wait
|
||
docker compose --env-file .env ps
|
||
python tests/smoke.py --base-url http://localhost:8080
|
||
python scripts/test_parallel.py
|
||
```
|
||
|
||
Swagger: http://localhost:8080/docs. Все запросы к API в тестах идут только через Nginx.
|
||
|
||
Проверка отказа прямо в PowerShell (без `make` и WSL):
|
||
|
||
```powershell
|
||
python tests/resilience.py --mode failover --action-script scripts/stop-one.cmd
|
||
# Вернуть обе реплики
|
||
docker compose up -d --wait api1 api2
|
||
python tests/resilience.py --mode persistence --action-script scripts/restart.cmd
|
||
```
|
||
|
||
Для Linux/WSL с `make`:
|
||
|
||
```sh
|
||
cp .env.example .env
|
||
# Изменить пароль в .env
|
||
chmod +x scripts/*.sh
|
||
make check
|
||
make test
|
||
make test-parallel
|
||
```
|
||
|
||
При необходимости перед запуском проверяю настройки командой `docker compose --env-file .env config --quiet`.
|
||
|
||
## Проверка отказа
|
||
|
||
Сначала запустить `make test` и `make test-parallel`. Затем в Linux/WSL:
|
||
|
||
```sh
|
||
make test-failover ACTION_SCRIPT=scripts/stop-one.sh
|
||
# После теста посмотреть реально остановленный контейнер:
|
||
docker compose ps -a
|
||
# Восстановить обе реплики:
|
||
docker compose up -d --wait api1 api2
|
||
# Повторить failover: тест сам выберет инстанс первого сообщения
|
||
make test-failover ACTION_SCRIPT=scripts/stop-one.sh
|
||
# Вернуть реплики
|
||
docker compose up -d --wait api1 api2
|
||
make test-persistence ACTION_SCRIPT=scripts/restart.sh
|
||
```
|
||
|
||
Скрипт `stop-one.sh` читает `TARGET_INSTANCE_ID` из теста и останавливает именно выбранную реплику. Если реплика уже остановлена, перед следующим запуском её нужно поднять.
|
||
|
||
Для поочередного обновления после сборки образа:
|
||
|
||
```sh
|
||
docker compose build api1 api2
|
||
./scripts/rolling-update.sh
|
||
```
|
||
|
||
На время этой операции отдельно запускаю `python tests/load.py --duration 30 --concurrency 4 --output evidence/rolling-load.json`, после чего просматриваю сохранённые показатели. На Windows для обновления использую `scripts/rolling-update.cmd`. Важно: для подтверждения обновления тест нагрузки должен идти одновременно со скриптом обновления.
|
||
|
||
## Проверки и доказательства
|
||
|
||
| Проверка | Команда | Что должно получиться |
|
||
| --- | --- | --- |
|
||
| Структура | `make check` | PASS |
|
||
| Запуск и API | `make test` | PASS, один полный пользовательский сценарий |
|
||
| Две реплики | повтор `GET /health/live` | ответы с разными `X-Instance-Id` |
|
||
| Одновременный повтор POST | `make test-parallel` | один ID сообщения в 12 ответах |
|
||
| Отказ реплики | `make test-failover ACTION_SCRIPT=scripts/stop-one.sh` | запись продолжается через другую реплику |
|
||
| Сохранение данных | `make test-persistence ACTION_SCRIPT=scripts/restart.sh` | тот же токен и сообщения после перезапуска |
|
||
| Нагрузка | `make load` | фактические RPS, ошибки, p50/p95/p99 |
|
||
|
||
Реальные результаты `test-failover` и `load` нужно записать после запуска стенда на своём компьютере. До запуска Docker эти проверки не считаю выполненными.
|
||
|
||
## Ограничения
|
||
|
||
Решение выдерживает остановку одного API, но не остановку Nginx, Redis, PostgreSQL или всего Docker-хоста — это оставшиеся единые точки отказа. Nginx проверяет недоступность через ошибки и таймауты запросов, а не активным опросом каждой реплики. Настроены `fail_timeout=2s`, `proxy_connect_timeout=1s`; фактическое восстановление проверяется отдельным failover-тестом. Команда `docker compose down -v` удалит тестовые данные, обычная `docker compose down` — нет.
|
||
|
||
## Ссылки
|
||
|
||
- https://docs.docker.com/reference/compose-file/services/
|
||
- https://nginx.org/ru/docs/http/ngx_http_upstream_module.html
|
||
- https://www.postgresql.org/docs/current/sql-insert.html
|