16 KiB
Отчёт — лабораторная 3
- Автор, группа: не указаны.
- Целевая оценка: 5; трек 1 — цена масштабирования.
- Дата эксперимента: 2026-11-15; host Python 3.9.6, Docker 29.1.3, Compose 2.40.3.
- Библиотеки: FastAPI 0.115.6, psycopg 3.2.4, redis-py 5.2.1, argon2-cffi 23.1.0, Uvicorn 0.34.0.
- Источники: контракт/tests этого репозитория; Compose services, HAProxy 3.1 Configuration Manual; приложение продолжает модель lab2.
- Помощь ИИ: использовалась для реализации, тестирования и подготовки отчёта.
Запуск из чистого clone
Требуются Docker Engine/Desktop с Compose v2, Python 3.9+ и OpenSSL. Контейнер API использует Python 3.12.8; Compose-образы: PostgreSQL 16.6-alpine, Redis 7.4.2-alpine, HAProxy 3.1-alpine. Все теги образов заданы явно, latest не используется.
[ -f .env ] || cp .env.example .env
mkdir -p secrets
[ -f secrets/database_password ] || openssl rand -hex 32 > secrets/database_password
chmod 600 secrets/database_password
docker compose --env-file .env config --quiet
docker compose --env-file .env build api migrate
docker compose --env-file .env up -d postgres redis
docker compose --env-file .env run --rm migrate
docker compose --env-file .env up -d --scale api=2 api load_balancer
until curl -fsS http://localhost:8080/health/ready; do sleep 1; done
make check
make test
make test-grade4
make test-persistence ACTION_SCRIPT=scripts/restart.sh
Для failover сначала выведите фактические aliases контейнеров, затем выполните targeted-тест для каждой реплики, восстанавливая её между прогонами:
for c in $(docker compose ps -q api); do docker inspect --format '{{.Config.Hostname}}' "$c"; done
make test-failover-target TARGET_INSTANCE_ID=alias-from-first-line OUTPUT=evidence/failover-api1.json
docker compose --env-file .env up -d --scale api=2 api
make test-failover-target TARGET_INSTANCE_ID=alias-from-second-line OUTPUT=evidence/failover-api2.json
docker compose --env-file .env up -d --scale api=2 api
Для rolling restart запустить make load OUTPUT=evidence/rolling-restart-load.json и одновременно make rolling-restart. Масштабирование не удаляет volumes. docker compose down останавливает стенд, сохраняя данные; только намеренный docker compose down -v удаляет локальные volumes и учебные данные. .env и secrets/database_password локальны и исключены из Git.
Архитектура и решения
HTTP client -> HAProxy :8080 -> API × 2+ -> PostgreSQL (источник истины)
| -> Redis (необязательный profile cache)
Compose DNSRR публикует адреса всех API tasks; HAProxy server-template обновляет адреса через Docker DNS и балансирует запросы без sticky sessions. Readiness проверяет /health/ready; HAProxy опрашивает backend каждую секунду, исключает его после двух неуспешных проверок. Сетевой таймаут проверки — около 2 секунд; расчётная граница обнаружения — до 5 секунд. На двух целевых отказах восстановление успешных записей измерено за 2.463 и 2.529 секунды.
Пользователи, чаты, сообщения, сессии и ключи идемпотентности хранятся в PostgreSQL. Redis — общий, persistent AOF кэш профилей; отключение/потеря его кэша не меняет корректность. Миграция 002_idempotency.sql запускается отдельной Compose-командой до API, а не при старте каждого worker. Idempotency claim, запись сообщения и привязка результата выполняются в одной транзакции. Уникальность — (user_id, chat_id, key); hash нормализованного тела блокирует повтор ключа с иным содержимым; после 24 часов ключ можно использовать заново.
X-Instance-Id — hostname конкретного контейнера, стабилен в течение его жизни и позволяет операторскому hook сопоставить API-ответ с контейнером. Uvicorn закрывает процесс с graceful timeout 10 секунд; Compose даёт 12 секунд на остановку. Порты API/БД/Redis наружу не опубликованы; наружу открыт только HAProxy. Лимиты по умолчанию: API 0.5 CPU/256 MiB на реплику, PostgreSQL 0.5 CPU/384 MiB, Redis и HAProxy по 0.25 CPU/128 MiB. container_name не задан.
Ограничение: PostgreSQL, Redis, HAProxy и Docker host не реплицированы; это эксперимент о масштабировании API и отказе процесса API, а не отказоустойчивость узла/БД/LB. Redis здесь только кэш, PostgreSQL остаётся SPOF и источником истины.
Доказательства критериев
| Критерий | Команда/сценарий | Наблюдаемый результат | Файл доказательства |
|---|---|---|---|
| Контракт lab3 | make check, make validate, docker compose config --quiet |
PASS; Compose, Python syntax и OpenAPI валидны | acceptance.log |
| Публичный сценарий | make test |
PASS: регистрация, сессии, чат, история, доступы и replay | acceptance.log |
| ≥2 API через LB | make test-grade4 |
PASS: одна сессия наблюдала два aliases | acceptance.log |
| Конкурентный ключ через LB | make test-grade4 |
12 конкурентных POST с одним ключом вернули одно сообщение; другой body дал 409 | acceptance.log |
| Persistence | make test-persistence ACTION_SCRIPT=scripts/restart.sh |
PASS: PostgreSQL, Redis и API перезапущены; прежний токен и данные сохранились | acceptance.log |
| Отказ каждой реплики | make test-failover-target ... для каждого alias |
PASS; метрики и сохранность записаны раздельно | failover-api1.json, failover-api2.json |
| Rolling restart под нагрузкой | make load OUTPUT=... параллельно с make rolling-restart |
PASS; один переходный отказ, успешные записи продолжались | rolling-restart-load.json |
| Трек 5: повторяемые замеры | python3 scripts/benchmark.py --duration 10 --concurrency 8 --repeats 3 |
Результаты эксперимента и выводы см. ниже | benchmark/ |
Эксперимент трека 1 — цена масштабирования
Гипотеза. При неизменных суммарных ресурсах API добавление реплик само по себе не увеличит throughput пропорционально: общий PostgreSQL и его CPU/соединения станут ограничением. После увеличения бюджета API возможен рост до насыщения общей БД или самого тестового клиента.
Методика. Один и тот же closed-loop POST-сценарий из tests/load.py, concurrency=8, 10 секунд на запуск, 3 повтора. Сравниваются 1/2/4 API с общим бюджетом API 1 CPU/512 MiB (1×1.00/512, 2×0.50/256, 4×0.25/128); затем 2/4 API при общем бюджете 2 CPU/1 GiB. Лимиты PostgreSQL, Redis и HAProxy неизменны. Все trial идут на одном Compose host/volume: перед серией было 83,215 сообщений, 15 прогонов добавили 57,434, после серии — 140,649. На прогон создаётся новый синтетический чат. Скрипт сохраняет отдельный JSON на повтор, агрегаты JSON/CSV и SVG; docker stats опрашивается раз в секунду. Docker daemon: 12 CPU, 8,217,165,824 bytes RAM. CPU/RAM в таблице — максимумы секундных выборок, не средние; p50/p95/p99 — по успешным запросам.
| Серия | API × лимит на реплику | Общий API budget | successful RPS, mean ± SD | error ratio | p50 / p95 / p99, ms | peak API CPU / RAM; peak PostgreSQL CPU |
|---|---|---|---|---|---|---|
| Fixed | 1 × 1 CPU / 512 MiB | 1 CPU / 512 MiB | 319.059 ± 33.367 | 0% | 18.192 / 51.926 / 112.067 | 102.95% / 58.9 MiB; 31.17% |
| Fixed | 2 × 0.5 CPU / 256 MiB | 1 CPU / 512 MiB | 266.984 ± 4.411 | 0% | 10.205 / 90.475 / 104.543 | 51.56% / 59.0 MiB; 15.29% |
| Fixed | 4 × 0.25 CPU / 128 MiB | 1 CPU / 512 MiB | 185.785 ± 16.019 | 0% | 5.342 / 190.819 / 283.077 | 25.83% / 120.8 MiB; 14.06% |
| Growth | 2 × 1 CPU / 512 MiB | 2 CPU / 1 GiB | 564.067 ± 17.221 | 0% | 10.116 / 41.225 / 67.687 | 103.95% / 67.3 MiB; 30.74% |
| Growth | 4 × 0.5 CPU / 256 MiB | 2 CPU / 1 GiB | 568.154 ± 59.664 | 0% | 6.388 / 64.832 / 83.160 | 52.66% / 61.9 MiB; 42.36% |
Все 15 запусков завершились без HTTP-ошибок. При фиксированном бюджете переход с 1 на 2/4 реплики уменьшил throughput с 319 до 267/186 RPS; у четырёх реплик API memory достигал 120.8 из 128 MiB, а p95 вырос до 191 ms. Иными словами, количество процессов само по себе не масштабирует доступный CPU/RAM.
Точка насыщения и улучшение. При бюджете 2 CPU/1 GiB рост с 2 до 4 API дал только +0.7% mean RPS (564 → 568; разброс 59.7 RPS), но p95 ухудшился на 57% (41.2 → 64.8 ms). Пик PostgreSQL вырос до 42.36% одного CPU при лимите 0.5 CPU (около 85% выделенного ядра); у API также видны пики на CPU-quota. Это первый измеренный knee для данного профиля: общий DB CPU становится вероятным ограничением вместе с scheduler/worker overhead; четыре реплики больше не дают надёжного выигрыша. Краткие секундные maxima не доказывают устойчивую стопроцентную загрузку, поэтому точная производственная capacity не заявляется.
Подтверждённое улучшение в измеренной конфигурации: на двух API увеличение общего лимита с 1 CPU/512 MiB до 2 CPU/1 GiB повысило throughput с 267 до 564 RPS (+111%), снизило p95 с 90.5 до 41.2 ms (-54%), errors остались 0. Это улучшение подтверждено только для выбранного host и closed-loop профиля. См. raw trial JSON, summary.csv, summary.json, machine.json и график throughput.
Эксперименты и отказы
| Воздействие | Ожидание | Наблюдение | Восстановление / данные |
|---|---|---|---|
Остановка API replica 30ba967428ed |
LB продолжает обслуживать через оставшуюся реплику; неопределённый POST безопасно повторяется | 110 успешных write, 1 неуспешная попытка; 7.286 успешных RPS, 0.9009% write errors; recovery 2.463 s | Подтверждённые записи сохранены, дублей 0 |
Остановка API replica 030ce8e8117a |
То же при отказе второй реплики | 108 успешных write, 1 неуспешная попытка; 7.163 успешных RPS, 0.9174% write errors; recovery 2.529 s | Подтверждённые записи сохранены, дублей 0 |
| Последовательный рестарт 2 API под нагрузкой | Вторая реплика обслуживает, пока первая завершает процесс | 30 s, concurrency 4: 11,200 успешных, 1 ошибка; 372.715 RPS; p50/p95/p99 = 4.884/41.279/82.383 ms | Оба процесса стали healthy; подтверждённая история проверена smoke/failover тестами |
| Перезапуск state services и API | Сессия и данные доступны с прежним токеном | Persistence hook завершился PASS | Volumes сохранены, подтверждённые данные не потеряны |
Для /health/ready критична только PostgreSQL: Redis служит кэшем и имеет fallback на БД. Недоступность самой PostgreSQL или хоста не выдерживается. Нагрузка tests/load.py — закрытая и клиент-ограниченная; один отказ/timeout может скрыть результат COMMIT, поэтому это throughput HTTP-подтверждений, а не измерение числа транзакций БД.
Ограничения и следующие шаги
- Нет HA для PostgreSQL, HAProxy, Redis как процесса и Docker host; отказ этих компонентов не покрыт тестами.
- Compose restart под нагрузкой доказывает graceful последовательный рестарт API-процессов, но не blue/green обновление разных версий приложения.
- Таблица ключей очищается логически при повторном использовании ключа старше 24 часов; массовая уборка не реализована.
- Benchmark — один локальный закрытый профиль и три повтора; сначала следует интерпретировать фактические сводки, прежде чем заявлять saturation point или переносить выводы на production.