Files
mtusi2026lab3/REPORT.md
2026-11-15 22:00:21 +03:00

16 KiB
Raw Permalink Blame History

Отчёт — лабораторная 3

  • Автор, группа: не указаны.
  • Целевая оценка: 5; трек 1 — цена масштабирования.
  • Дата эксперимента: 2026-11-15; host Python 3.9.6, Docker 29.1.3, Compose 2.40.3.
  • Библиотеки: FastAPI 0.115.6, psycopg 3.2.4, redis-py 5.2.1, argon2-cffi 23.1.0, Uvicorn 0.34.0.
  • Источники: контракт/tests этого репозитория; Compose services, HAProxy 3.1 Configuration Manual; приложение продолжает модель lab2.
  • Помощь ИИ: использовалась для реализации, тестирования и подготовки отчёта.

Запуск из чистого clone

Требуются Docker Engine/Desktop с Compose v2, Python 3.9+ и OpenSSL. Контейнер API использует Python 3.12.8; Compose-образы: PostgreSQL 16.6-alpine, Redis 7.4.2-alpine, HAProxy 3.1-alpine. Все теги образов заданы явно, latest не используется.

[ -f .env ] || cp .env.example .env
mkdir -p secrets
[ -f secrets/database_password ] || openssl rand -hex 32 > secrets/database_password
chmod 600 secrets/database_password

docker compose --env-file .env config --quiet
docker compose --env-file .env build api migrate
docker compose --env-file .env up -d postgres redis
docker compose --env-file .env run --rm migrate
docker compose --env-file .env up -d --scale api=2 api load_balancer
until curl -fsS http://localhost:8080/health/ready; do sleep 1; done

make check
make test
make test-grade4
make test-persistence ACTION_SCRIPT=scripts/restart.sh

Для failover сначала выведите фактические aliases контейнеров, затем выполните targeted-тест для каждой реплики, восстанавливая её между прогонами:

for c in $(docker compose ps -q api); do docker inspect --format '{{.Config.Hostname}}' "$c"; done
make test-failover-target TARGET_INSTANCE_ID=alias-from-first-line OUTPUT=evidence/failover-api1.json
docker compose --env-file .env up -d --scale api=2 api
make test-failover-target TARGET_INSTANCE_ID=alias-from-second-line OUTPUT=evidence/failover-api2.json
docker compose --env-file .env up -d --scale api=2 api

Для rolling restart запустить make load OUTPUT=evidence/rolling-restart-load.json и одновременно make rolling-restart. Масштабирование не удаляет volumes. docker compose down останавливает стенд, сохраняя данные; только намеренный docker compose down -v удаляет локальные volumes и учебные данные. .env и secrets/database_password локальны и исключены из Git.

Архитектура и решения

HTTP client -> HAProxy :8080 -> API × 2+ -> PostgreSQL (источник истины)
                                      |       -> Redis (необязательный profile cache)

Compose DNSRR публикует адреса всех API tasks; HAProxy server-template обновляет адреса через Docker DNS и балансирует запросы без sticky sessions. Readiness проверяет /health/ready; HAProxy опрашивает backend каждую секунду, исключает его после двух неуспешных проверок. Сетевой таймаут проверки — около 2 секунд; расчётная граница обнаружения — до 5 секунд. На двух целевых отказах восстановление успешных записей измерено за 2.463 и 2.529 секунды.

Пользователи, чаты, сообщения, сессии и ключи идемпотентности хранятся в PostgreSQL. Redis — общий, persistent AOF кэш профилей; отключение/потеря его кэша не меняет корректность. Миграция 002_idempotency.sql запускается отдельной Compose-командой до API, а не при старте каждого worker. Idempotency claim, запись сообщения и привязка результата выполняются в одной транзакции. Уникальность — (user_id, chat_id, key); hash нормализованного тела блокирует повтор ключа с иным содержимым; после 24 часов ключ можно использовать заново.

X-Instance-Id — hostname конкретного контейнера, стабилен в течение его жизни и позволяет операторскому hook сопоставить API-ответ с контейнером. Uvicorn закрывает процесс с graceful timeout 10 секунд; Compose даёт 12 секунд на остановку. Порты API/БД/Redis наружу не опубликованы; наружу открыт только HAProxy. Лимиты по умолчанию: API 0.5 CPU/256 MiB на реплику, PostgreSQL 0.5 CPU/384 MiB, Redis и HAProxy по 0.25 CPU/128 MiB. container_name не задан.

Ограничение: PostgreSQL, Redis, HAProxy и Docker host не реплицированы; это эксперимент о масштабировании API и отказе процесса API, а не отказоустойчивость узла/БД/LB. Redis здесь только кэш, PostgreSQL остаётся SPOF и источником истины.

Доказательства критериев

Критерий Команда/сценарий Наблюдаемый результат Файл доказательства
Контракт lab3 make check, make validate, docker compose config --quiet PASS; Compose, Python syntax и OpenAPI валидны acceptance.log
Публичный сценарий make test PASS: регистрация, сессии, чат, история, доступы и replay acceptance.log
≥2 API через LB make test-grade4 PASS: одна сессия наблюдала два aliases acceptance.log
Конкурентный ключ через LB make test-grade4 12 конкурентных POST с одним ключом вернули одно сообщение; другой body дал 409 acceptance.log
Persistence make test-persistence ACTION_SCRIPT=scripts/restart.sh PASS: PostgreSQL, Redis и API перезапущены; прежний токен и данные сохранились acceptance.log
Отказ каждой реплики make test-failover-target ... для каждого alias PASS; метрики и сохранность записаны раздельно failover-api1.json, failover-api2.json
Rolling restart под нагрузкой make load OUTPUT=... параллельно с make rolling-restart PASS; один переходный отказ, успешные записи продолжались rolling-restart-load.json
Трек 5: повторяемые замеры python3 scripts/benchmark.py --duration 10 --concurrency 8 --repeats 3 Результаты эксперимента и выводы см. ниже benchmark/

Эксперимент трека 1 — цена масштабирования

Гипотеза. При неизменных суммарных ресурсах API добавление реплик само по себе не увеличит throughput пропорционально: общий PostgreSQL и его CPU/соединения станут ограничением. После увеличения бюджета API возможен рост до насыщения общей БД или самого тестового клиента.

Методика. Один и тот же closed-loop POST-сценарий из tests/load.py, concurrency=8, 10 секунд на запуск, 3 повтора. Сравниваются 1/2/4 API с общим бюджетом API 1 CPU/512 MiB (1×1.00/512, 2×0.50/256, 4×0.25/128); затем 2/4 API при общем бюджете 2 CPU/1 GiB. Лимиты PostgreSQL, Redis и HAProxy неизменны. Все trial идут на одном Compose host/volume: перед серией было 83,215 сообщений, 15 прогонов добавили 57,434, после серии — 140,649. На прогон создаётся новый синтетический чат. Скрипт сохраняет отдельный JSON на повтор, агрегаты JSON/CSV и SVG; docker stats опрашивается раз в секунду. Docker daemon: 12 CPU, 8,217,165,824 bytes RAM. CPU/RAM в таблице — максимумы секундных выборок, не средние; p50/p95/p99 — по успешным запросам.

Серия API × лимит на реплику Общий API budget successful RPS, mean ± SD error ratio p50 / p95 / p99, ms peak API CPU / RAM; peak PostgreSQL CPU
Fixed 1 × 1 CPU / 512 MiB 1 CPU / 512 MiB 319.059 ± 33.367 0% 18.192 / 51.926 / 112.067 102.95% / 58.9 MiB; 31.17%
Fixed 2 × 0.5 CPU / 256 MiB 1 CPU / 512 MiB 266.984 ± 4.411 0% 10.205 / 90.475 / 104.543 51.56% / 59.0 MiB; 15.29%
Fixed 4 × 0.25 CPU / 128 MiB 1 CPU / 512 MiB 185.785 ± 16.019 0% 5.342 / 190.819 / 283.077 25.83% / 120.8 MiB; 14.06%
Growth 2 × 1 CPU / 512 MiB 2 CPU / 1 GiB 564.067 ± 17.221 0% 10.116 / 41.225 / 67.687 103.95% / 67.3 MiB; 30.74%
Growth 4 × 0.5 CPU / 256 MiB 2 CPU / 1 GiB 568.154 ± 59.664 0% 6.388 / 64.832 / 83.160 52.66% / 61.9 MiB; 42.36%

Все 15 запусков завершились без HTTP-ошибок. При фиксированном бюджете переход с 1 на 2/4 реплики уменьшил throughput с 319 до 267/186 RPS; у четырёх реплик API memory достигал 120.8 из 128 MiB, а p95 вырос до 191 ms. Иными словами, количество процессов само по себе не масштабирует доступный CPU/RAM.

Точка насыщения и улучшение. При бюджете 2 CPU/1 GiB рост с 2 до 4 API дал только +0.7% mean RPS (564 → 568; разброс 59.7 RPS), но p95 ухудшился на 57% (41.2 → 64.8 ms). Пик PostgreSQL вырос до 42.36% одного CPU при лимите 0.5 CPU (около 85% выделенного ядра); у API также видны пики на CPU-quota. Это первый измеренный knee для данного профиля: общий DB CPU становится вероятным ограничением вместе с scheduler/worker overhead; четыре реплики больше не дают надёжного выигрыша. Краткие секундные maxima не доказывают устойчивую стопроцентную загрузку, поэтому точная производственная capacity не заявляется.

Подтверждённое улучшение в измеренной конфигурации: на двух API увеличение общего лимита с 1 CPU/512 MiB до 2 CPU/1 GiB повысило throughput с 267 до 564 RPS (+111%), снизило p95 с 90.5 до 41.2 ms (-54%), errors остались 0. Это улучшение подтверждено только для выбранного host и closed-loop профиля. См. raw trial JSON, summary.csv, summary.json, machine.json и график throughput.

Эксперименты и отказы

Воздействие Ожидание Наблюдение Восстановление / данные
Остановка API replica 30ba967428ed LB продолжает обслуживать через оставшуюся реплику; неопределённый POST безопасно повторяется 110 успешных write, 1 неуспешная попытка; 7.286 успешных RPS, 0.9009% write errors; recovery 2.463 s Подтверждённые записи сохранены, дублей 0
Остановка API replica 030ce8e8117a То же при отказе второй реплики 108 успешных write, 1 неуспешная попытка; 7.163 успешных RPS, 0.9174% write errors; recovery 2.529 s Подтверждённые записи сохранены, дублей 0
Последовательный рестарт 2 API под нагрузкой Вторая реплика обслуживает, пока первая завершает процесс 30 s, concurrency 4: 11,200 успешных, 1 ошибка; 372.715 RPS; p50/p95/p99 = 4.884/41.279/82.383 ms Оба процесса стали healthy; подтверждённая история проверена smoke/failover тестами
Перезапуск state services и API Сессия и данные доступны с прежним токеном Persistence hook завершился PASS Volumes сохранены, подтверждённые данные не потеряны

Для /health/ready критична только PostgreSQL: Redis служит кэшем и имеет fallback на БД. Недоступность самой PostgreSQL или хоста не выдерживается. Нагрузка tests/load.py — закрытая и клиент-ограниченная; один отказ/timeout может скрыть результат COMMIT, поэтому это throughput HTTP-подтверждений, а не измерение числа транзакций БД.

Ограничения и следующие шаги

  • Нет HA для PostgreSQL, HAProxy, Redis как процесса и Docker host; отказ этих компонентов не покрыт тестами.
  • Compose restart под нагрузкой доказывает graceful последовательный рестарт API-процессов, но не blue/green обновление разных версий приложения.
  • Таблица ключей очищается логически при повторном использовании ключа старше 24 часов; массовая уборка не реализована.
  • Benchmark — один локальный закрытый профиль и три повтора; сначала следует интерпретировать фактические сводки, прежде чем заявлять saturation point или переносить выводы на production.