24 KiB
Отчёт — лабораторная 3
- Автор, группа: Казанцева Виктория / БПИ2301
- Целевая оценка; выбранный трек 5: 5, трек 1 (цена масштабирования)
- Commit/PR: mtusi2026/mtusi2026lab3#71
- Использованные источники и библиотеки: контракт и публичные тесты skeleton, код лабораторной 2, документация HAProxy про DNS-резолвер и health-check, документация Docker Compose про
deploy.replicasи лимиты. Библиотеки: argon2-cffi 23.1.0, psycopg 3.2.9 с пулом, redis 5.2.1. Образы: python:3.12.7-slim-bookworm, postgres:16.8-bookworm, redis:7.4.2-alpine, haproxy:2.8.14-alpine. Сборка приложения — локальный образmtusi-messenger:lab3. Команды, smoke и замеры прогнаны локально 30.10.2026 около 00:20 (UTC+3), числа ниже с этого запуска.
Запуск из чистого clone
Нужны Docker Compose v2 и Python 3.9+. У меня проверки шли интерпретатором python 3.11.5, рядом есть python3 3.11.9. Docker Engine 29.2.1, Windows. Программы make на машине нет, поэтому ниже те же команды, что в Makefile, вызваны напрямую. На Windows публичные тесты читают UTF-8 контракт системной кодировкой, поэтому перед ними нужен PYTHONUTF8=1. На Linux и macOS этого не требуется, и там же hook запускается как scripts/restart.sh и scripts/stop-one.sh после chmod +x. На Windows Python не исполняет shebang, поэтому те же действия лежат в scripts/restart.cmd и scripts/stop-one.cmd.
Пароли только в .env. Файл в gitignore. В репозиторий попадает .env.example с плейсхолдерами.
copy .env.example .env
Дальше вписать локальные POSTGRES_PASSWORD и REDIS_PASSWORD. Затем одна последовательность:
docker compose --env-file .env config --quiet
docker compose --env-file .env up -d --build --scale api=2
deploy.replicas тоже равен API_REPLICAS (по умолчанию 2). --scale явно задаёт то же число и им я меняла число реплик в эксперименте. Миграции выполняет одноразовый сервис migrate до старта API. Реплики сами SQL не применяют. Подождать, пока http://127.0.0.1:8080/health/ready ответит 200 и в заголовке будет X-Instance-Id.
Проверки, как я их запускала:
set PYTHONUTF8=1
python scripts/check_contract.py
python tests/smoke.py --base-url http://127.0.0.1:8080
python tests/resilience.py --mode persistence --action-script scripts/restart.cmd --base-url http://127.0.0.1:8080
python tests/resilience.py --mode failover --action-script scripts/stop-one.cmd --base-url http://127.0.0.1:8080
python tests/load.py --base-url http://127.0.0.1:8080 --duration 20 --concurrency 4 --output evidence/load.json
python student-tests/experiment_grade4.py
python student-tests/experiment_track1.py
На Linux то же самое через make test, make test-persistence ACTION_SCRIPT=scripts/restart.sh и make test-failover ACTION_SCRIPT=scripts/stop-one.sh.
После failover реплика остаётся остановленной. Вернуть её: docker compose --env-file .env start api. Остановка без удаления данных: docker compose --env-file .env stop. Данные остаются в томах pg-data и redis-data. Удаление учебных данных, если оно действительно нужно: docker compose --env-file .env down -v. Эту команду тесты и hook не вызывают.
Архитектура и решения
Клиент ходит только на HAProxy (lb, 127.0.0.1:8080). За ним сервис api без container_name и без проброшенного наружу порта. Снаружи виден только балансировщик. У API нет локальных сессий и нет своего тома. Пользователи, чаты, сообщения и ключи идемпотентности лежат в одном PostgreSQL. Сессии лежат в одном Redis с AOF и appendfsync always. Пароль Postgres есть у postgres, migrate и api. Пароль Redis есть у redis и api. У балансировщика учётных данных баз нет.
X-Instance-Id — hostname контейнера, первые 12 символов его id. Он не меняется, пока живёт этот контейнер, и это не cookie клиента. Балансировка roundrobin, sticky session нет.
Отправка сообщения требует Idempotency-Key ([A-Za-z0-9._:-]{1,128}). Область ключа: пользователь, метод POST, путь /api/v1/chats/{id}/messages, сам ключ. Отпечаток тела — SHA-256 канонического JSON. Пустой список вложений и отсутствующее поле для этого отпечатка совпадают. Успешная вставка сообщения и строка ключа коммитятся одной транзакцией. На время транзакции берётся advisory lock именно этой области, поэтому два параллельных повтора через разные реплики не создают два сообщения. Повтор того же тела возвращает тот же 201 и то же сообщение. Другое тело — 409. Ошибка 5xx транзакцию откатывает, ключ не занимается, клиент может повторить тот же ключ. Перед повтором снова проверяются сессия и членство в чате. Срок хранения ключа — IDEMPOTENCY_TTL_SECONDS, по умолчанию 86400.
GET /health/live отвечает 200, пока процесс жив, в том числе после SIGTERM. GET /health/ready отвечает 200 только если процесс принимает запросы, схема уже накатана, Postgres и Redis отвечают. На SIGTERM процесс сразу перестаёт принимать работу, ready становится 503, ждёт DRAIN_SECONDS (2) и только потом закрывает сокет. stop_grace_period у API — 8 с, docker stop -t 6 укладывается в лимит hook 10 с.
HAProxy сам обновляет адреса через DNS Docker 127.0.0.11. hold valid 1s. Проверка backend: GET /health/ready каждые 1 с, fall 2, rise 1. Недоступный backend выводится примерно за 2 с по health-check и не позже чем за 1 с по DNS, когда контейнер уже исчез из DNS. Верхняя оценка обнаружения отказа — 3 с. Таймауты: connect 500 мс, server 10 с, client 15 с, check 1 с, queue 1 с. Для обычных запросов повтор на другой backend есть только при обрыве соединения до отправки и при 503, который API отдаёт до commit. Потерянный ответ 201 у создания чата балансировщик не повторяет. Повтор пустого ответа, 502 и 503 включён только у POST /chats/{id}/messages: там общий ключ идемпотентности. depends_on только упорядочивает первый старт и балансировщиком не является.
Соответствие .env.example и стенда: APP_PORT публикует только lb. SESSION_TTL_SECONDS и IDEMPOTENCY_TTL_SECONDS читает API. DATABASE_URL и REDIS_URL собирает Compose из паролей .env; файлы DATABASE_URL_FILE и CACHE_URL_FILE код умеет читать, но этот стенд их не монтирует. API_REPLICAS, API_CPUS, API_MEMORY, POOL_MAX, CAP_MODE, DRAIN_SECONDS задают число реплик, лимиты, пул и режим предела сообщений.
Лимиты по умолчанию: API 2 × 0.50 CPU и 512 МиБ, Postgres 1.0 CPU и 512 МиБ, Redis 0.25 CPU и 128 МиБ, HAProxy 0.50 CPU и 128 МиБ. max_connections Postgres — 100, shared_buffers — 128 МиБ, fsync и synchronous_commit включены. Пул API по умолчанию 4 соединения на процесс.
CAP_MODE=strict оставляет глобальный lock и count(*) перед каждой вставкой, как в лабораторной 2. В обычном стенде CAP_MODE=off: контракт предел числа сообщений не требует, а общий lock сериализует все вставки. Это не источник выигрыша в треке 1, см. ниже.
Миграция одна, migrations/001_init.sql. Её пишет сервис migrate и отмечает в schema_migrations. Повторный запуск контейнера строки не вставляет. Реплики в ready только проверяют, что версия уже есть. Несовместимую миграцию при живых старых репликах этот стенд не умеет: схема одна и накатывается до приёма трафика.
Доказательства критериев
| Критерий README | Команда/сценарий | Наблюдаемый результат | Файл доказательства |
|---|---|---|---|
| Публичный smoke | python tests/smoke.py --base-url http://127.0.0.1:8080 |
PASS. Повторён после экспериментов, уже на восстановленных репликах | вывод в этом отчёте |
| Две реплики, одна точка входа, общая БД и Redis | docker compose ps |
api ×2 без порта на хосте, lb только на 127.0.0.1:8080, Postgres и Redis без публикации на хост |
этот раздел |
| Разные реплики одной сессии | 30 запросов GET /health/ready через LB |
два X-Instance-Id: 5331f4cbcae1 и dea5f28995dd |
финальный стенд после трека |
| Отказ одной реплики | tests/resilience.py --mode failover --action-script scripts/stop-one.cmd |
до отказа видно 2 реплики; 123 успешных записи, 0 ошибок; первая успешная запись через 3.328 с; остановлен именно mtusi-lab3-api-2, LB/Postgres/Redis живы |
evidence/failover-public.json |
| Идемпотентность, в том числе параллельно и с двух реплик | student-tests/experiment_grade4.py |
16 параллельных POST с одним ключом и телом: 16×201, один id, в истории одна копия, оба instance id. 8 POST с одним ключом и разными телами: один 201 и семь 409 | evidence/grade4.json |
| Сохранность тома и сессии | tests/resilience.py --mode persistence --action-script scripts/restart.cmd |
PASS, тот же токен. StartedAt изменился у api-1, api-2, postgres, redis и lb. migrate не перезапускался |
evidence/persistence-before.txt, evidence/persistence-after.txt |
| Health, SIGTERM, время обнаружения | конфиг HAProxy и DRAIN_SECONDS=2 |
проверка раз в 1 с, fall 2, DNS hold 1 с; верхняя граница 3 с. Публичный failover уложился в 3.328 с при бюджете 10 с | infra/haproxy.cfg |
| Поочерёдный отказ каждой реплики | тот же grade4-скрипт | 836017c62a61: stop 2.422 с, 27 ошибок в окне, реплика вернулась. a0f9a69d71e5: stop 2.390 с, 33 ошибки, реплика вернулась. Вторая реплика в это время продолжала писать |
evidence/grade4.json |
| Лимиты, нет обхода LB, нет container_name | compose.yaml, docker compose ps |
лимиты CPU/RAM у всех сервисов; у api нет container_name и нет host-порта |
compose.yaml |
| Поочерёдная замена под нагрузкой | scripts/rolling-replace.ps1 из grade4-скрипта |
7.219 с, 1341 успешное чтение, 401 ошибка на закрываемых сокетах, после замены два новых id | evidence/grade4.json |
| Миграция один раз | psql по schema_migrations |
одна строка 001_init.sql |
команда в этом разделе |
| Трек 1 | student-tests/experiment_track1.py |
см. таблицу ниже. Все 10 прогонов: 0 ошибок клиента, видно ровно заявленное число реплик | evidence/track1.json, evidence/track1.svg |
| Нагрузка рабочего стенда | tests/load.py --duration 20 --concurrency 4 |
3630 успехов, 0 ошибок, 180.651 RPS, p50/p95/p99 16/47/94 мс | evidence/load.json |
check_contract.py тоже PASS. Контракт и публичные тесты я не меняла.
Рабочая нагрузка после восстановления стенда идёт на две реплики по 0.50 CPU и 512 МиБ. Профиль трека другой: 12 с, concurrency 8, поэтому RPS там нельзя складывать с 180.651.
Эксперименты и отказы
Машина: Windows 10.0.26100, 16 CPU, около 7.6 ГиБ RAM у Docker. В docker stats 100% — это одно ядро: реплика с лимитом 1.0 CPU показывала около 74–80%, а не сотни процентов.
Гипотеза: при фиксированных 1.0 CPU и 1024 МиБ на все API рост числа процессов не поднимет RPS, потому что каждому достанется меньший кусок CPU. Рост числа реплик поможет, только если у каждой останется свой CPU. Отдельно проверила, не упрётся ли стенд в пул соединений.
Профиль трека: tests/load.py, closed-loop POST сообщений, 12 с, concurrency 8, без автоматических retry. Прогрев отдельно не выделяла. Каждая точка — один прогон. Клиент на той же машине, поэтому абсолютный RPS включает стоимость клиента. В docker stats среднее CPU — среднее по образцам контейнеров этой роли, не сумма. Для четырёх реплик суммарный CPU API примерно в четыре раза больше указанного среднего.
| Серия | Реплики | CPU на реплику | RPS | p50/p95/p99, мс | CPU API, среднее | CPU Postgres | CPU LB |
|---|---|---|---|---|---|---|---|
| фиксированный бюджет, strict | 1 | 1.00 | 158.286 | 47/94/125 | 74.21 | 23.25 | 10.45 |
| фиксированный бюджет, strict | 2 | 0.50 | 174.844 | 32/109/187 | 30.32 | 26.05 | 6.40 |
| фиксированный бюджет, strict | 4 | 0.25 | 136.692 | 46/188/281 | 18.74 | 15.16 | 8.94 |
| фиксированный бюджет, cap off | 1 | 1.00 | 184.701 | 32/93/109 | 80.13 | 15.36 | 8.82 |
| фиксированный бюджет, cap off | 2 | 0.50 | 165.162 | 31/125/203 | 36.09 | 15.01 | 10.63 |
| фиксированный бюджет, cap off | 4 | 0.25 | 109.204 | 31/281/329 | 16.83 | 11.07 | 7.92 |
| CPU растёт вместе с числом | 1 | 0.50 | 84.703 | 94/203/219 | 42.47 | 7.93 | 4.44 |
| CPU растёт вместе с числом | 2 | 0.50 | 147.996 | 32/141/203 | 31.20 | 15.35 | 9.64 |
| CPU растёт вместе с числом | 4 | 0.50 | 329.198 | 16/78/125 | 34.41 | 34.01 | 30.12 |
| тот же 4×0.50, пул 16 | 4 | 0.50 | 319.011 | 16/78/171 | 30.75 | 31.35 | 21.05 |
График: evidence/track1.svg. Сырые ответы нагрузки: evidence/load-*.json.
При фиксированном 1.0 CPU четыре реплики хуже одной: 109 против 185 RPS и p99 329 мс против 109 мс. Каждая реплика с лимитом 0.25 CPU сидит около этого потолка (среднее 17–19%). Postgres при этом занят на 0.11–0.26 ядра из разрешённого 1.0. Узкое место здесь — нарезанный CPU процессов API, а не база и не балансировщик.
Когда у каждой реплики остаётся 0.50 CPU, ряд 1/2/4 даёт 84.7 → 148.0 → 329.2 RPS. Четыре реплики почти в 3.9 раза быстрее одной. Postgres доходит до 0.34 ядра, LB до 0.30 при своём лимите 0.50. Это ещё не насыщение базы. Ближе к своему лимиту оказывается балансировщик, но и он не упёрся. Увеличение пула с 4 до 16 на этой точке RPS не подняло: 329.2 против 319.0. Пул на этом профиле не насыщен.
Подтверждённое улучшение: не резать 1.0 CPU на четыре процесса, а давать реплике отдельные 0.50 CPU и добавлять такие реплики. Переход 1×0.50 → 2×0.50 поднимает RPS с 84.7 до 148.0, переход к 4×0.50 — до 329.2. Обратная нарезка того же суммарного CPU на четыре процесса снижает RPS со 184.7 до 109.2. Глобальный lock предела сообщений на одном ядре дал 158 против 185 RPS, но на двух и четырёх репликах картина уже шумная, поэтому улучшением я его не объявляю. В рабочем стенде он выключен.
| Воздействие | Что ожидаем | Что наблюдали | Время восстановления / потеря данных |
|---|---|---|---|
| Перезапуск API, Postgres, Redis и LB с сохранением томов | тот же токен и те же сообщения | PASS публичного persistence; StartedAt у хранилищ и API сменился, том не удалялся | данные и сессия на месте |
stop-one одной реплики |
не позже 10 с идут новые записи, остановленная реплика не отвечает | 3.328 с, 0 ошибок у публичного клиента, 123 успешных записи, контейнер api-2 в Exited | подтверждённые сообщения целы |
| Поочерёдная остановка каждой реплики | вторая продолжает писать, первая потом возвращается | stop около 2.4 с; 27 и 33 ошибки своего клиента без retry; обе реплики снова видны в LB | потери подтверждённых записей нет |
| Поочерёдная замена контейнеров | остаётся две живые реплики | 7.2 с, 1341 успешное чтение, 401 ошибка на закрытии сокета, два новых id | сессии в Redis не трогала |
Ошибки своего клиента в grade4 больше, чем в публичном failover: публичный тест идёт через HAProxy, а тот повторяет обрыв и 503 на другой реплике. Свой генератор считает каждый неуспешный ответ ошибкой и сам не повторяет его. Оба наблюдения совместимы.
Ограничения и следующие шаги
Стенд переживает остановку одного процесса API и поочерёдную замену контейнеров. Он не переживает потерю узла, на котором лежат LB, Postgres или Redis: все три в одном экземпляре. Это не трек 2, и я не утверждаю отказоустойчивость базы.
Точки трека сняты по одному разу, по 12 секунд, closed-loop, с клиента на той же машине. Это не интервал доверия и не открытый поток запросов. Postgres на этом профиле не насытился, поэтому я не называю базу пределом. Пул 16 против 4 тоже ничего не ускорил. Следующий кандидат при ещё большем числе реплик — лимит 0.50 CPU у HAProxy: на четырёх репликах он уже был на 0.30 ядра.
Короткие ошибки в момент SIGTERM и удаления контейнера есть. Подтверждённая запись не пропадает: ключ и сообщение коммитятся вместе, а неподтверждённый POST можно повторить с тем же ключом. POST регистрации и создания чата так повторять нельзя, у них ключа нет.
Вопросы на защите
Отказ процесса — это остановленный контейнер API. LB, база и Redis остаются, вторая реплика продолжает обслуживать сессию из Redis. Отказ узла забирает всё, что было только на этом узле. Здесь LB, Postgres и Redis не продублированы, поэтому потерю их узла стенд не переживёт.
depends_on и healthcheck контейнера только решают, можно ли стартовать зависимому сервису и здоров ли он для Docker. Они не принимают клиентские соединения и не выбирают живую реплику. Это делает HAProxy: round-robin, DNS и проверка /health/ready.
После таймаута можно повторять POST сообщения с тем же телом и тем же Idempotency-Key. Защищает общая строка ключа в Postgres, записанная в одной транзакции с сообщением. Повтор создания пользователя или чата таким ключом не защищён и может создать второй объект.
Если сессии лежат в памяти процесса, новая реплика не знает токен. Запрос уйдёт на неё и получит 401, хотя пользователь только что вошёл. Общий Redis это убирает: любая реплика читает одну и ту же сессию.