Files
mtusi2026lab3/REPORT.md
T

16 KiB
Raw Blame History

Отчёт — лабораторная 3

  • Автор, группа: Булацев, БПИ2301 (ветка solution/bpi2301-Bulatsev)
  • Целевая оценка; выбранный трек 5: 5, трек 1 «Цена масштабирования»
  • Перенос: API lab2 (PostgreSQL, Redis-сессии, кэш истории, миграции). В этой работе добавлены HAProxy, две и более реплики API без внешнего порта, общий Idempotency-Key в PostgreSQL и X-Instance-Id.
  • Commit/PR: ещё не опубликован
  • Источники и помощь ИИ: контракт и README курса; образы Postgres 16.6, Redis 7.4.2, HAProxy 2.8. Документация HAProxy server-template и Docker Compose. Реализацию и прогоны помог собрать агент Cursor (Grok). На защите нужно объяснять схему своими словами.

Запуск из чистого clone

Стенд: Windows 11, CPU 12th Gen Intel Core i5-12450H, Docker Desktop 29.5.3 / Compose 5.1.4, лимит Docker 12 vCPU и 7.62 ГиБ. Образы зафиксированы тегами: python:3.12.8-slim-bookworm (сборка mtusi-messenger:lab3), postgres:16.6-alpine, redis:7.4.2-alpine, haproxy:2.8.14-alpine.

cp .env.example .env
docker compose --env-file .env config --quiet
docker compose --env-file .env up -d --build --scale api=2

Дождаться 200 от http://127.0.0.1:8080/health/ready. Этот адрес — HAProxy. Реплики API наружу порты не публикуют.

Миграции выполняет одноразовый сервис migrate (python -m app.migrate) после healthy Postgres и до старта API. Повторный запуск пропускает уже записанные файлы. Дополнительно pg_advisory_lock не даёт двум миграторам применить один файл. У API MIGRATIONS_ON_START=0.

Проверки:

python -X utf8 scripts/check_contract.py
python -X utf8 tests/smoke.py --base-url http://127.0.0.1:8080
python -X utf8 -m pytest student_tests -q -m "not infra and not expiry"

scripts/restart.sh и scripts/stop-one.sh — POSIX. На Linux: chmod +x и make test-persistence / make test-failover. На этом Windows CreateProcess не запускает .sh (WinError 193); те же команды прогнаны интерпретатором python3 в контейнере docker:27-cli с сокетом того же Docker. Скрипты при этом управляли контейнерами стенда.

Остановка без удаления данных: docker compose --env-file .env stop. Учебные тома удаляет только явная команда docker compose --env-file .env down -v.

Чтобы освободить 127.0.0.1:8080, перед запуском был остановлен контейнер mtusi2026lab2-api-1. Postgres и Redis lab2 оставались запущены; в срезах docker stats их CPU был около 0–4%.

Архитектура и решения

Клиент ходит только в lb (HAProxy, 127.0.0.1:8080). Backend — DNS-имя api сервиса Compose: server-template на 8 слотов, resolvers docker (127.0.0.11), hold valid 1s. Балансировка roundrobin, без sticky session. Сессии лежат в Redis (AOF + RDB), пользователи, чаты, сообщения и результаты идемпотентности — в PostgreSQL. Локальная память реплики не нужна для корректности следующего запроса.

X-Instance-Id — hostname контейнера, он не меняется, пока жив процесс. scripts/stop-one.sh сравнивает TARGET_INSTANCE_ID с /tmp/instance-id или hostname и делает docker stop -t 5 одного контейнера. restart: unless-stopped не поднимает его обратно.

POST /messages требует Idempotency-Key ([A-Za-z0-9._:-]{1,128}). Область — пользователь + POST + путь чата + ключ. Канонический JSON (text и attachment_ids, пустой список равен отсутствию поля) хешируется SHA-256. Тот же хеш в течение IDEMPOTENCY_TTL_SECONDS (86400) возвращает сохранённый 201 и то же сообщение. Другой текст — 409. Вставка сообщения и строки результата — одна транзакция; ошибка откатывает обе. Одновременные повторы сериализует pg_advisory_xact_lock в Postgres, поэтому две реплики не создают два сообщения. Неуспешный запрос строку не пишет, повтор с тем же ключом безопасен.

Проверки готовности. GET /health/live — только процесс. GET /health/ready — Postgres и Redis; во время SIGTERM сразу 503. HAProxy: inter 1s, fall 2, rise 1, timeout check 2s. Неготовая реплика выпадает примерно за 2 с. Если контейнер уже исчез, DNS-кэш HAProxy живёт ещё до 1 с. На SIGTERM API перестаёт принимать бизнес-запросы, ready становится 503, процесс завершается через LB_DRAIN_SECONDS (2). stop_grace_period сервиса — 8 с. Таймауты прокси: connect 2 с, client/server 10 с. HAProxy не повторяет POST.

Соответствие .env.example: DATABASE_URL и REDIS_URL собираются в Compose из POSTGRES_PASSWORD; API_CPUS, API_MEM, POSTGRES_CPUS, DB_POOL_MAX, LB_DRAIN_SECONDS, IDEMPOTENCY_TTL_SECONDS интерполируются в compose.yaml. Рабочая точка стенда — 2 реплики по 0.50 CPU и 256 МиБ, Postgres 1.0 CPU / 512 МиБ, пул по 4 соединения. container_name нет.

Доказательства критериев

Критерий README Команда/сценарий Наблюдаемый результат Файл доказательства
Контракт offline python -X utf8 scripts/check_contract.py PASS evidence/public-checks.txt
Smoke через LB tests/smoke.py PASS, lab3 evidence/public-checks.txt
Две реплики, одна сессия 12× GET /health/ready Чередование 03c3a0545628 и b555f8327eee наблюдение до отказов; после экспериментов новые id, см. ниже
Общая БД и сессии persistence hook PASS, старый токен жив evidence/public-checks.txt
Отказ одной реплики ≤10 с tests/resilience.py --mode failover 2 реплики до отказа; 109 успешных записей; 1 ошибка; первое подтверждение после hook 2.465 с; дублей нет evidence/public-checks.txt
Остановлен именно целевой контейнер docker inspect после failover mtusi2026lab3-api-1 Exited (0), hostname b555f8327eee; вторая реплика Up evidence/public-checks.txt
Идемпотентность 16 параллельных запросов scripts/grade4_evidence.py 16×201, 1 id, в истории 1 копия evidence/grade4/summary.json
Поочерёдный отказ каждой реплики тот же скрипт hook 2.373 с и 1.744 с; в последних ответах только живая реплика; 2 и 1 ошибка evidence/grade4/summary.json
Rolling update под нагрузкой scripts/rolling-update.sh во время tests/load.py 50 с, concurrency 4 8361 успех, 18 ошибок (0.21%), RPS 166.9, p50/p95/p99 13.5/57.8/96.4 мс, замена 5.9 с evidence/grade4/summary.json, evidence/grade4/rolling-load.json
Лимиты, нет обхода LB docker ps API 8080/tcp без host-порта; наружу только 127.0.0.1:8080 у lb compose.yaml
Трек 1 scripts/track1_experiment.py серии A/B и проверка двух правок, см. ниже evidence/track1/summary.json, evidence/track1/rps.svg

Студенческие тесты lab2 (гонки, откат чата, кэш, конкурентные сообщения): 15 passed. RUN_INFRA и expiry в этот прогон не входили.

После трека 1 стенд возвращён к 2 репликам по 0.50 CPU. Новые hostname на ready: 0868e9d2ba45 и 14cb087ebb10. Старые id исчезли вместе с пересозданными контейнерами; это не sticky session.

Эксперименты и отказы

Гипотеза. При фиксированном бюджете API 1.0 CPU и 512 МиБ дробление на 2 и 4 реплики не поднимет RPS: каждая упрётся в свой cgroup, а Postgres ещё свободен. Если давать каждой новой реплике те же 0.50 CPU, RPS вырастет, пока реплика упирается в квоту, и почти остановится, когда клиентский closed-loop и единственный Postgres перестанут получать пользу от лишних процессов.

Методика. Генератор tests/load.py: closed-loop POST сообщений, concurrency 8, 5 с прогрев (результат выбрасывается), 15 с замер. Ошибок автоматических retry нет. На каждую точку один прогон. В середине замера один срез docker stats и pg_stat_activity. В docker stats 100% — одно ядро. Профиль A держит сумму API равной 1.0 CPU / 512 МиБ и сумму пулов равной 8. Профиль B добавляет реплики по 0.50 CPU / 256 МиБ при Postgres 1.0 CPU.

Точка Реплики CPU API суммарно Успешный RPS Ошибки p50 / p95 / p99, мс CPU API по stats CPU Postgres Сессии Postgres CPU LB
A1 1 × 1.00 1.0 344.0 0 19.7 / 42.1 / 81.0 98% 33% 9 21%
A2 2 × 0.50 1.0 196.3 0 26.6 / 89.9 / 123.3 49% и 48% 28% 9 20%
A4 4 × 0.25 1.0 124.5 0 39.1 / 185.7 / 267.6 20–25% 16% 9 9%
B1 1 × 0.50 0.5 98.1 0 85.1 / 167.2 / 201.9 48% 17% 5 8%
B2 2 × 0.50 1.0 223.8 0 24.1 / 81.0 / 142.4 49% и 48% 29% 9 16%
B4 4 × 0.50 2.0 236.6 0 22.6 / 80.2 / 131.0 35–46% 48% 17 21%
C4-pg2 как B4, Postgres 2.0 CPU 2.0 251.2 0 19.7 / 77.2 / 101.2 40–43% 43% 17 22%
D4-pool2 как B4, пул 2 на реплику 2.0 239.0 0 22.7 / 74.9 / 98.1 45–48% 49% 9 22%

График: evidence/track1/rps.svg. Сырые точки: evidence/track1/*.point.json.

Что из этого следует. В серии A Postgres не насыщен (16–33%), память API далеко от лимита. Падает сам API: одна реплика с целым ядром даёт 344 RPS, те же ресурсы четырьмя квотами по 0.25 CPU — 124 RPS, p95 с 42 до 186 мс. Рост числа процессов при фиксированном CPU вреден из-за квот CFS и накладных расходов, а не из-за нехватки БД.

В серии B первое ядро API ещё нужно: B1 упирается в квоту 0.50 CPU (stats около 50%, p95 167 мс). Вторая такая реплика — подтверждённое улучшение: RPS 98.1 → 223.8, p95 167 → 81 мс, Postgres только с 17% до 29%. Четыре реплики против двух — уже площадка: +1.0 CPU API даёт 223.8 → 236.6 RPS (+6%), зато сессий Postgres 9 → 17 и CPU Postgres 29% → 48%, LB 16% → 21%. Восемь замкнутых воркеров не заполняют четыре процесса, а каждый INSERT всё равно идёт в один Postgres. Пул здесь не узкое место: D4 снижает сессии с 17 до 9 и почти не меняет RPS (239 против 237). Дополнительное ядро Postgres тоже не подтвердилось: 251 против 237 на одном 15-секундном прогоне, срез CPU Postgres так и не упёрся в 100%.

Ограничение измерения. Один прогон на точку, closed-loop и coordinated omission, перцентили только успешных запросов, таблица messages растёт от точки к точке, docker stats — один срез. Это не паспорт максимальной пропускной способности машины.

Воздействие Что ожидаем Что наблюдали Время восстановления / потеря данных
scripts/restart.sh (api, postgres, redis), тома на месте те же сообщения и тот же токен PASS публичного persistence готовность вернулась внутри бюджета теста 90 с; данных не теряли
scripts/stop-one.sh по X-Instance-Id живая реплика принимает запись ≤10 с, дубля нет 2 id до отказа; 1 ошибка; 109 записей; целевой контейнер Exited (0) 2.465 с до первого подтверждения после возврата hook
Та же остановка второй реплики после старта первой хвост ответов только от оставшейся оба прогона: target отсутствует в последних 5 id hook 1.7–2.4 с; ошибок 1 и 2
Поочерёдная замена обеих реплик под нагрузкой короткие ошибки, запись продолжается 18 ошибок на 8379 попыток скрипт замены 5.9 с

Ограничения и следующие шаги

Стенд переживает остановку одного процесса API и перезапуск контейнеров с сохранёнными томами. Он не переживает потерю единственного хоста, HAProxy, Postgres или Redis: это оставшиеся SPOF. Трек 2 не делался, выживание узла БД не заявляется.

Sticky session нет и не нужен: сессия в Redis, идемпотентность в Postgres. Повторно безопасно отправлять POST сообщения с тем же ключом. Повтор POST пользователя или чата по-прежнему может создать второй объект; прокси такие POST не повторяет.

Миграции совместимы с уже работающей схемой lab2 (новый файл 002_idempotency.sql, старые таблицы не переписываются). Одновременный запуск двух версий кода с разной схемой отдельно не гонялся.

Подтверждённое улучшение — вторая реплика, когда первая исчерпала квоту 0.50 CPU (B1→B2). Четвёртая реплика, удвоение CPU Postgres и урезание пула на этом профиле прироста не показали. Следующий осмысленный шаг — поднять concurrency клиента выше 8 и повторить B2/B4 несколькими прогонами, прежде чем добавлять реплики Postgres.