В разборе зафиксированы границы стенда: отказ процесса API переживаем, потерю единственного узла нет. Co-authored-by: Cursor <cursoragent@cursor.com>
16 KiB
Отчёт — лабораторная 3
- Автор, группа: Булацев, БПИ2301 (ветка
solution/bpi2301-Bulatsev) - Целевая оценка; выбранный трек 5: 5, трек 1 «Цена масштабирования»
- Перенос: API lab2 (PostgreSQL, Redis-сессии, кэш истории, миграции). В этой работе добавлены HAProxy, две и более реплики API без внешнего порта, общий
Idempotency-Keyв PostgreSQL иX-Instance-Id. - Commit/PR: ещё не опубликован
- Источники и помощь ИИ: контракт и README курса; образы Postgres 16.6, Redis 7.4.2, HAProxy 2.8. Документация HAProxy
server-templateи Docker Compose. Реализацию и прогоны помог собрать агент Cursor (Grok). На защите нужно объяснять схему своими словами.
Запуск из чистого clone
Стенд: Windows 11, CPU 12th Gen Intel Core i5-12450H, Docker Desktop 29.5.3 / Compose 5.1.4, лимит Docker 12 vCPU и 7.62 ГиБ. Образы зафиксированы тегами: python:3.12.8-slim-bookworm (сборка mtusi-messenger:lab3), postgres:16.6-alpine, redis:7.4.2-alpine, haproxy:2.8.14-alpine.
cp .env.example .env
docker compose --env-file .env config --quiet
docker compose --env-file .env up -d --build --scale api=2
Дождаться 200 от http://127.0.0.1:8080/health/ready. Этот адрес — HAProxy. Реплики API наружу порты не публикуют.
Миграции выполняет одноразовый сервис migrate (python -m app.migrate) после healthy Postgres и до старта API. Повторный запуск пропускает уже записанные файлы. Дополнительно pg_advisory_lock не даёт двум миграторам применить один файл. У API MIGRATIONS_ON_START=0.
Проверки:
python -X utf8 scripts/check_contract.py
python -X utf8 tests/smoke.py --base-url http://127.0.0.1:8080
python -X utf8 -m pytest student_tests -q -m "not infra and not expiry"
scripts/restart.sh и scripts/stop-one.sh — POSIX. На Linux: chmod +x и make test-persistence / make test-failover. На этом Windows CreateProcess не запускает .sh (WinError 193); те же команды прогнаны интерпретатором python3 в контейнере docker:27-cli с сокетом того же Docker. Скрипты при этом управляли контейнерами стенда.
Остановка без удаления данных: docker compose --env-file .env stop. Учебные тома удаляет только явная команда docker compose --env-file .env down -v.
Чтобы освободить 127.0.0.1:8080, перед запуском был остановлен контейнер mtusi2026lab2-api-1. Postgres и Redis lab2 оставались запущены; в срезах docker stats их CPU был около 0–4%.
Архитектура и решения
Клиент ходит только в lb (HAProxy, 127.0.0.1:8080). Backend — DNS-имя api сервиса Compose: server-template на 8 слотов, resolvers docker (127.0.0.11), hold valid 1s. Балансировка roundrobin, без sticky session. Сессии лежат в Redis (AOF + RDB), пользователи, чаты, сообщения и результаты идемпотентности — в PostgreSQL. Локальная память реплики не нужна для корректности следующего запроса.
X-Instance-Id — hostname контейнера, он не меняется, пока жив процесс. scripts/stop-one.sh сравнивает TARGET_INSTANCE_ID с /tmp/instance-id или hostname и делает docker stop -t 5 одного контейнера. restart: unless-stopped не поднимает его обратно.
POST /messages требует Idempotency-Key ([A-Za-z0-9._:-]{1,128}). Область — пользователь + POST + путь чата + ключ. Канонический JSON (text и attachment_ids, пустой список равен отсутствию поля) хешируется SHA-256. Тот же хеш в течение IDEMPOTENCY_TTL_SECONDS (86400) возвращает сохранённый 201 и то же сообщение. Другой текст — 409. Вставка сообщения и строки результата — одна транзакция; ошибка откатывает обе. Одновременные повторы сериализует pg_advisory_xact_lock в Postgres, поэтому две реплики не создают два сообщения. Неуспешный запрос строку не пишет, повтор с тем же ключом безопасен.
Проверки готовности. GET /health/live — только процесс. GET /health/ready — Postgres и Redis; во время SIGTERM сразу 503. HAProxy: inter 1s, fall 2, rise 1, timeout check 2s. Неготовая реплика выпадает примерно за 2 с. Если контейнер уже исчез, DNS-кэш HAProxy живёт ещё до 1 с. На SIGTERM API перестаёт принимать бизнес-запросы, ready становится 503, процесс завершается через LB_DRAIN_SECONDS (2). stop_grace_period сервиса — 8 с. Таймауты прокси: connect 2 с, client/server 10 с. HAProxy не повторяет POST.
Соответствие .env.example: DATABASE_URL и REDIS_URL собираются в Compose из POSTGRES_PASSWORD; API_CPUS, API_MEM, POSTGRES_CPUS, DB_POOL_MAX, LB_DRAIN_SECONDS, IDEMPOTENCY_TTL_SECONDS интерполируются в compose.yaml. Рабочая точка стенда — 2 реплики по 0.50 CPU и 256 МиБ, Postgres 1.0 CPU / 512 МиБ, пул по 4 соединения. container_name нет.
Доказательства критериев
| Критерий README | Команда/сценарий | Наблюдаемый результат | Файл доказательства |
|---|---|---|---|
| Контракт offline | python -X utf8 scripts/check_contract.py |
PASS | evidence/public-checks.txt |
| Smoke через LB | tests/smoke.py |
PASS, lab3 | evidence/public-checks.txt |
| Две реплики, одна сессия | 12× GET /health/ready |
Чередование 03c3a0545628 и b555f8327eee |
наблюдение до отказов; после экспериментов новые id, см. ниже |
| Общая БД и сессии | persistence hook | PASS, старый токен жив | evidence/public-checks.txt |
| Отказ одной реплики ≤10 с | tests/resilience.py --mode failover |
2 реплики до отказа; 109 успешных записей; 1 ошибка; первое подтверждение после hook 2.465 с; дублей нет | evidence/public-checks.txt |
| Остановлен именно целевой контейнер | docker inspect после failover |
mtusi2026lab3-api-1 Exited (0), hostname b555f8327eee; вторая реплика Up |
evidence/public-checks.txt |
| Идемпотентность 16 параллельных запросов | scripts/grade4_evidence.py |
16×201, 1 id, в истории 1 копия | evidence/grade4/summary.json |
| Поочерёдный отказ каждой реплики | тот же скрипт | hook 2.373 с и 1.744 с; в последних ответах только живая реплика; 2 и 1 ошибка | evidence/grade4/summary.json |
| Rolling update под нагрузкой | scripts/rolling-update.sh во время tests/load.py 50 с, concurrency 4 |
8361 успех, 18 ошибок (0.21%), RPS 166.9, p50/p95/p99 13.5/57.8/96.4 мс, замена 5.9 с | evidence/grade4/summary.json, evidence/grade4/rolling-load.json |
| Лимиты, нет обхода LB | docker ps |
API 8080/tcp без host-порта; наружу только 127.0.0.1:8080 у lb |
compose.yaml |
| Трек 1 | scripts/track1_experiment.py |
серии A/B и проверка двух правок, см. ниже | evidence/track1/summary.json, evidence/track1/rps.svg |
Студенческие тесты lab2 (гонки, откат чата, кэш, конкурентные сообщения): 15 passed. RUN_INFRA и expiry в этот прогон не входили.
После трека 1 стенд возвращён к 2 репликам по 0.50 CPU. Новые hostname на ready: 0868e9d2ba45 и 14cb087ebb10. Старые id исчезли вместе с пересозданными контейнерами; это не sticky session.
Эксперименты и отказы
Гипотеза. При фиксированном бюджете API 1.0 CPU и 512 МиБ дробление на 2 и 4 реплики не поднимет RPS: каждая упрётся в свой cgroup, а Postgres ещё свободен. Если давать каждой новой реплике те же 0.50 CPU, RPS вырастет, пока реплика упирается в квоту, и почти остановится, когда клиентский closed-loop и единственный Postgres перестанут получать пользу от лишних процессов.
Методика. Генератор tests/load.py: closed-loop POST сообщений, concurrency 8, 5 с прогрев (результат выбрасывается), 15 с замер. Ошибок автоматических retry нет. На каждую точку один прогон. В середине замера один срез docker stats и pg_stat_activity. В docker stats 100% — одно ядро. Профиль A держит сумму API равной 1.0 CPU / 512 МиБ и сумму пулов равной 8. Профиль B добавляет реплики по 0.50 CPU / 256 МиБ при Postgres 1.0 CPU.
| Точка | Реплики | CPU API суммарно | Успешный RPS | Ошибки | p50 / p95 / p99, мс | CPU API по stats | CPU Postgres | Сессии Postgres | CPU LB |
|---|---|---|---|---|---|---|---|---|---|
| A1 | 1 × 1.00 | 1.0 | 344.0 | 0 | 19.7 / 42.1 / 81.0 | 98% | 33% | 9 | 21% |
| A2 | 2 × 0.50 | 1.0 | 196.3 | 0 | 26.6 / 89.9 / 123.3 | 49% и 48% | 28% | 9 | 20% |
| A4 | 4 × 0.25 | 1.0 | 124.5 | 0 | 39.1 / 185.7 / 267.6 | 20–25% | 16% | 9 | 9% |
| B1 | 1 × 0.50 | 0.5 | 98.1 | 0 | 85.1 / 167.2 / 201.9 | 48% | 17% | 5 | 8% |
| B2 | 2 × 0.50 | 1.0 | 223.8 | 0 | 24.1 / 81.0 / 142.4 | 49% и 48% | 29% | 9 | 16% |
| B4 | 4 × 0.50 | 2.0 | 236.6 | 0 | 22.6 / 80.2 / 131.0 | 35–46% | 48% | 17 | 21% |
| C4-pg2 | как B4, Postgres 2.0 CPU | 2.0 | 251.2 | 0 | 19.7 / 77.2 / 101.2 | 40–43% | 43% | 17 | 22% |
| D4-pool2 | как B4, пул 2 на реплику | 2.0 | 239.0 | 0 | 22.7 / 74.9 / 98.1 | 45–48% | 49% | 9 | 22% |
График: evidence/track1/rps.svg. Сырые точки: evidence/track1/*.point.json.
Что из этого следует. В серии A Postgres не насыщен (16–33%), память API далеко от лимита. Падает сам API: одна реплика с целым ядром даёт 344 RPS, те же ресурсы четырьмя квотами по 0.25 CPU — 124 RPS, p95 с 42 до 186 мс. Рост числа процессов при фиксированном CPU вреден из-за квот CFS и накладных расходов, а не из-за нехватки БД.
В серии B первое ядро API ещё нужно: B1 упирается в квоту 0.50 CPU (stats около 50%, p95 167 мс). Вторая такая реплика — подтверждённое улучшение: RPS 98.1 → 223.8, p95 167 → 81 мс, Postgres только с 17% до 29%. Четыре реплики против двух — уже площадка: +1.0 CPU API даёт 223.8 → 236.6 RPS (+6%), зато сессий Postgres 9 → 17 и CPU Postgres 29% → 48%, LB 16% → 21%. Восемь замкнутых воркеров не заполняют четыре процесса, а каждый INSERT всё равно идёт в один Postgres. Пул здесь не узкое место: D4 снижает сессии с 17 до 9 и почти не меняет RPS (239 против 237). Дополнительное ядро Postgres тоже не подтвердилось: 251 против 237 на одном 15-секундном прогоне, срез CPU Postgres так и не упёрся в 100%.
Ограничение измерения. Один прогон на точку, closed-loop и coordinated omission, перцентили только успешных запросов, таблица messages растёт от точки к точке, docker stats — один срез. Это не паспорт максимальной пропускной способности машины.
| Воздействие | Что ожидаем | Что наблюдали | Время восстановления / потеря данных |
|---|---|---|---|
scripts/restart.sh (api, postgres, redis), тома на месте |
те же сообщения и тот же токен | PASS публичного persistence | готовность вернулась внутри бюджета теста 90 с; данных не теряли |
scripts/stop-one.sh по X-Instance-Id |
живая реплика принимает запись ≤10 с, дубля нет | 2 id до отказа; 1 ошибка; 109 записей; целевой контейнер Exited (0) | 2.465 с до первого подтверждения после возврата hook |
| Та же остановка второй реплики после старта первой | хвост ответов только от оставшейся | оба прогона: target отсутствует в последних 5 id | hook 1.7–2.4 с; ошибок 1 и 2 |
| Поочерёдная замена обеих реплик под нагрузкой | короткие ошибки, запись продолжается | 18 ошибок на 8379 попыток | скрипт замены 5.9 с |
Ограничения и следующие шаги
Стенд переживает остановку одного процесса API и перезапуск контейнеров с сохранёнными томами. Он не переживает потерю единственного хоста, HAProxy, Postgres или Redis: это оставшиеся SPOF. Трек 2 не делался, выживание узла БД не заявляется.
Sticky session нет и не нужен: сессия в Redis, идемпотентность в Postgres. Повторно безопасно отправлять POST сообщения с тем же ключом. Повтор POST пользователя или чата по-прежнему может создать второй объект; прокси такие POST не повторяет.
Миграции совместимы с уже работающей схемой lab2 (новый файл 002_idempotency.sql, старые таблицы не переписываются). Одновременный запуск двух версий кода с разной схемой отдельно не гонялся.
Подтверждённое улучшение — вторая реплика, когда первая исчерпала квоту 0.50 CPU (B1→B2). Четвёртая реплика, удвоение CPU Postgres и урезание пула на этом профиле прироста не показали. Следующий осмысленный шаг — поднять concurrency клиента выше 8 и повторить B2/B4 несколькими прогонами, прежде чем добавлять реплики Postgres.