20 KiB
Отчёт — лабораторная 3
- Автор, группа: Никитин Андрей Александрович БВТ2301
- Целевая оценка: 5. Трек 1 (цена масштабирования)
- Commit/PR: не публиковался
- Источники и помощь: контракт и публичные тесты курса; PostgreSQL 16, Valkey, Nginx, libpqxx, libsodium, hiredis, nlohmann/json. Помощь ИИ: DeepSeek, Cursor, GigaCode.
Запуск из чистого clone
Хост этого прогона: 12th Gen Intel Core i5-12450H, 12 потоков, 14 GiB RAM. Образы: postgres:16.15-alpine, valkey/valkey:8.1.10-alpine, nginx:1.28.0-alpine, приложение собирается из ubuntu:25.10 (g++ 15.2, libpqxx 7.10, libsodium 1.0.18, hiredis 1.2.0).
Лимиты: db 1 CPU / 512 MiB, cache 0.5 CPU / 256 MiB, каждая реплика api 0.5 CPU / 256 MiB, lb 0.25 CPU / 128 MiB. Проверено через docker inspect (NanoCpus / Memory).
cp .env.example .env
# В .env задать POSTGRES_USER, POSTGRES_PASSWORD, POSTGRES_DB, SESSION_STORE=redis
mkdir -p secrets
printf 'postgresql://USER:PASSWORD@db:5432/DB\n' > secrets/database_url
printf 'redis://cache:6379/0\n' > secrets/cache_url
docker compose --env-file .env config --quiet
docker compose --env-file .env up -d --build
# Дождаться healthy у lb, затем:
make test
make test-persistence ACTION_SCRIPT=scripts/restart.sh
make test-failover ACTION_SCRIPT=scripts/stop-one.sh
docker compose --env-file .env stop
Хосты в секретах — имена сервисов Compose (db, cache), не loopback: внутри контейнера loopback не является базой. Секреты и .env не коммитятся. Остановка без удаления данных: docker compose --env-file .env stop. Удаление учебных volumes — только явно: docker compose --env-file .env down -v.
Миграции применяет процесс API при старте, под сессионным pg_advisory_lock. Отдельный шаг миграции не нужен.
Архитектура и решения
Клиент ходит только на lb:8080. Две реплики api порты наружу не публикуют. Общая PostgreSQL хранит пользователей, чаты, сообщения и idempotency_keys. Сессии — Valkey (SESSION_STORE=redis, AOF everysec, volume valkeydata). Sticky session нет.
X-Instance-Id — INSTANCE_ID, иначе HOSTNAME контейнера, иначе 8 hex. В Compose HOSTNAME совпадает с Config.Hostname (короткий id контейнера). Nginx этот заголовок и X-Request-Id не подменяет.
Идемпотентность POST /api/v1/chats/{id}/messages: в одной транзакции INSERT messages и INSERT idempotency_keys ... ON CONFLICT (user_id, chat_id, key) DO NOTHING RETURNING. Проигравшая транзакция откатывает своё сообщение и читает уже зафиксированную строку. Тот же семантический текст — тот же message_id и 201. Другой текст — 409. Другой чат того же пользователя — независимый ключ. Хеш — SHA-256 текста; в контракте lab3 у тела одно поле text, отсутствующий attachment_ids в хеше считается пустым. TTL — IDEMPOTENCY_TTL_SECONDS (86400). 5xx до COMMIT не записывается.
/health/live — процесс жив. /health/ready — PostgreSQL и Valkey отвечают. По SIGTERM ready сразу 503, слушающий сокет закрывается через DRAIN_SECONDS (2). stop_grace_period API — 15 с. Docker healthcheck образа — /health/live, --start-period=20s. Healthcheck Compose у api — /health/ready, start_period: 20s (он подменяет HEALTHCHECK образа при запуске через Compose).
Nginx 1.28: resolver 127.0.0.11 valid=2s, server api:8080 resolve, max_fails=1 fail_timeout=5s, keepalive 32, proxy_next_upstream error timeout http_502 http_503 http_504, proxy_connect_timeout 2s, proxy_read_timeout 10s. Активного health_check, как в Nginx Plus, в этом образе нет: недоступный backend уходит с маршрута после ошибки соединения или 502/503/504. Пока реплика дренируется и ещё отвечает 201, трафик на неё возможен; после закрытия сокета следующий запрос уходит на вторую реплику.
Из lab2 сохранены регистрация, Basic → Bearer, Argon2id, чаты, keyset-пагинация, logout, пул PostgreSQL с statement_timeout и is_alive().
Доказательства критериев
| Критерий | Команда | Наблюдение | Файл |
|---|---|---|---|
| Контракт и синтаксис | make check |
PASS | вывод команды |
| OpenAPI 3.1 | make validate PYTHON=.venv/bin/python |
PASS | вывод команды |
| Compose | docker compose --env-file .env config --quiet |
код 0 | — |
| Две реплики и один вход | docker compose --env-file .env ps |
api ×2 без публикации порта; наружу только lb 0.0.0.0:8080 |
— |
| Разные реплики, одна сессия | 20× GET /health/live через :8080 |
X-Instance-Id: a54079f2595c и f9a279e85405 |
— |
| Smoke | make test |
PASS, lab3 | — |
| Идемпотентность, гонка, другой чат | python3 student-tests/idempotency_parallel.py |
8 ответов, 1 message id, 2 instance id, другой чат — другой id, другой body — 409 | — |
| Общий ключ переживает реплики | тот же скрипт, ответы с двух instance id | один id | — |
| Отказ одной реплики | make test-failover ACTION_SCRIPT=scripts/stop-one.sh |
два прогона, оба остановили api-2: до отказа 2 instance; успехи 128 и 128; ошибок 0; первое успешное после возврата hook 3.381 с и 3.369 с | — |
| Вторая реплика тем же скриптом | TARGET_INSTANCE_ID=a54079f2595c scripts/stop-one.sh во время записей |
hook 0 за окно 15 с; успехи 130; ошибок 0; first recovery 3.134 с; последние id только f9a279e85405; контейнер api-1 Exited (0) |
— |
| Сохранность | make test-persistence ACTION_SCRIPT=scripts/restart.sh |
PASS. После hook все пять контейнеров снова Up (healthy), volumes не удалялись | — |
| SIGTERM и ready | docker kill --signal=TERM одной реплики, curl из контейнера |
сразу ready=503, live=200, сокет ещё принимает; через ~3 с процесс Exited (0), в логе drain 2 с, затем shutting down |
— |
| Миграции один раз | логи двух реплик при старте | у обеих migration advisory lock acquired; строка applied migration 4 одна |
— |
| Лимиты | docker inspect |
api 5e8 / 268435456, db 1e9 / 536870912, cache 5e8 / 268435456, lb 2.5e8 / 134217728 | — |
| Поочерёдная замена под нагрузкой | python3 tests/load.py --duration 36 --concurrency 4 --output evidence/load-rolling.json и docker stop/start каждой реплики внутри окна |
36.028 с, concurrency 4, успехов 7398, ошибок 0, successful RPS 205.34, p50 11.798 мс, p95 55.641 мс, p99 87.623 мс. Это closed-loop без retry, латентность только успешных | evidence/load-rolling.json |
Период проверки Compose: interval 5 с, timeout 3 с. У Nginx обнаружение мёртвого peer — первый отказ соединения (connect timeout до 2 с) и fail_timeout 5 с. Наблюдаемое время от старта stop-one.sh до следующей успешной записи после возврата скрипта — около 3.1–3.4 с; в эти окна ошибок записи не было. Скрипт сам занимает ~3 с, потому что ждёт docker stop -t 8, а процесс ещё 2 с отдаёт ready=503.
Эксперименты и отказы
Нагрузка — публичный tests/load.py, один прогон, не серия. Цифры ниже сняты на этом хосте 2026-10-23 и не являются пределом машины.
| Воздействие | Что ожидали | Что наблюдали | Восстановление |
|---|---|---|---|
stop-one.sh для api-2, публичный failover, два раза |
≥2 реплики до отказа, запись ≤10 с, остановленная реплика не в хвосте ответов, без дублей | 2 реплики; ошибок 0; 128 успешных записей в каждом прогоне | 3.381 с и 3.369 с от старта hook |
| Тот же скрипт для hostname api-1 | то же | ошибок 0; 130 успешных; хвост только вторая реплика | 3.134 с |
| Поочерёдный stop/start обеих реплик во время load.py 36 с | краткие ошибки допустимы | ошибок 0; RPS 205.34; p50/p95/p99 11.798/55.641/87.623 мс | отдельный таймер восстановления внутри этого прогона не выделялся |
| SIGTERM одной реплики | ready перестаёт быть 200 до закрытия сокета | ready 503 при ещё живом live и сокете; выход 0 | процесс завершился примерно за 3 с |
restart.sh db, cache, api, lb |
прежний токен и сообщения, volumes на месте | make test-persistence PASS, все сервисы снова healthy |
hook уложился в лимит теста (90 с) |
Трек 1. Цена масштабирования
Гипотеза. При суммарном CPU API = 1.0 дополнительные реплики не поднимают RPS: каждая реплика упирается в свой кусок квоты. Пока квота PostgreSQL заполнена, лишний CPU базы поднимает RPS; когда квота API и Nginx уже полные, дальнейший CPU базы даёт меньше. Пул соединений и число процессов Nginx сами по себе не добавляют пропускную способность, пока у реплики 8 потоков обработки и те же CPU-квоты.
Методика. Публичный tests/load.py, closed-loop POST /messages, --duration 30 --concurrency 50. Перед каждым зачётным окном отброшенный прогрев 10 с с теми же 50 воркерами. Каждый запуск создаёт свой чат. Ошибок записи во всех зачётных окнах ниже не было. docker stats снимался примерно раз в 3 с только во время 30 с; в выводе Docker 100% — это одно ядро. Лимиты после up проверены по HostConfig.NanoCpus.
Фиксировано во всех точках серий A и B: shared_buffers=256MB, synchronous_commit=off, max_connections=200, память db 512 MiB, cache 0.5 CPU, Nginx worker_processes 1 и квота lb 0.25 CPU, пул PostgreSQL 8, 8 потоков HTTP на реплику. Хост: Intel Core i5-12450H, 12 потоков, 14 GiB RAM. Скрипт прогона: scripts/run_track1.py. Сырые JSON лежат в evidence/track1-*.json.
Серия A. Реплики API, суммарный CPU = 1.0, CPU базы = 2.0
| Реплики | CPU на реплику | Успешный RPS | p50, мс | p95, мс | p99, мс | Ошибки |
|---|---|---|---|---|---|---|
| 1 | 1.0 | 349.994 | 121.454 | 202.572 | 1115.09 | 0 |
| 2 | 0.5 | 327.611 | 131.433 | 289.233 | 404.102 | 0 |
| 4 | 0.25 | 320.002 | 151.294 | 295.941 | 407.03 | 0 |
От 1 к 2 репликам RPS −6.4%, от 1 к 4 — −8.6%. Медиана стала хуже: 121 → 131 → 151 мс. На одной реплике API держал около 90–101% (квота 1 ядро), база — до 207% (квота 2 ядра), Nginx — до 26% (квота 0.25 ядра). На четырёх репликах максимум API по контейнеру был 27.5% при квоте 0.25 ядра.
Рост числа реплик при том же суммарном CPU API не помогает. Запрос по-прежнему ограничен долей ядра на процесс, а дробление добавляет хвост задержки. p99 одной реплики (1115 мс) — один длинный хвост в том же окне, не отдельная серия.
Серия B. CPU PostgreSQL, API зафиксирован: 4 × 0.25
| CPU базы | Успешный RPS | p50, мс | p95, мс | p99, мс | Ошибки | Кто упёрся в квоту |
|---|---|---|---|---|---|---|
| 1.0 | 165.641 | 297.372 | 499.711 | 598.3 | 0 | база, max 107% |
| 2.0 | 331.742 | 112.739 | 377.522 | 459.163 | 0 | база max 207%; API max 27.6%; lb max 26.0% |
| 4.0 | 417.528 | 99.961 | 288.263 | 371.702 | 0 | API max 27.4%; lb max 26.2%; база max 242% из 400% |
Второе ядро базы относительно первого: 331.742 / 165.641 = +100.3% RPS. Это подтверждённое улучшение: при 1.0 CPU база была на квоте, API (max 14%) и Nginx (max 12%) — нет. Четвёртое ядро относительно двух: 417.528 / 331.742 − 1 = +25.9%. База при лимите 4.0 использовала максимум около 2.4 ядра, а API и Nginx уже стояли на своих квотах. Поэтому дальнейший CPU базы помогает меньше.
Крестики и звёзды на графике — не точки этой серии. Это поздний парный прогон, он ниже исходных 417.528. См. следующий блок.
Тюнинг Nginx и пула
Проверялось ровно то, что предлагалось как снятие узкого места: worker_processes auto, worker_connections 4096, пул PgPool(..., 32). В первом таком прогоне потоков HTTP было 8, поэтому из 32 соединений реплика одновременно занимала не больше восьми.
Сразу после серии B тот же тюнинг вместе с квотой lb 2.0 CPU дал 336.611 RPS. Повтор исходной точки серии B (пул 8, один процесс Nginx, lb 0.25, база 4.0 CPU), сделанный позже, дал уже не 417.528, а 344.846 RPS (p50 129.553, p95 307.781, p99 397.828). Абсолютные 417.528 в конце сессии не воспроизвелись: долгий прогон на одном ноутбуке смешал сравнение. Зачётный вывод по тюнингу — только парная пара, снятая подряд:
| Конфигурация | RPS | p50 | p95 | p99 |
|---|---|---|---|---|
| Повтор плато: пул 8, Nginx 1 процесс, 8 потоков HTTP, lb 0.25 CPU | 344.846 | 129.553 | 307.781 | 397.828 |
Сразу после: пул 32, worker_processes auto, 8 потоков HTTP, lb 0.25 CPU |
350.038 | 120.943 | 334.087 | 396.982 |
Та же квота, пул 32, Nginx auto, 32 потока HTTP |
273.854 | 176.149 | 373.138 | 519.185 |
Разница пула и Nginx при 8 потоках: (350.038 − 344.846) / 344.846 = +1.5%. p99 397.828 и 396.982. Это не прирост пропускной способности. Числа 384 RPS в этих прогонах не было; сравнивать тюнинг с ним нельзя.
Снятие потолка потоков (workers_n 8 → 32) при том же пуле 32, Nginx auto, 4 × 0.25 CPU API и 4.0 CPU базы: (273.854 − 350.038) / 350.038 = −21.8% RPS. p50 120.943 → 176.149 мс, p99 396.982 → 519.185 мс, ошибок 0. База при этом занята меньше (среднее 110% и максимум 179% против 130% и 204% при 8 потоках), то есть лишние соединения пула не начали работать. Квота API по-прежнему выбрана: максимум 27.6% при лимите 0.25 ядра на реплику. 32 потока делят четверть ядра и добавляют переключения и ожидание на мьютексах, а CPU, которым можно было бы держать больше запросов к базе, не появляется. Ограничение в 8 потоков не было причиной простоя пула.
Плато серии B снимается вторым ядром PostgreSQL (+100.3% от 165.641 до 331.742), а не пулом, не числом процессов Nginx и не числом потоков HTTP. Квота API в 1.0 CPU на все реплики при этом не менялась.
Ограничения и следующие шаги
Отказ одного процесса API выдерживается: запись продолжается через вторую реплику, подтверждённые сообщения остаются. Не выдерживается потеря этого Docker-хоста, единственной PostgreSQL, Valkey или Nginx. Несколько API не делают базу и балансировщик высокодоступными.
Nginx OSS не опрашивает /health/ready сам. Готовность для LB — это 502/503/504 и обрыв соединения плюс max_fails. Окно drain (2 с) реплика ещё может ответить 201 со своим X-Instance-Id.
tests/load.py — closed-loop, без прозрачных retry, процентили только успешных запросов. Серия трека 1 — отдельные окна по 30 с при concurrency 50; один ранний прогон на 36 с в таблице отказов к ней не относится. Поздний повтор точки «база 4.0 CPU» дал 344.846 RPS вместо 417.528, поэтому абсолютный уровень после долгой сессии плавает.
Сессии живут в Valkey с appendfsync everysec: теоретически последняя секунда записи может не попасть на диск при жёстком kill cache. restart.sh шлёт обычный SIGTERM, persistence-тест с этим прошёл.
Поле attachment_ids контракт lab3 запрещает (additionalProperties: false). Когда оно появится в lab4, хеш идемпотентности нужно расширить, не меняя смысл уже сохранённых ключей.

