22 KiB
Отчёт — лабораторная 3
- Автор, группа: Никитин Андрей Александрович БВТ2301
- Целевая оценка: 5. Трек 1 (цена масштабирования)
- Commit/PR: не публиковался
- Источники и помощь: контракт и публичные тесты курса; PostgreSQL 16, Valkey, Nginx, libpqxx, libsodium, hiredis, nlohmann/json. Помощь ИИ: DeepSeek, Cursor, GigaCode.
Запуск из чистого clone
Хост этого прогона: 12th Gen Intel Core i5-12450H, 12 потоков, 14 GiB RAM. Образы: postgres:16.15-alpine, valkey/valkey:8.1.10-alpine, nginx:1.28.0-alpine, приложение собирается из ubuntu:25.10 (g++ 15.2, libpqxx 7.10, libsodium 1.0.18, hiredis 1.2.0).
Лимиты: db 1 CPU / 512 MiB, cache 0.5 CPU / 256 MiB, каждая реплика api 0.5 CPU / 256 MiB, lb 0.25 CPU / 128 MiB. Проверено через docker inspect (NanoCpus / Memory).
cp .env.example .env
# В .env задать POSTGRES_USER, POSTGRES_PASSWORD, POSTGRES_DB, SESSION_STORE=redis
mkdir -p secrets
printf 'postgresql://USER:PASSWORD@db:5432/DB\n' > secrets/database_url
printf 'redis://cache:6379/0\n' > secrets/cache_url
docker compose --env-file .env config --quiet
docker compose --env-file .env up -d --build
# Дождаться healthy у lb, затем:
make test
make test-persistence ACTION_SCRIPT=scripts/restart.sh
make test-failover ACTION_SCRIPT=scripts/stop-one.sh
docker compose --env-file .env stop
Хосты в секретах — имена сервисов Compose (db, cache), не loopback: внутри контейнера loopback не является базой. Секреты и .env не коммитятся. Остановка без удаления данных: docker compose --env-file .env stop. Удаление учебных volumes — только явно: docker compose --env-file .env down -v.
Миграции применяет процесс API при старте, под сессионным pg_advisory_lock. Отдельный шаг миграции не нужен.
Архитектура и решения
Клиент ходит только на lb:8080. Две реплики api порты наружу не публикуют. Общая PostgreSQL хранит пользователей, чаты, сообщения и idempotency_keys. Сессии — Valkey (SESSION_STORE=redis, AOF everysec, volume valkeydata). Sticky session нет.
X-Instance-Id — INSTANCE_ID, иначе HOSTNAME контейнера, иначе 8 hex. В Compose HOSTNAME совпадает с Config.Hostname (короткий id контейнера). Nginx этот заголовок и X-Request-Id не подменяет.
Идемпотентность POST /api/v1/chats/{id}/messages: в одной транзакции INSERT messages и INSERT idempotency_keys ... ON CONFLICT (user_id, chat_id, key) DO NOTHING RETURNING. Проигравшая транзакция откатывает своё сообщение и читает уже зафиксированную строку. Тот же семантический текст — тот же message_id и 201. Другой текст — 409. Другой чат того же пользователя — независимый ключ. Хеш — SHA-256 текста; в контракте lab3 у тела одно поле text, отсутствующий attachment_ids в хеше считается пустым. TTL — IDEMPOTENCY_TTL_SECONDS (86400). 5xx до COMMIT не записывается.
/health/live — процесс жив. /health/ready — PostgreSQL и Valkey отвечают. По SIGTERM ready сразу 503, слушающий сокет закрывается через DRAIN_SECONDS (2). stop_grace_period API — 15 с. Docker healthcheck образа — /health/live, --start-period=20s. Healthcheck Compose у api — /health/ready, start_period: 20s (он подменяет HEALTHCHECK образа при запуске через Compose).
Nginx 1.28: resolver 127.0.0.11 valid=2s, server api:8080 resolve, max_fails=1 fail_timeout=5s, keepalive 32, proxy_next_upstream error timeout http_502 http_503 http_504, proxy_connect_timeout 2s, proxy_read_timeout 10s. Активного health_check, как в Nginx Plus, в этом образе нет: недоступный backend уходит с маршрута после ошибки соединения или 502/503/504. Пока реплика дренируется и ещё отвечает 201, трафик на неё возможен; после закрытия сокета следующий запрос уходит на вторую реплику.
Из lab2 сохранены регистрация, Basic → Bearer, Argon2id, чаты, keyset-пагинация, logout, пул PostgreSQL с statement_timeout и is_alive().
Доказательства критериев
| Критерий | Команда | Наблюдение | Файл |
|---|---|---|---|
| Контракт и синтаксис | make check |
PASS | вывод команды |
| OpenAPI 3.1 | make validate PYTHON=.venv/bin/python |
PASS | вывод команды |
| Compose | docker compose --env-file .env config --quiet |
код 0 | — |
| Две реплики и один вход | docker compose --env-file .env ps |
api ×2 без публикации порта; наружу только lb 0.0.0.0:8080 |
— |
| Разные реплики, одна сессия | 20× GET /health/live через :8080 |
X-Instance-Id: a54079f2595c и f9a279e85405 |
— |
| Smoke | make test |
PASS, lab3 | — |
| Идемпотентность, гонка, другой чат | python3 student-tests/idempotency_parallel.py |
8 ответов, 1 message id, 2 instance id, другой чат — другой id, другой body — 409 | — |
| Общий ключ переживает реплики | тот же скрипт, ответы с двух instance id | один id | — |
| Отказ одной реплики | make test-failover ACTION_SCRIPT=scripts/stop-one.sh |
два прогона, оба остановили api-2: до отказа 2 instance; успехи 128 и 128; ошибок 0; первое успешное после возврата hook 3.381 с и 3.369 с | — |
| Вторая реплика тем же скриптом | TARGET_INSTANCE_ID=a54079f2595c scripts/stop-one.sh во время записей |
hook 0 за окно 15 с; успехи 130; ошибок 0; first recovery 3.134 с; последние id только f9a279e85405; контейнер api-1 Exited (0) |
— |
| Сохранность | make test-persistence ACTION_SCRIPT=scripts/restart.sh |
PASS. После hook все пять контейнеров снова Up (healthy), volumes не удалялись | — |
| SIGTERM и ready | docker kill --signal=TERM одной реплики, curl из контейнера |
сразу ready=503, live=200, сокет ещё принимает; через ~3 с процесс Exited (0), в логе drain 2 с, затем shutting down |
— |
| Миграции один раз | логи двух реплик при старте | у обеих migration advisory lock acquired; строка applied migration 4 одна |
— |
| Лимиты | docker inspect |
api 5e8 / 268435456, db 1e9 / 536870912, cache 5e8 / 268435456, lb 2.5e8 / 134217728 | — |
| Поочерёдная замена под нагрузкой | python3 tests/load.py --duration 36 --concurrency 4 --output evidence/load-rolling.json и docker stop/start каждой реплики внутри окна |
36.028 с, concurrency 4, успехов 7398, ошибок 0, successful RPS 205.34, p50 11.798 мс, p95 55.641 мс, p99 87.623 мс. Это closed-loop без retry, латентность только успешных | evidence/load-rolling.json |
Период проверки Compose: interval 5 с, timeout 3 с. У Nginx обнаружение мёртвого peer — первый отказ соединения (connect timeout до 2 с) и fail_timeout 5 с. Наблюдаемое время от старта stop-one.sh до следующей успешной записи после возврата скрипта — около 3.1–3.4 с; в эти окна ошибок записи не было. Скрипт сам занимает ~3 с, потому что ждёт docker stop -t 8, а процесс ещё 2 с отдаёт ready=503.
Эксперименты и отказы
Нагрузка — публичный tests/load.py, один прогон, не серия. Цифры ниже сняты на этом хосте 2026-10-23 и не являются пределом машины.
| Воздействие | Что ожидали | Что наблюдали | Восстановление |
|---|---|---|---|
stop-one.sh для api-2, публичный failover, два раза |
≥2 реплики до отказа, запись ≤10 с, остановленная реплика не в хвосте ответов, без дублей | 2 реплики; ошибок 0; 128 успешных записей в каждом прогоне | 3.381 с и 3.369 с от старта hook |
| Тот же скрипт для hostname api-1 | то же | ошибок 0; 130 успешных; хвост только вторая реплика | 3.134 с |
| Поочерёдный stop/start обеих реплик во время load.py 36 с | краткие ошибки допустимы | ошибок 0; RPS 205.34; p50/p95/p99 11.798/55.641/87.623 мс | отдельный таймер восстановления внутри этого прогона не выделялся |
| SIGTERM одной реплики | ready перестаёт быть 200 до закрытия сокета | ready 503 при ещё живом live и сокете; выход 0 | процесс завершился примерно за 3 с |
restart.sh db, cache, api, lb |
прежний токен и сообщения, volumes на месте | make test-persistence PASS, все сервисы снова healthy |
hook уложился в лимит теста (90 с) |
Трек 1. Цена масштабирования
Гипотеза. При суммарном CPU API = 1.0 и суммарной RAM API = 512 MiB дополнительные реплики не поднимают RPS: каждая реплика упирается в свой кусок квоты. Пока квота PostgreSQL заполнена, лишний CPU базы поднимает RPS; когда квота API и Nginx уже полные, дальнейший CPU базы даёт меньше.
Методика. Публичный tests/load.py, closed-loop POST /messages, --duration 30 --concurrency 50. Перед каждым зачётным окном отброшенный прогрев 10 с с теми же 50 воркерами. Каждый запуск создаёт свой чат. docker stats снимался примерно раз в 3 с только во время 30 с; в выводе Docker 100% — это одно ядро. Скрипт scripts/run_track1.py на каждую точку делает docker compose down и docker compose up -d --build, передаёт переменные окружения и до нагрузки сверяет docker inspect.
Методика воспроизводима: суммарные ресурсы фиксировались через переменные окружения и проверялись через docker inspect. Базовые значения (8 потоков, пул 8, один процесс Nginx) восстановлены в коде по умолчанию. HTTP_WORKERS и DB_POOL_SIZE читаются процессом API, NGINX_WORKERS подставляется в lb/nginx.conf.template. Без этих переменных docker compose up поднимает тот же профиль 8/8/1 и 256 MiB на реплику. В сериях A и B суммарная RAM API всегда 512 MiB: 1×512m, 2×256m, 4×128m. Скрипт записывает прогон только если HostConfig.NanoCpus и HostConfig.Memory совпали с этими значениями, сумма Memory API равна 536870912, в логе каждой реплики есть pg pool ready (8 connections) и http workers: 8, а nginx -T показывает worker_processes 1;.
Фиксировано во всех точках серий A и B: shared_buffers=256MB, synchronous_commit=off, max_connections=200, память db 512 MiB, cache 0.5 CPU, квота lb 0.25 CPU, пул PostgreSQL 8, 8 потоков HTTP на реплику, Nginx worker_processes 1 и worker_connections 1024. Хост: Intel Core i5-12450H, 12 потоков, 14 GiB RAM. Сырые JSON: evidence/track1-A-*.json и evidence/track1-B-*.json.
Серия A. Реплики API, суммарный CPU = 1.0, суммарная RAM = 512 MiB, CPU базы = 2.0
| Реплики | CPU на реплику | RAM на реплику | Успешный RPS | p50, мс | p95, мс | p99, мс | Ошибки |
|---|---|---|---|---|---|---|---|
| 1 | 1.0 | 512 MiB | 378.703 | 90.288 | 204.67 | 1124.75 | 21 |
| 2 | 0.5 | 256 MiB | 346.098 | 128.325 | 269.126 | 380.157 | 0 |
| 4 | 0.25 | 128 MiB | 327.486 | 102.151 | 487.734 | 626.914 | 0 |
Сумма RAM по inspect на каждой точке — 536870912 байт. NanoCpus реплик: 1000000000, 500000000 и 250000000. От 1 к 2 репликам RPS −8.6%, от 1 к 4 — −13.5%. На одной реплике API держал максимум 105% при квоте 1 ядро, база — 212% при квоте 2 ядра, Nginx — 28% при квоте 0.25 ядра. В этом окне 21 неуспешный запрос из 11649 (error ratio 0.0018); успешный RPS считается только по 11628 ответам. На четырёх репликах максимум API по контейнеру был 27.2% при квоте 0.25 ядра, ошибок не было.
Рост числа реплик при том же суммарном CPU и той же суммарной RAM API не помогает. Запрос по-прежнему ограничен долей ядра на процесс. p99 одной реплики (1125 мс) — длинный хвост в том же окне.
Серия B. CPU PostgreSQL, API зафиксирован: 4 × 0.25 CPU и 4 × 128 MiB
| CPU базы | Успешный RPS | p50, мс | p95, мс | p99, мс | Ошибки | Кто упёрся в квоту |
|---|---|---|---|---|---|---|
| 1.0 | 178.949 | 286.653 | 480.072 | 538.062 | 0 | база, max 103% |
| 2.0 | 334.227 | 117.124 | 366.356 | 455.007 | 0 | база max 191%; API max 28.2%; lb max 25.8% |
| 4.0 | 348.996 | 110.449 | 394.75 | 479.704 | 0 | API max 27.9%; lb max 26.0%; база max 204% из 400% |
На всех трёх точках inspect показал 4 контейнера API по NanoCpus 250000000 и Memory 134217728, сумма 536870912. NanoCpus базы: 1000000000, 2000000000, 4000000000.
Второе ядро базы относительно первого: 334.227 / 178.949 − 1 = +86.8% RPS. Это подтверждённое улучшение: при 1.0 CPU база была на квоте, API (max 19%) и Nginx (max 12%) — нет. Четвёртое ядро относительно двух: 348.996 / 334.227 − 1 = +4.4%. База при лимите 4.0 использовала максимум около 2.0 ядра, а API и Nginx уже стояли на своих квотах. Поэтому дальнейший CPU базы почти не поднимает RPS.
Тюнинг Nginx и пула
Строки ниже сняты до параметризации: память была 256 MiB на реплику, а пул и потоки были зашиты в бинарник. Текущий scripts/run_track1.py эти точки не повторяет. Зачётные серии — таблицы A и B выше.
Проверялось ровно то, что предлагалось как снятие узкого места: worker_processes auto, worker_connections 4096, пул PgPool(..., 32). В первом таком прогоне потоков HTTP было 8, поэтому из 32 соединений реплика одновременно занимала не больше восьми.
Сразу после серии B тот же тюнинг вместе с квотой lb 2.0 CPU дал 336.611 RPS. Повтор исходной точки серии B (пул 8, один процесс Nginx, lb 0.25, база 4.0 CPU), сделанный позже, дал уже не 417.528, а 344.846 RPS (p50 129.553, p95 307.781, p99 397.828). Абсолютные 417.528 в конце сессии не воспроизвелись: долгий прогон на одном ноутбуке смешал сравнение. Зачётный вывод по тюнингу — только парная пара, снятая подряд:
| Конфигурация | RPS | p50 | p95 | p99 |
|---|---|---|---|---|
| Повтор плато: пул 8, Nginx 1 процесс, 8 потоков HTTP, lb 0.25 CPU | 344.846 | 129.553 | 307.781 | 397.828 |
Сразу после: пул 32, worker_processes auto, 8 потоков HTTP, lb 0.25 CPU |
350.038 | 120.943 | 334.087 | 396.982 |
Та же квота, пул 32, Nginx auto, 32 потока HTTP |
273.854 | 176.149 | 373.138 | 519.185 |
Разница пула и Nginx при 8 потоках: (350.038 − 344.846) / 344.846 = +1.5%. p99 397.828 и 396.982. Это не прирост пропускной способности. Числа 384 RPS в этих прогонах не было; сравнивать тюнинг с ним нельзя.
Снятие потолка потоков (workers_n 8 → 32) при том же пуле 32, Nginx auto, 4 × 0.25 CPU API и 4.0 CPU базы: (273.854 − 350.038) / 350.038 = −21.8% RPS. p50 120.943 → 176.149 мс, p99 396.982 → 519.185 мс, ошибок 0. База при этом занята меньше (среднее 110% и максимум 179% против 130% и 204% при 8 потоках), то есть лишние соединения пула не начали работать. Квота API по-прежнему выбрана: максимум 27.6% при лимите 0.25 ядра на реплику. 32 потока делят четверть ядра и добавляют переключения и ожидание на мьютексах, а CPU, которым можно было бы держать больше запросов к базе, не появляется. Ограничение в 8 потоков не было причиной простоя пула.
Плато воспроизводимой серии B снимается вторым ядром PostgreSQL (+86.8%, от 178.949 до 334.227). Квота API в 1.0 CPU на все реплики при этом не менялась. Более ранний тюнинг пула и числа процессов Nginx на незафиксированной RAM дал +1.5% и −21.8% и зачётным результатом не является.
Ограничения и следующие шаги
Отказ одного процесса API выдерживается: запись продолжается через вторую реплику, подтверждённые сообщения остаются. Не выдерживается потеря этого Docker-хоста, единственной PostgreSQL, Valkey или Nginx. Несколько API не делают базу и балансировщик высокодоступными.
Nginx OSS не опрашивает /health/ready сам. Готовность для LB — это 502/503/504 и обрыв соединения плюс max_fails. Окно drain (2 с) реплика ещё может ответить 201 со своим X-Instance-Id.
tests/load.py — closed-loop, без прозрачных retry, процентили только успешных запросов. Серия трека 1 — отдельные окна по 30 с при concurrency 50; один ранний прогон на 36 с в таблице отказов к ней не относится. В воспроизводимой серии A точка с одной репликой дала 21 неуспешный запрос; остальные пять окон серии A и B — без ошибок.
Сессии живут в Valkey с appendfsync everysec: теоретически последняя секунда записи может не попасть на диск при жёстком kill cache. restart.sh шлёт обычный SIGTERM, persistence-тест с этим прошёл.
Поле attachment_ids контракт lab3 запрещает (additionalProperties: false). Когда оно появится в lab4, хеш идемпотентности нужно расширить, не меняя смысл уже сохранённых ключей.

