Files
mtusi2026lab3/REPORT.md
2026-10-23 18:21:10 +03:00

22 KiB
Raw Permalink Blame History

Отчёт — лабораторная 3

  • Автор, группа: Никитин Андрей Александрович БВТ2301
  • Целевая оценка: 5. Трек 1 (цена масштабирования)
  • Commit/PR: не публиковался
  • Источники и помощь: контракт и публичные тесты курса; PostgreSQL 16, Valkey, Nginx, libpqxx, libsodium, hiredis, nlohmann/json. Помощь ИИ: DeepSeek, Cursor, GigaCode.

Запуск из чистого clone

Хост этого прогона: 12th Gen Intel Core i5-12450H, 12 потоков, 14 GiB RAM. Образы: postgres:16.15-alpine, valkey/valkey:8.1.10-alpine, nginx:1.28.0-alpine, приложение собирается из ubuntu:25.10 (g++ 15.2, libpqxx 7.10, libsodium 1.0.18, hiredis 1.2.0).

Лимиты: db 1 CPU / 512 MiB, cache 0.5 CPU / 256 MiB, каждая реплика api 0.5 CPU / 256 MiB, lb 0.25 CPU / 128 MiB. Проверено через docker inspect (NanoCpus / Memory).

cp .env.example .env
# В .env задать POSTGRES_USER, POSTGRES_PASSWORD, POSTGRES_DB, SESSION_STORE=redis
mkdir -p secrets
printf 'postgresql://USER:PASSWORD@db:5432/DB\n' > secrets/database_url
printf 'redis://cache:6379/0\n' > secrets/cache_url
docker compose --env-file .env config --quiet
docker compose --env-file .env up -d --build
# Дождаться healthy у lb, затем:
make test
make test-persistence ACTION_SCRIPT=scripts/restart.sh
make test-failover ACTION_SCRIPT=scripts/stop-one.sh
docker compose --env-file .env stop

Хосты в секретах — имена сервисов Compose (db, cache), не loopback: внутри контейнера loopback не является базой. Секреты и .env не коммитятся. Остановка без удаления данных: docker compose --env-file .env stop. Удаление учебных volumes — только явно: docker compose --env-file .env down -v.

Миграции применяет процесс API при старте, под сессионным pg_advisory_lock. Отдельный шаг миграции не нужен.

Архитектура и решения

Клиент ходит только на lb:8080. Две реплики api порты наружу не публикуют. Общая PostgreSQL хранит пользователей, чаты, сообщения и idempotency_keys. Сессии — Valkey (SESSION_STORE=redis, AOF everysec, volume valkeydata). Sticky session нет.

X-Instance-Id — INSTANCE_ID, иначе HOSTNAME контейнера, иначе 8 hex. В Compose HOSTNAME совпадает с Config.Hostname (короткий id контейнера). Nginx этот заголовок и X-Request-Id не подменяет.

Идемпотентность POST /api/v1/chats/{id}/messages: в одной транзакции INSERT messages и INSERT idempotency_keys ... ON CONFLICT (user_id, chat_id, key) DO NOTHING RETURNING. Проигравшая транзакция откатывает своё сообщение и читает уже зафиксированную строку. Тот же семантический текст — тот же message_id и 201. Другой текст — 409. Другой чат того же пользователя — независимый ключ. Хеш — SHA-256 текста; в контракте lab3 у тела одно поле text, отсутствующий attachment_ids в хеше считается пустым. TTL — IDEMPOTENCY_TTL_SECONDS (86400). 5xx до COMMIT не записывается.

/health/live — процесс жив. /health/ready — PostgreSQL и Valkey отвечают. По SIGTERM ready сразу 503, слушающий сокет закрывается через DRAIN_SECONDS (2). stop_grace_period API — 15 с. Docker healthcheck образа — /health/live, --start-period=20s. Healthcheck Compose у api — /health/ready, start_period: 20s (он подменяет HEALTHCHECK образа при запуске через Compose).

Nginx 1.28: resolver 127.0.0.11 valid=2s, server api:8080 resolve, max_fails=1 fail_timeout=5s, keepalive 32, proxy_next_upstream error timeout http_502 http_503 http_504, proxy_connect_timeout 2s, proxy_read_timeout 10s. Активного health_check, как в Nginx Plus, в этом образе нет: недоступный backend уходит с маршрута после ошибки соединения или 502/503/504. Пока реплика дренируется и ещё отвечает 201, трафик на неё возможен; после закрытия сокета следующий запрос уходит на вторую реплику.

Из lab2 сохранены регистрация, Basic → Bearer, Argon2id, чаты, keyset-пагинация, logout, пул PostgreSQL с statement_timeout и is_alive().

Доказательства критериев

Критерий Команда Наблюдение Файл
Контракт и синтаксис make check PASS вывод команды
OpenAPI 3.1 make validate PYTHON=.venv/bin/python PASS вывод команды
Compose docker compose --env-file .env config --quiet код 0 —
Две реплики и один вход docker compose --env-file .env ps api ×2 без публикации порта; наружу только lb 0.0.0.0:8080 —
Разные реплики, одна сессия 20× GET /health/live через :8080 X-Instance-Id: a54079f2595c и f9a279e85405 —
Smoke make test PASS, lab3 —
Идемпотентность, гонка, другой чат python3 student-tests/idempotency_parallel.py 8 ответов, 1 message id, 2 instance id, другой чат — другой id, другой body — 409 —
Общий ключ переживает реплики тот же скрипт, ответы с двух instance id один id —
Отказ одной реплики make test-failover ACTION_SCRIPT=scripts/stop-one.sh два прогона, оба остановили api-2: до отказа 2 instance; успехи 128 и 128; ошибок 0; первое успешное после возврата hook 3.381 с и 3.369 с —
Вторая реплика тем же скриптом TARGET_INSTANCE_ID=a54079f2595c scripts/stop-one.sh во время записей hook 0 за окно 15 с; успехи 130; ошибок 0; first recovery 3.134 с; последние id только f9a279e85405; контейнер api-1 Exited (0) —
Сохранность make test-persistence ACTION_SCRIPT=scripts/restart.sh PASS. После hook все пять контейнеров снова Up (healthy), volumes не удалялись —
SIGTERM и ready docker kill --signal=TERM одной реплики, curl из контейнера сразу ready=503, live=200, сокет ещё принимает; через ~3 с процесс Exited (0), в логе drain 2 с, затем shutting down —
Миграции один раз логи двух реплик при старте у обеих migration advisory lock acquired; строка applied migration 4 одна —
Лимиты docker inspect api 5e8 / 268435456, db 1e9 / 536870912, cache 5e8 / 268435456, lb 2.5e8 / 134217728 —
Поочерёдная замена под нагрузкой python3 tests/load.py --duration 36 --concurrency 4 --output evidence/load-rolling.json и docker stop/start каждой реплики внутри окна 36.028 с, concurrency 4, успехов 7398, ошибок 0, successful RPS 205.34, p50 11.798 мс, p95 55.641 мс, p99 87.623 мс. Это closed-loop без retry, латентность только успешных evidence/load-rolling.json

Период проверки Compose: interval 5 с, timeout 3 с. У Nginx обнаружение мёртвого peer — первый отказ соединения (connect timeout до 2 с) и fail_timeout 5 с. Наблюдаемое время от старта stop-one.sh до следующей успешной записи после возврата скрипта — около 3.1–3.4 с; в эти окна ошибок записи не было. Скрипт сам занимает ~3 с, потому что ждёт docker stop -t 8, а процесс ещё 2 с отдаёт ready=503.

Эксперименты и отказы

Нагрузка — публичный tests/load.py, один прогон, не серия. Цифры ниже сняты на этом хосте 2026-10-23 и не являются пределом машины.

Воздействие Что ожидали Что наблюдали Восстановление
stop-one.sh для api-2, публичный failover, два раза ≥2 реплики до отказа, запись ≤10 с, остановленная реплика не в хвосте ответов, без дублей 2 реплики; ошибок 0; 128 успешных записей в каждом прогоне 3.381 с и 3.369 с от старта hook
Тот же скрипт для hostname api-1 то же ошибок 0; 130 успешных; хвост только вторая реплика 3.134 с
Поочерёдный stop/start обеих реплик во время load.py 36 с краткие ошибки допустимы ошибок 0; RPS 205.34; p50/p95/p99 11.798/55.641/87.623 мс отдельный таймер восстановления внутри этого прогона не выделялся
SIGTERM одной реплики ready перестаёт быть 200 до закрытия сокета ready 503 при ещё живом live и сокете; выход 0 процесс завершился примерно за 3 с
restart.sh db, cache, api, lb прежний токен и сообщения, volumes на месте make test-persistence PASS, все сервисы снова healthy hook уложился в лимит теста (90 с)

Трек 1. Цена масштабирования

Гипотеза. При суммарном CPU API = 1.0 и суммарной RAM API = 512 MiB дополнительные реплики не поднимают RPS: каждая реплика упирается в свой кусок квоты. Пока квота PostgreSQL заполнена, лишний CPU базы поднимает RPS; когда квота API и Nginx уже полные, дальнейший CPU базы даёт меньше.

Методика. Публичный tests/load.py, closed-loop POST /messages, --duration 30 --concurrency 50. Перед каждым зачётным окном отброшенный прогрев 10 с с теми же 50 воркерами. Каждый запуск создаёт свой чат. docker stats снимался примерно раз в 3 с только во время 30 с; в выводе Docker 100% — это одно ядро. Скрипт scripts/run_track1.py на каждую точку делает docker compose down и docker compose up -d --build, передаёт переменные окружения и до нагрузки сверяет docker inspect.

Методика воспроизводима: суммарные ресурсы фиксировались через переменные окружения и проверялись через docker inspect. Базовые значения (8 потоков, пул 8, один процесс Nginx) восстановлены в коде по умолчанию. HTTP_WORKERS и DB_POOL_SIZE читаются процессом API, NGINX_WORKERS подставляется в lb/nginx.conf.template. Без этих переменных docker compose up поднимает тот же профиль 8/8/1 и 256 MiB на реплику. В сериях A и B суммарная RAM API всегда 512 MiB: 1×512m, 2×256m, 4×128m. Скрипт записывает прогон только если HostConfig.NanoCpus и HostConfig.Memory совпали с этими значениями, сумма Memory API равна 536870912, в логе каждой реплики есть pg pool ready (8 connections) и http workers: 8, а nginx -T показывает worker_processes 1;.

Фиксировано во всех точках серий A и B: shared_buffers=256MB, synchronous_commit=off, max_connections=200, память db 512 MiB, cache 0.5 CPU, квота lb 0.25 CPU, пул PostgreSQL 8, 8 потоков HTTP на реплику, Nginx worker_processes 1 и worker_connections 1024. Хост: Intel Core i5-12450H, 12 потоков, 14 GiB RAM. Сырые JSON: evidence/track1-A-*.json и evidence/track1-B-*.json.

Серия A. Реплики API, суммарный CPU = 1.0, суммарная RAM = 512 MiB, CPU базы = 2.0

Реплики CPU на реплику RAM на реплику Успешный RPS p50, мс p95, мс p99, мс Ошибки
1 1.0 512 MiB 378.703 90.288 204.67 1124.75 21
2 0.5 256 MiB 346.098 128.325 269.126 380.157 0
4 0.25 128 MiB 327.486 102.151 487.734 626.914 0

Сумма RAM по inspect на каждой точке — 536870912 байт. NanoCpus реплик: 1000000000, 500000000 и 250000000. От 1 к 2 репликам RPS −8.6%, от 1 к 4 — −13.5%. На одной реплике API держал максимум 105% при квоте 1 ядро, база — 212% при квоте 2 ядра, Nginx — 28% при квоте 0.25 ядра. В этом окне 21 неуспешный запрос из 11649 (error ratio 0.0018); успешный RPS считается только по 11628 ответам. На четырёх репликах максимум API по контейнеру был 27.2% при квоте 0.25 ядра, ошибок не было.

Серия A: RPS и p99 от числа реплик

Рост числа реплик при том же суммарном CPU и той же суммарной RAM API не помогает. Запрос по-прежнему ограничен долей ядра на процесс. p99 одной реплики (1125 мс) — длинный хвост в том же окне.

Серия B. CPU PostgreSQL, API зафиксирован: 4 × 0.25 CPU и 4 × 128 MiB

CPU базы Успешный RPS p50, мс p95, мс p99, мс Ошибки Кто упёрся в квоту
1.0 178.949 286.653 480.072 538.062 0 база, max 103%
2.0 334.227 117.124 366.356 455.007 0 база max 191%; API max 28.2%; lb max 25.8%
4.0 348.996 110.449 394.75 479.704 0 API max 27.9%; lb max 26.0%; база max 204% из 400%

На всех трёх точках inspect показал 4 контейнера API по NanoCpus 250000000 и Memory 134217728, сумма 536870912. NanoCpus базы: 1000000000, 2000000000, 4000000000.

Второе ядро базы относительно первого: 334.227 / 178.949 − 1 = +86.8% RPS. Это подтверждённое улучшение: при 1.0 CPU база была на квоте, API (max 19%) и Nginx (max 12%) — нет. Четвёртое ядро относительно двух: 348.996 / 334.227 − 1 = +4.4%. База при лимите 4.0 использовала максимум около 2.0 ядра, а API и Nginx уже стояли на своих квотах. Поэтому дальнейший CPU базы почти не поднимает RPS.

Серия B: RPS и p99 от CPU базы

Тюнинг Nginx и пула

Строки ниже сняты до параметризации: память была 256 MiB на реплику, а пул и потоки были зашиты в бинарник. Текущий scripts/run_track1.py эти точки не повторяет. Зачётные серии — таблицы A и B выше.

Проверялось ровно то, что предлагалось как снятие узкого места: worker_processes auto, worker_connections 4096, пул PgPool(..., 32). В первом таком прогоне потоков HTTP было 8, поэтому из 32 соединений реплика одновременно занимала не больше восьми.

Сразу после серии B тот же тюнинг вместе с квотой lb 2.0 CPU дал 336.611 RPS. Повтор исходной точки серии B (пул 8, один процесс Nginx, lb 0.25, база 4.0 CPU), сделанный позже, дал уже не 417.528, а 344.846 RPS (p50 129.553, p95 307.781, p99 397.828). Абсолютные 417.528 в конце сессии не воспроизвелись: долгий прогон на одном ноутбуке смешал сравнение. Зачётный вывод по тюнингу — только парная пара, снятая подряд:

Конфигурация RPS p50 p95 p99
Повтор плато: пул 8, Nginx 1 процесс, 8 потоков HTTP, lb 0.25 CPU 344.846 129.553 307.781 397.828
Сразу после: пул 32, worker_processes auto, 8 потоков HTTP, lb 0.25 CPU 350.038 120.943 334.087 396.982
Та же квота, пул 32, Nginx auto, 32 потока HTTP 273.854 176.149 373.138 519.185

Разница пула и Nginx при 8 потоках: (350.038 − 344.846) / 344.846 = +1.5%. p99 397.828 и 396.982. Это не прирост пропускной способности. Числа 384 RPS в этих прогонах не было; сравнивать тюнинг с ним нельзя.

Снятие потолка потоков (workers_n 8 → 32) при том же пуле 32, Nginx auto, 4 × 0.25 CPU API и 4.0 CPU базы: (273.854 − 350.038) / 350.038 = −21.8% RPS. p50 120.943 → 176.149 мс, p99 396.982 → 519.185 мс, ошибок 0. База при этом занята меньше (среднее 110% и максимум 179% против 130% и 204% при 8 потоках), то есть лишние соединения пула не начали работать. Квота API по-прежнему выбрана: максимум 27.6% при лимите 0.25 ядра на реплику. 32 потока делят четверть ядра и добавляют переключения и ожидание на мьютексах, а CPU, которым можно было бы держать больше запросов к базе, не появляется. Ограничение в 8 потоков не было причиной простоя пула.

Плато воспроизводимой серии B снимается вторым ядром PostgreSQL (+86.8%, от 178.949 до 334.227). Квота API в 1.0 CPU на все реплики при этом не менялась. Более ранний тюнинг пула и числа процессов Nginx на незафиксированной RAM дал +1.5% и −21.8% и зачётным результатом не является.

Ограничения и следующие шаги

Отказ одного процесса API выдерживается: запись продолжается через вторую реплику, подтверждённые сообщения остаются. Не выдерживается потеря этого Docker-хоста, единственной PostgreSQL, Valkey или Nginx. Несколько API не делают базу и балансировщик высокодоступными.

Nginx OSS не опрашивает /health/ready сам. Готовность для LB — это 502/503/504 и обрыв соединения плюс max_fails. Окно drain (2 с) реплика ещё может ответить 201 со своим X-Instance-Id.

tests/load.py — closed-loop, без прозрачных retry, процентили только успешных запросов. Серия трека 1 — отдельные окна по 30 с при concurrency 50; один ранний прогон на 36 с в таблице отказов к ней не относится. В воспроизводимой серии A точка с одной репликой дала 21 неуспешный запрос; остальные пять окон серии A и B — без ошибок.

Сессии живут в Valkey с appendfsync everysec: теоретически последняя секунда записи может не попасть на диск при жёстком kill cache. restart.sh шлёт обычный SIGTERM, persistence-тест с этим прошёл.

Поле attachment_ids контракт lab3 запрещает (additionalProperties: false). Когда оно появится в lab4, хеш идемпотентности нужно расширить, не меняя смысл уже сохранённых ключей.