24 KiB
Отчёт — лабораторная 3
- Автор: Максим Ситосенко, БВТ2303.
- Целевая оценка: 5, трек 1 «Цена масштабирования».
- Основа: собственная HLAlab2. README задания, contracts/ и публичные tests/ сохранены.
- Публикация: локальная работа, commit и PR ещё не созданы.
- Статус на 23.10.2026: Go/race, go vet, структурная проверка, полная OpenAPI, публичные smoke/persistence/failover, собственные проверки и исследование завершены;
evidence/verification.jsonсодержитcomplete: true. Дополнительный аудит —evidence/audit.json; ручной PowerShell-клиент проверен реальными запросами.
Запуск из чистого clone
Нужны Docker Desktop с Linux Engine, Compose v2+ и Python 3.9+. Стандартный локальный порт — 8080. Go на хосте не нужен: race-тесты выполняются в Linux runner.
cd C:\Users\maxsi\HLAlab3\mtusi2026lab3-fork
python -X utf8 scripts/bootstrap.py
docker compose config --quiet
docker compose up -d --build --wait
curl.exe -i http://127.0.0.1:8080/health/ready
Полная проверка из обычного PowerShell:
python -X utf8 scripts/verify.py
Сценарий собирает API/runner/генератор, запускает публичные и собственные проверки, последовательно останавливает обе API, заменяет их под нагрузкой, выполняет 39 исследовательских запусков и возвращает две реплики с обычными лимитами. Ориентир — 15–25 минут плюс первая загрузка образов. Данные накапливаются, volumes не удаляются. Параллельно не запускайте другие тесты отказов этого стенда. --no-research проверяет уровни 3/4 без подтверждения трека 5.
.github/workflows/application.yml запускает сборку и уровни 3/4 на Ubuntu отдельно от исходного workflow проверки контракта. Нагрузочное исследование выполняется на заявленном локальном хосте и не выдаётся за стабильный performance threshold общего CI runner. Новый CI workflow локально подготовлен; запуск на GitHub до публикации не заявляется.
Безопасная остановка: docker compose down. Намеренное удаление учебных данных HLAlab3: docker compose down -v; при проверке сохранности эта команда не используется. Ручные запросы — в MANUAL.md.
Архитектура
localhost:8080 → HAProxy → api × 2 (до 4) → PostgreSQL
↘ Valkey: общие сессии
migrate → PostgreSQL, однократное применение SQL
Перенесены Go API, строгая JSON/Unicode-валидация, Argon2id, Bearer-сессии с абсолютным TTL, keyset pagination с общим HMAC-секретом и миграции. Go 1.26.0, PostgreSQL 17.6 и Valkey 8.1.3 закреплены digest; HAProxy — версией 3.2.6-alpine. Runtime API — scratch, UID/GID 65532, read-only root, без capabilities. Только LB публикует порт на loopback. API не имеют container_name и масштабируются одним Compose-service.
PostgreSQL — источник истины, чтение после 201 идёт в ту же БД, кэша истории нет. Valkey хранит общие сессии с AOF/appendfsync always и volume; рестарт не продлевает TTL. Локального бизнес-состояния API нет. Секреты выдаются по ролям: DB — пароль БД; migrate — только database_url; API — database_url/cache_url/cursor_secret; Valkey — собственные конфигурация/пароль; LB — без секретов приложения.
Все ответы API получают X-Instance-Id из hostname контейнера, стабильного в течение процесса. Сопоставление с контейнером подтверждает docker inspect. X-Request-Id уникален для запроса. Ошибки соединения, созданные LB, могут быть без API-заголовков — это допускает контракт.
Идемпотентность и данные
Idempotency-Key обязателен только для POST сообщения и проверяется по ASCII-шаблону контракта. Сначала проверяются сессия и доступ к чату. JSON разбирается в text, поэтому пробелы/Unicode escapes не меняют результат. В OpenAPI lab3 CreateMessage содержит только text; attachment_ids здесь не добавляется в обход схемы.
message_keys имеет PK (user_id,chat_id,key); POST и канонический путь чата заданы назначением таблицы. Транзакционный advisory lock сериализует ключ между процессами. В одной транзакции создаются Message и ссылка с expiry ≥24 часов. Повтор возвращает исходное Message с 201; другой text — 409. Отмена/timeout/сбой до COMMIT откатывает обе записи; потеря HTTP-ответа после COMMIT разрешается повтором с прежним ключом. 5xx не сохраняются. Коллизия hash lock лишь сериализует независимые запросы: идентичность определяется полным PK.
Истёкший ключ заменяется при следующем использовании, сообщение остаётся. Фоновой очистки неиспользуемых ключей нет, таблица растёт. Пагинация (created_at,id) не повторяет записи неизменной истории. Между HTTP-запросами snapshot не обещается: конкурентный COMMIT с более ранним временем может оказаться до уже пройденного cursor.
Готовность, DNS и SIGTERM
HAProxy использует round-robin без sticky sessions, четыре server-template слота и Docker DNS 127.0.0.11 с hold valid/obsolete/nx=1 s. IP backend не зашиты. GET /health/ready выполняется каждые 500 ms, timeout=500 ms, fall=2/rise=2. Номинальный бюджет обнаружения — 1.5–2 s с учётом таймаута/планирования; фактический разрыв измеряется. Публичный предел восстановления — 10 s.
Readiness зависит от DB, Valkey и stopping; liveness — только от процесса. SIGTERM сразу снимает readiness; после 1.5 s на реакцию LB выполняется HTTP Shutdown до 6 s. Compose grace=10 s. HTTP context=5 s, SQL statement_timeout=3 s/lock_timeout=1 s, connect=2 s; HTTP write=8 s, LB server=9 s/client=10 s. LB retries=0: POST создания пользователя/чата прозрачно не повторяются. Неопределённый POST сообщения повторяется клиентом только с прежним ключом.
API не запускают миграции. Отдельный migrate защищён advisory lock и проверяет checksum SQL. Миграция 003 добавляет таблицу и совместима с предыдущей схемой. Первоначальные 001/002, включая переход строк к bytea, требуют окна до запуска API и не заявлены rolling-совместимыми. При последовательной замене сначала поднимается третья API и появляется в LB, затем старая останавливается/удаляется; повторяется для второй. Проверяется замена контейнеров текущей версии, а не произвольная миграция между версиями приложения.
Лимиты и настройки
Обычно каждая API: 1 CPU/512 MiB, пул 8, MAX_INFLIGHT=32, GOMEMLIMIT=160 MiB. DB: 1 CPU/512 MiB; Valkey: 0.5 CPU/256 MiB; LB: 0.5 CPU/128 MiB; migrate: 0.5 CPU/256 MiB. Argon2id — максимум две KDF одновременно на процесс. PostgreSQL fsync/full_page_writes включены по умолчанию, соединение задаёт synchronous_commit=on.
Переменные .env.example используются Compose/приложением: APP_HOST/APP_PORT/APP_ENV, SESSION_STORE/SESSION_TTL_SECONDS, *_URL_FILE/CURSOR_SECRET_FILE, API_REPLICAS/API_CPUS/API_MEMORY/DB_CPUS, DB_POOL_MAX, MAX_INFLIGHT, GOMEMLIMIT, IDEMPOTENCY_TTL_SECONDS. POOL_METRICS=1 включает счётчики пула, REQUEST_LOG=0 отключает журнал запросов при исследовании. Смена .env требует пересоздания затронутых контейнеров.
Доказательства критериев
Ниже указаны проверяемые условия, не заранее объявленные PASS. Выводы и коды завершения записывает verify.py в evidence.
| Критерий | Команда/сценарий | Наблюдение | Доказательство |
|---|---|---|---|
| Публичные источники сохранены | public_integrity в verify.py | Сравнение с HEAD, SHA-256 | public-integrity.json |
| Структура/полная OpenAPI | make check / make validate через runner | exit 0 валидаторов | check.txt, validate.txt |
| API/доступ/пагинация/ошибки | make test | Публичный smoke без изменений | test.txt, final-smoke.txt |
| ≥2 реальные API, общая сессия | test-own и inspect | 16 одновременных ответов через ≥2 реплики | test-own.txt, final-containers.txt |
| Общая идемпотентность | test-own | Один Message; 409 другого тела; независимые user/chat; logout=401 | test-own.txt |
| Полный рестарт с прежним токеном | test-persistence/restart.sh | Прежние данные; новый StartedAt API/DB/Valkey/LB | test-persistence.txt, restart-before.txt, restart-after.txt |
| Отказ выбранной API | test-failover/stop-one.sh | ≤10 s, записи без дублей, реальный exited | test-failover.txt, stopped-before.txt, stopped-after.txt |
| Отказ каждой API по очереди | student-tests/failures.py | Восстановление предыдущей; чтение/запись, RPS/ошибки/задержки | failures.txt, failures.json |
| Health/timeouts/SIGTERM | конфигурация и failures | Чистый exit 0, доступ через оставшуюся API | failures.json, compose.yaml, haproxy.cfg |
| Лимиты/порты/нет affinity | compose config и status | CPU/RAM всех ролей; наружу только LB | compose.yaml, final-containers.txt |
| Поочерёдная замена под нагрузкой | rolling внутри failures | Оба container ID заменены, подтверждения сохранены | failures.json |
| Ручной PowerShell-клиент | manual.ps1 | Две реплики, прежний ID повтора, 409 конфликта, logout 204/401 | manual.txt |
| Трек 5: fixed/growing 1/2/4 | research.py | Три повтора каждого режима, raw и графики | research.json, research.csv, scaling.png |
| Насыщение/улучшение | sweep и pool-tuning | CPU/RAM, DB/пул/LB; сравнение пула 1 → 8 | saturation.png, research.md, research.json |
Исследование: гипотеза и методика
Измерительный хост: Windows 11, Intel Core i5-12450H, 12 логических CPU. Docker Desktop 29.3.0: 12 CPU и 3 956 072 448 bytes (около 3.68 GiB RAM) доступны Linux Engine. Python хоста 3.14.0; генератор/API — Go 1.26.0, matplotlib 3.10.7. Это локальный Docker Desktop, не несколько физических узлов.
Гипотеза: общая зависимость или очередь пула ограничивает масштабирование; увеличение числа API само по себе не даёт линейного роста. Fixed делит суммарные 2 CPU/1024 MiB API и 8 соединений между 1/2/4 процессами. Growing выделяет каждой API 1 CPU/512 MiB и пул 8. DB/Valkey/LB остаются теми же.
Профиль: closed-loop POST, text=128 ASCII-символов, уникальные ключи, без retry, persistent connections. Go-генератор работает отдельным контейнером с 2 CPU/256 MiB. Основное сравнение: concurrency=32, прогрев 3 s, измерение 15 s, три повтора. Порядок реплик циклически меняется, направление sweep чередуется. Каждый запуск получает новый чат; рост истории входит в профиль. Журнал запросов API одинаково отключён, счётчики пула включены.
Saturation: 4 API, 1/8/32/64/128 клиентов. Контрольный pool-tuning: 2 API, 32 клиента, пул 1 против 8, три повтора с чередованием порядка. Это отдельный намеренно ограниченный пул, не выдуманный дефект штатного пула 8. Подтверждение улучшения: median successful RPS вырос >5%, общее число ошибок не увеличилось. Иначе сценарий завершается ошибкой и не отмечает трек выполненным.
Первоначальное сравнение пула при 64 клиентах сохраняется отдельно как pool-overload: при MAX_INFLIGHT=32 на API суммарно 64 слота, но round-robin не гарантирует равного числа незавершённых запросов. Это допускает отказы приёма у занятого backend и согласуется с наблюдавшимися 503. Сборщик считает HTTP-коды, не разделяя источник API/LB, поэтому все 503 не приписываются одному механизму. Рост RPS с ростом ошибок не принимается за улучшение. Контроль с 32 клиентами оставляет запас слотов; перегрузочные результаты сохраняются.
Штатный прогон содержит 39 замеров; дополнительные 6 pool-overload воспроизводятся с python -X utf8 scripts/verify.py --include-overload. В сохранённом исследовании 32-клиентный контроль был добавлен после основных/перегрузочных серий; этот сдвиг по времени и накопление данных ограничивают точность сравнения. Неудачный перегрузочный опыт не заменён успешными данными задним числом.
Raw JSON содержит hardware Docker/хоста, параметры запусков, successful RPS, ошибки по кодам, p50/p95/p99, обслужившие реплики, CPU/RAM контейнеров, активные ожидания DB, счётчики ожидания пула и LB. Scaling показывает median и диапазон повторов. Численные результаты и интерпретация — в evidence/research.md после запуска.
Полученные результаты
Завершены 45 измерений: 9 fixed, 9 growing, 15 saturation, 6 pool-overload и 6 контрольных pool-tuning. На снимке перед дополнительной ручной проверкой: 572 124 сообщений и столько же idempotency keys, 73 пользователя, 57 чатов, pg_database_size=370 461 843 bytes. Данные и прогрев накапливались в одном volume; это не 45 изолированных пустых БД. Снимок лимитов, портов и fsync/synchronous_commit/full_page_writes=on сохранён в infrastructure.json.
| Серия, concurrency=32 | 1 API: median RPS | 2 API | 4 API | Ошибки |
|---|---|---|---|---|
| Fixed: суммарно 2 CPU/1024 MiB API, пул 8 | 886.9 | 771.3 | 739.9 | 0 |
| Growing: 1 CPU/512 MiB и пул 8 на API | 857.1 | 791.1 | 673.0 | 0 |
При фиксированном бюджете 4 API дали на 16.6% меньше throughput, чем одна; увеличение суммарных ресурсов API тоже не помогло. В saturation после 8 → 32 клиентов RPS вырос лишь 717.0 → 737.7 (+2.9%), а p95 — 58.2 → 92.8 ms. При 64 клиентах median RPS=789.5, доля ошибок 0.276%; при 128 — 741.3 RPS, 20.98% ошибок, p95=215.7 ms. Практическое колено этого профиля — примерно 8–32 клиента; дальнейший рост concurrency увеличивает задержки и затем отказы.
Это согласуется с общим ограничением DB/очереди: средний Docker CPU PostgreSQL в показательных sweep-запусках — примерно 87–104% одного ядра при лимите 1 CPU, память около 256–278 из 512 MiB. LB — примерно 17–27% ядра при лимите 0.5 CPU, генератор — 10–18% при лимите 2 CPU; qmax HAProxy=0. Сам LB и генератор в этих запусках не выглядят насыщенными. Ожидания пула дополнительно видны в pool_stats. Это вывод по согласующимся наблюдениям, не доказательство, что только CPU DB определяет каждую разницу RPS.
Подтверждённая настройка в контроле 2 API/32 клиента: DB_POOL_MAX 1 → 8 дал median 618.8 → 739.9 RPS (+19.57%), ошибок 0 в обоих вариантах за три повтора. Диапазоны RPS: 567.4–638.8 против 728.5–767.1. p50 улучшился 53.0 → 15.1 ms, но p95 ухудшился 74.2 → 92.7 ms, p99 — 91.5 → 99.2 ms. Это улучшение throughput с ценой в хвосте задержек; универсальное ускорение всех запросов не заявляется. Пул 8 оставлен штатным, а не увеличивается бесконечно при росте API.
Отрицательный pool-overload при 64 клиентах сохранён: RPS вырос 613.8 → 786.2, но ошибки — 970 → 5472. Этот результат отвергнут как улучшение. Уменьшение DB/LB/SPOF и увеличение CPU DB — возможные следующие эксперименты; их эффект здесь не измерен.
Ограничения
Один физический host. Выдерживается отказ одной API при живой другой. LB/DB/Valkey/storage остаются SPOF; отказ узла и HA БД не заявлены. AOF/WAL/COMMIT не заменяют резервное копирование. Удаление volumes уничтожает соответствующие данные.
Closed-loop имеет coordinated omission и стоимость клиента. Измеряются HTTP-подтверждения, а не точное число COMMIT при timeout. Перцентили — только успехов. CPU/DB-счётчики включают прогрев; кэш не сбрасывается; выборки короткие, три повтора не доказывают универсальную производительность. Нужно проверять предел генератора по его CPU. Плоский RPS сам по себе не доказывает насыщение DB: нужны согласующиеся CPU/ожидания/очереди.
По ходу длинного прогона throughput некоторых конфигураций снижался. Порядок менялся и диапазоны показаны на графике, но накопление таблиц/кэша и состояние хоста полностью не изолированы; частота и температура CPU не измерялись. Точные численные различия нельзя переносить на другое железо или production.
Фактический публичный отказ: 2 наблюдаемые API, 137 успешных записей за сценарий, 4 переходные ошибки, first_recovery=2.024 s; подтверждённые сообщения и прежний токен сохранены, дублей нет. Проверка StartedAt подтвердила рестарт всех пяти рабочих контейнеров. Собственная последовательная остановка каждой API дала first_success_after_action 2.087/2.043 s, по 0 неуспешных read/write cycles; rolling — 1 неуспешный цикл, оба исходных container ID заменены, потерь подтверждений нет. Эти собственные задержки/RPS включают Windows/Python-клиент и установление соединений; серверная пропускная способность измеряется отдельным Go-генератором внутри Docker.
Источники и помощь
- Собственная HLAlab2: Go API, SQL, Argon2id, Valkey и базовый Dockerfile.
- HAProxy DNS/server-template.
- PostgreSQL 17: статистика, advisory locks.
- Compose services.
- Библиотеки: pgx/v5, go-redis/v9, golang.org/x/crypto; matplotlib для графиков, openapi-spec-validator для схемы.
- Codex использован для переноса, реализации идемпотентности, инфраструктуры, дополнительных проверок и отчёта. Результаты подтверждаются выполнением команд.