Files
mtusi2026lab3/REPORT.md
T

25 KiB
Raw Blame History

Отчёт — лабораторная 3

  • Автор, группа: Брезгунова Анжелика, БВТ2303.
  • Целевая оценка: 5, трек 1 — цена масштабирования.
  • Ветка: solution/BVT2303-Brezgunova-5; commit/PR заполняются при публикации.
  • Реализация Go перенесена из собственной lab2. Папки lab1/lab2 не изменялись; проверка SHA-256 приведена в evidence/scope-before.json и scope-after.json.
  • Использована помощь Codex для реализации, тестов, экспериментов и оформления. Обязательные contracts, публичные tests, README задания и COURSE сохранены.

Запуск из чистого clone

Нужны Docker с Linux-контейнерами, Compose v2+ и Python 3.9+. Локальный Go не требуется. Используются закреплённые образы: Go 1.24.7-alpine3.22, Alpine 3.22.1, PostgreSQL 17.6-alpine3.22, Redis 7.4.5-alpine3.21, HAProxy 3.0.11-alpine. Локальный образ приложения: mtusi-messenger:lab3. Dockerfile выполняет go test ./..., go vet ./..., собирает API и отдельный Go-генератор нагрузки.

python -X utf8 scripts/bootstrap.py
docker compose --env-file .env config --quiet
docker compose --env-file .env up -d --build --wait
python -X utf8 scripts/wait_ready.py --base-url http://127.0.0.1:8083
python -X utf8 student-tests/verify.py

Порт 8083 выбран, чтобы не затрагивать lab2 на 8080. Настраивается HOST_PORT. Bootstrap создаёт локальные .env и secrets/, сохраняет пароль при повторном запуске и не выводит credentials. Только API/migrate получают database URL, PostgreSQL получает password file, Redis и LB не получают DB-секреты. Файлы исключены из Git и Docker build context. Существующий пароль volumes не изменяется простым редактированием .env.

Windows-эквиваленты make и отдельные команды проверки: RUNBOOK.md. Для Linux выполнить chmod +x scripts/*.sh; доступны make check test, make test-persistence и make test-failover с BASE_URL и ACTION_SCRIPT из RUNBOOK. make validate проверяет OpenAPI после установки requirements-dev.txt. CI application.yml собирает стенд и запускает публичные и собственные проверки отдельно от skeleton workflow.

Остановить с сохранением данных: docker compose --env-file .env down. Отдельная команда намеренного удаления учебных volumes — docker compose --env-file .env down --volumes; тесты её не используют.

Архитектура и решения

flowchart LR
    C[Клиент] --> L[HAProxy :8083]
    L --> A[API replica 1]
    L --> B[API replica 2]
    A --> P[(PostgreSQL: данные, сессии, message_keys)]
    B --> P
    A --> R[(Redis: общий кэш)]
    B --> R
    M[Однократный migration job] --> P

Архитектура Compose + HAProxy. api — один масштабируемый service, без container_name, без публичного host-порта. PostgreSQL и Redis доступны только в internal-сети storage; LB видит только front. По умолчанию два API, round-robin без sticky session. Каждый API устанавливает X-Instance-Id, соответствующий hostname реального контейнера и стабильный для жизни процесса. Необходимые данные не находятся в локальной памяти реплики.

Из lab2 сохранены REST API, PostgreSQL-модель, keyset pagination, Argon2id, Bearer-сессии, лимиты запросов и Redis-кэш профилей. Сессии — всегда PostgreSQL, TTL 3600 секунд, в DB хранится SHA-256 token. Кэш общего чата добавлен в lab3 как измеряемое улучшение; отключается CHAT_CACHE_ENABLED=false.

Общий кэш хранит только положительный доступ (chat, user) на 5 минут. Метаданные и участники чата неизменяемы в обязательном API; каждый запрос проверяет сессию в PostgreSQL. При ошибке Redis — fallback в DB за ограниченные 150 мс. Остановка Redis не блокирует корректность или readiness. При будущем редактировании участников понадобится инвалидация/versioned keys.

Атомарная идемпотентность

Ключ проверяется по [A-Za-z0-9._:-]{1,128} только при POST сообщения. Область уникальности (user_id, chat_id, key) соответствует единственному POST-пути сообщений. Сначала снова проверяются сессия, доступ и тело. Семантическое содержимое в lab3 — единственное поле text, поэтому JSON escape и форматирование не меняют равенство. attachment_ids отсутствует в CreateMessage текущего OpenAPI и не принимается до lab4.

Одна транзакция сначала делает INSERT claim в message_keys, затем INSERT Message. Unique constraint и ON CONFLICT сериализуют одновременные запросы. При повторе неистёкшего ключа транзакция читает исходный Message в следующей READ COMMITTED snapshot; одинаковый text возвращает прежний 201, другой — 409. Ссылка claim → Message отложена до COMMIT: невозможно подтвердить claim без Message. Ошибка/rollback не фиксирует окончательный 5xx. При неопределённом COMMIT клиент безопасно повторяет исходный ключ. TTL — 24 часа; истёкший claim заменяется атомарно, ранее созданное сообщение остаётся в истории.

Записи с давно истёкшими уникальными ключами пока сохраняются: нужен janitor для ограничения размера таблицы. Это не меняет TTL/поведение повторов.

Readiness, DNS и завершение

HAProxy проверяет /health/ready каждые 500 мс, fall=2, rise=2, timeout проверки 500 мс; ожидаемое исключение при отвечающем/оборванном backend — около 1 секунды, при двух timeout — до примерно 2 секунд без CPU starvation. Docker DNS 127.0.0.11 и server-template обновляют до 8 адресов API без перезапуска LB (hold valid/obsolete=1s). В ходе rolling замены проверяется, что новый hostname действительно наблюдается через LB.

DB/application timeout — 2 с; DB lock timeout — 1 с; LB connect — 500 мс, server — 5 с, client — 10 с. LB повторяет только conn-failure и redispatch: создание пользователя/чата после неопределённого ответа автоматически не повторяется. При SIGTERM readiness и новая бизнес-работа получают 503, далее задержка 2,5 с для LB и Server.Shutdown до 10 с. Compose даёт 15 с. /health/live остаётся доступным во время drain. Переходные ошибки измерены.

Миграции запускаются отдельным service migrate, однократно за bootstrap, под advisory lock; checksums предотвращают незаметное изменение старого SQL. API не запускают DDL и при старте проверяют схему. 002 добавляет таблицу и индекс; rolling текущей схемы заменяет процессы по одному с surge=1. Удаляющие/несовместимые миграции требуют expand/contract. Смешивать версии lab2 и lab3 за одним LB нельзя из-за обязательного Idempotency-Key.

Лимиты и критерии

Компонент CPU RAM Публичный порт
API, каждый из двух 0,5 256 MiB нет
PostgreSQL 1 512 MiB нет
Redis 0,25 128 MiB нет
HAProxy 0,5 128 MiB 127.0.0.1:8083
Migration job, только при запуске 0,5 128 MiB нет
Генератор, только во время исследования 2 256 MiB нет

API admission gate 128, DB pool 8 connections на реплику, KDF gate 4. API/LB/migrate/loadgen: read-only filesystem, drop ALL capabilities, no-new-privileges; API работает непривилегированным пользователем.

Критерий README Проверка Доказательство
≥2 настоящих реплик, единый вход inspect labels + разные headers в одной сессии evidence/integration.json, verification.json
Контракт предыдущей лабы и lab3 публичный smoke evidence/checks/smoke.txt, final-smoke.txt
Общие сессии и сохранность volumes публичный persistence, restart всего стенда evidence/checks/persistence.txt, actions/restart-*.json
Общая идемпотентность, разные реплики 24 одинаковых POST + 24 разных body с общим ключом evidence/integration.json
Восстановление ≤10 с, сохранность подтверждений публичный failover evidence/checks/failover.txt
Последовательный отказ каждой реплики, RPS/ошибки четыре клиента read/write, restore между остановками evidence/stop-replica-1.json, stop-replica-2.json
Неожиданный отказ процесса отдельный SIGKILL, прежние ключи и token evidence/hard-kill.json
Readiness/timeouts/graceful shutdown конфигурация + фактические stop/kill infra/haproxy.cfg, resilience-summary.json
CPU/RAM, изоляция портов, масштабируемый service безопасная выборка docker inspect evidence/verification.json
Поочерёдная замена под нагрузкой новая реплика наблюдается до остановки старой evidence/rolling-update.json, actions/rolling-*.json
Однократные согласованные миграции отдельный job, checksums, повторный restart migrations/, evidence/checks/persistence.txt
Redis fallback сохраняет корректность stop Redis на 5 с во время read/write evidence/cache-loss.json
Трек 1 на оценку 5 фиксированный/растущий бюджет, насыщение, A/B evidence/research.json, runs/, figures/

Эксперимент трека 1

Гипотеза: при одинаковом суммарном CPU/RAM API дополнительные реплики дают мало выигрыша; рост ресурсов API ограничивается общим PostgreSQL. Кэш неизменяемых данных/доступа чата должен снизить число DB-запросов и дать измеряемый рост RPS при прежних лимитах.

Методика: python -X utf8 student-tests/research.py --duration 20 --repeats 3. Свой Go closed-loop генератор в отдельном контейнере, persistent connections через LB, 80% GET history limit=50, 20% POST текста 200 байт, без retry, 32 workers. Прогрев 3 с, измерение 20 с, три повтора. Каждый прогон создаёт новый чат с 1000 синтетическими сообщениями; общий объём БД до/после записан. Порядок вариантов в каждом повторе детерминированно перемешан.

Фиксированный бюджет API — 1 CPU / 512 MiB / 8 суммарных DB connections, поделённые между 1/2/4 репликами. DB/LB/Redis неизменны, поэтому суммарный бюджет работающего серверного стенда одинаков: 2,75 CPU / 1280 MiB. Во второй серии каждая реплика получает 0,5 CPU / 256 MiB / pool 8; общие DB/LB/Redis остаются прежними. Обе серии выполняются с выключенным кэшем чатов, чтобы отдельно измерить его эффект. Серия насыщения: 4 API, concurrency 1/2/4/8/16/32/64 (один прогон на точку; 1/2 уточняют нижнюю границу насыщения). A/B кэша: две API, одинаковые лимиты, чередование off/on с обратным порядком второго повтора.

Ресурсы: Intel Core i7-12700H, 14 cores / 20 logical processors, около 16 GiB RAM. Docker Desktop Linux VM имеет 20 CPU и около 7,57 GiB RAM. Детали — evidence/hardware.json, evidence/research.json. Lab2 оставался запущен и простаивал. CPU/RAM контейнеров снимаются во время прогонов; cgroup CPU usage/throttling и pool wait counters — до/после. Ресурсное окно включает прогрев и запуск клиента; latency относится к измеряемой фазе и ко всем попыткам, включая ошибки.

Измеренные результаты

Значения RPS — медианы трёх прогонов; диапазон — min/max. p50/p95/p99 — медианы соответствующих квантилей отдельных прогонов, мс.

Серия Реплики RPS, медиана min–max RPS p50 / p95 / p99, мс Ошибки
Фиксированный бюджет 1 194.1 192.2–198.6 180.2 / 302.4 / 400.5 0
Фиксированный бюджет 2 222.6 195.1–257.1 93.9 / 475.1 / 690.2 0
Фиксированный бюджет 4 202.0 196.2–245.6 93.9 / 569.2 / 889.9 0
Растущий бюджет 1 141.0 111.6–147.6 200.9 / 406.5 / 595.3 0
Растущий бюджет 2 198.7 173.1–211.7 103.9 / 489.4 / 638.3 0
Растущий бюджет 4 210.4 200.6–252.7 106.1 / 307.7 / 401.1 0

При фиксированном бюджете 4/1 = 1.041×: добавление процессов само по себе не даёт линейного ускорения. При растущем бюджете 4/2 = 1.059×: после двух реплик выигрыш невелик, общая БД становится ограничением.

Concurrency, 4 API RPS p95, мс Ошибки PostgreSQL CPU / quota DB pool wait, суммарно с
1 225.3 7.6 0 50.0% 0.0
2 456.0 7.8 0 89.2% 0.0
4 305.4 56.7 0 93.7% 0.0
8 217.0 92.2 0 94.4% 0.0
16 184.3 193.2 0 94.2% 0.5
32 165.8 398.3 0 95.2% 61.2
64 171.5 1009.1 4 95.8% 768.2

Лучший измеренный RPS в серии насыщения — 456.0 при concurrency 2. Выше этой точки растёт время запросов и ожидание пула, прирост реплик не убирает ограничение общего PostgreSQL. CPU БД достигает почти всей quota, у LB остаётся запас. Cgroup throttled_usec — накопленное время ограничения задач планировщиком, а не длительность отказа стенда. Это локальная измеренная граница данного профиля; по каждой точке concurrency один прогон, глобального максимума производительности не заявляем.

Кэш чата, прежние лимиты RPS, медиана min–max p95, медиана, мс Ошибки
off 187.0 179.3–221.5 481.7 0
on 316.2 282.6–340.3 211.7 0

Подтверждённое улучшение: общий кэш неизменяемого чата дал +69.1% медианного RPS при прежних CPU/RAM/pool и профиле запросов. Реальные hits отражены в pool_deltas; сессии остались в PostgreSQL. Каждый повтор сравнивался с выключенным кэшем, порядок A/B чередовался. Разброс остаётся; статистической значимости по трём повторам не заявляем.

Масштабирование, насыщение и A/B

CPU относительно quota

Отказы и замена под нагрузкой

Четыре клиента читают профиль и записывают сообщения через LB. При неопределённом POST сохраняют ключ. Время восстановления ниже отсчитывается от начала action до первой успешной операции после его завершения; для rolling также указано время всей замены. Все подтверждения, исходное сообщение, прежний token и исходный Idempotency-Key проверены после воздействия.

Воздействие RPS Ошибки / доля p95, мс Read / write после начала action, с Подтверждения сохранены
stop-replica-1 107.2 41 / 1.88% 28.0 3.633 / 3.692 1078 из 1078
stop-replica-2 106.0 49 / 2.26% 28.6 3.645 / 3.642 1049 из 1049
hard-kill 107.4 2 / 0.09% 28.3 1.129 / 1.131 1073 из 1073
rolling-update 107.9 54 / 1.64% 28.6 11.346 / 11.385 1615 из 1615
cache-loss 102.7 0 / 0.00% 29.4 6.382 / 6.394 1027 из 1027

rolling-update: action продолжался 11.330 с, но запросы обслуживались во время него. Максимальный промежуток между успешными GET / POST за весь прогон — 0.093 / 0.091 с. Время в предыдущей таблице учитывает завершение всей action и не означает такой же простой. cache-loss: action продолжался 6.378 с, но запросы обслуживались во время него. Максимальный промежуток между успешными GET / POST за весь прогон — 0.663 / 0.375 с. Время в предыдущей таблице учитывает завершение всей action и не означает такой же простой.

Переходные 503/оборванные соединения включены в ошибки. Дубли и потеря подтверждённых данных не обнаружены. Во время rolling сначала новая реплика наблюдалась через LB, затем старая останавливалась; в action сохранены реальные ID до/после. При Redis outage система продолжала работать через PostgreSQL.

Публичные проверки и отдельные Go test/vet/сборка: evidence/checks/, evidence/build.txt; полный OpenAPI validator — evidence/checks/validate.txt. Все проверки verification завершились PASS.

Ограничения

Один host, PostgreSQL, LB и disk — SPOF; исследование отказа узла не заявляется. Это локальный учебный стенд, не производственная гарантия HA. Closed-loop имеет coordinated omission; насыщение описывает этот профиль и лимиты, а не максимальный production arrival rate. DB постепенно растёт; это отражено в raw results. Короткие серии и три повтора дают эмпирический диапазон, статистической значимости или универсального проходного RPS не заявляем. Замена процессов проверена на текущей совместимой схеме; несовместимые изменения API/DDL требуют отдельного плана. В дальнейшем нужны janitor истёкших keys, open-loop генератор, более длинные серии и план HA DB/LB.

Исправления по замечаниям от 29 октября 2026 года

Из актуальной lab2 перенесены точная проверка JSON-имён по тегам (включая регистр и дубли после Unicode-unescape) и проверка присутствия параметров пагинации. Text/TEXT, пустые limit=/cursor= и повторяющиеся параметры возвращают 400 invalid_request. Отсутствующие параметры сохраняют значения по умолчанию. Код и файлы lab1/lab2 при переносе не изменялись.

Регрессии: main_test.go, student-tests/review_regressions.py; результаты — evidence/review-build.txt, evidence/checks/review-regressions.txt и evidence/review-regressions.json. HTTP-проверка подтверждает, что отклонённый POST не создаёт Message и не занимает Idempotency-Key.

Таблица отказов и evidence/summary.md генерируются из подробных raw JSON. student-tests/verify.py после успешной полной проверки автоматически запускает student-tests/summarize.py, синхронизируя отчёт с новым прогоном.

Источники

  • Docker Compose services: replicas, healthcheck, depends_on, CPU/RAM и stop_grace_period.
  • HAProxy 3.0 manual: server-template, DNS resolvers, checks, retry-on.
  • PostgreSQL 17 INSERT: ON CONFLICT и конкурентный захват ключа.
  • PostgreSQL constraints: unique и внешние ключи.
  • Исходная собственная lab2; зависимости lib/pq 1.10.9, go-redis/v9 9.12.1, x/crypto 0.41.0 закреплены в go.mod/go.sum.
  • Codex использован для реализации, проверки и оформления; объяснения для защиты — DEFENSE.md.