25 KiB
Отчёт — лабораторная 3
- Автор, группа: Брезгунова Анжелика, БВТ2303.
- Целевая оценка: 5, трек 1 — цена масштабирования.
- Ветка:
solution/BVT2303-Brezgunova-5; commit/PR заполняются при публикации. - Реализация Go перенесена из собственной lab2. Папки lab1/lab2 не изменялись;
проверка SHA-256 приведена в
evidence/scope-before.jsonиscope-after.json. - Использована помощь Codex для реализации, тестов, экспериментов и оформления. Обязательные contracts, публичные tests, README задания и COURSE сохранены.
Запуск из чистого clone
Нужны Docker с Linux-контейнерами, Compose v2+ и Python 3.9+.
Локальный Go не требуется. Используются закреплённые образы: Go
1.24.7-alpine3.22, Alpine 3.22.1, PostgreSQL 17.6-alpine3.22, Redis
7.4.5-alpine3.21, HAProxy 3.0.11-alpine. Локальный образ приложения:
mtusi-messenger:lab3. Dockerfile выполняет go test ./..., go vet ./...,
собирает API и отдельный Go-генератор нагрузки.
python -X utf8 scripts/bootstrap.py
docker compose --env-file .env config --quiet
docker compose --env-file .env up -d --build --wait
python -X utf8 scripts/wait_ready.py --base-url http://127.0.0.1:8083
python -X utf8 student-tests/verify.py
Порт 8083 выбран, чтобы не затрагивать lab2 на 8080. Настраивается HOST_PORT.
Bootstrap создаёт локальные .env и secrets/, сохраняет пароль при повторном
запуске и не выводит credentials. Только API/migrate получают database URL,
PostgreSQL получает password file, Redis и LB не получают DB-секреты.
Файлы исключены из Git и Docker build context. Существующий пароль volumes
не изменяется простым редактированием .env.
Windows-эквиваленты make и отдельные команды проверки: RUNBOOK.md.
Для Linux выполнить chmod +x scripts/*.sh; доступны make check test,
make test-persistence и make test-failover с BASE_URL и ACTION_SCRIPT
из RUNBOOK. make validate проверяет OpenAPI после установки
requirements-dev.txt. CI application.yml собирает стенд и запускает
публичные и собственные проверки отдельно от skeleton workflow.
Остановить с сохранением данных: docker compose --env-file .env down.
Отдельная команда намеренного удаления учебных volumes —
docker compose --env-file .env down --volumes; тесты её не используют.
Архитектура и решения
flowchart LR
C[Клиент] --> L[HAProxy :8083]
L --> A[API replica 1]
L --> B[API replica 2]
A --> P[(PostgreSQL: данные, сессии, message_keys)]
B --> P
A --> R[(Redis: общий кэш)]
B --> R
M[Однократный migration job] --> P
Архитектура Compose + HAProxy. api — один масштабируемый service, без
container_name, без публичного host-порта. PostgreSQL и Redis доступны только
в internal-сети storage; LB видит только front. По умолчанию два API,
round-robin без sticky session. Каждый API устанавливает X-Instance-Id,
соответствующий hostname реального контейнера и стабильный для жизни процесса.
Необходимые данные не находятся в локальной памяти реплики.
Из lab2 сохранены REST API, PostgreSQL-модель, keyset pagination, Argon2id,
Bearer-сессии, лимиты запросов и Redis-кэш профилей. Сессии — всегда PostgreSQL,
TTL 3600 секунд, в DB хранится SHA-256 token. Кэш общего чата добавлен в lab3
как измеряемое улучшение; отключается CHAT_CACHE_ENABLED=false.
Общий кэш хранит только положительный доступ (chat, user) на 5 минут.
Метаданные и участники чата неизменяемы в обязательном API; каждый запрос
проверяет сессию в PostgreSQL. При ошибке Redis — fallback в DB за ограниченные
150 мс. Остановка Redis не блокирует корректность или readiness. При будущем
редактировании участников понадобится инвалидация/versioned keys.
Атомарная идемпотентность
Ключ проверяется по [A-Za-z0-9._:-]{1,128} только при POST сообщения.
Область уникальности (user_id, chat_id, key) соответствует единственному
POST-пути сообщений. Сначала снова проверяются сессия, доступ и тело.
Семантическое содержимое в lab3 — единственное поле text, поэтому JSON
escape и форматирование не меняют равенство. attachment_ids отсутствует
в CreateMessage текущего OpenAPI и не принимается до lab4.
Одна транзакция сначала делает INSERT claim в message_keys, затем INSERT
Message. Unique constraint и ON CONFLICT сериализуют одновременные запросы.
При повторе неистёкшего ключа транзакция читает исходный Message в следующей
READ COMMITTED snapshot; одинаковый text возвращает прежний 201, другой — 409.
Ссылка claim → Message отложена до COMMIT: невозможно подтвердить claim без
Message. Ошибка/rollback не фиксирует окончательный 5xx. При неопределённом
COMMIT клиент безопасно повторяет исходный ключ. TTL — 24 часа; истёкший claim
заменяется атомарно, ранее созданное сообщение остаётся в истории.
Записи с давно истёкшими уникальными ключами пока сохраняются: нужен janitor для ограничения размера таблицы. Это не меняет TTL/поведение повторов.
Readiness, DNS и завершение
HAProxy проверяет /health/ready каждые 500 мс, fall=2, rise=2, timeout
проверки 500 мс; ожидаемое исключение при отвечающем/оборванном backend —
около 1 секунды, при двух timeout — до примерно 2 секунд без CPU starvation.
Docker DNS 127.0.0.11 и server-template обновляют до 8 адресов API без
перезапуска LB (hold valid/obsolete=1s). В ходе rolling замены проверяется,
что новый hostname действительно наблюдается через LB.
DB/application timeout — 2 с; DB lock timeout — 1 с; LB connect — 500 мс,
server — 5 с, client — 10 с. LB повторяет только conn-failure и redispatch:
создание пользователя/чата после неопределённого ответа автоматически не
повторяется. При SIGTERM readiness и новая бизнес-работа получают 503,
далее задержка 2,5 с для LB и Server.Shutdown до 10 с. Compose даёт 15 с.
/health/live остаётся доступным во время drain. Переходные ошибки измерены.
Миграции запускаются отдельным service migrate, однократно за bootstrap,
под advisory lock; checksums предотвращают незаметное изменение старого SQL.
API не запускают DDL и при старте проверяют схему. 002 добавляет таблицу и
индекс; rolling текущей схемы заменяет процессы по одному с surge=1.
Удаляющие/несовместимые миграции требуют expand/contract. Смешивать версии
lab2 и lab3 за одним LB нельзя из-за обязательного Idempotency-Key.
Лимиты и критерии
| Компонент | CPU | RAM | Публичный порт |
|---|---|---|---|
| API, каждый из двух | 0,5 | 256 MiB | нет |
| PostgreSQL | 1 | 512 MiB | нет |
| Redis | 0,25 | 128 MiB | нет |
| HAProxy | 0,5 | 128 MiB | 127.0.0.1:8083 |
| Migration job, только при запуске | 0,5 | 128 MiB | нет |
| Генератор, только во время исследования | 2 | 256 MiB | нет |
API admission gate 128, DB pool 8 connections на реплику, KDF gate 4. API/LB/migrate/loadgen: read-only filesystem, drop ALL capabilities, no-new-privileges; API работает непривилегированным пользователем.
| Критерий README | Проверка | Доказательство |
|---|---|---|
| ≥2 настоящих реплик, единый вход | inspect labels + разные headers в одной сессии | evidence/integration.json, verification.json |
| Контракт предыдущей лабы и lab3 | публичный smoke | evidence/checks/smoke.txt, final-smoke.txt |
| Общие сессии и сохранность volumes | публичный persistence, restart всего стенда | evidence/checks/persistence.txt, actions/restart-*.json |
| Общая идемпотентность, разные реплики | 24 одинаковых POST + 24 разных body с общим ключом | evidence/integration.json |
| Восстановление ≤10 с, сохранность подтверждений | публичный failover | evidence/checks/failover.txt |
| Последовательный отказ каждой реплики, RPS/ошибки | четыре клиента read/write, restore между остановками | evidence/stop-replica-1.json, stop-replica-2.json |
| Неожиданный отказ процесса | отдельный SIGKILL, прежние ключи и token | evidence/hard-kill.json |
| Readiness/timeouts/graceful shutdown | конфигурация + фактические stop/kill | infra/haproxy.cfg, resilience-summary.json |
| CPU/RAM, изоляция портов, масштабируемый service | безопасная выборка docker inspect | evidence/verification.json |
| Поочерёдная замена под нагрузкой | новая реплика наблюдается до остановки старой | evidence/rolling-update.json, actions/rolling-*.json |
| Однократные согласованные миграции | отдельный job, checksums, повторный restart | migrations/, evidence/checks/persistence.txt |
| Redis fallback сохраняет корректность | stop Redis на 5 с во время read/write | evidence/cache-loss.json |
| Трек 1 на оценку 5 | фиксированный/растущий бюджет, насыщение, A/B | evidence/research.json, runs/, figures/ |
Эксперимент трека 1
Гипотеза: при одинаковом суммарном CPU/RAM API дополнительные реплики дают мало выигрыша; рост ресурсов API ограничивается общим PostgreSQL. Кэш неизменяемых данных/доступа чата должен снизить число DB-запросов и дать измеряемый рост RPS при прежних лимитах.
Методика: python -X utf8 student-tests/research.py --duration 20 --repeats 3.
Свой Go closed-loop генератор в отдельном контейнере, persistent connections
через LB, 80% GET history limit=50, 20% POST текста 200 байт, без retry,
32 workers. Прогрев 3 с, измерение 20 с, три повтора. Каждый прогон создаёт
новый чат с 1000 синтетическими сообщениями; общий объём БД до/после записан.
Порядок вариантов в каждом повторе детерминированно перемешан.
Фиксированный бюджет API — 1 CPU / 512 MiB / 8 суммарных DB connections, поделённые между 1/2/4 репликами. DB/LB/Redis неизменны, поэтому суммарный бюджет работающего серверного стенда одинаков: 2,75 CPU / 1280 MiB. Во второй серии каждая реплика получает 0,5 CPU / 256 MiB / pool 8; общие DB/LB/Redis остаются прежними. Обе серии выполняются с выключенным кэшем чатов, чтобы отдельно измерить его эффект. Серия насыщения: 4 API, concurrency 1/2/4/8/16/32/64 (один прогон на точку; 1/2 уточняют нижнюю границу насыщения). A/B кэша: две API, одинаковые лимиты, чередование off/on с обратным порядком второго повтора.
Ресурсы: Intel Core i7-12700H, 14 cores / 20 logical processors, около 16 GiB
RAM. Docker Desktop Linux VM имеет 20 CPU и около 7,57 GiB RAM. Детали —
evidence/hardware.json, evidence/research.json. Lab2 оставался запущен
и простаивал. CPU/RAM контейнеров снимаются во время прогонов; cgroup CPU
usage/throttling и pool wait counters — до/после. Ресурсное окно включает
прогрев и запуск клиента; latency относится к измеряемой фазе и ко всем
попыткам, включая ошибки.
Измеренные результаты
Значения RPS — медианы трёх прогонов; диапазон — min/max. p50/p95/p99 — медианы соответствующих квантилей отдельных прогонов, мс.
| Серия | Реплики | RPS, медиана | min–max RPS | p50 / p95 / p99, мс | Ошибки |
|---|---|---|---|---|---|
| Фиксированный бюджет | 1 | 194.1 | 192.2–198.6 | 180.2 / 302.4 / 400.5 | 0 |
| Фиксированный бюджет | 2 | 222.6 | 195.1–257.1 | 93.9 / 475.1 / 690.2 | 0 |
| Фиксированный бюджет | 4 | 202.0 | 196.2–245.6 | 93.9 / 569.2 / 889.9 | 0 |
| Растущий бюджет | 1 | 141.0 | 111.6–147.6 | 200.9 / 406.5 / 595.3 | 0 |
| Растущий бюджет | 2 | 198.7 | 173.1–211.7 | 103.9 / 489.4 / 638.3 | 0 |
| Растущий бюджет | 4 | 210.4 | 200.6–252.7 | 106.1 / 307.7 / 401.1 | 0 |
При фиксированном бюджете 4/1 = 1.041×: добавление процессов само по себе не даёт линейного ускорения. При растущем бюджете 4/2 = 1.059×: после двух реплик выигрыш невелик, общая БД становится ограничением.
| Concurrency, 4 API | RPS | p95, мс | Ошибки | PostgreSQL CPU / quota | DB pool wait, суммарно с |
|---|---|---|---|---|---|
| 1 | 225.3 | 7.6 | 0 | 50.0% | 0.0 |
| 2 | 456.0 | 7.8 | 0 | 89.2% | 0.0 |
| 4 | 305.4 | 56.7 | 0 | 93.7% | 0.0 |
| 8 | 217.0 | 92.2 | 0 | 94.4% | 0.0 |
| 16 | 184.3 | 193.2 | 0 | 94.2% | 0.5 |
| 32 | 165.8 | 398.3 | 0 | 95.2% | 61.2 |
| 64 | 171.5 | 1009.1 | 4 | 95.8% | 768.2 |
Лучший измеренный RPS в серии насыщения — 456.0 при concurrency 2. Выше этой точки растёт время запросов и ожидание пула, прирост реплик не убирает ограничение общего PostgreSQL. CPU БД достигает почти всей quota, у LB остаётся запас. Cgroup throttled_usec — накопленное время ограничения задач планировщиком, а не длительность отказа стенда. Это локальная измеренная граница данного профиля; по каждой точке concurrency один прогон, глобального максимума производительности не заявляем.
| Кэш чата, прежние лимиты | RPS, медиана | min–max | p95, медиана, мс | Ошибки |
|---|---|---|---|---|
| off | 187.0 | 179.3–221.5 | 481.7 | 0 |
| on | 316.2 | 282.6–340.3 | 211.7 | 0 |
Подтверждённое улучшение: общий кэш неизменяемого чата дал +69.1% медианного RPS при прежних CPU/RAM/pool и профиле запросов. Реальные hits отражены в pool_deltas; сессии остались в PostgreSQL. Каждый повтор сравнивался с выключенным кэшем, порядок A/B чередовался. Разброс остаётся; статистической значимости по трём повторам не заявляем.
Отказы и замена под нагрузкой
Четыре клиента читают профиль и записывают сообщения через LB. При неопределённом POST сохраняют ключ. Время восстановления ниже отсчитывается от начала action до первой успешной операции после его завершения; для rolling также указано время всей замены. Все подтверждения, исходное сообщение, прежний token и исходный Idempotency-Key проверены после воздействия.
| Воздействие | RPS | Ошибки / доля | p95, мс | Read / write после начала action, с | Подтверждения сохранены |
|---|---|---|---|---|---|
| stop-replica-1 | 107.2 | 41 / 1.88% | 28.0 | 3.633 / 3.692 | 1078 из 1078 |
| stop-replica-2 | 106.0 | 49 / 2.26% | 28.6 | 3.645 / 3.642 | 1049 из 1049 |
| hard-kill | 107.4 | 2 / 0.09% | 28.3 | 1.129 / 1.131 | 1073 из 1073 |
| rolling-update | 107.9 | 54 / 1.64% | 28.6 | 11.346 / 11.385 | 1615 из 1615 |
| cache-loss | 102.7 | 0 / 0.00% | 29.4 | 6.382 / 6.394 | 1027 из 1027 |
rolling-update: action продолжался 11.330 с, но запросы обслуживались во время него. Максимальный промежуток между успешными GET / POST за весь прогон — 0.093 / 0.091 с. Время в предыдущей таблице учитывает завершение всей action и не означает такой же простой.
cache-loss: action продолжался 6.378 с, но запросы обслуживались во время него. Максимальный промежуток между успешными GET / POST за весь прогон — 0.663 / 0.375 с. Время в предыдущей таблице учитывает завершение всей action и не означает такой же простой.
Переходные 503/оборванные соединения включены в ошибки. Дубли и потеря подтверждённых данных не обнаружены. Во время rolling сначала новая реплика наблюдалась через LB, затем старая останавливалась; в action сохранены реальные ID до/после. При Redis outage система продолжала работать через PostgreSQL.
Публичные проверки и отдельные Go test/vet/сборка: evidence/checks/, evidence/build.txt; полный OpenAPI validator — evidence/checks/validate.txt. Все проверки verification завершились PASS.
Ограничения
Один host, PostgreSQL, LB и disk — SPOF; исследование отказа узла не заявляется. Это локальный учебный стенд, не производственная гарантия HA. Closed-loop имеет coordinated omission; насыщение описывает этот профиль и лимиты, а не максимальный production arrival rate. DB постепенно растёт; это отражено в raw results. Короткие серии и три повтора дают эмпирический диапазон, статистической значимости или универсального проходного RPS не заявляем. Замена процессов проверена на текущей совместимой схеме; несовместимые изменения API/DDL требуют отдельного плана. В дальнейшем нужны janitor истёкших keys, open-loop генератор, более длинные серии и план HA DB/LB.
Исправления по замечаниям от 29 октября 2026 года
Из актуальной lab2 перенесены точная проверка JSON-имён по тегам (включая
регистр и дубли после Unicode-unescape) и проверка присутствия параметров
пагинации. Text/TEXT, пустые limit=/cursor= и повторяющиеся параметры
возвращают 400 invalid_request. Отсутствующие параметры сохраняют значения
по умолчанию. Код и файлы lab1/lab2 при переносе не изменялись.
Регрессии: main_test.go, student-tests/review_regressions.py; результаты —
evidence/review-build.txt, evidence/checks/review-regressions.txt и
evidence/review-regressions.json. HTTP-проверка подтверждает, что отклонённый
POST не создаёт Message и не занимает Idempotency-Key.
Таблица отказов и evidence/summary.md генерируются из подробных raw JSON.
student-tests/verify.py после успешной полной проверки автоматически
запускает student-tests/summarize.py, синхронизируя отчёт с новым прогоном.
Источники
- Docker Compose services: replicas, healthcheck, depends_on, CPU/RAM и stop_grace_period.
- HAProxy 3.0 manual: server-template, DNS resolvers, checks, retry-on.
- PostgreSQL 17 INSERT: ON CONFLICT и конкурентный захват ключа.
- PostgreSQL constraints: unique и внешние ключи.
- Исходная собственная lab2; зависимости
lib/pq 1.10.9,go-redis/v9 9.12.1,x/crypto 0.41.0закреплены в go.mod/go.sum. - Codex использован для реализации, проверки и оформления; объяснения для защиты — DEFENSE.md.

