# Отчёт — лабораторная 3 - Автор, группа: Хуцаева Айса, БПИ2302. - Целевая оценка: 5, трек 1 . - Commit/PR: solution/bpi2302-khutsaeva. ## Архитектура и решения ```mermaid flowchart TD C[Клиент] --> L[HAProxy :8080] L --> A[API × N] A --> P[(PostgreSQL)] A --> R[(Redis)] M[Однократный migrate] --> P ``` PostgreSQL — источник истины для пользователей, чатов, сообщений и ключей идемпотентности. Redis хранит общие активные сессии. API не хранит сессию локально; ответы содержат `X-Instance-Id`. Публичный маршрут стенда — `http://localhost:8080`; наружу опубликован только LB, с привязкой к loopback. PostgreSQL и Redis доступны во внутренней сети `data`; API и LB связаны сетью `edge`. Из lab2 сохранены модель мессенджера, REST-контракт и работа с PostgreSQL/Redis. В lab3 добавлены репликация API, LB, общая таблица идемпотентности, отдельный migrator, health/readiness, лимиты и сценарии отказов/масштабирования. Сообщение и запись идемпотентности должны фиксироваться одной транзакцией. Ключ ограничен пользователем и чатом: PK `(user_id, chat_id, key)`, уникальная ссылка `message_id`. Конкурентный повтор проверен сценарием. При неопределённом исходе POST клиент повторяет тот же ключ и тело. Авторизация публикует токен в Redis после commit записи сессии PostgreSQL; при неудачной активации токен клиенту не возвращается. ## Доказательства критериев Для ранних тестов ниже приведены сохранённые в переписке результаты. Их исходные файлы не приложены к этому архиву: перед сдачей перенести соответствующие каталоги из локального `results/`. Они не заменены вымышленными логами. | Критерий README | Команда/сценарий | Наблюдаемый результат | Файл доказательства | |---|---|---|---| | Публичный smoke | `make test` через LB | Ранее сообщён PASS; полный stdout здесь не приложен | Приложить локальный smoke-log | | Compose; ≥2 API; общие БД/сессии | `docker compose up -d --wait`; `docker compose ps` | Две healthy API, PostgreSQL, Redis, один опубликованный LB | `compose.yaml`/`compose.yml`; вывод `ps` | | Разные реплики без повторного входа | `python3 -X utf8 tests/level4_check.py` | Две наблюдаемые реплики, сессия сохранена | `results/level4-20261025-231308/` | | Остановка любой одной API | Тот же сценарий; остановка каждой с восстановлением предыдущей | Чтения/записи возобновились менее чем за 1,25 с от начала действия | Тот же каталог; таблица отказов ниже | | Подтверждённые сообщения сохранены | Проверки после каждой остановки | `confirmed_messages_preserved: true` | Тот же каталог | | Конкурентная идемпотентность | Параллельный POST с одинаковым ключом | `PASS: parallel replay, two replicas, one message` | Тот же каталог | | Повтор при смене реплики | `tests/rolling_check.py`, control replay | `pass: true` после обеих замен, данные и сессия сохранены | `results/rolling-20261025-232928/` | | Persistence и реальный restart hook | `make test-persistence ACTION_SCRIPT=./scripts/restart.sh` | Ранее сообщён PASS; hook останавливает API/LB, перезапускает PostgreSQL/Redis, затем восстанавливает сервис | `scripts/ops.py`; приложить stdout и before/after evidence | | Публичный failover-сценарий | `make test-failover ACTION_SCRIPT=./scripts/stop-one.sh` | Ранее: 89 записей, 1 ошибка, восстановление 1,925 с; hook моделирует SIGKILL одной API | Приложить локальный failover-log и evidence hook | | Health/readiness, тайм-ауты, SIGTERM | Конфигурация + `level4_check.py` | Graceful shutdown; exit 143 при SIGTERM; LB исключает backend | `infra/haproxy.cfg`, `application.yml`, таблица ниже | | Метрики каждой остановки | `level4_check.py` | RPS, ошибки, первые GET/POST измерены для обеих API | `results/level4-20261025-231308/` | | CPU/RAM, отсутствие обхода LB | Проверка Compose и метаданных benchmark | Лимиты зафиксированы; API без host ports; нет `container_name` | Compose; `raw/*/summary.json` внутри ZIP | | Поочерёдная замена под нагрузкой | `python3 -X utf8 tests/rolling_check.py` | Обе API заменены; survivor обслуживал чтения/записи | `results/rolling-20261025-232928/` | | Однократные совместимые миграции | `migrate validate`, `migrate info` | Две миграции Success, schema version 2 | Приложить stdout Flyway; SQL V1/V2 | | Трек 5: фиксированные ресурсы | `scale_bench.py`, серии fixed-1/2/4-curve | Сравнение 1/2/4 с суммой 4 CPU / 3 ГиБ | Три ZIP `raw/scale-fixed-*-curve-*` | | Трек 5: рост ресурсов | Серии growth-1/2 и fixed-4 | По 1 CPU / 768 МиБ на реплику | ZIP growth и fixed-4 в `raw/` | | Трек 5: ограничение и улучшение | PostgreSQL 1 → 2 → 1 CPU, задано 500 RPS | 344,26 → 395,99 → 261,59 успешных RPS | ZIP db1-before, db2-after, db1-return в `raw/` | ### Согласование проверок и остановки HAProxy проверяет `/health/ready`: `inter=1s`, `fastinter=500ms`, `downinter=1s`, `fall=2`, `rise=2`, `timeout check=1s`, `timeout connect=1s`. Readiness проверяет готовность приложения, PostgreSQL и Redis. Docker healthcheck: период 2 с, timeout 2 с, retries 3, start period 60 с. Именно HAProxy управляет исключением из маршрутизации. Консервативный расчётный бюджет обнаружения — до примерно 6 с при своевременном планировании проверок (ожидание следующей проверки и две проверки с connect/check timeout и интервалами). Это не безусловная гарантия при зависании хоста. Наблюдаемое продолжение чтений/записей в failover — до 1,242 с; это время первого успеха, а не отдельное измерение момента исключения backend. LB: connect 1 с, queue 2 с, server 10 с, client 12 с; retries 0. В приложении: ожидание соединения Hikari 1 с, SQL statement timeout 5 с, lock timeout 3 с, PostgreSQL socket timeout 8 с; Redis timeout 1 с. Graceful shutdown приложения — 15 с, Compose stop grace — 20 с. После SIGTERM readiness учитывает прекращение приёма, активные запросы получают время на завершение. V2 добавляет таблицу `message_idempotency`, не удаляя старые поля. Это совместимо на уровне схемы, но старая версия без идемпотентности не обеспечивает общую гарантию повторов. Проверена замена контейнеров **одного образа**, не rolling upgrade между версиями приложения. Миграции не запускаются каждой API; записи Flyway предотвращают повторное применение версий. ## Эксперименты и отказы | Воздействие | Что ожидаем | Что наблюдали | Восстановление / данные | |---|---|---|---| | SIGTERM `855723c54dac` | Продолжение через survivor | RPS 30,80 → 16,68; 12 ошибок из 289 попыток в окне остановки | POST 1,242 с; GET 1,127 с; данные сохранены | | SIGTERM `76ca3cedea43` после восстановления первой | То же | RPS 13,35 → 11,36; 2 ошибки из 185 | POST 1,139 с; GET 0,918 с; данные сохранены | | Замена `676421daaed3` на `c0845939fb3b` | Survivor работает, новая API входит в LB | 28,72 успешных RPS; 21 ошибка / 1170 completed requests | Замена 34,984 с; сессия и данные сохранены | | Замена `71e9feadd941` на `f81d0907c0fa` | То же | 19,43 успешных RPS; 17 ошибок / 769 completed requests | Замена 33,667 с; сессия и данные сохранены | | Перегрузка единственной API | Зафиксировать отказы | Hikari: 8 активных соединений, >50 ожидающих; LB Layer7 timeout, нет доступных backend | После успешной проверки backend UP; это не тест сохранности данных | Время полной замены контейнера не равно длительности недоступности: оставшаяся реплика продолжала работу. Короткие ошибки учитывались, нулевая потеря запросов не заявляется. ### Методика масштабирования Гипотеза: дополнительные API помогают только пока хватает общих ресурсов; при фиксированном бюджете эффект не обязан быть положительным, а общий PostgreSQL/LB/пулы могут ограничивать рост. Стенд: Windows + Docker Desktop/WSL, Docker видит 12 CPU и 8 171 180 032 байт RAM (около 7,61 ГиБ). Модель процессора и версия ОС в raw не зафиксированы. Общие лимиты: PostgreSQL 1 CPU / 512 МиБ, LB 0,5 CPU / 128 МиБ, Redis 0,5 CPU / 192 МиБ. В эксперименте улучшения меняется только CPU PostgreSQL. | Серия | API-реплик | CPU / RAM на API | Сумма CPU / RAM API | Сумма максимумов пула | |---|---:|---|---|---:| | fixed-1 | 1 | 4 / 3072 МиБ | 4 / 3072 МиБ | 8 | | fixed-2 | 2 | 2 / 1536 МиБ | 4 / 3072 МиБ | 16 | | fixed-4 / growth-4 | 4 | 1 / 768 МиБ | 4 / 3072 МиБ | 32 | | growth-1 | 1 | 1 / 768 МиБ | 1 / 768 МиБ | 8 | | growth-2 | 2 | 1 / 768 МиБ | 2 / 1536 МиБ | 16 | Во всех основных сериях образ API `sha256:2ed24b2c52e52b8f6c40a6f19b6e788cbcb33df97bcf9ced022f6c005e3b8319`. Предварительные запуски до исправления обработки ошибок не смешаны с основной серией. Профиль: 80% GET истории (limit=20), 20% POST уникального сообщения; одна сессия, новый чат и 20 стартовых сообщений для каждой ступени. База между сериями не очищается, её общий объём не зафиксирован. Arrival rate: 50/100/150/200/300/500 RPS; максимум 128 одновременно выполняемых клиентских задач, timeout 3 с. На каждую ступень — 60 с прогрева и 60 с измерения, порядок возрастающий. Повторов полных серий нет. Docker CPU/RAM и статистика PostgreSQL снимаются периодически в `resources.jsonl`. Успешные RPS = число успешных запросов / время измерения с завершением оставшихся запросов. p50/p95/p99 рассчитаны только по успешным ответам. Ошибки отправленных запросов и `generator_drops` разделены: последние — запросы, которые генератор не отправил из-за занятых workers или опоздания расписания. Поэтому заданные 500 RPS не всегда равны реально отправленным 500 RPS. Повтор команды (изменять label для каждой конфигурации): ```powershell $env:API_REPLICAS = "2" $env:API_CPUS = "2.0" $env:API_MEMORY = "1536m" $env:DB_POOL_SIZE = "8" docker compose up -d --no-deps --no-build --force-recreate --scale api=2 --wait --wait-timeout 180 api python3 -X utf8 tests/scale_bench.py --label fixed-2-curve --rates 50,100,150,200,300,500 --seconds 60 --warmup 60 ``` ### Фиксированный бюджет В таблицах показаны ступени 200/300/500 RPS; все ступени — в `summary.csv`. | Задано, RPS | Конфигурация | Успешные RPS | Ошибки | Пропуски генератора | p50 / p95 / p99, мс | |---:|---|---:|---:|---:|---| | 200 | 1 API | 199.90 | 0 | 0 | 15.0 / 40.5 / 54.2 | | 300 | 1 API | 299.88 | 0 | 0 | 13.9 / 35.6 / 46.2 | | 500 | 1 API | 237.54 | 27 | 15411 | 394.1 / 1183.0 / 1603.1 | | 200 | 2 API | 199.97 | 0 | 0 | 29.6 / 69.4 / 190.3 | | 300 | 2 API | 299.85 | 0 | 0 | 22.6 / 51.0 / 70.8 | | 500 | 2 API | 494.30 | 0 | 332 | 17.0 / 62.1 / 341.1 | | 200 | 4 API | 199.96 | 0 | 0 | 18.9 / 54.8 / 76.5 | | 300 | 4 API | 255.52 | 111 | 2551 | 27.9 / 968.4 / 1486.1 | | 500 | 4 API | 157.79 | 409 | 20003 | 685.4 / 1487.1 / 1848.8 | В этой серии две реплики дали лучший результат на 500 RPS. Четыре реплики деградируют между проверенными ступенями 200 и 300 RPS; одна — между 300 и 500 RPS. Это интервалы наблюдаемой деградации конкретных прогонов, не точные универсальные saturation points. ### Рост ресурсов | Задано, RPS | Конфигурация | Успешные RPS | Ошибки | Пропуски генератора | p50 / p95 / p99, мс | |---:|---|---:|---:|---:|---| | 200 | 1 API | 68.14 | 2619 | 5205 | 1277.1 / 2259.6 / 2651.7 | | 300 | 1 API | 100.23 | 793 | 11037 | 1072.1 / 1973.0 / 2297.2 | | 500 | 1 API | 92.41 | 3274 | 21065 | 1096.0 / 2009.0 / 2393.3 | | 200 | 2 API | 197.41 | 13 | 140 | 46.7 / 562.6 / 1043.5 | | 300 | 2 API | 299.90 | 0 | 0 | 17.5 / 66.9 / 129.5 | | 500 | 2 API | 215.25 | 616 | 16206 | 383.4 / 1295.0 / 1681.3 | | 200 | 4 API | 199.96 | 0 | 0 | 18.9 / 54.8 / 76.5 | | 300 | 4 API | 255.52 | 111 | 2551 | 27.9 / 968.4 / 1486.1 | | 500 | 4 API | 157.79 | 409 | 20003 | 685.4 / 1487.1 / 1848.8 | Четыре реплики используют тот же замер, что fixed-4: это не независимый повтор. Начало growth-1/2 имеет много ошибок, хотя более поздние ступени местами лучше. Есть влияние времени после запуска/прогрева; по этой серии нельзя надёжно оценить чистый коэффициент ускорения. При 500 RPS growth-2 PostgreSQL использовал около 1,03 CPU при лимите 1 CPU, API — около 0,73 и 0,70 CPU. В fixed-4 на 500 RPS PostgreSQL использовал около 0,94 CPU, API — 0,38–0,44 CPU каждая. Значения CPU из периодических выборок могут немного превышать квоту. ### Подтверждённое в эксперименте улучшение На работающих двух API по 1 CPU / 768 МиБ менялся только лимит PostgreSQL. Контейнеры не пересоздавались. По одному прогону 60 с после 60 с прогрева для каждой конфигурации, задано 500 RPS. ```powershell $dbId = docker compose ps -q postgres docker update --cpus 1.0 $dbId python3 -X utf8 tests/scale_bench.py --label db1-before --rates 500 --seconds 60 --warmup 60 docker update --cpus 2.0 $dbId python3 -X utf8 tests/scale_bench.py --label db2-after --rates 500 --seconds 60 --warmup 60 docker update --cpus 1.0 $dbId python3 -X utf8 tests/scale_bench.py --label db1-return --rates 500 --seconds 60 --warmup 60 ``` | Задано, RPS | Конфигурация | Успешные RPS | Ошибки | Пропуски генератора | p50 / p95 / p99, мс | |---:|---|---:|---:|---:|---| | 500 | БД 1 CPU: до | 344.25 | 257 | 9061 | 102.3 / 944.8 / 1410.6 | | 500 | БД 2 CPU | 395.99 | 52 | 6155 | 93.0 / 510.7 / 1320.3 | | 500 | БД 1 CPU: возврат | 261.59 | 293 | 13790 | 323.0 / 1076.4 / 1404.8 | Увеличение CPU БД дало +15,0% успешных RPS и −45,9% p95 относительно первого запуска; ошибки сократились с 257 до 52. После возврата к 1 CPU результат ухудшился. Это поддерживает причинную гипотезу о влиянии CPU БД, но один цикл не даёт статистической гарантии. 500 RPS полностью не достигнуты; пропуски генератора остаются. Лимит после эксперимента возвращён к 1 CPU. `docker update` не меняет Compose: для постоянного применения улучшения требуется отдельно закрепить 2 CPU в конфигурации PostgreSQL.