Files
mtusi2026lab3/REPORT.md
T
2026-10-26 21:32:36 +03:00

19 KiB
Raw Blame History

Отчёт — лабораторная 3

  • Автор, группа: Хуцаева Айса, БПИ2302.
  • Целевая оценка: 5, трек 1 .
  • Commit/PR: solution/bpi2302-khutsaeva.

Архитектура и решения

flowchart TD
    C[Клиент] --> L[HAProxy :8080]
    L --> A[API × N]
    A --> P[(PostgreSQL)]
    A --> R[(Redis)]
    M[Однократный migrate] --> P

PostgreSQL — источник истины для пользователей, чатов, сообщений и ключей идемпотентности. Redis хранит общие активные сессии. API не хранит сессию локально; ответы содержат X-Instance-Id. Публичный маршрут стенда — http://localhost:8080; наружу опубликован только LB, с привязкой к loopback. PostgreSQL и Redis доступны во внутренней сети data; API и LB связаны сетью edge.

Из lab2 сохранены модель мессенджера, REST-контракт и работа с PostgreSQL/Redis. В lab3 добавлены репликация API, LB, общая таблица идемпотентности, отдельный migrator, health/readiness, лимиты и сценарии отказов/масштабирования.

Сообщение и запись идемпотентности должны фиксироваться одной транзакцией. Ключ ограничен пользователем и чатом: PK (user_id, chat_id, key), уникальная ссылка message_id. Конкурентный повтор проверен сценарием. При неопределённом исходе POST клиент повторяет тот же ключ и тело. Авторизация публикует токен в Redis после commit записи сессии PostgreSQL; при неудачной активации токен клиенту не возвращается.

Доказательства критериев

Для ранних тестов ниже приведены сохранённые в переписке результаты. Их исходные файлы не приложены к этому архиву: перед сдачей перенести соответствующие каталоги из локального results/. Они не заменены вымышленными логами.

Критерий README Команда/сценарий Наблюдаемый результат Файл доказательства
Публичный smoke make test через LB Ранее сообщён PASS; полный stdout здесь не приложен Приложить локальный smoke-log
Compose; ≥2 API; общие БД/сессии docker compose up -d --wait; docker compose ps Две healthy API, PostgreSQL, Redis, один опубликованный LB compose.yaml/compose.yml; вывод ps
Разные реплики без повторного входа python3 -X utf8 tests/level4_check.py Две наблюдаемые реплики, сессия сохранена results/level4-20261025-231308/
Остановка любой одной API Тот же сценарий; остановка каждой с восстановлением предыдущей Чтения/записи возобновились менее чем за 1,25 с от начала действия Тот же каталог; таблица отказов ниже
Подтверждённые сообщения сохранены Проверки после каждой остановки confirmed_messages_preserved: true Тот же каталог
Конкурентная идемпотентность Параллельный POST с одинаковым ключом PASS: parallel replay, two replicas, one message Тот же каталог
Повтор при смене реплики tests/rolling_check.py, control replay pass: true после обеих замен, данные и сессия сохранены results/rolling-20261025-232928/
Persistence и реальный restart hook make test-persistence ACTION_SCRIPT=./scripts/restart.sh Ранее сообщён PASS; hook останавливает API/LB, перезапускает PostgreSQL/Redis, затем восстанавливает сервис scripts/ops.py; приложить stdout и before/after evidence
Публичный failover-сценарий make test-failover ACTION_SCRIPT=./scripts/stop-one.sh Ранее: 89 записей, 1 ошибка, восстановление 1,925 с; hook моделирует SIGKILL одной API Приложить локальный failover-log и evidence hook
Health/readiness, тайм-ауты, SIGTERM Конфигурация + level4_check.py Graceful shutdown; exit 143 при SIGTERM; LB исключает backend infra/haproxy.cfg, application.yml, таблица ниже
Метрики каждой остановки level4_check.py RPS, ошибки, первые GET/POST измерены для обеих API results/level4-20261025-231308/
CPU/RAM, отсутствие обхода LB Проверка Compose и метаданных benchmark Лимиты зафиксированы; API без host ports; нет container_name Compose; raw/*/summary.json внутри ZIP
Поочерёдная замена под нагрузкой python3 -X utf8 tests/rolling_check.py Обе API заменены; survivor обслуживал чтения/записи results/rolling-20261025-232928/
Однократные совместимые миграции migrate validate, migrate info Две миграции Success, schema version 2 Приложить stdout Flyway; SQL V1/V2
Трек 5: фиксированные ресурсы scale_bench.py, серии fixed-1/2/4-curve Сравнение 1/2/4 с суммой 4 CPU / 3 ГиБ Три ZIP raw/scale-fixed-*-curve-*
Трек 5: рост ресурсов Серии growth-1/2 и fixed-4 По 1 CPU / 768 МиБ на реплику ZIP growth и fixed-4 в raw/
Трек 5: ограничение и улучшение PostgreSQL 1 → 2 → 1 CPU, задано 500 RPS 344,26 → 395,99 → 261,59 успешных RPS ZIP db1-before, db2-after, db1-return в raw/

Согласование проверок и остановки

HAProxy проверяет /health/ready: inter=1s, fastinter=500ms, downinter=1s, fall=2, rise=2, timeout check=1s, timeout connect=1s. Readiness проверяет готовность приложения, PostgreSQL и Redis. Docker healthcheck: период 2 с, timeout 2 с, retries 3, start period 60 с. Именно HAProxy управляет исключением из маршрутизации.

Консервативный расчётный бюджет обнаружения — до примерно 6 с при своевременном планировании проверок (ожидание следующей проверки и две проверки с connect/check timeout и интервалами). Это не безусловная гарантия при зависании хоста. Наблюдаемое продолжение чтений/записей в failover — до 1,242 с; это время первого успеха, а не отдельное измерение момента исключения backend.

LB: connect 1 с, queue 2 с, server 10 с, client 12 с; retries 0. В приложении: ожидание соединения Hikari 1 с, SQL statement timeout 5 с, lock timeout 3 с, PostgreSQL socket timeout 8 с; Redis timeout 1 с. Graceful shutdown приложения — 15 с, Compose stop grace — 20 с. После SIGTERM readiness учитывает прекращение приёма, активные запросы получают время на завершение.

V2 добавляет таблицу message_idempotency, не удаляя старые поля. Это совместимо на уровне схемы, но старая версия без идемпотентности не обеспечивает общую гарантию повторов. Проверена замена контейнеров одного образа, не rolling upgrade между версиями приложения. Миграции не запускаются каждой API; записи Flyway предотвращают повторное применение версий.

Эксперименты и отказы

Воздействие Что ожидаем Что наблюдали Восстановление / данные
SIGTERM 855723c54dac Продолжение через survivor RPS 30,80 → 16,68; 12 ошибок из 289 попыток в окне остановки POST 1,242 с; GET 1,127 с; данные сохранены
SIGTERM 76ca3cedea43 после восстановления первой То же RPS 13,35 → 11,36; 2 ошибки из 185 POST 1,139 с; GET 0,918 с; данные сохранены
Замена 676421daaed3 на c0845939fb3b Survivor работает, новая API входит в LB 28,72 успешных RPS; 21 ошибка / 1170 completed requests Замена 34,984 с; сессия и данные сохранены
Замена 71e9feadd941 на f81d0907c0fa То же 19,43 успешных RPS; 17 ошибок / 769 completed requests Замена 33,667 с; сессия и данные сохранены
Перегрузка единственной API Зафиксировать отказы Hikari: 8 активных соединений, >50 ожидающих; LB Layer7 timeout, нет доступных backend После успешной проверки backend UP; это не тест сохранности данных

Время полной замены контейнера не равно длительности недоступности: оставшаяся реплика продолжала работу. Короткие ошибки учитывались, нулевая потеря запросов не заявляется.

Методика масштабирования

Гипотеза: дополнительные API помогают только пока хватает общих ресурсов; при фиксированном бюджете эффект не обязан быть положительным, а общий PostgreSQL/LB/пулы могут ограничивать рост.

Стенд: Windows + Docker Desktop/WSL, Docker видит 12 CPU и 8 171 180 032 байт RAM (около 7,61 ГиБ). Модель процессора и версия ОС в raw не зафиксированы. Общие лимиты: PostgreSQL 1 CPU / 512 МиБ, LB 0,5 CPU / 128 МиБ, Redis 0,5 CPU / 192 МиБ. В эксперименте улучшения меняется только CPU PostgreSQL.

Серия API-реплик CPU / RAM на API Сумма CPU / RAM API Сумма максимумов пула
fixed-1 1 4 / 3072 МиБ 4 / 3072 МиБ 8
fixed-2 2 2 / 1536 МиБ 4 / 3072 МиБ 16
fixed-4 / growth-4 4 1 / 768 МиБ 4 / 3072 МиБ 32
growth-1 1 1 / 768 МиБ 1 / 768 МиБ 8
growth-2 2 1 / 768 МиБ 2 / 1536 МиБ 16

Во всех основных сериях образ API sha256:2ed24b2c52e52b8f6c40a6f19b6e788cbcb33df97bcf9ced022f6c005e3b8319. Предварительные запуски до исправления обработки ошибок не смешаны с основной серией.

Профиль: 80% GET истории (limit=20), 20% POST уникального сообщения; одна сессия, новый чат и 20 стартовых сообщений для каждой ступени. База между сериями не очищается, её общий объём не зафиксирован. Arrival rate: 50/100/150/200/300/500 RPS; максимум 128 одновременно выполняемых клиентских задач, timeout 3 с. На каждую ступень — 60 с прогрева и 60 с измерения, порядок возрастающий. Повторов полных серий нет. Docker CPU/RAM и статистика PostgreSQL снимаются периодически в resources.jsonl.

Успешные RPS = число успешных запросов / время измерения с завершением оставшихся запросов. p50/p95/p99 рассчитаны только по успешным ответам. Ошибки отправленных запросов и generator_drops разделены: последние — запросы, которые генератор не отправил из-за занятых workers или опоздания расписания. Поэтому заданные 500 RPS не всегда равны реально отправленным 500 RPS.

Повтор команды (изменять label для каждой конфигурации):

$env:API_REPLICAS = "2"
$env:API_CPUS = "2.0"
$env:API_MEMORY = "1536m"
$env:DB_POOL_SIZE = "8"
docker compose up -d --no-deps --no-build --force-recreate --scale api=2 --wait --wait-timeout 180 api
python3 -X utf8 tests/scale_bench.py --label fixed-2-curve --rates 50,100,150,200,300,500 --seconds 60 --warmup 60

Фиксированный бюджет

В таблицах показаны ступени 200/300/500 RPS; все ступени — в summary.csv.

Задано, RPS Конфигурация Успешные RPS Ошибки Пропуски генератора p50 / p95 / p99, мс
200 1 API 199.90 0 0 15.0 / 40.5 / 54.2
300 1 API 299.88 0 0 13.9 / 35.6 / 46.2
500 1 API 237.54 27 15411 394.1 / 1183.0 / 1603.1
200 2 API 199.97 0 0 29.6 / 69.4 / 190.3
300 2 API 299.85 0 0 22.6 / 51.0 / 70.8
500 2 API 494.30 0 332 17.0 / 62.1 / 341.1
200 4 API 199.96 0 0 18.9 / 54.8 / 76.5
300 4 API 255.52 111 2551 27.9 / 968.4 / 1486.1
500 4 API 157.79 409 20003 685.4 / 1487.1 / 1848.8

В этой серии две реплики дали лучший результат на 500 RPS. Четыре реплики деградируют между проверенными ступенями 200 и 300 RPS; одна — между 300 и 500 RPS. Это интервалы наблюдаемой деградации конкретных прогонов, не точные универсальные saturation points.

Рост ресурсов

Задано, RPS Конфигурация Успешные RPS Ошибки Пропуски генератора p50 / p95 / p99, мс
200 1 API 68.14 2619 5205 1277.1 / 2259.6 / 2651.7
300 1 API 100.23 793 11037 1072.1 / 1973.0 / 2297.2
500 1 API 92.41 3274 21065 1096.0 / 2009.0 / 2393.3
200 2 API 197.41 13 140 46.7 / 562.6 / 1043.5
300 2 API 299.90 0 0 17.5 / 66.9 / 129.5
500 2 API 215.25 616 16206 383.4 / 1295.0 / 1681.3
200 4 API 199.96 0 0 18.9 / 54.8 / 76.5
300 4 API 255.52 111 2551 27.9 / 968.4 / 1486.1
500 4 API 157.79 409 20003 685.4 / 1487.1 / 1848.8

Четыре реплики используют тот же замер, что fixed-4: это не независимый повтор. Начало growth-1/2 имеет много ошибок, хотя более поздние ступени местами лучше. Есть влияние времени после запуска/прогрева; по этой серии нельзя надёжно оценить чистый коэффициент ускорения. При 500 RPS growth-2 PostgreSQL использовал около 1,03 CPU при лимите 1 CPU, API — около 0,73 и 0,70 CPU. В fixed-4 на 500 RPS PostgreSQL использовал около 0,94 CPU, API — 0,38–0,44 CPU каждая. Значения CPU из периодических выборок могут немного превышать квоту.

Подтверждённое в эксперименте улучшение

На работающих двух API по 1 CPU / 768 МиБ менялся только лимит PostgreSQL. Контейнеры не пересоздавались. По одному прогону 60 с после 60 с прогрева для каждой конфигурации, задано 500 RPS.

$dbId = docker compose ps -q postgres
docker update --cpus 1.0 $dbId
python3 -X utf8 tests/scale_bench.py --label db1-before --rates 500 --seconds 60 --warmup 60
docker update --cpus 2.0 $dbId
python3 -X utf8 tests/scale_bench.py --label db2-after --rates 500 --seconds 60 --warmup 60
docker update --cpus 1.0 $dbId
python3 -X utf8 tests/scale_bench.py --label db1-return --rates 500 --seconds 60 --warmup 60
Задано, RPS Конфигурация Успешные RPS Ошибки Пропуски генератора p50 / p95 / p99, мс
500 БД 1 CPU: до 344.25 257 9061 102.3 / 944.8 / 1410.6
500 БД 2 CPU 395.99 52 6155 93.0 / 510.7 / 1320.3
500 БД 1 CPU: возврат 261.59 293 13790 323.0 / 1076.4 / 1404.8

Увеличение CPU БД дало +15,0% успешных RPS и −45,9% p95 относительно первого запуска; ошибки сократились с 257 до 52. После возврата к 1 CPU результат ухудшился. Это поддерживает причинную гипотезу о влиянии CPU БД, но один цикл не даёт статистической гарантии. 500 RPS полностью не достигнуты; пропуски генератора остаются.

Лимит после эксперимента возвращён к 1 CPU. docker update не меняет Compose: для постоянного применения улучшения требуется отдельно закрепить 2 CPU в конфигурации PostgreSQL.