19 KiB
Отчёт — лабораторная 3
- Автор, группа: Хуцаева Айса, БПИ2302.
- Целевая оценка: 5, трек 1 .
- Commit/PR: solution/bpi2302-khutsaeva.
Архитектура и решения
flowchart TD
C[Клиент] --> L[HAProxy :8080]
L --> A[API × N]
A --> P[(PostgreSQL)]
A --> R[(Redis)]
M[Однократный migrate] --> P
PostgreSQL — источник истины для пользователей, чатов, сообщений и ключей идемпотентности. Redis хранит общие активные сессии. API не хранит сессию локально; ответы содержат X-Instance-Id. Публичный маршрут стенда — http://localhost:8080; наружу опубликован только LB, с привязкой к loopback. PostgreSQL и Redis доступны во внутренней сети data; API и LB связаны сетью edge.
Из lab2 сохранены модель мессенджера, REST-контракт и работа с PostgreSQL/Redis. В lab3 добавлены репликация API, LB, общая таблица идемпотентности, отдельный migrator, health/readiness, лимиты и сценарии отказов/масштабирования.
Сообщение и запись идемпотентности должны фиксироваться одной транзакцией. Ключ ограничен пользователем и чатом: PK (user_id, chat_id, key), уникальная ссылка message_id. Конкурентный повтор проверен сценарием. При неопределённом исходе POST клиент повторяет тот же ключ и тело. Авторизация публикует токен в Redis после commit записи сессии PostgreSQL; при неудачной активации токен клиенту не возвращается.
Доказательства критериев
Для ранних тестов ниже приведены сохранённые в переписке результаты. Их исходные файлы не приложены к этому архиву: перед сдачей перенести соответствующие каталоги из локального results/. Они не заменены вымышленными логами.
| Критерий README | Команда/сценарий | Наблюдаемый результат | Файл доказательства |
|---|---|---|---|
| Публичный smoke | make test через LB |
Ранее сообщён PASS; полный stdout здесь не приложен | Приложить локальный smoke-log |
| Compose; ≥2 API; общие БД/сессии | docker compose up -d --wait; docker compose ps |
Две healthy API, PostgreSQL, Redis, один опубликованный LB | compose.yaml/compose.yml; вывод ps |
| Разные реплики без повторного входа | python3 -X utf8 tests/level4_check.py |
Две наблюдаемые реплики, сессия сохранена | results/level4-20261025-231308/ |
| Остановка любой одной API | Тот же сценарий; остановка каждой с восстановлением предыдущей | Чтения/записи возобновились менее чем за 1,25 с от начала действия | Тот же каталог; таблица отказов ниже |
| Подтверждённые сообщения сохранены | Проверки после каждой остановки | confirmed_messages_preserved: true |
Тот же каталог |
| Конкурентная идемпотентность | Параллельный POST с одинаковым ключом | PASS: parallel replay, two replicas, one message |
Тот же каталог |
| Повтор при смене реплики | tests/rolling_check.py, control replay |
pass: true после обеих замен, данные и сессия сохранены |
results/rolling-20261025-232928/ |
| Persistence и реальный restart hook | make test-persistence ACTION_SCRIPT=./scripts/restart.sh |
Ранее сообщён PASS; hook останавливает API/LB, перезапускает PostgreSQL/Redis, затем восстанавливает сервис | scripts/ops.py; приложить stdout и before/after evidence |
| Публичный failover-сценарий | make test-failover ACTION_SCRIPT=./scripts/stop-one.sh |
Ранее: 89 записей, 1 ошибка, восстановление 1,925 с; hook моделирует SIGKILL одной API | Приложить локальный failover-log и evidence hook |
| Health/readiness, тайм-ауты, SIGTERM | Конфигурация + level4_check.py |
Graceful shutdown; exit 143 при SIGTERM; LB исключает backend | infra/haproxy.cfg, application.yml, таблица ниже |
| Метрики каждой остановки | level4_check.py |
RPS, ошибки, первые GET/POST измерены для обеих API | results/level4-20261025-231308/ |
| CPU/RAM, отсутствие обхода LB | Проверка Compose и метаданных benchmark | Лимиты зафиксированы; API без host ports; нет container_name |
Compose; raw/*/summary.json внутри ZIP |
| Поочерёдная замена под нагрузкой | python3 -X utf8 tests/rolling_check.py |
Обе API заменены; survivor обслуживал чтения/записи | results/rolling-20261025-232928/ |
| Однократные совместимые миграции | migrate validate, migrate info |
Две миграции Success, schema version 2 | Приложить stdout Flyway; SQL V1/V2 |
| Трек 5: фиксированные ресурсы | scale_bench.py, серии fixed-1/2/4-curve |
Сравнение 1/2/4 с суммой 4 CPU / 3 ГиБ | Три ZIP raw/scale-fixed-*-curve-* |
| Трек 5: рост ресурсов | Серии growth-1/2 и fixed-4 | По 1 CPU / 768 МиБ на реплику | ZIP growth и fixed-4 в raw/ |
| Трек 5: ограничение и улучшение | PostgreSQL 1 → 2 → 1 CPU, задано 500 RPS | 344,26 → 395,99 → 261,59 успешных RPS | ZIP db1-before, db2-after, db1-return в raw/ |
Согласование проверок и остановки
HAProxy проверяет /health/ready: inter=1s, fastinter=500ms, downinter=1s, fall=2, rise=2, timeout check=1s, timeout connect=1s. Readiness проверяет готовность приложения, PostgreSQL и Redis. Docker healthcheck: период 2 с, timeout 2 с, retries 3, start period 60 с. Именно HAProxy управляет исключением из маршрутизации.
Консервативный расчётный бюджет обнаружения — до примерно 6 с при своевременном планировании проверок (ожидание следующей проверки и две проверки с connect/check timeout и интервалами). Это не безусловная гарантия при зависании хоста. Наблюдаемое продолжение чтений/записей в failover — до 1,242 с; это время первого успеха, а не отдельное измерение момента исключения backend.
LB: connect 1 с, queue 2 с, server 10 с, client 12 с; retries 0. В приложении: ожидание соединения Hikari 1 с, SQL statement timeout 5 с, lock timeout 3 с, PostgreSQL socket timeout 8 с; Redis timeout 1 с. Graceful shutdown приложения — 15 с, Compose stop grace — 20 с. После SIGTERM readiness учитывает прекращение приёма, активные запросы получают время на завершение.
V2 добавляет таблицу message_idempotency, не удаляя старые поля. Это совместимо на уровне схемы, но старая версия без идемпотентности не обеспечивает общую гарантию повторов. Проверена замена контейнеров одного образа, не rolling upgrade между версиями приложения. Миграции не запускаются каждой API; записи Flyway предотвращают повторное применение версий.
Эксперименты и отказы
| Воздействие | Что ожидаем | Что наблюдали | Восстановление / данные |
|---|---|---|---|
SIGTERM 855723c54dac |
Продолжение через survivor | RPS 30,80 → 16,68; 12 ошибок из 289 попыток в окне остановки | POST 1,242 с; GET 1,127 с; данные сохранены |
SIGTERM 76ca3cedea43 после восстановления первой |
То же | RPS 13,35 → 11,36; 2 ошибки из 185 | POST 1,139 с; GET 0,918 с; данные сохранены |
Замена 676421daaed3 на c0845939fb3b |
Survivor работает, новая API входит в LB | 28,72 успешных RPS; 21 ошибка / 1170 completed requests | Замена 34,984 с; сессия и данные сохранены |
Замена 71e9feadd941 на f81d0907c0fa |
То же | 19,43 успешных RPS; 17 ошибок / 769 completed requests | Замена 33,667 с; сессия и данные сохранены |
| Перегрузка единственной API | Зафиксировать отказы | Hikari: 8 активных соединений, >50 ожидающих; LB Layer7 timeout, нет доступных backend | После успешной проверки backend UP; это не тест сохранности данных |
Время полной замены контейнера не равно длительности недоступности: оставшаяся реплика продолжала работу. Короткие ошибки учитывались, нулевая потеря запросов не заявляется.
Методика масштабирования
Гипотеза: дополнительные API помогают только пока хватает общих ресурсов; при фиксированном бюджете эффект не обязан быть положительным, а общий PostgreSQL/LB/пулы могут ограничивать рост.
Стенд: Windows + Docker Desktop/WSL, Docker видит 12 CPU и 8 171 180 032 байт RAM (около 7,61 ГиБ). Модель процессора и версия ОС в raw не зафиксированы. Общие лимиты: PostgreSQL 1 CPU / 512 МиБ, LB 0,5 CPU / 128 МиБ, Redis 0,5 CPU / 192 МиБ. В эксперименте улучшения меняется только CPU PostgreSQL.
| Серия | API-реплик | CPU / RAM на API | Сумма CPU / RAM API | Сумма максимумов пула |
|---|---|---|---|---|
| fixed-1 | 1 | 4 / 3072 МиБ | 4 / 3072 МиБ | 8 |
| fixed-2 | 2 | 2 / 1536 МиБ | 4 / 3072 МиБ | 16 |
| fixed-4 / growth-4 | 4 | 1 / 768 МиБ | 4 / 3072 МиБ | 32 |
| growth-1 | 1 | 1 / 768 МиБ | 1 / 768 МиБ | 8 |
| growth-2 | 2 | 1 / 768 МиБ | 2 / 1536 МиБ | 16 |
Во всех основных сериях образ API sha256:2ed24b2c52e52b8f6c40a6f19b6e788cbcb33df97bcf9ced022f6c005e3b8319. Предварительные запуски до исправления обработки ошибок не смешаны с основной серией.
Профиль: 80% GET истории (limit=20), 20% POST уникального сообщения; одна сессия, новый чат и 20 стартовых сообщений для каждой ступени. База между сериями не очищается, её общий объём не зафиксирован. Arrival rate: 50/100/150/200/300/500 RPS; максимум 128 одновременно выполняемых клиентских задач, timeout 3 с. На каждую ступень — 60 с прогрева и 60 с измерения, порядок возрастающий. Повторов полных серий нет. Docker CPU/RAM и статистика PostgreSQL снимаются периодически в resources.jsonl.
Успешные RPS = число успешных запросов / время измерения с завершением оставшихся запросов. p50/p95/p99 рассчитаны только по успешным ответам. Ошибки отправленных запросов и generator_drops разделены: последние — запросы, которые генератор не отправил из-за занятых workers или опоздания расписания. Поэтому заданные 500 RPS не всегда равны реально отправленным 500 RPS.
Повтор команды (изменять label для каждой конфигурации):
$env:API_REPLICAS = "2"
$env:API_CPUS = "2.0"
$env:API_MEMORY = "1536m"
$env:DB_POOL_SIZE = "8"
docker compose up -d --no-deps --no-build --force-recreate --scale api=2 --wait --wait-timeout 180 api
python3 -X utf8 tests/scale_bench.py --label fixed-2-curve --rates 50,100,150,200,300,500 --seconds 60 --warmup 60
Фиксированный бюджет
В таблицах показаны ступени 200/300/500 RPS; все ступени — в summary.csv.
| Задано, RPS | Конфигурация | Успешные RPS | Ошибки | Пропуски генератора | p50 / p95 / p99, мс |
|---|---|---|---|---|---|
| 200 | 1 API | 199.90 | 0 | 0 | 15.0 / 40.5 / 54.2 |
| 300 | 1 API | 299.88 | 0 | 0 | 13.9 / 35.6 / 46.2 |
| 500 | 1 API | 237.54 | 27 | 15411 | 394.1 / 1183.0 / 1603.1 |
| 200 | 2 API | 199.97 | 0 | 0 | 29.6 / 69.4 / 190.3 |
| 300 | 2 API | 299.85 | 0 | 0 | 22.6 / 51.0 / 70.8 |
| 500 | 2 API | 494.30 | 0 | 332 | 17.0 / 62.1 / 341.1 |
| 200 | 4 API | 199.96 | 0 | 0 | 18.9 / 54.8 / 76.5 |
| 300 | 4 API | 255.52 | 111 | 2551 | 27.9 / 968.4 / 1486.1 |
| 500 | 4 API | 157.79 | 409 | 20003 | 685.4 / 1487.1 / 1848.8 |
В этой серии две реплики дали лучший результат на 500 RPS. Четыре реплики деградируют между проверенными ступенями 200 и 300 RPS; одна — между 300 и 500 RPS. Это интервалы наблюдаемой деградации конкретных прогонов, не точные универсальные saturation points.
Рост ресурсов
| Задано, RPS | Конфигурация | Успешные RPS | Ошибки | Пропуски генератора | p50 / p95 / p99, мс |
|---|---|---|---|---|---|
| 200 | 1 API | 68.14 | 2619 | 5205 | 1277.1 / 2259.6 / 2651.7 |
| 300 | 1 API | 100.23 | 793 | 11037 | 1072.1 / 1973.0 / 2297.2 |
| 500 | 1 API | 92.41 | 3274 | 21065 | 1096.0 / 2009.0 / 2393.3 |
| 200 | 2 API | 197.41 | 13 | 140 | 46.7 / 562.6 / 1043.5 |
| 300 | 2 API | 299.90 | 0 | 0 | 17.5 / 66.9 / 129.5 |
| 500 | 2 API | 215.25 | 616 | 16206 | 383.4 / 1295.0 / 1681.3 |
| 200 | 4 API | 199.96 | 0 | 0 | 18.9 / 54.8 / 76.5 |
| 300 | 4 API | 255.52 | 111 | 2551 | 27.9 / 968.4 / 1486.1 |
| 500 | 4 API | 157.79 | 409 | 20003 | 685.4 / 1487.1 / 1848.8 |
Четыре реплики используют тот же замер, что fixed-4: это не независимый повтор. Начало growth-1/2 имеет много ошибок, хотя более поздние ступени местами лучше. Есть влияние времени после запуска/прогрева; по этой серии нельзя надёжно оценить чистый коэффициент ускорения. При 500 RPS growth-2 PostgreSQL использовал около 1,03 CPU при лимите 1 CPU, API — около 0,73 и 0,70 CPU. В fixed-4 на 500 RPS PostgreSQL использовал около 0,94 CPU, API — 0,38–0,44 CPU каждая. Значения CPU из периодических выборок могут немного превышать квоту.
Подтверждённое в эксперименте улучшение
На работающих двух API по 1 CPU / 768 МиБ менялся только лимит PostgreSQL. Контейнеры не пересоздавались. По одному прогону 60 с после 60 с прогрева для каждой конфигурации, задано 500 RPS.
$dbId = docker compose ps -q postgres
docker update --cpus 1.0 $dbId
python3 -X utf8 tests/scale_bench.py --label db1-before --rates 500 --seconds 60 --warmup 60
docker update --cpus 2.0 $dbId
python3 -X utf8 tests/scale_bench.py --label db2-after --rates 500 --seconds 60 --warmup 60
docker update --cpus 1.0 $dbId
python3 -X utf8 tests/scale_bench.py --label db1-return --rates 500 --seconds 60 --warmup 60
| Задано, RPS | Конфигурация | Успешные RPS | Ошибки | Пропуски генератора | p50 / p95 / p99, мс |
|---|---|---|---|---|---|
| 500 | БД 1 CPU: до | 344.25 | 257 | 9061 | 102.3 / 944.8 / 1410.6 |
| 500 | БД 2 CPU | 395.99 | 52 | 6155 | 93.0 / 510.7 / 1320.3 |
| 500 | БД 1 CPU: возврат | 261.59 | 293 | 13790 | 323.0 / 1076.4 / 1404.8 |
Увеличение CPU БД дало +15,0% успешных RPS и −45,9% p95 относительно первого запуска; ошибки сократились с 257 до 52. После возврата к 1 CPU результат ухудшился. Это поддерживает причинную гипотезу о влиянии CPU БД, но один цикл не даёт статистической гарантии. 500 RPS полностью не достигнуты; пропуски генератора остаются.
Лимит после эксперимента возвращён к 1 CPU. docker update не меняет Compose: для постоянного применения улучшения требуется отдельно закрепить 2 CPU в конфигурации PostgreSQL.