24 KiB
Отчёт — лабораторная 3
- Автор: Самохвалов Андрей Ремович, БПИ-2302.
- Цель: оценка 5, трек 1 (цена масштабирования). Уровень 4 и выбранный трек проверены ниже.
- Ветка:
solution/bpi2302-samohvalov; commit/PR после публикации. - Источники:
README.md,COURSE.md,contracts/, публичные тесты репозитория, HAProxy 3.0 configuration, Docker Compose services. Код и текст подготовлены с помощью Codex; результаты ниже получены реальным запуском.
Запуск из чистого clone
Нужны Docker с Compose, Python 3.9+ и make. Dockerfile собирает исходники в python:3.12.12-slim-bookworm; БД — postgres:17.6-bookworm, балансировщик — haproxy:3.0.11-alpine. Python-пакеты закреплены в requirements.txt. Стенд рассчитан на localhost и синтетические данные.
cp .env.example .env
mkdir -p secrets
python3 - <<'PY'
from pathlib import Path
from secrets import token_urlsafe
password = token_urlsafe(32)
Path('secrets/postgres_password').write_text(password)
Path('secrets/database_url').write_text(f'postgresql://messenger:{password}@postgres:5432/messenger')
PY
chmod 600 .env secrets/*
docker compose --env-file .env config --quiet
docker compose --env-file .env up -d --build --wait --scale api=2
make check
make test
make test-persistence ACTION_SCRIPT=scripts/restart.sh
make test-failover ACTION_SCRIPT=scripts/stop-one.sh
docker compose --env-file .env up -d --wait --scale api=2 # восстановить остановленную реплику
Для повторного failover после восстановления балансировщик должен обслуживать обе реплики; повторите команду и сверьте, какой контейнер остановлен. docker compose --env-file .env ps -a показывает реальный процесс. migrate — одноразовый сервис, который под advisory lock применяет SQL-миграции до запуска API; повторный up безопасно проверяет уже применённые версии. docker compose --env-file .env down сохраняет volume. Только для намеренного удаления учебных данных: docker compose --env-file .env down -v.
Архитектура и решения
Клиент → HAProxy (lb, единственный опубликованный порт) → две FastAPI-реплики (api) → общий PostgreSQL (postgres). Сессии, сообщения и записи идемпотентности хранятся в PostgreSQL. Каждая реплика принимает любой действующий Bearer без sticky session. X-Instance-Id — случайный alias, постоянный в пределах процесса. Внешний порт PostgreSQL и API не опубликован.
Балансировка round-robin использует server-template на четыре слота, Docker DNS 127.0.0.11, повторное разрешение адресов и /health/ready раз в 1 секунду (fall 2, rise 1). Сбой backend обнаруживается примерно за 2 проверки; проверка через публичный endpoint важнее расчётного интервала. HAProxy имеет connect timeout 2 с и client/server timeout 15 с. Compose ждёт готовности БД и однократной миграции; API имеет 10-секундный stop_grace_period, Uvicorn получает SIGTERM как главный процесс контейнера. На API установлены ограничения 0.5 CPU/256 MiB на реплику, на LB — 0.5 CPU/128 MiB; на PostgreSQL — 1 CPU/512 MiB, на миграцию — 0.5 CPU/128 MiB. Дополнительное исследование фиксированного суммарного бюджета выполняется позже.
API и миграция получают только database_url, PostgreSQL — только пароль БД, LB — только конфигурацию HAProxy в read-only mount. student-tests/test_operations.py проверяет опубликованные порты, mounts, secrets и лимиты из раскрытого Compose-конфига; фактические лимиты контейнеров сняты через docker inspect в evidence/topology-u4.txt.
Создание чата и членов атомарно. POST сообщения требует ключ [A-Za-z0-9._:-]{1,128}; PostgreSQL unique key (user_id, chat_id, request_key) резервируется в транзакции вместе с сообщением и ссылкой на результат. Конкурентный повтор ждёт исход первой транзакции. При одинаковом тексте возвращается тот же 201 Message, при другом — 409. Ключ другой пары пользователь/чат независим. Повтор проверяет Bearer и членство до чтения сохранённого результата. Записи старше 24 часов по тому же ключу удаляются перед новым запросом; массовая очистка исторических ключей пока не автоматизирована.
Проверки уровня 3
| Критерий | Команда/наблюдение | Результат |
|---|---|---|
| Контракт | make check; локальный make test BASE_URL=http://127.0.0.1:8083 через LB |
PASS; публичный lab3 smoke |
| Реальные реплики | 12 GET /health/live через LB, docker compose ps -a |
Два разных X-Instance-Id, два healthy API-контейнера; только LB опубликован наружу |
| Конкурентная идемпотентность | python -m unittest discover -s student-tests на временной PostgreSQL |
7 тестов PASS; два конкурентных вызова, одна запись messages |
| Полный рестарт | make test-persistence ACTION_SCRIPT=scripts/restart.sh |
PASS, прежние данные и токен; времена StartedAt обеих API, LB и PostgreSQL изменились |
| Отказ API-1 | make test-failover ACTION_SCRIPT=scripts/stop-one.sh; docker compose ps -a |
PASS, 2 реплики до отказа, 112 записей, 1 переходная ошибка, первая успешная запись через 2.935 с; API-1 Exited (0) |
| Отказ API-2 | Восстановить API-1, сдвинуть round-robin одним GET, повторить failover | PASS, 2 реплики до отказа, 110 записей, 1 переходная ошибка, первая успешная запись через 3.985 с; API-2 Exited (0) |
Сырые безопасные агрегаты и времена контейнеров: evidence/failover-2026-10-02.txt. После опытов обе реплики восстановлены. Проверки выполнялись на macOS/Colima arm64 с локальным портом 8083, поскольку 8080 занят стендом lab2. На чистом clone .env.example использует 8080. make validate локально не запускался: зависимость openapi-spec-validator недоступна из-за DNS к files.pythonhosted.org; обязательный контракт не менялся, штатный CI job contracts.yml выполняет validate.
Уровень 4: эксплуатация двух реплик
На macOS arm64 с Colima/Docker Engine 29.5.2 и Compose 5.3.1 использован Docker VM с 2 CPU и 2.05 GB RAM. HAProxy опрашивает /health/ready каждую 1 с, исключает backend после двух неудачных проверок и возвращает после одной удачной; API healthcheck выполняется каждые 2 с с timeout 3 с. После SIGTERM Uvicorn прекращает приём, docker stop -t 10 и stop_grace_period: 10s дают процессу одинаковый срок для завершения текущих запросов. Интервал проверок даёт ориентир около 2 с на обнаружение отказа, но не жёсткую гарантию под нагрузкой; в измерениях новые успешные чтения/записи появились за 2.4–2.7 с от начала action.
Последовательность двух адресных отказов, с восстановлением первой реплики перед вторым:
python3 student-tests/test_operations.py --failover-index 1 --base-url http://127.0.0.1:8080 > evidence/failover-u4-first-target.json
docker compose --env-file .env up -d --wait --scale api=2
python3 student-tests/test_operations.py --failover-index 2 --base-url http://127.0.0.1:8080 > evidence/failover-u4-second-target.json
docker compose --env-file .env up -d --wait --scale api=2
python3 student-tests/test_operations.py --rolling --base-url http://127.0.0.1:8080 > evidence/rolling-u4.json
В локальном опыте указан порт 8083 вместо 8080. Каждый адресный сценарий 15 секунд непрерывно читает и пишет с одним исходным Bearer, повторяет неопределённый POST с прежним ключом, убеждается в сохранности подтверждённых сообщений и проверяет, что выбранный Docker-контейнер действительно exited. Скорость намеренно ограничена паузой 50 мс на каждый из двух потоков: это проверка доступности, а не измерение предельной ёмкости.
| Воздействие | Успешные чтения/записи | Ошибки чтения/POST | Успешные RPS | Первое чтение/запись после action |
|---|---|---|---|---|
Остановлен api-5 |
214 / 211 | 1 / 1 | 28.141 | 2.555 / 2.489 с |
Восстановлен api-5, остановлен api-6 |
210 / 209 | 1 / 1 | 27.653 | 2.660 / 2.737 с |
Дополнительно tests/load.py с 4 клиентами и 20 с во время отказа дал 6170 успешных POST (307.662 RPS), 5 ошибок, p50/p95/p99 успешных запросов 4.797/47.602/75.875 мс. Одновременно публичный make test-failover ACTION_SCRIPT=scripts/stop-one.sh зафиксировал 112 успешных записей, 1 переходную ошибку, первый успех через 3.623 с и сохранил прежнюю сессию и данные. Эти два генератора имели разные чаты и независимые токены; агрегаты лежат в evidence/failover-u4-first-load.json и evidence/failover-u4-first.txt.
scripts/rolling-update.sh поочерёдно останавливает и удаляет две исходные API-реплики, создавая и дожидаясь готовности замены после каждого шага; --no-recreate сохраняет другую работающую реплику. Под параллельной нагрузкой за 24.914 с прошло 7212 чтений, 4261 обычная запись и 302 пары одновременных POST с одинаковым ключом; 151 пара прошла через разные процессы. Было 2 ошибки чтения, 2 ошибки обычных POST и 2 попытки в парах с ошибкой. Все подтверждённые сообщения прочитаны обратно, дубли после неопределённых запросов не обнаружены; наблюдались четыре разных X-Instance-Id. После замены api-5 и api-6 были healthy, а публичный make test повторно прошёл. Метрики и ID реально заменённых контейнеров: evidence/rolling-u4.json и evidence/topology-u4.txt.
Это поочерёдная замена той же версии образа: ни совместимость двух разных бинарных версий, ни миграция схемы во время нагрузки не проверялись. migrate выполняется до старта API, а скрипт замены запускает только API без повторной миграции. Для будущей смены схемы нужна отдельная совместимая миграция; данный опыт её не доказывает.
Уровень 5: цена масштабирования
Гипотеза. При фиксированном суммарном лимите API рост с двух до четырёх процессов не даст линейного выигрыша: каждому останется только 0.25 CPU, а конкуренция за пул и планировщик увеличит задержку. Если процессам разрешить суммарно больше CPU, пропускная способность вырастет, но на этой машине рост должен замедлиться около её двух виртуальных CPU.
Профиль и воспроизведение. Измерения выполнены 2026-10-02 на том же macOS arm64 / Colima Docker-host с 2 CPU и 2.05 GB RAM, Docker Engine 29.5.2, Compose 5.3.1, образами и Python из раздела запуска. PostgreSQL оставался при 1 CPU/512 MiB, HAProxy при 0.5 CPU/128 MiB; pool каждой реплики ограничен восемью соединениями. Использован один синтетический чат с 1000 заранее записанными сообщениями; общий счётчик БД во время матрицы оставался 30969. Само измерение только читает последнюю страницу /messages?limit=20 через LB с действующим Bearer. Файл secrets/scale_fixture.json хранит локальный тестовый токен и не включён в Git. Набор сообщений и запрос не менялись между точками и контрольным сравнением.
scripts/benchmark.sh использует Python stdlib и задаёт открытый график поступления GET по монотонным часам: 64 потока, очередь максимум 256, HTTP keep-alive, timeout 4 с. У каждой точки 2 с прогрева и три независимых повтора по 8 с; заданная интенсивность 250/750/1500 запросов/с. Задержка успеха считается от запланированного момента поступления до полного ответа, включая ожидание в очереди; p50/p95/p99 относятся только к успешным ответам. Неуспешные поступления учитывают как HTTP/transport ошибки, так и переполнение очереди отдельно. Во всей матрице errors_by_type пуст, поэтому все потери на 1500 запросах/с — отброшенные генератором поступления, а не ответы API 5xx. Это доля необслуженных поступлений при заданном ограничении очереди, не точный максимум сервера. Показатель CPU самого генератора не превысил 0.115 с процессорного времени на 1 с наблюдения.
Для чистого clone после настройки .env и secrets из раздела запуска (по умолчанию порт 8080):
./scripts/benchmark.sh --base-url http://127.0.0.1:8080 --rates 250,750,1500 --duration 8 --warmup 2 --output evidence/scale/baseline.jsonl
python3 scripts/plot_scale.py evidence/scale/baseline.jsonl
./scripts/benchmark.sh --base-url http://127.0.0.1:8080 --modes fixed --replicas 4,2 --rates 1500 --duration 8 --warmup 2 --output evidence/scale/confirmation-4-to-2.jsonl
docker compose --env-file .env down
Скрипт отказывается дописывать существующий output: для нового опыта укажите новое имя файла. Он сам поднимает Compose с временным override лимитов и меняет число реплик. В локальном опыте использован порт 8083, так как 8080 уже занят другим учебным стендом. Матрица fixed делила общий лимит API 1 CPU/512 MiB между 1/2/4 репликами (соответственно 1/512, 0.5/256, 0.25/128 на процесс). Серия growth оставляла каждому процессу 0.5 CPU/256 MiB, поэтому сумма росла от 0.5/256 до 2 CPU/1024 MiB. Docker-host при этом не получил дополнительных физических ресурсов; 2 CPU у четырёх API конкурировали с БД и LB в VM на 2 CPU. Конфигурация override и фактические квоты зафиксированы в каждой JSONL-строке.
Полные 54 результата с индивидуальными CPU/RAM API, PostgreSQL и LB, PostgreSQL counters/размером, pool waits, длительностью, RPS, ошибками и p50/p95/p99: evidence/scale/baseline.jsonl. Медианы трёх повторов всех 18 точек: summary.csv. Графики медианных RPS и p95: fixed-rps.svg, fixed-p95.svg, growth-rps.svg, growth-p95.svg.
| Серия, API | Успешные RPS при 750 | Успешные RPS при 1500 | Необслуженные при 1500 | p50 / p95 / p99 при 1500, мс | API / DB / LB CPU при 1500 |
|---|---|---|---|---|---|
| fixed, 1 | 747 | 780 | 42.85% | 379 / 467 / 725 | 96 / 13 / 4% |
| fixed, 2 | 750 | 957 | 33.88% | 315 / 468 / 516 | 99 / 14 / 5% |
| fixed, 4 | 733 | 694 | 50.82% | 414 / 748 / 851 | 87 / 14 / 4% |
| growth, 1 | 362 | 385 | 72.09% | 797 / 1018 / 1070 | 51 / 6 / 2% |
| growth, 2 | 750 | 938 | 35.12% | 321 / 494 / 548 | 98 / 14 / 5% |
| growth, 4 | 747 | 1128 | 20.58% | 231 / 457 / 547 | 143 / 20 / 7% |
Насыщение и улучшение. При суммарном 1 CPU рост заданной интенсивности с 750 до 1500 почти не увеличивает успешный RPS у одной реплики, а у четырёх уменьшает его; p95 и отброшенные поступления резко растут. API-группа использует около 87–99% одного CPU, PostgreSQL 13–14%, LB 4–5%; в этом профиле узкое место — CPU квота API и сопутствующее ожидание пула, не достигнутый предел CPU БД или LB. Например, pool_wait_ms у fixed/1 вырос с 51465 при 750 до 182073 при 1500; это суммарное время ожидания всех запросов за окно, не длительность отдельного запроса. Добавление ресурсов до growth/4 увеличило успешный RPS, но не линейно: API заняли 143% CPU при двух доступных VM CPU, DB 20%, LB 7%, а очередь всё ещё отбрасывала 20.58% поступлений.
Измеримое эксплуатационное изменение — выбрать 2 API вместо 4 при том же общем 1 CPU/512 MiB. Отдельный контроль после возврата к неизменённому коду и тому же чату, 3 повтора сначала с 4, затем с 2 репликами по 8 с при 1500 заданных GET/с: confirmation-4-to-2.jsonl. В целевом чате по-прежнему 1000 сообщений; общий счётчик БД стал 30970 из-за одного независимого синтетического сообщения в проверке ACL между сериями. Медиана успешного RPS 856.033 → 952.317 (+11.2%), необслуженная доля 39.18% → 33.94% (−5.24 п.п.), p95 605.467 → 489.999 мс (−19.1%). Все три RPS с 2 API (940.679–972.715) выше всех трёх с 4 API (805.135–895.216). В compose.yaml по умолчанию уже стоят 2 API; для применения настройки после опыта с четырьмя: docker compose --env-file .env up -d --wait --scale api=2. Проверка публичного API после контроля — make test BASE_URL=http://127.0.0.1:8083, PASS. Это настройка топологии, а не ускорение SQL или исходного кода.
Пределы вывода. Открытый график устраняет coordinated omission замкнутого tests/load.py, но конечные 64 потока, очередь 256 и локальный клиент влияют на измеренную границу. Отброшенные задания не дошли до HAProxy, а HTTP 5xx в серии не наблюдались. Каждый результат описывает этот GET-профиль на одном Docker-host, не запись сообщений и не универсальную ёмкость API. Кратковременные эффекты CPU throttling и фоновая нагрузка объясняют разброс между первой матрицей и контрольной серией; поэтому эффект выбора 2 API основан на отдельном сравнении с неперекрывающимися тремя повторами. Стенд имеет один LB и один PostgreSQL, не переживает потерю хоста/БД. Текущий локальный HTTP разрешён только для изолированного стенда с синтетическими данными; удалённая демонстрация требует TLS.