Вставлены просроченная и свежая записи, выполнен npm/CLI-прогон GC внутри контейнера API: удалена ровно просроченная (expired_left=0), свежая осталась. Файл evidence/level4/idempotency-gc.txt добавлен в отчёт и индекс доказательств.
39 KiB
Отчёт — лабораторная 3
- Автор, группа: заполните перед сдачей
- Целевая оценка: 5 (уровни 3 и 4 целиком + трек 1 «Цена масштабирования»)
- Commit/PR: ветка
lab3; коммиты:e9cd28d(идентичность реплики, LB-проверка, идемпотентность),917ed1a(стенд HAProxy + реплики, лимиты, хуки),410e1ea(харнесс экспериментов),5a5a8fe(оптимизация пути записи, C2),2950b77(evidence, этот отчёт, документация, C5) и завершающий коммит ветки с уточнением хешей и результатом проверки из чистого clone. PR — после пуша ветки в origin оператором (нужны его credentials). - Источники, библиотеки и помощь ИИ: контракт
contracts/openapi.json,contracts/README.md,tests/README.md, документация HAProxy 3.2, Docker Compose, k6 0.54, докуменация NestJS/Fastify/pg/redis. Код и эксперименты подготовлены с использованием ИИ-ассистента; все числа в отчёте получены прогонами на описанном стенде и лежат вevidence/.
Запуск из чистого clone
Версии: Docker 29.9.0, Docker Compose v5.6.0, Node.js 25.7.0, Python 3.14 (для
проверок и харнесса; публичные тесты требуют 3.9+), образы postgres:16.4-alpine,
redis:7.4.2-alpine, haproxy:3.2-alpine, grafana/k6:0.54.0,
node:25.7.0-slim (сборка API). Хост — Fedora, 8 логических CPU, 16 GiB RAM.
git clone <origin> lab3 && cd lab3
cp .env.example .env
password=$(openssl rand -hex 32)
sed -i "s/^POSTGRES_PASSWORD=.*/POSTGRES_PASSWORD=$password/" .env
sed -i "s|^DATABASE_URL=.*|DATABASE_URL=postgresql://messenger:$password@postgres:5432/messenger|" .env
sed -i "s/^METRICS_TOKEN=.*/METRICS_TOKEN=$(openssl rand -hex 16)/" .env
make stand-up # docker compose up -d --build --wait: postgres, redis, migrate, api x API_REPLICAS, haproxy
make wait-ready # GET /health/ready через LB
make test # публичный smoke lab3 (через LB, BASE_URL=http://localhost:8080)
make test-e2e # black-box набор приложения (нужны loopback-порты PG/Redis из compose.yaml)
Проверки отказов и сохранности (требуют управления контейнерами):
make test-persistence ACTION_SCRIPT=scripts/restart.sh
make test-failover ACTION_SCRIPT=scripts/stop-one.sh && scripts/start-replica.sh
make test-dependencies
Эксперименты трека 1 (останавливают посторонние контейнеры хоста и возвращают их):
docker pull haproxy:3.2-alpine grafana/k6:0.54.0 postgres:16.4-alpine redis:7.4.2-alpine
python3 scripts/lab3/lab3.py track1 # серия A/B/C и рост ресурсов; фон хоста глушится сам
python3 scripts/lab3/lab3.py analyze # таблицы и графики из raw
Безопасная остановка стенда: make stand-down (docker compose down) — тома
postgres-data и redis-data сохраняются, поэтому данные и сессии остаются
на месте. Намеренное удаление учебных данных: docker compose down -v (удаляет
оба тома; после этого следующий make stand-up создаёт пустую схему и применяет
миграции заново).
Архитектура и решения
клиент ──► HAProxy :8080 ──► api-1 ─┐
(проба /internal/lb-check) ├──► PostgreSQL (источник истины)
api-2 ─┘ └──► Redis (сессии, кэш истории)
api-N
| Роль | Service | Образ | Готовность | Тома/порты |
|---|---|---|---|---|
| Балансировщик | haproxy |
haproxy:3.2-alpine |
проба backend GET /internal/lb-check |
8080, статистика 127.0.0.1:8404 |
| API ×N | api |
сборка Dockerfile (${API_IMAGE}) |
/health/ready (healthcheck контейнера) |
портов нет |
| Миграции | migrate |
тот же образ | service_completed_successfully |
— |
| PostgreSQL | postgres |
postgres:16.4-alpine |
pg_isready |
postgres-data, loopback:5432 |
| Redis | redis |
redis:7.4.2-alpine |
redis-cli ping |
redis-data, loopback:6379 |
Источник истины и транзакционные границы. Пользователи, чаты, членство,
сообщения и журнал идемпотентности живут в PostgreSQL. Redis хранит сессии
(durability обеспечена AOF, поэтому сессии переживают рестарт) и кэш страниц
истории — производное состояние, которое всегда восстанавливается из БД: кэш
версионирован (chats.message_version, растёт в той же транзакции, что и вставка
сообщения), поэтому устаревшая страница не отдаётся. Локального состояния,
влияющего на корректность, у реплики нет — только счётчики метрик, они не
являются источником истины.
Что перенесено из lab2 и что изменено. Из lab2 без изменений: регистрация с
Argon2id, Basic→Bearer-сессии в общем Redis, чаты, keyset-пагинация (created_at, id),
версионированный кэш истории с lock'ом на страницу, X-Request-Id,
/health/live, /health/ready, /internal/metrics, ограниченные 503 при
отказе зависимостей, миграции отдельным сервисом. Изменено: (1) X-Instance-Id
больше не случайный UUID, а INSTANCE_ID/hostname — по нему реплика
сопоставляется контейнеру; он же ставится в ответах об ошибках, которые
формируются фильтром раньше интерсептора; (2) появилась проба LB
/internal/lb-check, не зависящая от БД и Redis; (3) добавлена общая
идемпотентность отправки сообщения (таблица idempotency_keys, миграция 003);
(4) порядок остановки по SIGTERM вынесен в main.ts: дрейн → закрытие
сервера и пулов (стандартный порядок Nest закрывает пулы раньше дрейна);
(5) транзиентные коды PostgreSQL (57014, 40001, 40P01) отдаются как
503 unavailable, чтобы клиент мог безопасно повторить запрос с тем же ключом;
(6) metrics отдаёт instance_id и build_id.
Идемпотентность. Ключ обязателен, область — пользователь + метод + путь чата
- ключ; заявка и тело ответа записываются одной транзакцией, повтор возвращает
сохранённый ответ, другое тело —
409, отсутствие/неверный ключ —400, просроченные записи (>IDEMPOTENCY_TTL_SECONDS, по умолчанию 24 ч) удаляются фоновым проходом под advisory-локом и вручную (npm run idempotency:gc). Семантика и ветки описаны вapp/README.md.
Соответствие .env.example ↔ фактическая конфигурация. Приложение читает
APP_*, SESSION_TTL_SECONDS, DATABASE_*, REDIS_URL, CACHE_*,
METRICS_TOKEN, DRAIN_DELAY_MS, INSTANCE_ID, IDEMPOTENCY_TTL_SECONDS
(app/src/config/app-config.schema.ts); стенд читает API_TOTAL_CPUS,
API_TOTAL_MEMORY_MB (делятся на API_REPLICAS → API_CPUS_PER_REPLICA /
API_MEMORY_PER_REPLICA), PG_*, REDIS_*, LB_*, LOADGEN_*, API_IMAGE,
BUILD_ID, APP_PUBLIC_PORT, LB_STATS_PORT, POSTGRES_PUBLISHED_PORT,
REDIS_PUBLISHED_PORT, POSTGRES_DB/USER/PASSWORD. Из скелетного
.env.example удалены неиспользуемые SESSION_STORE и CACHE_URL_FILE: в lab3
источник сессий один (Redis по REDIS_URL), выбор хранилища сессий больше не
конфигурируется, а секреты передаются через DATABASE_URL/REDIS_URL или
*_FILE (docker secrets). Публикуются только 8080 (LB), 127.0.0.1:8404
(статистика LB) и loopback-порты PostgreSQL/Redis — исключительно для
операторских проверок с хоста (make test-e2e, psql); у реплик API портов
нет, container_name не задан нигде (evidence/level4/limits-and-ports.txt).
Доказательства критериев
| Критерий README | Команда/сценарий | Наблюдаемый результат | Файл доказательства |
|---|---|---|---|
| Публичный smoke | make test |
PASS: lab3 public API scenario (через LB; повтор с тем же ключом → тот же JSON, другое тело → 409, без ключа → 400) |
evidence/level3/smoke.txt |
| ≥2 реплики, одна точка входа, разные реплики с одной сессией | python3 scripts/lab3/lab3.py check spread --requests 40 |
40 запросов с одним токеном → 2 разных X-Instance-Id (20/20), каждый сопоставлен контейнеру |
evidence/level4/spread.json |
| Остановка любой одной реплики; записи продолжаются | make test-failover ACTION_SCRIPT=scripts/stop-one.sh (по разу на реплику) |
observed_instances_before=2, 130 успешных записей во время отказа, 0 потерянных подтверждений, first_recovery_seconds≈3.3, остановленный контейнер виден в docker ps до/после, HAProxy помечает слот DOWN (L7STS) через ≈1 s |
evidence/level3/failover-mtusi-lab3-api-1.txt, …-api-2.txt |
| Сохранность данных и сессии при рестарте | make test-persistence ACTION_SCRIPT=scripts/restart.sh |
PASS; перезапущены postgres, redis, api ×2, haproxy (StartedAt до/после), токен и подтверждённые сообщения живы |
evidence/level3/persistence.txt |
| Идемпотентность, в том числе конкурентная | python3 scripts/lab3/lab3.py check idempotency |
4/4 теста: неверный/отсутствующий ключ → 400; повтор → тот же JSON; другое тело → 409; 8 параллельных POST с одним ключом → ровно одно сообщение; ключ не конфликтует между пользователями и чатами | evidence/level4/idempotency-concurrency.txt |
| Health/readiness, LB исключает недоступный backend | python3 scripts/lab3/lab3.py watch во время failover |
HAProxy: apiN UP → UP 1/2 (L7STS) → DOWN → MAINT (resolution); период проверки 500 ms, fall 2 ⇒ обнаружение ≈1 s ≪ дрейн 3 s |
evidence/level3/failover-*.txt |
| Последовательная остановка каждой реплики под нагрузкой: RPS, ошибки, восстановление | python3 scripts/lab3/lab3.py failover --replicas all --rate 200 --duration 60 |
по каждой реплике: 0 ошибок у клиента и у LB, 0 дублей и 0 потерь, реплика возвращается за ≈3 s; k6 держит 200 req/s без dropped | evidence/level4/failover-sweep.json, .md |
Лимиты CPU/RAM, отсутствие портов API, отсутствие container_name, секреты |
docker inspect, docker compose ps/config |
у api NanoCpus/Memory = лимитам конфигурации, bindings=map[]; суммарные лимиты стенда 2304 MiB; container_name отсутствует; пароль БД и токен метрик в трекаемых файлах не встречаются |
evidence/level4/limits-and-ports.txt |
| Rolling update под нагрузкой, миграции однократно | python3 scripts/lab3/lab3.py rolling-update --under-load --rate 200 --build-id … |
реплики заменяются по одной, BUILD_ID и image id меняются, 0 ответов 5xx из 884 попыток, migrate не перезапускался |
evidence/level4/rolling-update.json, .md |
| Идемпотентность: удаление просроченных ключей | docker compose --env-file .env exec -T api node dist/messages/idempotency/idempotency-gc.cli.js (или npm run idempotency:gc) |
GC удаляет ровно просроченную запись (created_at = now() − 2 суток): Purged 1, expired_left=0, свежая запись не тронута (fresh_left=1) |
evidence/level4/idempotency-gc.txt |
| Отказы зависимостей | make test-dependencies |
2/2: bounded 503 unavailable с request_id для Redis и PostgreSQL, запрос без сессии остаётся 401, после возврата зависимости данные и сессия целы |
evidence/level4/dependency-faults.txt |
| Трек 1: цена масштабирования | python3 scripts/lab3/lab3.py sweep/growth/ab/analyze |
серия 1/2/4 реплики, точки сатурации, серия роста ресурсов, подтверждённое улучшение | evidence/track1/summary-*.md, evidence/track1/graphs/*.png, evidence/track1/raw/ |
| Воспроизводимость с чистого clone | git clone -b lab3 … /tmp/lab3-clean → cp .env.example .env → docker compose down -v → make stand-up && make test && make test-persistence && make test-failover |
PASS: миграции применяются с пустого тома, smoke, сохранность и отказ реплики проходят без правок репозитория |
evidence/level3/clean-clone.txt |
Эксперименты и отказы
Гипотезы (зафиксированы до прогонов)
- H1. При фиксированном суммарном бюджете API (3.0 CPU / 1.5 GiB) пропускная способность растёт с числом реплик сублинейно и упирается в общий PostgreSQL (1.5 CPU): серия A показывает knee, серия роста ресурсов подтверждает, что именно БД, а не API, является ограничителем.
- H2. Запись в один «горячий» чат сериализуется на строке
chats(UPDATE chats SET message_version = message_version + 1держит блокировку до COMMIT — это якорь инвалидации кэша), поэтому добавление реплик в этом профиле не помогает: p-b упирается раньше p-a и не растёт с N. - H3. Балансировщик (0.25 CPU) ограничивает путь чтения: два диагностических
прогона p-c при
LB_CPUS=0.25иLB_CPUS=1.0показывают, что потолок сдвигается вверх вместе с лимитом LB. - H4. Число соединений с БД растёт как
N × DATABASE_POOL_MAX, поэтому размер пула влияет на потолок и на ожидания в БД (свип пула 5/10/20). - H5 (улучшение). Сокращение пути записи с 8 SQL-обращений (проверка чата, BEGIN, claim, проверка членства, INSERT, UPDATE версии, store, COMMIT) до одного оператора уменьшает время удержания блокировки строки чата и число round trip'ов и поднимает потолок при тех же лимитах. Проверяется A/B по правилу «медиана ≥5 % и диапазоны min/max повторов не перекрываются».
Методика
Метрики снимаются генератором k6 (constant-arrival-rate, плоские полки) и
сэмплером харнесса: docker stats (GPU/RAM контейнеров, 1.5 s),
статистика HAProxy (0.5 s), /internal/metrics каждой реплики (2 s),
pg_stat_database/pg_stat_activity/pg_stat_statements (2 s / 10 s) и фон
хоста. Профили: p-a (spread, POST) 100…1100 req/s, p-b (hot, один чат) 50…400
req/s, p-c (read, GET истории limit=50) 200…3000 req/s; шаг 15 s, прогрев — отдельный
прогон 30 s на первом темпе (в анализ не входит). Перед серией посторонние
контейнеры хоста останавливаются (scripts/quiesce.sh, состояние фиксируется в
манифестах), после — возвращаются. Конфигурации интерливятся по повторам, чтобы
дрейф частот и фоновой нагрузки ложился на все точки одинаково.
Бюджет серии одинаков для всех конфигураций: API total 3.0 CPU / 1536 MiB (⇒ 3/N CPU и 1536/N MiB на реплику), PostgreSQL 1.5 CPU / 512 MiB, Redis 0.25 CPU / 128 MiB, HAProxy 0.25 CPU / 128 MiB, генератор 1.5 CPU / 256 MiB. Суммарный лимит RAM стенда — 2304 MiB при N=2 и 2560 MiB при N=4 (с генератором), host на момент серии — 8 логических CPU, ≈6.6 GiB доступной памяти, background остановлен.
Серия A: 1 / 2 / 4 реплики
Бюджет серии одинаков для всех конфигураций (API total 3.0 CPU / 1536 MiB, PostgreSQL 1.5 CPU, LB 0.25 CPU, генератор 1.5 CPU), поэтому реплика получает 3/N CPU и 1536/N MiB. Профиль p-a (24 чата, POST), 7 прогонов: N=1 и N=4 по два повтора, N=2 — три.
| темп, req/s | N=1: достигнуто (2 повтора) | N=2: достигнуто (3 повтора) | N=4: достигнуто (2 повтора) |
|---|---|---|---|
| 100 | 100 / 100 | 100 / 100 / 100 | 100 / 100 |
| 200 | 200 / 200 | 200 / 200 / 200 | 200 / 200 |
| 300 | 300 / 300 | 300 / 300 / 300 | 300 / 300 |
| 400 | 400 / 400 | 400 / 400 / 400 | 399 / 400 |
| 550 | 550 / 550 | 550 / 550 / 550 | 541 / 550 |
| 700 | 700 / 700 | 700 / 690 / 692 | 696 / 653 |
| 900 | 754 / 807 (p95 432 / 360 ms) | 650 / 538 / 614 (p95 474 / 693 / 502 ms) | 637 / 587 (p95 964 / 851 ms) |
| 1100 | 761 / 680 (p95 360 / 515 ms) | 532 / 578 / 590 (p95 604 / 609 / 566 ms) | 610 / 567 (p95 866 / 992 ms) |
Наблюдения:
- Точка сатурации у всех конфигураций — между 700 и 900 req/s, но потолок не растёт с числом реплик: N=1 держит ≈750–800 req/s, N=2 ≈540–650, N=4 ≈570–640. При фиксированном суммарном CPU выигрыша от реплик нет, а лучший результат даёт одна реплика с полным бюджетом.
- Общий PostgreSQL при этом насыщен во всех конфигурациях: его пиковый CPU
153–156 % при лимите 1.5 CPU (150 %),
xact/s1224–1443, ожидания блокировок до 16, hit ratio 0.95. То есть ограничитель один и тот же, и добавление API-реплик его не расширяет (H1 подтверждена). - Реплики добавляют собственную накладную нагрузку: при N=4 квота 0.75 CPU на реплику удерживает p95 в районе 850–990 ms там, где N=1 с квотой 3.0 CPU даёт 360–515 ms при большем достигнутом RPS. Это и есть «цена масштабирования»: сублинейный (здесь — отрицательный) эффект при неизменном бюджете.
- Генератор не был узким местом серии A: его пиковый CPU 36–74 % от квоты 1.5 CPU,
dropped_iterationsпоявляется только на шагах выше knee, а p95 там растёт монотонно — признак перегрузки сервера, а не нехватки VU (generator-vus.png).
Диагностика: горячий чат и путь чтения
Горячий чат (p-b, N=4, все записи в один чат). Потолок наступает раньше и
падает: до 200 req/s достигнутый темп равен предложенному (p95 9–14 ms), на 250
— 189 req/s (p95 2.2 s), на 300–400 — 79–104 req/s при p95 3.3–4.3 s, генератор
упирается в свои 200 VU, а сервер стоит в очереди за строкой чата. PostgreSQL в
этом прогоне: 39 ожидающих блокировку сессий (против 16 в spread-профиле),
41 активная сессия, 356 xact/s (против 1224), hit ratio 0.85 (против 0.95),
CPU БД 156 % (квота исчерпана), при этом API-реплики загружены на 29–40 % —
они ждут блокировку, а не работают. Причина — якорь инвалидации кэша:
UPDATE chats SET message_version = message_version + 1 в той же транзакции,
что и вставка сообщения, сериализует всех писателей одного чата до COMMIT.
Поэтому в профиле «один чат» добавление реплик не помогает вообще: H2 подтверждена,
и именно этот профиль выбран для A/B улучшения.
Путь чтения (p-c, N=4, GET истории limit=50). Потолок ≈1300–1400 req/s,
knee на 1500 req/s, p95 растёт с 24 ms (1000 req/s) до 241–379 ms. Два прогона с
разным лимитом LB (LB_CPUS=0.25 и 1.0) дали одинаковый потолок (1419 против
1397 на 1500 req/s, 1268 против 1329 на 3000 req/s), а сам HAProxy за прогон
использовал 8.3 % CPU в среднем и 13 % в пике, то есть около половины своей
квоты 0.25 CPU: H3 отклонена — балансировщик в этом стенде не является
ограничителем пути чтения. Ограничителями оказались общие компоненты: CPU
PostgreSQL 155 % (квота 150 %) и генератор, чей пик 144 % при квоте 1.5 CPU
(контингенция плана: p-c#gen2.0 — повтор с поднятой квотой генератора).
Серия роста ресурсов
Каждая точка отличается от базовой конфигурации (N=4: API total 3.0 CPU — 0.75 CPU на реплику, PostgreSQL 1.5 CPU, пул 10, LB 0.25 CPU) ровно одним ресурсом; темп — 560 req/s (80 % от колена) и 900 req/s (за плато, где базовая конфигурация уже перегружена). Базовые значения: при 550 req/s медиана серии A 545.5 req/s (p95 117 ms), при 900 req/s 611.8 req/s (587..637, p95 908 ms).
| Точка | темп, req/s | достигнуто, req/s | p95, ms | dropped | PG CPU пик, % |
|---|---|---|---|---|---|
| базовая | 550 (лестница) | 545.5 | 117 | — | 154 |
| API ×2 (6.0 CPU) | 560 | 557.9 | 99 | 130 | 151 |
| PostgreSQL ×2 (3.0 CPU) | 560 | 559.4 | 94 | 35 | 144 |
| пул 5 (20 соединений) | 560 | 559.3 | 98 | 45 | 145 |
| пул 20 (80 соединений) | 560 | 559.3 | 122 | 50 | 149 |
| базовая | 900 (лестница) | 611.8 | 908 | — | 156 |
| API ×2 | 900 | 530.5 | 899 | 22 173 | 156 |
| PostgreSQL ×2 | 900 | 597.7 | 921 | 18 142 | 151 |
| API ×2 + PostgreSQL ×2 | 900 | 581.0 | 658 | 19 142 | 153 |
| пул 5 | 900 | 521.4 | 1143 | 22 725 | 156 |
| пул 20 | 900 | 572.1 | 712 | 19 676 | 154 |
Выводы:
- При 80 % от колена ни один из проверенных ресурсов не является ограничителем: все точки держат 99.6–99.9 % предложенного темпа при p95 94–122 ms. Разница с базовой строкой объясняется разным предложенным темпом (550 в лестнице против 560 в фиксированном прогоне), а не эффектом ресурса.
- За плато ни один рычаг не поднимает потолок: удвоение CPU API (530), CPU PostgreSQL (598), обоих сразу (581) и пула до 20 (572) остаются в диапазоне разброса базовой конфигурации 587..637, а p95 держится на 658–1143 ms. Система в этом режиме перегружена: генератор фиксирует 18–23 тыс. отброшенных итераций, а PostgreSQL во всех точках стоит у квоты (151–156 %).
- H4 (пул) отклонена в проверенном диапазоне: 20/40/80 соединений (5/10/20 на реплику) не меняют ни потолок, ни p95 значимо.
- Калибровочные прогоны
p-a#n1-vu900иp-a#n4-vu900(900 VU, генератор 2.0 CPU) показывают, что измеренный потолок — серверный, а не потолок генератора: достигнуто 680 req/s при N=1 против 616 при N=4 при том же предложенном темпе 900. Порядок «одна реплика с полным бюджетом лучше четырёх с четвертью» сохраняется.
A/B улучшения
Профиль p-b (все записи в один чат), N=4, бюджет прежний; A — сборка из коммита C1 (8 SQL-обращений на путь записи, явная транзакция), B — коммит C2 (один оператор). Прогоны интерливились: A,B,A,B,A,B — по три повтора на сторону, между сторонами менялся только образ API (всё остальное, включая образцы генератора, одинаково). Генератору дано 1200 VU и 1 GiB: на стороне A очередь за строкой чата раздувает число одновременных запросов, и при 512 MiB k6 убивался OOM (exit 137).
| темп, req/s | A: RPS (min..max) | p95 A, ms | B: RPS (min..max) | p95 B, ms | Δ, % | вывод |
|---|---|---|---|---|---|---|
| 50 | 50.0 (50.0..50.07) | 9.5 | 50.07 (50.0..50.07) | 7.9 | +0.1 | не подтверждено |
| 100 | 100.07 (100.0..100.07) | 9.4 | 100.0 (100.0..100.07) | 6.7 | −0.1 | не подтверждено |
| 150 | 150.07 (150.07..150.07) | 10.1 | 150.07 (150.0..150.07) | 7.1 | 0.0 | не подтверждено |
| 200 | 200.07 (200.07..200.07) | 9.7 | 200.0 (198.93..200.07) | 7.8 | −0.0 | не подтверждено |
| 250 | 250.07 (250.07..250.07) | 11.2 | 250.07 (250.0..250.07) | 7.5 | 0.0 | не подтверждено |
| 300 | 257.8 (243.87..261.87) | 5200.9 | 300.07 (300.07..300.07) | 8.2 | +16.4 | подтверждено |
| 350 | 188.33 (187.93..210.07) | 10 991.9 | 348.6 (348.13..350.07) | 29.3 | +85.1 | подтверждено |
| 400 | 171.73 (167.07..226.73) | 10 816.3 | 400.07 (399.93..400.07) | 24.4 | +133.0 | подтверждено |
Потолок: A ≈ 258 req/s, B ≥ 400 req/s (правило подтверждения: медиана меняется ≥5 % и диапазоны min/max повторов не перекрываются; ниже 300 req/s обе стороны работают без насыщения, поэтому различие там и не должно было проявиться).
До насыщения обе версии одинаковы (различие ≤0.1 %): один оператор не меняет семантику, он меняет только время удержания блокировки строки чата и число круглых поездок. После насыщения разница радикальна: у A очередь за строкой чата даёт p95 5–11 секунд и падение пропускной способности до 172 req/s на 400 req/s предложенных, у B на 400 req/s p95 равен 24 ms, а отброшенных итераций 29 на 18 000. Это и есть подтверждённое улучшение трека 1: сокращение критической секции (вместо проверки чата, BEGIN, claim, проверки членства, INSERT, UPDATE версии, store и COMMIT — один оператор, который делает всё то же самое атомарно).
Расширенная лестница для стороны B (400, 500, 600, 800 req/s, прогрев 30 s)
показывает новый потолок горячего чата: 400→400 (p95 65 ms), 500→495 (p95 276 ms),
600→559 (p95 1205 ms), 800→529 (p95 3113 ms), то есть ≈560–600 req/s против
≈258 req/s у A — рост более чем в 2 раза при том же бюджете ресурсов
(evidence/track1/raw/p-b#after-ext.*).
Проверка «8 → 1 обращение» подтверждается счётчиками SQL-меток в /internal/metrics
(в прогонах A присутствуют messages.checkMembership, messages.insert,
messages.incrementVersion, idempotency.* по отдельности, в прогонах B — один
messages.createIdempotent); в evidence/track1/summary-runs.md по прогонам видно
и падение числа sql-меток на запрос.
Таблица отказов
| Воздействие | Что ожидаем | Что наблюдали | Время восстановления / потеря данных |
|---|---|---|---|
SIGTERM одной API-реплике (scripts/stop-one.sh, docker stop --time 10) |
LB исключает узел, клиент продолжает работать; подтверждённые записи целы | HAProxy: UP → 1/2 → DOWN (L7STS) → MAINT (resolution) ≈1 s после начала остановки; k6 держит 200 req/s без dropped и ошибок; проба клиента: 0 ошибок, 0 дублей, 0 потерь (295/295 и 293/293 подтверждены) |
реплика возвращается за ≈3 s (scripts/start-replica.sh); потерь нет |
Рестарт всего стенда (scripts/restart.sh) |
данные и сессии сохраняются, повторный вход не нужен | make test-persistence PASS; StartedAt всех контейнеровобновились, токен и сообщения живы |
≈8 s до /health/ready; потерь нет |
| Rolling update под нагрузкой (замена реплик по одной) | нет 5xx, миграции не перезапускаются | 0 ответов 5xx из 884 попыток при 200 req/s; BUILD_ID меняется по шагам; migrate StartedAt не изменился |
реплика поднимается за ≈8 s, стенд не теряет запросы |
Отказ Redis (docker compose stop redis) |
ограниченный 503, без 500 и без утечки деталей драйвера; анонимный запрос остаётся 401 | make test-dependencies PASS |
зависимость возвращается за ≈2 s, сессия сохраняется (AOF) |
Отказ PostgreSQL (docker compose stop postgres) |
то же; после возврата данные целы | PASS, подтверждённые сообщения и сессия на месте | ≈6 s до /health/ready |
Ограничения и следующие шаги
Что стенд выдерживает (проверено, evidence/level3 и evidence/level4):
- Остановку любой одной API-реплики: LB исключает её за ≈1 s (проб 500 ms,
fall 2), клиент продолжает работу без ошибок, дублей и потерь; окно дреина (3 s) длиннее обнаружения, поэтому начатые запросы успевают завершиться. - Рестарт всего стенда: данные PostgreSQL и сессии в Redis (AOF) сохраняются, повторный вход не нужен.
- Rolling update: поочерёдная замена реплик под нагрузкой без ответов 5xx.
- Отказ Redis и PostgreSQL: ограниченный
503 unavailableсrequest_id, без500и без деталей драйвера; анонимный запрос остаётся401; после возврата зависимости подтверждённые данные и сессия целы.
Что не выдерживает:
- Отказ docker-хоста целиком: узел один (это трек 2).
- Потерю единственного экземпляра PostgreSQL, Redis или балансировщика: они не реплицированы, у LB нет второго экземпляра — падение БД означает отказ записи и чтения истории, падение LB — потерю точки входа.
- Потерю тома PostgreSQL: резервных копий в стенде нет.
Границы измерения:
- Один хост (8 логических CPU, ≈6.6 GiB свободной памяти на момент серии).
Конфигурации интерливятся по повторам, посторонние контейнеры остановлены
(
scripts/quiesce.sh), но разброс повторов на насыщении достигает ±5–8 % (в отчёте публикуются min/max). Поэтому однократные точки роста за плато не доказывают различия меньше этого разброса — это прямо отражено в выводах. - Путь чтения: генератор упирался в свой пул VU (200) на шагах ≥1500 req/s
(
Insufficient VUs), поэтому измеренный потолок 1300–1400 req/s — нижняя оценка; вопрос «кто ограничивает чтение» отдельным экспериментом не закрыт (LB проверен и отклонён как ограничитель). - Серверные перцентили берутся из
/internal/metrics(буфер 4096 последних запросов на процесс), клиентские — из k6; при N реплик счётчики суммируются, а перцентили снимаются по репликам. - Redis работает с
maxmemory 96mbиvolatile-lru: при исчерпании памяти теоретически возможно вытеснение наименее используемой сессии (учебное упрощение); в измеренных профилях объём ключей на порядки меньше лимита. - Генератор нагрузки ограничен контейнером (CPU/RAM/VU); для ключевых выводов проведена калибровка (прогоны с 900 VU и 2.0 CPU), чтобы потолок не был потолком k6.
Что подтверждено измерением: сокращение пути записи до одного оператора (коммит C2) поднимает потолок горячего чата с ≈258 до ≥400 req/s и снижает p95 с 5–11 s до 8–29 ms при том же бюджете ресурсов (A/B, 3+3 повтора, evidence/track1/summary-ab.md). Остальные гипотезы подтверждены или отклонены как указано в разделах выше (H1 — подтверждена, H2 — подтверждена, H3 — отклонена, H4 — отклонена в проверенном диапазоне, H5 — подтверждена).
Что осталось гипотезой: механизм «потолок задаёт связка квота CPU на реплику +
общий PostgreSQL + сериализация на строке чата» подтверждён косвенно (серия A,
диагностика горячего чата, серия роста), но отдельного эксперимента «тот же
суммарный бюджет, другое распределение» с достаточным числом повторов не
проводилось; эффекты за плато меньше разброса измерений.
Следующие шаги: (1) повторить серию A с ≥3 повторами и прогревом 60 s, чтобы различать эффекты меньше 8 %; (2) повторить путь чтения с большим пулом VU генератора; (3) вынести PostgreSQL и LB на отдельные узлы и проверить перенос (трек 2); (4) добавить бэкап тома PostgreSQL и проверку восстановления.