Доказательства
Небольшие обезличенные результаты: команды и stdout проверок, агрегаты нагрузки,
состояния контейнеров. В файлах нет .env, session tokens, cookies, приватных
ключей, паролей и реальных сообщений: все данные синтетические, пользователи
создаются тестами с случайными именами. Полные условия измерения каждого прогона
(лимиты, образ и его id, X-Instance-Id → контейнер, версии, объём данных, фон
хоста) лежат в track1/raw/<label>.manifest.json; сырые наблюдения сэмплера —
в сжатых *.samples.jsonl.gz.
Уровень 3
| Файл | Что подтверждает | Как воспроизвести |
|---|---|---|
level3/smoke.txt |
публичный smoke lab3 проходит через LB (идемпотентность, X-Instance-Id), docker compose ps содержит ≥2 реплики |
make test |
level3/persistence.txt |
после scripts/restart.sh перезапущены postgres, redis, api ×2, haproxy (StartedAt до/после), данные и прежний токен целы |
make test-persistence ACTION_SCRIPT=scripts/restart.sh |
level3/failover-mtusi-lab3-api-1.txt |
остановлена именно эта реплика: docker ps до/после, TARGET_INSTANCE_ID, переходы слотов HAProxy (UP → DOWN (L7STS) → MAINT (resolution)) с отметками времени, observed_instances_before=2, 130 записей во время отказа, first_recovery_seconds≈3.3 |
make test-failover ACTION_SCRIPT=scripts/stop-one.sh (затем scripts/start-replica.sh) |
level3/failover-mtusi-lab3-api-2.txt |
то же для второй реплики (проверены обе) | то же, повтор после восстановления |
level3/clean-clone.txt |
стенд поднимается с нуля из чистого clone (миграции с пустого тома), проходят smoke, сохранность и отказ реплики | git clone -b lab3 … && cp .env.example .env && docker compose down -v && make stand-up && make test && make test-persistence && make test-failover |
Уровень 4
| Файл | Что подтверждает | Как воспроизвести |
|---|---|---|
level4/spread.json |
один токен обслуживается двумя репликами (20/20 запросов), карта X-Instance-Id → контейнер |
python3 scripts/lab3/lab3.py check spread --requests 40 |
level4/idempotency-concurrency.txt |
4 теста идемпотентности, включая 8 параллельных POST с одним ключом через LB: одно сообщение, один id; другой body → 409; без ключа → 400 | python3 scripts/lab3/lab3.py check idempotency |
level4/failover-sweep.json, .md |
отказ каждой реплики под нагрузкой 200 req/s: 0 ошибок клиента и LB, 0 дублей, 0 потерянных подтверждений, реплика возвращается за ≈3 s, HAProxy помечает узел DOWN |
python3 scripts/lab3/lab3.py failover --replicas all --rate 200 --duration 60 |
level4/rolling-update.json, .md |
поочерёдная замена реплик под нагрузкой: BUILD_ID/image id меняются по шагам, 0 ответов 5xx из 889 попыток, migrate не перезапускался (обновляется перезамером на финальной сборке) |
python3 scripts/lab3/lab3.py rolling-update --under-load --rate 200 --build-id <id> |
level4/idempotency-gc.txt |
операторский GC удаляет ровно просроченную запись журнала идемпотентности и не трогает свежую | docker compose --env-file .env exec -T api node dist/messages/idempotency/idempotency-gc.cli.js |
level4/dependency-faults.txt |
bounded 503 unavailable (с request_id, без деталей драйвера) при отказе Redis и PostgreSQL, 401 без сессии остаётся, после возврата зависимости данные и сессия целы |
make test-dependencies |
level4/limits-and-ports.txt |
лимиты CPU/RAM каждого контейнера, отсутствие опубликованных портов у реплик API, отсутствие container_name, отсутствие секретов в трекаемых файлах |
см. команды внутри файла |
Трек 1 (track1/)
track1/raw/<label>.* — по каждому прогону:
| Файл | Содержимое |
|---|---|
<label>.k6.json |
сводка генератора: по каждому шагу лестницы предложенный/достигнутый темп, ошибки, p50/p95/p99, активные VU, dropped_iterations |
<label>.samples.jsonl.gz |
поток наблюдений: docker stats (CPU/RAM контейнеров), статистика HAProxy (запросы, очередь, статусы слотов с отметками времени), /internal/metrics каждой реплики, pg_stat_database/pg_stat_activity/pg_stat_statements, фон хоста |
<label>.manifest.json |
условия измерения: лимиты, число реплик, образ и его id, X-Instance-Id → контейнер, версии образов и рантаймов, объём данных, состояния томов, фон хоста, commit |
<label>.phases.json |
временные метки фаз (для отказов и rolling update) |
Метки: p-a#nN#repR — серия A (профиль p-a, N реплик, повтор R); p-b#n4 — горячий
чат; p-c#lbX — путь чтения при лимите LB X CPU; growth#… — серия роста
ресурсов; ab#A#repR / ab#B#repR — A/B двух образов; abdiag#A#repR /
abdiag#B#repR — контрольный A/B на бюджете по умолчанию; vuswap#nN-vuM —
проверка потолка генератора (та же конфигурация, другой MAX_VUS); block#…#repR
(900 req/s) и why#…#repR (1500 req/s) — блок «почему»: один темп, разные
распределения того же бюджета; knee#nN — лестница 900–2200 req/s на текущей
сборке; failover#<instance>, rolling — сценарии отказов.
Сводные документы (пересобираются из raw командой
python3 scripts/lab3/lab3.py analyze):
| Файл | Содержимое |
|---|---|
track1/summary-runs.md |
разбор каждого прогона: шаги, ресурсы контейнеров, PostgreSQL, LB, счётчики реплик |
track1/summary-series-a.md |
серия 1/2/4 реплики: достигнутый RPS, латентность, точки сатурации, ресурсы при разных конфигурациях |
track1/summary-diagnostics.md |
горячий чат (p-b) и путь чтения (p-c) при разных лимитах LB |
track1/summary-growth.md |
серия роста ресурсов: что именно является ограничителем |
track1/summary-ab.md, track1/summary-ab-abdiag.md |
A/B до/после оптимизации: медианы, разброс по повторам, вывод «подтверждено/не подтверждено»; abdiag — контрольная серия на бюджете по умолчанию (бюджет записан в ab-verdict*.json) |
track1/ab-verdict.json, track1/ab-verdict-abdiag.json |
вердикт A/B по шагам, бюджет серии, хеш коммита, образы сторон |
track1/summary-mechanism.md |
разрез «почему»: один темп, разные конфигурации/число реплик, ожидания сессий PostgreSQL (Lock/tuple/transactionid), дельты pg_stat_statements по операторам, CPU контейнеров, пер-реплики латентности |
track1/statement-deltas.md |
доказательство «8 → 1 обращение»: дельта вызовов и времени по операторам за прогон (A: три оператора ×18 629 вызовов, 95 ms среднего на UPDATE chats; B: один составной оператор, 2.35 ms) |
track1/graphs/*.png |
графики: пропускная способность, латентность и ошибки, занятость генератора, CPU контейнеров во времени, распределение по слотам LB, рост ресурсов, A/B |
Правила интерпретации: dropped_iterations > 0 вместе с ростом p95 означает
перегрузку сервера; dropped_iterations > 0 при низком p95 и упоре генератора в
свой CPU-лимит означает, что узкое место — генератор, а не стенд (занятость
генератора видна на graphs/*vus*.png и в CPU loadgen).