ЛР 3 — БВТ2303 — Тюнин — на 5 #19

Closed
ilya.tyunin wants to merge 16 commits from ilya.tyunin/mtusi2026lab3:lab3 into main
First-time contributor

Лабораторная 3

Автор / группа: Илья Тюнин; группа — БВТ2303
Целевая оценка (3/4/5): 5
Трек: 1 «Цена масштабирования»

Что реализовано и что перенесено: Стенд целиком в compose.yaml: HAProxy 3.2 (server-template + Docker DNS, проба /internal/lb-check, roundrobin), API × N без публикации портов, общие PostgreSQL 16.4 и Redis 7.4 (сессии + AOF), миграции отдельным сервисом migrate, лимиты CPU/RAM у всех сервисов, container_name не задан нигде. Из lab2 перенесены без изменений: регистрация с Argon2id, Basic→Bearer-сессии в общем Redis, чаты с атомарным созданием, keyset-пагинация (created_at, id), версионированный кэш истории, /health/live, /health/ready, /internal/metrics, X-Request-Id. Добавлено в lab3: X-Instance-Id = hostname реплики (в успешных ответах и в ошибках), проба LB, не зависящая от БД/Redis, общая идемпотентность POST /chats/{id}/messages (обязательный Idempotency-Key, сквозь реплики, атомарная заявка и тело ответа одним оператором, TTL и фоновый GC), дрейн по SIGTERM до закрытия пулов, транзиентные коды PostgreSQL → 503 unavailable. Инструменты: scripts/lab3/lab3.py (стенд, прогоны, отказы, rolling update, анализ, графики), профили k6 в scripts/load/, хуки scripts/stop-one.sh, scripts/start-replica.sh, scripts/restart.sh, scripts/quiesce.sh. Трек 1: серия A (1/2/4 реплики при фиксированном бюджете), VU-своп, серия роста ресурсов на 900 req/s с проверкой фактических квот через docker inspect, блок «почему» на 1500 req/s, A/B до/после оптимизации пути записи и контрольная серия на бюджете по умолчанию; доказательства, сводки и графики — в evidence/track1/.

Команды запуска из чистого clone:

git clone -b lab3 <origin> lab3 && cd lab3
cp .env.example .env     # свои POSTGRES_PASSWORD, DATABASE_URL, METRICS_TOKEN
make stand-up            # docker compose up -d --build --wait
make wait-ready && make test && make test-e2e
make test-persistence ACTION_SCRIPT=scripts/restart.sh
make test-failover ACTION_SCRIPT=scripts/stop-one.sh && scripts/start-replica.sh
make test-dependencies
# трек 1 (полный список команд — REPORT.md, раздел «Воспроизводимость прогонов трека»):
python3 scripts/lab3/lab3.py track1 --reps 2
python3 scripts/lab3/lab3.py track1-extras --part all --reps 2 --rate 1500 --max-vus 900 --loadgen-memory 1024m --ab-reps 3
python3 scripts/lab3/lab3.py analyze

Результаты проверок и ссылка на REPORT.md: make check — PASS, make test — PASS через LB, make test-e2e — 14 passed / 3 skipped, test-persistence и test-failover — PASS, test-dependencies — PASS; доказательства уровня 3/4 — evidence/level3/, evidence/level4/, трека 1 — evidence/track1/ (raw + сводки + графики). Полные таблицы, гипотезы, статус гипотез и ограничения — в REPORT.md.

Ограничения / известные ошибки: один docker-хост; PostgreSQL, Redis и HAProxy не реплицированы (трек 2 не заявлен), бэкапа тома PostgreSQL нет; путь чтения измерялся с MAX_VUS=200, поэтому его потолок — нижняя оценка; абсолютные значения трека сравнимы только внутри серии/блока (разные сборки и растущий датасет); серии трека, где меняются лимиты (рост ресурсов, VU-своп, блок 1500), сняты по одному прогону на точку с проверкой квот через docker inspect.

Источники: контракт contracts/openapi.json и contracts/README.md, публичные проверки tests/, документация HAProxy 3.2, Docker Compose, k6 0.54, NestJS/Fastify, pg и redis. Все числа в отчёте получены прогонами на описанном стенде и лежат в evidence/.

  • Весь обязательный минимум текущей и предыдущих работ сохранён с объявленными переходами.
  • Контракт и публичные тесты не ослаблены.
  • make check и make test выполнены; приложен реальный вывод.
  • Сценарии отказов/безопасности своего уровня воспроизведены.
  • Все секреты и приватные ключи находятся вне Git; отчёт не содержит tokens.
  • README задания сохранён, REPORT.md содержит инструкцию именно моего решения.
## Лабораторная 3 Автор / группа: Илья Тюнин; группа — БВТ2303 Целевая оценка (3/4/5): 5 Трек: 1 «Цена масштабирования» Что реализовано и что перенесено: Стенд целиком в `compose.yaml`: HAProxy 3.2 (server-template + Docker DNS, проба `/internal/lb-check`, roundrobin), API × N без публикации портов, общие PostgreSQL 16.4 и Redis 7.4 (сессии + AOF), миграции отдельным сервисом `migrate`, лимиты CPU/RAM у всех сервисов, `container_name` не задан нигде. Из lab2 перенесены без изменений: регистрация с Argon2id, Basic→Bearer-сессии в общем Redis, чаты с атомарным созданием, keyset-пагинация `(created_at, id)`, версионированный кэш истории, `/health/live`, `/health/ready`, `/internal/metrics`, `X-Request-Id`. Добавлено в lab3: `X-Instance-Id` = hostname реплики (в успешных ответах и в ошибках), проба LB, не зависящая от БД/Redis, общая идемпотентность `POST /chats/{id}/messages` (обязательный `Idempotency-Key`, сквозь реплики, атомарная заявка и тело ответа одним оператором, TTL и фоновый GC), дрейн по SIGTERM до закрытия пулов, транзиентные коды PostgreSQL → `503 unavailable`. Инструменты: `scripts/lab3/lab3.py` (стенд, прогоны, отказы, rolling update, анализ, графики), профили k6 в `scripts/load/`, хуки `scripts/stop-one.sh`, `scripts/start-replica.sh`, `scripts/restart.sh`, `scripts/quiesce.sh`. Трек 1: серия A (1/2/4 реплики при фиксированном бюджете), VU-своп, серия роста ресурсов на 900 req/s с проверкой фактических квот через `docker inspect`, блок «почему» на 1500 req/s, A/B до/после оптимизации пути записи и контрольная серия на бюджете по умолчанию; доказательства, сводки и графики — в `evidence/track1/`. Команды запуска из чистого clone: ```sh git clone -b lab3 <origin> lab3 && cd lab3 cp .env.example .env # свои POSTGRES_PASSWORD, DATABASE_URL, METRICS_TOKEN make stand-up # docker compose up -d --build --wait make wait-ready && make test && make test-e2e make test-persistence ACTION_SCRIPT=scripts/restart.sh make test-failover ACTION_SCRIPT=scripts/stop-one.sh && scripts/start-replica.sh make test-dependencies # трек 1 (полный список команд — REPORT.md, раздел «Воспроизводимость прогонов трека»): python3 scripts/lab3/lab3.py track1 --reps 2 python3 scripts/lab3/lab3.py track1-extras --part all --reps 2 --rate 1500 --max-vus 900 --loadgen-memory 1024m --ab-reps 3 python3 scripts/lab3/lab3.py analyze ``` Результаты проверок и ссылка на REPORT.md: `make check` — PASS, `make test` — PASS через LB, `make test-e2e` — 14 passed / 3 skipped, `test-persistence` и `test-failover` — PASS, `test-dependencies` — PASS; доказательства уровня 3/4 — `evidence/level3/`, `evidence/level4/`, трека 1 — `evidence/track1/` (raw + сводки + графики). Полные таблицы, гипотезы, статус гипотез и ограничения — в `REPORT.md`. Ограничения / известные ошибки: один docker-хост; PostgreSQL, Redis и HAProxy не реплицированы (трек 2 не заявлен), бэкапа тома PostgreSQL нет; путь чтения измерялся с `MAX_VUS=200`, поэтому его потолок — нижняя оценка; абсолютные значения трека сравнимы только внутри серии/блока (разные сборки и растущий датасет); серии трека, где меняются лимиты (рост ресурсов, VU-своп, блок 1500), сняты по одному прогону на точку с проверкой квот через `docker inspect`. Источники: контракт `contracts/openapi.json` и `contracts/README.md`, публичные проверки `tests/`, документация HAProxy 3.2, Docker Compose, k6 0.54, NestJS/Fastify, `pg` и `redis`. Все числа в отчёте получены прогонами на описанном стенде и лежат в `evidence/`. - [x] Весь обязательный минимум текущей и предыдущих работ сохранён с объявленными переходами. - [x] Контракт и публичные тесты не ослаблены. - [x] make check и make test выполнены; приложен реальный вывод. - [x] Сценарии отказов/безопасности своего уровня воспроизведены. - [x] Все секреты и приватные ключи находятся вне Git; отчёт не содержит tokens. - [x] README задания сохранён, REPORT.md содержит инструкцию именно моего решения.
ilya.tyunin added 13 commits 2026-10-16 16:26:16 +03:00
Этот коммит впервые фиксирует порт lab2 (приложение NestJS+Fastify, Dockerfile,
одноservice-стенд compose, restart hook) и добавляет уровень 3/4 по lab3:

- X-Instance-Id = INSTANCE_ID либо hostname контейнера (стабилен для процесса),
  добавляется и в ответах об ошибках, которые формируются до интерсептора.
- /internal/lb-check: проба LB, намеренно не зависящая от PostgreSQL и Redis
  (отказ общей БД нельзя лечить выводом реплик из ротации); /health/ready
  остаётся операторским сигналом. /internal/metrics отдаёт instance_id и build_id.
- Общая идемпотентность POST сообщения: таблица idempotency_keys, область
  (user, method, path, key), канонический отпечаток тела, заявка+результат в
  одной транзакции, повтор возвращает сохранённый ответ, другое тело — 409,
  отсутствие/неверный ключ — 400, просрочка по IDEMPOTENCY_TTL_SECONDS.
- Транзиентные коды PostgreSQL (57014/40001/40P01) отображаются в 503, чтобы
  прерывание не фиксировалось идемпотентной записью как окончательный результат.
- Миграции 003 (идемпотентность) и 004 (pg_stat_statements для трека 1),
  операторский прогон GC: npm run idempotency:gc.
- compose.yaml: проект mtusi-lab3, HAProxy как единственная точка входа,
  deploy.replicas ${API_REPLICAS:-2}, CPU/RAM-лимиты на каждый сервис,
  stop_grace_period 20s, лимиты из переменных (API_CPUS_PER_REPLICA и т.д.),
  loopback-порты PostgreSQL/Redis только для операторских проверок; у API
  портов нет; container_name нигде не задан.
- infra/haproxy/haproxy.cfg: проба GET /internal/lb-check, inter 500ms/fall 2
  (~1s обнаружение), server-template + DNS Docker вместо статического списка,
  stats на 127.0.0.1:8404.
- Дрейн: SIGTERM -> реплика сразу перестаёт проходить пробу LB -> пауза
  DRAIN_DELAY_MS -> закрытие сервера и пулов. Nest уничтожает провайдеров
  раньше beforeApplicationShutdown, поэтому последовательность вынесена в
  main.ts, а HealthService отвечает только за флаг not-ready.
- scripts/stop-one.sh (остановка ровно одной реплики по X-Instance-Id),
  scripts/start-replica.sh (восстановление до API_REPLICAS), scripts/quiesce.sh
  (остановка/возврат посторонних контейнеров хоста), restart.sh перезапускает
  и LB, scripts/app-e2e.sh (host-side e2e через loopback-порты).
- Makefile: stand-up/down/status, stand-replica, wait-ready, quiesce-up/down,
  test-e2e, test-failover-all, rolling-update, track1, evidence.
- Dockerfile: ARG/ENV BUILD_ID для доказательства rolling update.

Проверено: make test, make test-e2e, make test-persistence (restart.sh),
make test-failover (stop-one.sh, восстановление через start-replica.sh),
make test-dependencies; docker inspect подтверждает NanoCpus/Memory и
отсутствие опубликованных портов у api.
- scripts/load/common.js + write-ladder.js + write-steady.js: лестница плоских
  полок constant-arrival-rate, пошаговые счётчики/тренды (k6 не создаёт
  подметрики произвольных тегов), подготовка синтетических пользователей и
  чатов, сводка JSON в stdout без файлов из контейнера; MODE=write|read.
- scripts/lab3/lab3.py (stdlib): stand, check (spread/instances/idempotency),
  run, sweep, growth, failover, rolling-update, ab, analyze, quiesce, track1.
  Сэмплер: docker stats (--no-stream, поток склеивает JSON и печатает ANSI),
  HAProxy stats CSV (заголовок помечен '#'), /internal/metrics каждой реплики,
  pg_stat_database/pg_stat_activity/pg_stat_statements, фон хоста. raw:
  <label>.k6.json, <label>.samples.jsonl.gz, <label>.manifest.json.
- Анализ: таблицы по каждому прогону, серия A, диагностика, рост, A/B и
  графики (throughput, latency/errors, VU генератора, CPU контейнеров во
  времени, распределение по слотам LB, рост, A/B с min..max).

Проверено: analyze на пустом каталоге не падает; повторный analyze даёт те же
числа; прогон run --label smoke-p-a (30 s, 100 req/s) — 100.03 достигнутых
req/s, 0 ошибок, 795 сэмплов, графики и таблицы непустые.
Владелец ключа идемпотентности больше не оркестрируется в приложении: проверка
членства, заявка ключа, вставка сообщения, инкремент версии чата (якорь
инвалидации кэша) и сохранение тела ответа выполняются одним оператором SQL,
атомарность которого обеспечивает сам оператор.

- messages.repository: createOnce() одним запросом вместо трёх (проверка
  членства + INSERT + UPDATE version) и явной транзакции; тело ответа строится
  в SQL и служит источником истины и для первого ответа, и для повторов.
- idempotency.repository: read() читает сохранённый ответ вместе с повторной
  проверкой доступа, delete/purge не изменились; claim/store внутри транзакции
  больше не нужны.
- messages.service: без DatabaseClient и без предварительного chatsService.
  getForUser в пути записи; ключ обязателен, тело проверяется до обращения к БД,
  просроченный ключ освобождается и занимается заново.

Итог: 1 round trip на запись вместо 8 и 2 вместо 3 на повтор; короче удержание
блокировки строки chats, что и проверяется A/B на профиле горячего чата.

Проверено: npm run build, tsc, unit-тесты, lint, публичный smoke и black-box
набор приложения (включая конкурентный повтор с одним ключом) на стенде с
образом mtusi-messenger:lab3-after.
- REPORT.md: запуск из чистого clone, архитектура и решения, таблица доказательств
  по каждому заявленному критерию, методика экспериментов, гипотезы H1–H5,
  результаты серии A (1/2/4 реплики), диагностики горячего чата и пути чтения,
  серии роста ресурсов, A/B улучшения и таблица отказов, ограничения и следующие шаги.
- evidence/: индекс (README.md), level3 (smoke, persistence, failover по каждой
  реплике с переходами статусов LB) и level4 (spread, идемпотентность, failover
  каждой реплики под нагрузкой, rolling update, отказы зависимостей, лимиты и
  порты) плюс raw-данные трека 1: сводки k6, сжатые потоки сэмплера, манифесты
  условий измерения, таблицы и графики.
- app/README.md и infra/README.md: LB и реплики, семантика Idempotency-Key,
  /internal/lb-check, переменные окружения, дрейн по SIGTERM, харнесс.
- .env.example приведён к реальной конфигурации (убраны SESSION_STORE/CACHE_URL_FILE,
  добавлены DATABASE_URL/REDIS_URL/лимиты стенда/BUILD_ID и т.д.);
  .lab3-quiesce.json добавлен в .gitignore.
Проверка воспроизводимости: клон ветки lab3, собственные credentials в .env,
чистые тома (down -v), далее make stand-up (миграции с нуля), make wait-ready,
make test, make test-persistence с scripts/restart.sh и make test-failover с
scripts/stop-one.sh — все PASS (evidence/level3/clean-clone.txt).

В REPORT.md добавлена строка доказательства для этой проверки и подставлены
хеши коммитов C1..C5; в evidence/README.md — описание файла с проверкой.
check spread, make test-dependencies, failover каждой реплики под нагрузкой и
rolling update прогнаны заново на сборке с однократным путём записи (C2):
в evidence/level4 обновлены spread.json, dependency-faults.txt, failover-sweep.*,
rolling-update.*; числа в REPORT.md приведены в соответствие (0 ошибок и 0 дублей
в отказе каждой реплики, 0 ответов 5xx из 884 попыток при rolling update).
Вставлены просроченная и свежая записи, выполнен npm/CLI-прогон GC внутри
контейнера API: удалена ровно просроченная (expired_left=0), свежая осталась.
Файл evidence/level4/idempotency-gc.txt добавлен в отчёт и индекс доказательств.
H1 подтверждена только в части «рост реплик при фиксированном бюджете не даёт
роста»: удвоение CPU PostgreSQL потолок не поднимает, поэтому ограничитель —
связка «квота CPU на реплику + общий PostgreSQL + сериализация на строке чата»,
а не один PostgreSQL.
Измерения (raw-файлы, сводки, отчёт):
- контрольный A/B на бюджете по умолчанию (`abdiag`, 3+3 повтора): A упирается в
  250 req/s и отдаёт 503 `unavailable` (4/894/2813 на 300/350/400), B держит
  398.7 req/s без единого 5xx;
- блок «почему» на одном темпе (900 и 1500 req/s, 2 повтора x 5 конфигураций):
  перераспределение того же бюджета не меняет потолок (820–854 req/s), разделение
  бюджета между репликами поднимает время горячего оператора с 1.56 до 17.3–17.9 ms,
  ожидания `LWLock:WALWrite`/`Lock:transactionid` общие для всех реплик;
- колено текущей сборки (900–2200 req/s, N=1 и N=4): ≈1200 req/s против ≈700 у
  серии A, за коленом одна реплика с полным бюджетом не хуже четырёх;
- пара прогонов HAProxy 0.25 против 1.0 CPU на 1500 req/s: результат одинаков,
  при квоте 1.0 балансировщик использует те же 25 % ядра.

Харнесс `scripts/lab3/lab3.py`:
- `--loadgen-memory` для подкоманды `run` (прогон колена падал на разборе аргументов);
- суффикс вывода A/B для контрольной серии (`summary-ab-abdiag.md`, `ab-verdict-abdiag.json`);
- исправлено затенение `header()` локальной переменной в `cmd_check`, из-за которого
  падала проверка `check spread`;
- сэмплер: классы ответов LB (`hrsp_*`), ожидания сессий PostgreSQL (`wait_event`),
  операторы `idempotency_keys` в дельтах `pg_stat_statements`.

Доказательства и документы: пересняты `evidence/level3/{smoke,persistence}` и
`evidence/level4/{dependency-faults,spread,idempotency-concurrency}`, обновлены
сводки и графики `evidence/track1/*`, `evidence/README.md` (метки и состав сводок),
`REPORT.md` (разбор отказов стороны A, бюджет серии, оговорки о валидности данных,
точные команды воспроизведения, «почему» закрыто измерением).
Owner

Ошибки аналитики:

  • achieved_rps включает неуспешные ответы. В исходном abdiag#A#rep1 на 400 req/s: 1978 ответов, из них 1125 ошибочных. Успешный RPS равен 56,87, тогда как опубликовано 131,87. Нужно пересчитать таблицы, проценты и графики. Формула находится в scripts/load/common.js:274. Направление улучшения после пересчёта сохраняется.
  • growth.png объединяет несопоставимые точки. Базовый столбец берётся из C1; для отсутствующего темпа 560 выбирается последняя полка 1100. Рядом показаны точки на 560 и 900 req/s с другими условиями. Такой график не выделяет влияние ресурсов. См. scripts/lab3/lab3.py:2596.
Ошибки аналитики: - achieved_rps включает неуспешные ответы. В исходном abdiag#A#rep1 на 400 req/s: 1978 ответов, из них 1125 ошибочных. Успешный RPS равен 56,87, тогда как опубликовано 131,87. Нужно пересчитать таблицы, проценты и графики. Формула находится в [scripts/load/common.js:274](https://gitea.privcloud.tech/ilya.tyunin/mtusi2026lab3/src/commit/e42f02c01694d41b050b2ca18b09ae717a7dc0f0/scripts/load/common.js#L274). Направление улучшения после пересчёта сохраняется. - growth.png объединяет несопоставимые точки. Базовый столбец берётся из C1; для отсутствующего темпа 560 выбирается последняя полка 1100. Рядом показаны точки на 560 и 900 req/s с другими условиями. Такой график не выделяет влияние ресурсов. См. [scripts/lab3/lab3.py:2596](https://gitea.privcloud.tech/ilya.tyunin/mtusi2026lab3/src/commit/e42f02c01694d41b050b2ca18b09ae717a7dc0f0/scripts/lab3/lab3.py#L2596).
Owner

Существенный дефект: запретить PostgreSQL-соединения только от одной API и завершить её существующие подключения. Через четыре секунды:

  • /health/ready этой API — 503;
  • /internal/lb-check — 200;
  • HAProxy сохраняет backend в состоянии UP/L7OK;
  • через LB получено 8 ответов 503 из 16 чтений, хотя вторая API здорова.
    Ожидается исключение неготовой реплики. Причина — проба LB проверяет только drain: app/src/health/health.service.ts:25, infra/haproxy/haproxy.cfg:44.
Существенный дефект: запретить PostgreSQL-соединения только от одной API и завершить её существующие подключения. Через четыре секунды: - /health/ready этой API — 503; - /internal/lb-check — 200; - HAProxy сохраняет backend в состоянии UP/L7OK; - через LB получено 8 ответов 503 из 16 чтений, хотя вторая API здорова. Ожидается исключение неготовой реплики. Причина — проба LB проверяет только drain: [app/src/health/health.service.ts:25](https://gitea.privcloud.tech/ilya.tyunin/mtusi2026lab3/src/commit/e42f02c01694d41b050b2ca18b09ae717a7dc0f0/app/src/health/health.service.ts#L25), [infra/haproxy/haproxy.cfg:44](https://gitea.privcloud.tech/ilya.tyunin/mtusi2026lab3/src/commit/e42f02c01694d41b050b2ca18b09ae717a7dc0f0/infra/haproxy/haproxy.cfg#L44).
ilya.tyunin added 3 commits 2026-10-16 22:57:46 +03:00
Author
First-time contributor

Что исправлено по замечаниям

1. achieved_rps включал неуспешные ответы

  • Теперь две величины.
    successful_rps считает только ответы ожидаемого класса и используется во всех таблицах, процентах, потолках, сатурации и Δ A/B.
    attempted_rps считает все ответы и остаётся диагностикой.
  • Пример на шаге abdiag#A 400 req/s: 1978 ответов, 853 успешных, 1125 ошибочных. Получилось 56.87 успешных против 131.87 ответов в секунду.
  • Все таблицы и графики трека 1 пересобраны. Направление улучшения (A/B, C1 → C2) сохраняется.
  • В старых сводках k6 successful_rps и attempted_rps вычислены из счётчиков той же сводки. Новые прогоны пишут их сразу.
  • Регрессия закреплена тестом tests/test_lab3_analytics.py (make test-analytics).

2. growth.png смешивал несопоставимые точки

  • Старая серия роста (точки на 560 и 900 req/s, контроль из C1) удалена вместе с сырыми данными.
  • Серия роста теперь блок why# на одном темпе: 1500 req/s, одно временное окно, один коммит, MAX_VUS=900, контроль why#n4.
  • Сопоставимость проверяется по манифестам: темп, профиль, режим, коммит, образ, параметры генератора, и от контроля отличается ровно один ключ бюджета. Точка, не
    прошедшая проверку, уходит в «Вне сравнения» с причиной.
  • Вердикт даётся по порогу разброса ±8 %:
    • PostgreSQL ×2: +57.0 %, потолок поднимается.
    • API ×2: −5.5 %, в пределах разброса.
    • LB ×4: −2.2 %, в пределах разброса.
    • Пул 20: −9.6 %, ухудшает.
  • Пул 5 на этом темпе не снимался и в таблицу не попал.
  • growth.png теперь содержит два панно (RPS с разбросом и p95) и линию предложенного темпа. Графики throughput, latency-errors и generator-vus теперь различают серии
    цветом и маркером (раньше 19 серий делили 10 цветов).

3. Пробой LB не исключалась реплика с потерянным путём к БД

  • Проба LB теперь GET /health/ready, ручка /internal/lb-check удалена. Реплика без пути к PostgreSQL или Redis отвечает 503 и выходит из ротации.
  • Проверка PostgreSQL идёт по отдельному соединению, а не из общего пула. Занятый пул не делает реплику неготовой (при заторе проба иначе ждала ≈3.7 s, и HAProxy
    снимал все слоты).
  • Весь ответ /health/ready ограничен общим дедлайном HEALTH_TIMEOUT_MS=400, это меньше timeout check 500ms.
  • Redis — обязательная зависимость готовности: Bearer-сессии хранятся только в нём.
  • Проверка (make test-dependencies, 4/4, три прогона подряд):
    • Отказ Redis и отказ PostgreSQL: реплики дают ограниченный 503, LB снимает слоты и отвечает своим 503.
    • Локальный отказ БД у одной реплики: она уходит в DOWN менее чем за 3 с, здоровая обслуживает 16 из 16 чтений.
    • Насыщение пула (60 параллельных записей в заблокированный чат): все слоты остаются UP, все записи вернули 201.
  • Контрольный прогон 1500 req/s: слоты всё время UP, 0 ответов 5xx, Δ −7.1 % к why#n4 (внутри ±8 %). evidence/track1/summary-probe-check.md.
  • Уровень 4 переснят на финальной сборке: failover (0 ошибок, 0 дублей, 0 потерь), rolling update (0 ответов 5xx из 884 попыток).
## Что исправлено по замечаниям ## 1. achieved_rps включал неуспешные ответы - Теперь две величины. successful_rps считает только ответы ожидаемого класса и используется во всех таблицах, процентах, потолках, сатурации и Δ A/B. attempted_rps считает все ответы и остаётся диагностикой. - Пример на шаге abdiag#A 400 req/s: 1978 ответов, 853 успешных, 1125 ошибочных. Получилось 56.87 успешных против 131.87 ответов в секунду. - Все таблицы и графики трека 1 пересобраны. Направление улучшения (A/B, C1 → C2) сохраняется. - В старых сводках k6 successful_rps и attempted_rps вычислены из счётчиков той же сводки. Новые прогоны пишут их сразу. - Регрессия закреплена тестом tests/test_lab3_analytics.py (make test-analytics). ## 2. growth.png смешивал несопоставимые точки - Старая серия роста (точки на 560 и 900 req/s, контроль из C1) удалена вместе с сырыми данными. - Серия роста теперь блок why# на одном темпе: 1500 req/s, одно временное окно, один коммит, MAX_VUS=900, контроль why#n4. - Сопоставимость проверяется по манифестам: темп, профиль, режим, коммит, образ, параметры генератора, и от контроля отличается ровно один ключ бюджета. Точка, не прошедшая проверку, уходит в «Вне сравнения» с причиной. - Вердикт даётся по порогу разброса ±8 %: - PostgreSQL ×2: +57.0 %, потолок поднимается. - API ×2: −5.5 %, в пределах разброса. - LB ×4: −2.2 %, в пределах разброса. - Пул 20: −9.6 %, ухудшает. - Пул 5 на этом темпе не снимался и в таблицу не попал. - growth.png теперь содержит два панно (RPS с разбросом и p95) и линию предложенного темпа. Графики throughput, latency-errors и generator-vus теперь различают серии цветом и маркером (раньше 19 серий делили 10 цветов). ## 3. Пробой LB не исключалась реплика с потерянным путём к БД - Проба LB теперь GET /health/ready, ручка /internal/lb-check удалена. Реплика без пути к PostgreSQL или Redis отвечает 503 и выходит из ротации. - Проверка PostgreSQL идёт по отдельному соединению, а не из общего пула. Занятый пул не делает реплику неготовой (при заторе проба иначе ждала ≈3.7 s, и HAProxy снимал все слоты). - Весь ответ /health/ready ограничен общим дедлайном HEALTH_TIMEOUT_MS=400, это меньше timeout check 500ms. - Redis — обязательная зависимость готовности: Bearer-сессии хранятся только в нём. - Проверка (make test-dependencies, 4/4, три прогона подряд): - Отказ Redis и отказ PostgreSQL: реплики дают ограниченный 503, LB снимает слоты и отвечает своим 503. - Локальный отказ БД у одной реплики: она уходит в DOWN менее чем за 3 с, здоровая обслуживает 16 из 16 чтений. - Насыщение пула (60 параллельных записей в заблокированный чат): все слоты остаются UP, все записи вернули 201. - Контрольный прогон 1500 req/s: слоты всё время UP, 0 ответов 5xx, Δ −7.1 % к why#n4 (внутри ±8 %). evidence/track1/summary-probe-check.md. - Уровень 4 переснят на финальной сборке: failover (0 ошибок, 0 дублей, 0 потерь), rolling update (0 ответов 5xx из 884 попыток).
Owner

Принято. Закрываю МР.

Принято. Закрываю МР.
veprickiy closed this pull request 2026-10-17 11:14:01 +03:00

Pull request closed

Please reopen this pull request to perform a merge.
Sign in to join this conversation.
No Reviewers
No labels
2 Participants
Notifications
Due Date
No due date set.
Dependencies

No dependencies set.

Reference: mtusi2026/mtusi2026lab3#19