Автор / группа: Илья Тюнин; группа — БВТ2303
Целевая оценка (3/4/5): 5
Трек: 1 «Цена масштабирования»
Что реализовано и что перенесено: Стенд целиком в compose.yaml: HAProxy 3.2 (server-template + Docker DNS, проба /internal/lb-check, roundrobin), API × N без публикации портов, общие PostgreSQL 16.4 и Redis 7.4 (сессии + AOF), миграции отдельным сервисом migrate, лимиты CPU/RAM у всех сервисов, container_name не задан нигде. Из lab2 перенесены без изменений: регистрация с Argon2id, Basic→Bearer-сессии в общем Redis, чаты с атомарным созданием, keyset-пагинация (created_at, id), версионированный кэш истории, /health/live, /health/ready, /internal/metrics, X-Request-Id. Добавлено в lab3: X-Instance-Id = hostname реплики (в успешных ответах и в ошибках), проба LB, не зависящая от БД/Redis, общая идемпотентность POST /chats/{id}/messages (обязательный Idempotency-Key, сквозь реплики, атомарная заявка и тело ответа одним оператором, TTL и фоновый GC), дрейн по SIGTERM до закрытия пулов, транзиентные коды PostgreSQL → 503 unavailable. Инструменты: scripts/lab3/lab3.py (стенд, прогоны, отказы, rolling update, анализ, графики), профили k6 в scripts/load/, хуки scripts/stop-one.sh, scripts/start-replica.sh, scripts/restart.sh, scripts/quiesce.sh. Трек 1: серия A (1/2/4 реплики при фиксированном бюджете), VU-своп, серия роста ресурсов на 900 req/s с проверкой фактических квот через docker inspect, блок «почему» на 1500 req/s, A/B до/после оптимизации пути записи и контрольная серия на бюджете по умолчанию; доказательства, сводки и графики — в evidence/track1/.
Команды запуска из чистого clone:
git clone -b lab3 <origin> lab3 &&cd lab3
cp .env.example .env # свои POSTGRES_PASSWORD, DATABASE_URL, METRICS_TOKEN
make stand-up # docker compose up -d --build --wait
make wait-ready && make test&& make test-e2e
make test-persistence ACTION_SCRIPT=scripts/restart.sh
make test-failover ACTION_SCRIPT=scripts/stop-one.sh && scripts/start-replica.sh
make test-dependencies
# трек 1 (полный список команд — REPORT.md, раздел «Воспроизводимость прогонов трека»):
python3 scripts/lab3/lab3.py track1 --reps 2
python3 scripts/lab3/lab3.py track1-extras --part all --reps 2 --rate 1500 --max-vus 900 --loadgen-memory 1024m --ab-reps 3
python3 scripts/lab3/lab3.py analyze
Результаты проверок и ссылка на REPORT.md: make check — PASS, make test — PASS через LB, make test-e2e — 14 passed / 3 skipped, test-persistence и test-failover — PASS, test-dependencies — PASS; доказательства уровня 3/4 — evidence/level3/, evidence/level4/, трека 1 — evidence/track1/ (raw + сводки + графики). Полные таблицы, гипотезы, статус гипотез и ограничения — в REPORT.md.
Ограничения / известные ошибки: один docker-хост; PostgreSQL, Redis и HAProxy не реплицированы (трек 2 не заявлен), бэкапа тома PostgreSQL нет; путь чтения измерялся с MAX_VUS=200, поэтому его потолок — нижняя оценка; абсолютные значения трека сравнимы только внутри серии/блока (разные сборки и растущий датасет); серии трека, где меняются лимиты (рост ресурсов, VU-своп, блок 1500), сняты по одному прогону на точку с проверкой квот через docker inspect.
Источники: контракт contracts/openapi.json и contracts/README.md, публичные проверки tests/, документация HAProxy 3.2, Docker Compose, k6 0.54, NestJS/Fastify, pg и redis. Все числа в отчёте получены прогонами на описанном стенде и лежат в evidence/.
Весь обязательный минимум текущей и предыдущих работ сохранён с объявленными переходами.
Контракт и публичные тесты не ослаблены.
make check и make test выполнены; приложен реальный вывод.
Сценарии отказов/безопасности своего уровня воспроизведены.
Все секреты и приватные ключи находятся вне Git; отчёт не содержит tokens.
README задания сохранён, REPORT.md содержит инструкцию именно моего решения.
## Лабораторная 3
Автор / группа: Илья Тюнин; группа — БВТ2303
Целевая оценка (3/4/5): 5
Трек: 1 «Цена масштабирования»
Что реализовано и что перенесено: Стенд целиком в `compose.yaml`: HAProxy 3.2 (server-template + Docker DNS, проба `/internal/lb-check`, roundrobin), API × N без публикации портов, общие PostgreSQL 16.4 и Redis 7.4 (сессии + AOF), миграции отдельным сервисом `migrate`, лимиты CPU/RAM у всех сервисов, `container_name` не задан нигде. Из lab2 перенесены без изменений: регистрация с Argon2id, Basic→Bearer-сессии в общем Redis, чаты с атомарным созданием, keyset-пагинация `(created_at, id)`, версионированный кэш истории, `/health/live`, `/health/ready`, `/internal/metrics`, `X-Request-Id`. Добавлено в lab3: `X-Instance-Id` = hostname реплики (в успешных ответах и в ошибках), проба LB, не зависящая от БД/Redis, общая идемпотентность `POST /chats/{id}/messages` (обязательный `Idempotency-Key`, сквозь реплики, атомарная заявка и тело ответа одним оператором, TTL и фоновый GC), дрейн по SIGTERM до закрытия пулов, транзиентные коды PostgreSQL → `503 unavailable`. Инструменты: `scripts/lab3/lab3.py` (стенд, прогоны, отказы, rolling update, анализ, графики), профили k6 в `scripts/load/`, хуки `scripts/stop-one.sh`, `scripts/start-replica.sh`, `scripts/restart.sh`, `scripts/quiesce.sh`. Трек 1: серия A (1/2/4 реплики при фиксированном бюджете), VU-своп, серия роста ресурсов на 900 req/s с проверкой фактических квот через `docker inspect`, блок «почему» на 1500 req/s, A/B до/после оптимизации пути записи и контрольная серия на бюджете по умолчанию; доказательства, сводки и графики — в `evidence/track1/`.
Команды запуска из чистого clone:
```sh
git clone -b lab3 <origin> lab3 && cd lab3
cp .env.example .env # свои POSTGRES_PASSWORD, DATABASE_URL, METRICS_TOKEN
make stand-up # docker compose up -d --build --wait
make wait-ready && make test && make test-e2e
make test-persistence ACTION_SCRIPT=scripts/restart.sh
make test-failover ACTION_SCRIPT=scripts/stop-one.sh && scripts/start-replica.sh
make test-dependencies
# трек 1 (полный список команд — REPORT.md, раздел «Воспроизводимость прогонов трека»):
python3 scripts/lab3/lab3.py track1 --reps 2
python3 scripts/lab3/lab3.py track1-extras --part all --reps 2 --rate 1500 --max-vus 900 --loadgen-memory 1024m --ab-reps 3
python3 scripts/lab3/lab3.py analyze
```
Результаты проверок и ссылка на REPORT.md: `make check` — PASS, `make test` — PASS через LB, `make test-e2e` — 14 passed / 3 skipped, `test-persistence` и `test-failover` — PASS, `test-dependencies` — PASS; доказательства уровня 3/4 — `evidence/level3/`, `evidence/level4/`, трека 1 — `evidence/track1/` (raw + сводки + графики). Полные таблицы, гипотезы, статус гипотез и ограничения — в `REPORT.md`.
Ограничения / известные ошибки: один docker-хост; PostgreSQL, Redis и HAProxy не реплицированы (трек 2 не заявлен), бэкапа тома PostgreSQL нет; путь чтения измерялся с `MAX_VUS=200`, поэтому его потолок — нижняя оценка; абсолютные значения трека сравнимы только внутри серии/блока (разные сборки и растущий датасет); серии трека, где меняются лимиты (рост ресурсов, VU-своп, блок 1500), сняты по одному прогону на точку с проверкой квот через `docker inspect`.
Источники: контракт `contracts/openapi.json` и `contracts/README.md`, публичные проверки `tests/`, документация HAProxy 3.2, Docker Compose, k6 0.54, NestJS/Fastify, `pg` и `redis`. Все числа в отчёте получены прогонами на описанном стенде и лежат в `evidence/`.
- [x] Весь обязательный минимум текущей и предыдущих работ сохранён с объявленными переходами.
- [x] Контракт и публичные тесты не ослаблены.
- [x] make check и make test выполнены; приложен реальный вывод.
- [x] Сценарии отказов/безопасности своего уровня воспроизведены.
- [x] Все секреты и приватные ключи находятся вне Git; отчёт не содержит tokens.
- [x] README задания сохранён, REPORT.md содержит инструкцию именно моего решения.
Этот коммит впервые фиксирует порт lab2 (приложение NestJS+Fastify, Dockerfile,
одноservice-стенд compose, restart hook) и добавляет уровень 3/4 по lab3:
- X-Instance-Id = INSTANCE_ID либо hostname контейнера (стабилен для процесса),
добавляется и в ответах об ошибках, которые формируются до интерсептора.
- /internal/lb-check: проба LB, намеренно не зависящая от PostgreSQL и Redis
(отказ общей БД нельзя лечить выводом реплик из ротации); /health/ready
остаётся операторским сигналом. /internal/metrics отдаёт instance_id и build_id.
- Общая идемпотентность POST сообщения: таблица idempotency_keys, область
(user, method, path, key), канонический отпечаток тела, заявка+результат в
одной транзакции, повтор возвращает сохранённый ответ, другое тело — 409,
отсутствие/неверный ключ — 400, просрочка по IDEMPOTENCY_TTL_SECONDS.
- Транзиентные коды PostgreSQL (57014/40001/40P01) отображаются в 503, чтобы
прерывание не фиксировалось идемпотентной записью как окончательный результат.
- Миграции 003 (идемпотентность) и 004 (pg_stat_statements для трека 1),
операторский прогон GC: npm run idempotency:gc.
- compose.yaml: проект mtusi-lab3, HAProxy как единственная точка входа,
deploy.replicas ${API_REPLICAS:-2}, CPU/RAM-лимиты на каждый сервис,
stop_grace_period 20s, лимиты из переменных (API_CPUS_PER_REPLICA и т.д.),
loopback-порты PostgreSQL/Redis только для операторских проверок; у API
портов нет; container_name нигде не задан.
- infra/haproxy/haproxy.cfg: проба GET /internal/lb-check, inter 500ms/fall 2
(~1s обнаружение), server-template + DNS Docker вместо статического списка,
stats на 127.0.0.1:8404.
- Дрейн: SIGTERM -> реплика сразу перестаёт проходить пробу LB -> пауза
DRAIN_DELAY_MS -> закрытие сервера и пулов. Nest уничтожает провайдеров
раньше beforeApplicationShutdown, поэтому последовательность вынесена в
main.ts, а HealthService отвечает только за флаг not-ready.
- scripts/stop-one.sh (остановка ровно одной реплики по X-Instance-Id),
scripts/start-replica.sh (восстановление до API_REPLICAS), scripts/quiesce.sh
(остановка/возврат посторонних контейнеров хоста), restart.sh перезапускает
и LB, scripts/app-e2e.sh (host-side e2e через loopback-порты).
- Makefile: stand-up/down/status, stand-replica, wait-ready, quiesce-up/down,
test-e2e, test-failover-all, rolling-update, track1, evidence.
- Dockerfile: ARG/ENV BUILD_ID для доказательства rolling update.
Проверено: make test, make test-e2e, make test-persistence (restart.sh),
make test-failover (stop-one.sh, восстановление через start-replica.sh),
make test-dependencies; docker inspect подтверждает NanoCpus/Memory и
отсутствие опубликованных портов у api.
Владелец ключа идемпотентности больше не оркестрируется в приложении: проверка
членства, заявка ключа, вставка сообщения, инкремент версии чата (якорь
инвалидации кэша) и сохранение тела ответа выполняются одним оператором SQL,
атомарность которого обеспечивает сам оператор.
- messages.repository: createOnce() одним запросом вместо трёх (проверка
членства + INSERT + UPDATE version) и явной транзакции; тело ответа строится
в SQL и служит источником истины и для первого ответа, и для повторов.
- idempotency.repository: read() читает сохранённый ответ вместе с повторной
проверкой доступа, delete/purge не изменились; claim/store внутри транзакции
больше не нужны.
- messages.service: без DatabaseClient и без предварительного chatsService.
getForUser в пути записи; ключ обязателен, тело проверяется до обращения к БД,
просроченный ключ освобождается и занимается заново.
Итог: 1 round trip на запись вместо 8 и 2 вместо 3 на повтор; короче удержание
блокировки строки chats, что и проверяется A/B на профиле горячего чата.
Проверено: npm run build, tsc, unit-тесты, lint, публичный smoke и black-box
набор приложения (включая конкурентный повтор с одним ключом) на стенде с
образом mtusi-messenger:lab3-after.
- REPORT.md: запуск из чистого clone, архитектура и решения, таблица доказательств
по каждому заявленному критерию, методика экспериментов, гипотезы H1–H5,
результаты серии A (1/2/4 реплики), диагностики горячего чата и пути чтения,
серии роста ресурсов, A/B улучшения и таблица отказов, ограничения и следующие шаги.
- evidence/: индекс (README.md), level3 (smoke, persistence, failover по каждой
реплике с переходами статусов LB) и level4 (spread, идемпотентность, failover
каждой реплики под нагрузкой, rolling update, отказы зависимостей, лимиты и
порты) плюс raw-данные трека 1: сводки k6, сжатые потоки сэмплера, манифесты
условий измерения, таблицы и графики.
- app/README.md и infra/README.md: LB и реплики, семантика Idempotency-Key,
/internal/lb-check, переменные окружения, дрейн по SIGTERM, харнесс.
- .env.example приведён к реальной конфигурации (убраны SESSION_STORE/CACHE_URL_FILE,
добавлены DATABASE_URL/REDIS_URL/лимиты стенда/BUILD_ID и т.д.);
.lab3-quiesce.json добавлен в .gitignore.
Проверка воспроизводимости: клон ветки lab3, собственные credentials в .env,
чистые тома (down -v), далее make stand-up (миграции с нуля), make wait-ready,
make test, make test-persistence с scripts/restart.sh и make test-failover с
scripts/stop-one.sh — все PASS (evidence/level3/clean-clone.txt).
В REPORT.md добавлена строка доказательства для этой проверки и подставлены
хеши коммитов C1..C5; в evidence/README.md — описание файла с проверкой.
check spread, make test-dependencies, failover каждой реплики под нагрузкой и
rolling update прогнаны заново на сборке с однократным путём записи (C2):
в evidence/level4 обновлены spread.json, dependency-faults.txt, failover-sweep.*,
rolling-update.*; числа в REPORT.md приведены в соответствие (0 ошибок и 0 дублей
в отказе каждой реплики, 0 ответов 5xx из 884 попыток при rolling update).
Вставлены просроченная и свежая записи, выполнен npm/CLI-прогон GC внутри
контейнера API: удалена ровно просроченная (expired_left=0), свежая осталась.
Файл evidence/level4/idempotency-gc.txt добавлен в отчёт и индекс доказательств.
H1 подтверждена только в части «рост реплик при фиксированном бюджете не даёт
роста»: удвоение CPU PostgreSQL потолок не поднимает, поэтому ограничитель —
связка «квота CPU на реплику + общий PostgreSQL + сериализация на строке чата»,
а не один PostgreSQL.
Измерения (raw-файлы, сводки, отчёт):
- контрольный A/B на бюджете по умолчанию (`abdiag`, 3+3 повтора): A упирается в
250 req/s и отдаёт 503 `unavailable` (4/894/2813 на 300/350/400), B держит
398.7 req/s без единого 5xx;
- блок «почему» на одном темпе (900 и 1500 req/s, 2 повтора x 5 конфигураций):
перераспределение того же бюджета не меняет потолок (820–854 req/s), разделение
бюджета между репликами поднимает время горячего оператора с 1.56 до 17.3–17.9 ms,
ожидания `LWLock:WALWrite`/`Lock:transactionid` общие для всех реплик;
- колено текущей сборки (900–2200 req/s, N=1 и N=4): ≈1200 req/s против ≈700 у
серии A, за коленом одна реплика с полным бюджетом не хуже четырёх;
- пара прогонов HAProxy 0.25 против 1.0 CPU на 1500 req/s: результат одинаков,
при квоте 1.0 балансировщик использует те же 25 % ядра.
Харнесс `scripts/lab3/lab3.py`:
- `--loadgen-memory` для подкоманды `run` (прогон колена падал на разборе аргументов);
- суффикс вывода A/B для контрольной серии (`summary-ab-abdiag.md`, `ab-verdict-abdiag.json`);
- исправлено затенение `header()` локальной переменной в `cmd_check`, из-за которого
падала проверка `check spread`;
- сэмплер: классы ответов LB (`hrsp_*`), ожидания сессий PostgreSQL (`wait_event`),
операторы `idempotency_keys` в дельтах `pg_stat_statements`.
Доказательства и документы: пересняты `evidence/level3/{smoke,persistence}` и
`evidence/level4/{dependency-faults,spread,idempotency-concurrency}`, обновлены
сводки и графики `evidence/track1/*`, `evidence/README.md` (метки и состав сводок),
`REPORT.md` (разбор отказов стороны A, бюджет серии, оговорки о валидности данных,
точные команды воспроизведения, «почему» закрыто измерением).
achieved_rps включает неуспешные ответы. В исходном abdiag#A#rep1 на 400 req/s: 1978 ответов, из них 1125 ошибочных. Успешный RPS равен 56,87, тогда как опубликовано 131,87. Нужно пересчитать таблицы, проценты и графики. Формула находится в scripts/load/common.js:274. Направление улучшения после пересчёта сохраняется.
growth.png объединяет несопоставимые точки. Базовый столбец берётся из C1; для отсутствующего темпа 560 выбирается последняя полка 1100. Рядом показаны точки на 560 и 900 req/s с другими условиями. Такой график не выделяет влияние ресурсов. См. scripts/lab3/lab3.py:2596.
Ошибки аналитики:
- achieved_rps включает неуспешные ответы. В исходном abdiag#A#rep1 на 400 req/s: 1978 ответов, из них 1125 ошибочных. Успешный RPS равен 56,87, тогда как опубликовано 131,87. Нужно пересчитать таблицы, проценты и графики. Формула находится в [scripts/load/common.js:274](https://gitea.privcloud.tech/ilya.tyunin/mtusi2026lab3/src/commit/e42f02c01694d41b050b2ca18b09ae717a7dc0f0/scripts/load/common.js#L274). Направление улучшения после пересчёта сохраняется.
- growth.png объединяет несопоставимые точки. Базовый столбец берётся из C1; для отсутствующего темпа 560 выбирается последняя полка 1100. Рядом показаны точки на 560 и 900 req/s с другими условиями. Такой график не выделяет влияние ресурсов. См. [scripts/lab3/lab3.py:2596](https://gitea.privcloud.tech/ilya.tyunin/mtusi2026lab3/src/commit/e42f02c01694d41b050b2ca18b09ae717a7dc0f0/scripts/lab3/lab3.py#L2596).
Существенный дефект: запретить PostgreSQL-соединения только от одной API и завершить её существующие подключения. Через четыре секунды:
- /health/ready этой API — 503;
- /internal/lb-check — 200;
- HAProxy сохраняет backend в состоянии UP/L7OK;
- через LB получено 8 ответов 503 из 16 чтений, хотя вторая API здорова.
Ожидается исключение неготовой реплики. Причина — проба LB проверяет только drain: [app/src/health/health.service.ts:25](https://gitea.privcloud.tech/ilya.tyunin/mtusi2026lab3/src/commit/e42f02c01694d41b050b2ca18b09ae717a7dc0f0/app/src/health/health.service.ts#L25), [infra/haproxy/haproxy.cfg:44](https://gitea.privcloud.tech/ilya.tyunin/mtusi2026lab3/src/commit/e42f02c01694d41b050b2ca18b09ae717a7dc0f0/infra/haproxy/haproxy.cfg#L44).
Теперь две величины.
successful_rps считает только ответы ожидаемого класса и используется во всех таблицах, процентах, потолках, сатурации и Δ A/B.
attempted_rps считает все ответы и остаётся диагностикой.
Пример на шаге abdiag#A 400 req/s: 1978 ответов, 853 успешных, 1125 ошибочных. Получилось 56.87 успешных против 131.87 ответов в секунду.
Все таблицы и графики трека 1 пересобраны. Направление улучшения (A/B, C1 → C2) сохраняется.
В старых сводках k6 successful_rps и attempted_rps вычислены из счётчиков той же сводки. Новые прогоны пишут их сразу.
Старая серия роста (точки на 560 и 900 req/s, контроль из C1) удалена вместе с сырыми данными.
Серия роста теперь блок why# на одном темпе: 1500 req/s, одно временное окно, один коммит, MAX_VUS=900, контроль why#n4.
Сопоставимость проверяется по манифестам: темп, профиль, режим, коммит, образ, параметры генератора, и от контроля отличается ровно один ключ бюджета. Точка, не
прошедшая проверку, уходит в «Вне сравнения» с причиной.
Вердикт даётся по порогу разброса ±8 %:
PostgreSQL ×2: +57.0 %, потолок поднимается.
API ×2: −5.5 %, в пределах разброса.
LB ×4: −2.2 %, в пределах разброса.
Пул 20: −9.6 %, ухудшает.
Пул 5 на этом темпе не снимался и в таблицу не попал.
growth.png теперь содержит два панно (RPS с разбросом и p95) и линию предложенного темпа. Графики throughput, latency-errors и generator-vus теперь различают серии
цветом и маркером (раньше 19 серий делили 10 цветов).
3. Пробой LB не исключалась реплика с потерянным путём к БД
Проба LB теперь GET /health/ready, ручка /internal/lb-check удалена. Реплика без пути к PostgreSQL или Redis отвечает 503 и выходит из ротации.
Проверка PostgreSQL идёт по отдельному соединению, а не из общего пула. Занятый пул не делает реплику неготовой (при заторе проба иначе ждала ≈3.7 s, и HAProxy
снимал все слоты).
Весь ответ /health/ready ограничен общим дедлайном HEALTH_TIMEOUT_MS=400, это меньше timeout check 500ms.
Redis — обязательная зависимость готовности: Bearer-сессии хранятся только в нём.
Проверка (make test-dependencies, 4/4, три прогона подряд):
Отказ Redis и отказ PostgreSQL: реплики дают ограниченный 503, LB снимает слоты и отвечает своим 503.
Локальный отказ БД у одной реплики: она уходит в DOWN менее чем за 3 с, здоровая обслуживает 16 из 16 чтений.
Насыщение пула (60 параллельных записей в заблокированный чат): все слоты остаются UP, все записи вернули 201.
Контрольный прогон 1500 req/s: слоты всё время UP, 0 ответов 5xx, Δ −7.1 % к why#n4 (внутри ±8 %). evidence/track1/summary-probe-check.md.
Уровень 4 переснят на финальной сборке: failover (0 ошибок, 0 дублей, 0 потерь), rolling update (0 ответов 5xx из 884 попыток).
## Что исправлено по замечаниям
## 1. achieved_rps включал неуспешные ответы
- Теперь две величины.
successful_rps считает только ответы ожидаемого класса и используется во всех таблицах, процентах, потолках, сатурации и Δ A/B.
attempted_rps считает все ответы и остаётся диагностикой.
- Пример на шаге abdiag#A 400 req/s: 1978 ответов, 853 успешных, 1125 ошибочных. Получилось 56.87 успешных против 131.87 ответов в секунду.
- Все таблицы и графики трека 1 пересобраны. Направление улучшения (A/B, C1 → C2) сохраняется.
- В старых сводках k6 successful_rps и attempted_rps вычислены из счётчиков той же сводки. Новые прогоны пишут их сразу.
- Регрессия закреплена тестом tests/test_lab3_analytics.py (make test-analytics).
## 2. growth.png смешивал несопоставимые точки
- Старая серия роста (точки на 560 и 900 req/s, контроль из C1) удалена вместе с сырыми данными.
- Серия роста теперь блок why# на одном темпе: 1500 req/s, одно временное окно, один коммит, MAX_VUS=900, контроль why#n4.
- Сопоставимость проверяется по манифестам: темп, профиль, режим, коммит, образ, параметры генератора, и от контроля отличается ровно один ключ бюджета. Точка, не
прошедшая проверку, уходит в «Вне сравнения» с причиной.
- Вердикт даётся по порогу разброса ±8 %:
- PostgreSQL ×2: +57.0 %, потолок поднимается.
- API ×2: −5.5 %, в пределах разброса.
- LB ×4: −2.2 %, в пределах разброса.
- Пул 20: −9.6 %, ухудшает.
- Пул 5 на этом темпе не снимался и в таблицу не попал.
- growth.png теперь содержит два панно (RPS с разбросом и p95) и линию предложенного темпа. Графики throughput, latency-errors и generator-vus теперь различают серии
цветом и маркером (раньше 19 серий делили 10 цветов).
## 3. Пробой LB не исключалась реплика с потерянным путём к БД
- Проба LB теперь GET /health/ready, ручка /internal/lb-check удалена. Реплика без пути к PostgreSQL или Redis отвечает 503 и выходит из ротации.
- Проверка PostgreSQL идёт по отдельному соединению, а не из общего пула. Занятый пул не делает реплику неготовой (при заторе проба иначе ждала ≈3.7 s, и HAProxy
снимал все слоты).
- Весь ответ /health/ready ограничен общим дедлайном HEALTH_TIMEOUT_MS=400, это меньше timeout check 500ms.
- Redis — обязательная зависимость готовности: Bearer-сессии хранятся только в нём.
- Проверка (make test-dependencies, 4/4, три прогона подряд):
- Отказ Redis и отказ PostgreSQL: реплики дают ограниченный 503, LB снимает слоты и отвечает своим 503.
- Локальный отказ БД у одной реплики: она уходит в DOWN менее чем за 3 с, здоровая обслуживает 16 из 16 чтений.
- Насыщение пула (60 параллельных записей в заблокированный чат): все слоты остаются UP, все записи вернули 201.
- Контрольный прогон 1500 req/s: слоты всё время UP, 0 ответов 5xx, Δ −7.1 % к why#n4 (внутри ±8 %). evidence/track1/summary-probe-check.md.
- Уровень 4 переснят на финальной сборке: failover (0 ошибок, 0 дублей, 0 потерь), rolling update (0 ответов 5xx из 884 попыток).
Blocking a user prevents them from interacting with repositories, such as opening or commenting on pull requests or issues. Learn more about blocking a user.
Лабораторная 3
Автор / группа: Илья Тюнин; группа — БВТ2303
Целевая оценка (3/4/5): 5
Трек: 1 «Цена масштабирования»
Что реализовано и что перенесено: Стенд целиком в
compose.yaml: HAProxy 3.2 (server-template + Docker DNS, проба/internal/lb-check, roundrobin), API × N без публикации портов, общие PostgreSQL 16.4 и Redis 7.4 (сессии + AOF), миграции отдельным сервисомmigrate, лимиты CPU/RAM у всех сервисов,container_nameне задан нигде. Из lab2 перенесены без изменений: регистрация с Argon2id, Basic→Bearer-сессии в общем Redis, чаты с атомарным созданием, keyset-пагинация(created_at, id), версионированный кэш истории,/health/live,/health/ready,/internal/metrics,X-Request-Id. Добавлено в lab3:X-Instance-Id= hostname реплики (в успешных ответах и в ошибках), проба LB, не зависящая от БД/Redis, общая идемпотентностьPOST /chats/{id}/messages(обязательныйIdempotency-Key, сквозь реплики, атомарная заявка и тело ответа одним оператором, TTL и фоновый GC), дрейн по SIGTERM до закрытия пулов, транзиентные коды PostgreSQL →503 unavailable. Инструменты:scripts/lab3/lab3.py(стенд, прогоны, отказы, rolling update, анализ, графики), профили k6 вscripts/load/, хукиscripts/stop-one.sh,scripts/start-replica.sh,scripts/restart.sh,scripts/quiesce.sh. Трек 1: серия A (1/2/4 реплики при фиксированном бюджете), VU-своп, серия роста ресурсов на 900 req/s с проверкой фактических квот черезdocker inspect, блок «почему» на 1500 req/s, A/B до/после оптимизации пути записи и контрольная серия на бюджете по умолчанию; доказательства, сводки и графики — вevidence/track1/.Команды запуска из чистого clone:
Результаты проверок и ссылка на REPORT.md:
make check— PASS,make test— PASS через LB,make test-e2e— 14 passed / 3 skipped,test-persistenceиtest-failover— PASS,test-dependencies— PASS; доказательства уровня 3/4 —evidence/level3/,evidence/level4/, трека 1 —evidence/track1/(raw + сводки + графики). Полные таблицы, гипотезы, статус гипотез и ограничения — вREPORT.md.Ограничения / известные ошибки: один docker-хост; PostgreSQL, Redis и HAProxy не реплицированы (трек 2 не заявлен), бэкапа тома PostgreSQL нет; путь чтения измерялся с
MAX_VUS=200, поэтому его потолок — нижняя оценка; абсолютные значения трека сравнимы только внутри серии/блока (разные сборки и растущий датасет); серии трека, где меняются лимиты (рост ресурсов, VU-своп, блок 1500), сняты по одному прогону на точку с проверкой квот черезdocker inspect.Источники: контракт
contracts/openapi.jsonиcontracts/README.md, публичные проверкиtests/, документация HAProxy 3.2, Docker Compose, k6 0.54, NestJS/Fastify,pgиredis. Все числа в отчёте получены прогонами на описанном стенде и лежат вevidence/.- compose.yaml: проект mtusi-lab3, HAProxy как единственная точка входа, deploy.replicas ${API_REPLICAS:-2}, CPU/RAM-лимиты на каждый сервис, stop_grace_period 20s, лимиты из переменных (API_CPUS_PER_REPLICA и т.д.), loopback-порты PostgreSQL/Redis только для операторских проверок; у API портов нет; container_name нигде не задан. - infra/haproxy/haproxy.cfg: проба GET /internal/lb-check, inter 500ms/fall 2 (~1s обнаружение), server-template + DNS Docker вместо статического списка, stats на 127.0.0.1:8404. - Дрейн: SIGTERM -> реплика сразу перестаёт проходить пробу LB -> пауза DRAIN_DELAY_MS -> закрытие сервера и пулов. Nest уничтожает провайдеров раньше beforeApplicationShutdown, поэтому последовательность вынесена в main.ts, а HealthService отвечает только за флаг not-ready. - scripts/stop-one.sh (остановка ровно одной реплики по X-Instance-Id), scripts/start-replica.sh (восстановление до API_REPLICAS), scripts/quiesce.sh (остановка/возврат посторонних контейнеров хоста), restart.sh перезапускает и LB, scripts/app-e2e.sh (host-side e2e через loopback-порты). - Makefile: stand-up/down/status, stand-replica, wait-ready, quiesce-up/down, test-e2e, test-failover-all, rolling-update, track1, evidence. - Dockerfile: ARG/ENV BUILD_ID для доказательства rolling update. Проверено: make test, make test-e2e, make test-persistence (restart.sh), make test-failover (stop-one.sh, восстановление через start-replica.sh), make test-dependencies; docker inspect подтверждает NanoCpus/Memory и отсутствие опубликованных портов у api.Измерения (raw-файлы, сводки, отчёт): - контрольный A/B на бюджете по умолчанию (`abdiag`, 3+3 повтора): A упирается в 250 req/s и отдаёт 503 `unavailable` (4/894/2813 на 300/350/400), B держит 398.7 req/s без единого 5xx; - блок «почему» на одном темпе (900 и 1500 req/s, 2 повтора x 5 конфигураций): перераспределение того же бюджета не меняет потолок (820–854 req/s), разделение бюджета между репликами поднимает время горячего оператора с 1.56 до 17.3–17.9 ms, ожидания `LWLock:WALWrite`/`Lock:transactionid` общие для всех реплик; - колено текущей сборки (900–2200 req/s, N=1 и N=4): ≈1200 req/s против ≈700 у серии A, за коленом одна реплика с полным бюджетом не хуже четырёх; - пара прогонов HAProxy 0.25 против 1.0 CPU на 1500 req/s: результат одинаков, при квоте 1.0 балансировщик использует те же 25 % ядра. Харнесс `scripts/lab3/lab3.py`: - `--loadgen-memory` для подкоманды `run` (прогон колена падал на разборе аргументов); - суффикс вывода A/B для контрольной серии (`summary-ab-abdiag.md`, `ab-verdict-abdiag.json`); - исправлено затенение `header()` локальной переменной в `cmd_check`, из-за которого падала проверка `check spread`; - сэмплер: классы ответов LB (`hrsp_*`), ожидания сессий PostgreSQL (`wait_event`), операторы `idempotency_keys` в дельтах `pg_stat_statements`. Доказательства и документы: пересняты `evidence/level3/{smoke,persistence}` и `evidence/level4/{dependency-faults,spread,idempotency-concurrency}`, обновлены сводки и графики `evidence/track1/*`, `evidence/README.md` (метки и состав сводок), `REPORT.md` (разбор отказов стороны A, бюджет серии, оговорки о валидности данных, точные команды воспроизведения, «почему» закрыто измерением).Ошибки аналитики:
Существенный дефект: запретить PostgreSQL-соединения только от одной API и завершить её существующие подключения. Через четыре секунды:
Ожидается исключение неготовой реплики. Причина — проба LB проверяет только drain: app/src/health/health.service.ts:25, infra/haproxy/haproxy.cfg:44.
Что исправлено по замечаниям
1. achieved_rps включал неуспешные ответы
successful_rps считает только ответы ожидаемого класса и используется во всех таблицах, процентах, потолках, сатурации и Δ A/B.
attempted_rps считает все ответы и остаётся диагностикой.
2. growth.png смешивал несопоставимые точки
прошедшая проверку, уходит в «Вне сравнения» с причиной.
цветом и маркером (раньше 19 серий делили 10 цветов).
3. Пробой LB не исключалась реплика с потерянным путём к БД
снимал все слоты).
Принято. Закрываю МР.
Pull request closed