Commit Graph
7 Commits
Author SHA1 Message Date
ilya.tyunin b7cf7b2d3f Дополнить доказательства трека 1 по замечаниям ревью
Измерения (raw-файлы, сводки, отчёт):
- контрольный A/B на бюджете по умолчанию (`abdiag`, 3+3 повтора): A упирается в
  250 req/s и отдаёт 503 `unavailable` (4/894/2813 на 300/350/400), B держит
  398.7 req/s без единого 5xx;
- блок «почему» на одном темпе (900 и 1500 req/s, 2 повтора x 5 конфигураций):
  перераспределение того же бюджета не меняет потолок (820–854 req/s), разделение
  бюджета между репликами поднимает время горячего оператора с 1.56 до 17.3–17.9 ms,
  ожидания `LWLock:WALWrite`/`Lock:transactionid` общие для всех реплик;
- колено текущей сборки (900–2200 req/s, N=1 и N=4): ≈1200 req/s против ≈700 у
  серии A, за коленом одна реплика с полным бюджетом не хуже четырёх;
- пара прогонов HAProxy 0.25 против 1.0 CPU на 1500 req/s: результат одинаков,
  при квоте 1.0 балансировщик использует те же 25 % ядра.

Харнесс `scripts/lab3/lab3.py`:
- `--loadgen-memory` для подкоманды `run` (прогон колена падал на разборе аргументов);
- суффикс вывода A/B для контрольной серии (`summary-ab-abdiag.md`, `ab-verdict-abdiag.json`);
- исправлено затенение `header()` локальной переменной в `cmd_check`, из-за которого
  падала проверка `check spread`;
- сэмплер: классы ответов LB (`hrsp_*`), ожидания сессий PostgreSQL (`wait_event`),
  операторы `idempotency_keys` в дельтах `pg_stat_statements`.

Доказательства и документы: пересняты `evidence/level3/{smoke,persistence}` и
`evidence/level4/{dependency-faults,spread,idempotency-concurrency}`, обновлены
сводки и графики `evidence/track1/*`, `evidence/README.md` (метки и состав сводок),
`REPORT.md` (разбор отказов стороны A, бюджет серии, оговорки о валидности данных,
точные команды воспроизведения, «почему» закрыто измерением).
2026-10-16 03:01:14 +03:00
ilya.tyunin 2950b77967 lab3: evidence, отчёт и документация (C5)
- REPORT.md: запуск из чистого clone, архитектура и решения, таблица доказательств
  по каждому заявленному критерию, методика экспериментов, гипотезы H1–H5,
  результаты серии A (1/2/4 реплики), диагностики горячего чата и пути чтения,
  серии роста ресурсов, A/B улучшения и таблица отказов, ограничения и следующие шаги.
- evidence/: индекс (README.md), level3 (smoke, persistence, failover по каждой
  реплике с переходами статусов LB) и level4 (spread, идемпотентность, failover
  каждой реплики под нагрузкой, rolling update, отказы зависимостей, лимиты и
  порты) плюс raw-данные трека 1: сводки k6, сжатые потоки сэмплера, манифесты
  условий измерения, таблицы и графики.
- app/README.md и infra/README.md: LB и реплики, семантика Idempotency-Key,
  /internal/lb-check, переменные окружения, дрейн по SIGTERM, харнесс.
- .env.example приведён к реальной конфигурации (убраны SESSION_STORE/CACHE_URL_FILE,
  добавлены DATABASE_URL/REDIS_URL/лимиты стенда/BUILD_ID и т.д.);
  .lab3-quiesce.json добавлен в .gitignore.
2026-10-15 23:14:20 +03:00
ilya.tyunin 5a5a8fe5cb lab3: путь записи сообщения одним оператором (C2)
Владелец ключа идемпотентности больше не оркестрируется в приложении: проверка
членства, заявка ключа, вставка сообщения, инкремент версии чата (якорь
инвалидации кэша) и сохранение тела ответа выполняются одним оператором SQL,
атомарность которого обеспечивает сам оператор.

- messages.repository: createOnce() одним запросом вместо трёх (проверка
  членства + INSERT + UPDATE version) и явной транзакции; тело ответа строится
  в SQL и служит источником истины и для первого ответа, и для повторов.
- idempotency.repository: read() читает сохранённый ответ вместе с повторной
  проверкой доступа, delete/purge не изменились; claim/store внутри транзакции
  больше не нужны.
- messages.service: без DatabaseClient и без предварительного chatsService.
  getForUser в пути записи; ключ обязателен, тело проверяется до обращения к БД,
  просроченный ключ освобождается и занимается заново.

Итог: 1 round trip на запись вместо 8 и 2 вместо 3 на повтор; короче удержание
блокировки строки chats, что и проверяется A/B на профиле горячего чата.

Проверено: npm run build, tsc, unit-тесты, lint, публичный smoke и black-box
набор приложения (включая конкурентный повтор с одним ключом) на стенде с
образом mtusi-messenger:lab3-after.
2026-10-15 22:48:22 +03:00
ilya.tyunin 410e1ea3ad lab3: харнесс экспериментов (k6, сэмплер, анализ) и операторские цели Makefile
- scripts/load/common.js + write-ladder.js + write-steady.js: лестница плоских
  полок constant-arrival-rate, пошаговые счётчики/тренды (k6 не создаёт
  подметрики произвольных тегов), подготовка синтетических пользователей и
  чатов, сводка JSON в stdout без файлов из контейнера; MODE=write|read.
- scripts/lab3/lab3.py (stdlib): stand, check (spread/instances/idempotency),
  run, sweep, growth, failover, rolling-update, ab, analyze, quiesce, track1.
  Сэмплер: docker stats (--no-stream, поток склеивает JSON и печатает ANSI),
  HAProxy stats CSV (заголовок помечен '#'), /internal/metrics каждой реплики,
  pg_stat_database/pg_stat_activity/pg_stat_statements, фон хоста. raw:
  <label>.k6.json, <label>.samples.jsonl.gz, <label>.manifest.json.
- Анализ: таблицы по каждому прогону, серия A, диагностика, рост, A/B и
  графики (throughput, latency/errors, VU генератора, CPU контейнеров во
  времени, распределение по слотам LB, рост, A/B с min..max).

Проверено: analyze на пустом каталоге не падает; повторный analyze даёт те же
числа; прогон run --label smoke-p-a (30 s, 100 req/s) — 100.03 достигнутых
req/s, 0 ошибок, 795 сэмплов, графики и таблицы непустые.
2026-10-15 21:25:03 +03:00
ilya.tyunin 917ed1a734 lab3: стенд HAProxy + реплики под compose, лимиты, хуки остановки и квиесценции
- compose.yaml: проект mtusi-lab3, HAProxy как единственная точка входа,
  deploy.replicas ${API_REPLICAS:-2}, CPU/RAM-лимиты на каждый сервис,
  stop_grace_period 20s, лимиты из переменных (API_CPUS_PER_REPLICA и т.д.),
  loopback-порты PostgreSQL/Redis только для операторских проверок; у API
  портов нет; container_name нигде не задан.
- infra/haproxy/haproxy.cfg: проба GET /internal/lb-check, inter 500ms/fall 2
  (~1s обнаружение), server-template + DNS Docker вместо статического списка,
  stats на 127.0.0.1:8404.
- Дрейн: SIGTERM -> реплика сразу перестаёт проходить пробу LB -> пауза
  DRAIN_DELAY_MS -> закрытие сервера и пулов. Nest уничтожает провайдеров
  раньше beforeApplicationShutdown, поэтому последовательность вынесена в
  main.ts, а HealthService отвечает только за флаг not-ready.
- scripts/stop-one.sh (остановка ровно одной реплики по X-Instance-Id),
  scripts/start-replica.sh (восстановление до API_REPLICAS), scripts/quiesce.sh
  (остановка/возврат посторонних контейнеров хоста), restart.sh перезапускает
  и LB, scripts/app-e2e.sh (host-side e2e через loopback-порты).
- Makefile: stand-up/down/status, stand-replica, wait-ready, quiesce-up/down,
  test-e2e, test-failover-all, rolling-update, track1, evidence.
- Dockerfile: ARG/ENV BUILD_ID для доказательства rolling update.

Проверено: make test, make test-e2e, make test-persistence (restart.sh),
make test-failover (stop-one.sh, восстановление через start-replica.sh),
make test-dependencies; docker inspect подтверждает NanoCpus/Memory и
отсутствие опубликованных портов у api.
2026-10-15 21:14:17 +03:00
ilya.tyunin e9cd28d6ba lab3: идентичность реплики, LB-проверка и общая идемпотентность отправки
Этот коммит впервые фиксирует порт lab2 (приложение NestJS+Fastify, Dockerfile,
одноservice-стенд compose, restart hook) и добавляет уровень 3/4 по lab3:

- X-Instance-Id = INSTANCE_ID либо hostname контейнера (стабилен для процесса),
  добавляется и в ответах об ошибках, которые формируются до интерсептора.
- /internal/lb-check: проба LB, намеренно не зависящая от PostgreSQL и Redis
  (отказ общей БД нельзя лечить выводом реплик из ротации); /health/ready
  остаётся операторским сигналом. /internal/metrics отдаёт instance_id и build_id.
- Общая идемпотентность POST сообщения: таблица idempotency_keys, область
  (user, method, path, key), канонический отпечаток тела, заявка+результат в
  одной транзакции, повтор возвращает сохранённый ответ, другое тело — 409,
  отсутствие/неверный ключ — 400, просрочка по IDEMPOTENCY_TTL_SECONDS.
- Транзиентные коды PostgreSQL (57014/40001/40P01) отображаются в 503, чтобы
  прерывание не фиксировалось идемпотентной записью как окончательный результат.
- Миграции 003 (идемпотентность) и 004 (pg_stat_statements для трека 1),
  операторский прогон GC: npm run idempotency:gc.
2026-10-15 21:09:23 +03:00
Mikhail Verkovykh 0ab3a341aa Подготовить skeleton лабораторной 3 по мессенджеру 2026-09-10 18:01:35 +03:00