docs: capture lab 6 exclusion evidence, full checks and final report

Coverage-exclusion evidence on the lab 6 stand (db3340d), failure checks,
isolated and LB test runs, clean clone and secrets check; fill REPORT.md
from the skeleton template, drop PLAN.md (last version db3340d).

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
2026-11-15 10:35:25 +03:00
co-authored by Claude Opus 5.5
parent db3340d811
commit 6c6e6d5192
20 changed files with 959 additions and 244 deletions
+14 -5
View File
@@ -9,7 +9,9 @@ SDK OpenTelemetry в API и worker, отдельный OTel Collector, хран
`contracts/infrastructure.json`, `infra/otel/README.md`). Цель — оценка 5,
трек 1 «Цена наблюдаемости»; хранилища — Prometheus (метрики), Loki
(логи), Tempo (трассы), интерфейс — Grafana (решения пользователя
2026-11-11). План изменений лабы и развилки — `PLAN.md`. Решения, принятые
2026-11-11). Рабочий план лабы (`PLAN.md`) удалён после закрытия всех changes и
последнего шага: итоги — в `REPORT.md`, последняя версия плана — `git show
db3340d:PLAN.md`. Решения, принятые
без пользователя, и открытые вопросы —
`QUESTIONS.md`. Первое изменение лабы, наблюдаемость (уровень 3) — change
`otel-telemetry` (заархивирован 2026-11-11,
@@ -71,7 +73,14 @@ histogram — поля `[telemetry] trace_sample_ratio`, `metric_buckets` (по
`bench_queue`; сбалансированная конфигурация — `bench/otel/` (рабочий стенд остаётся со всеми
трассами); гипотезы H1–H8 и критерии B1–B5 — `REPORT.md`, «Цена наблюдаемости (трек 1)».
Гипотезы — commit `509afca`, метка `evidence/telemetry-cost/baseline2/` снята на коде `68e14b6`
(каталог — commit `0f5dbfc`), правки verify — commit `56132c7`.
(каталог — commit `0f5dbfc`), правки verify — commit `56132c7`. Последний шаг лабы (без
change, ветка `feat/lab6-final`): метки `make bench_uploads TELEMETRY=on` →
`evidence/uploads/baseline/` и `make bench_queue TELEMETRY=on QUEUE_LABEL=baseline4` →
`evidence/queue/baseline4/` (код `b3a5ab8`, каталоги — commit `db3340d`; у очереди
`dirty: true` — `QUESTIONS.md`, `## Последний шаг`), файлы исключений сверки покрытия и
полные проверки на `db3340d` (`evidence/cache/`, `auth/`, `attachments/`, `broker/`,
`idempotency/`, `replicas/`, `failover/`, `tests/`), проверка из чистого clone, CI на Gitea,
`REPORT.md` целиком; `make student_test` через LB зелёный.
Код перенесён из лабы 5 (репозиторий
`mtusi2026lab5-safronov`, ветка `solution/bvt2301-safronov`, commit
`046ec9e`) по разделу «Переход в следующую лабу»; отчёт и evidence лабы 5
@@ -772,7 +781,7 @@ evidence/storage/ # отказы БД, пул, statement_timeout, р
evidence/migrations/ # миграции с нуля и повторно, ошибка миграции; лаба 4: pending-index.md (ревизия 739b8f04d5fb с нуля, повтор, откат, EXPLAIN общего плана кандидатов уборщика на рабочей базе с откатом, rollout_quick), lost-at.md (ревизия 5c3e1f0a9b7d колонки lost_at: с нуля, повтор, откат, --sql с lock_timeout, make rolling_update с ревизией до и после)
evidence/auth/ # passwords-and-tokens.md — driver.py auth-storage на стенде текущей лабы: Argon2id в users, SHA-256 токена в sessions, ни токена, ни пароля в pg_dump (исключения сверки покрытия)
evidence/cache/ # hits.md — make test_isolated + driver.py cache-check на стенде текущей лабы: одно чтение chats на 50 через LB, TTL, ключи двух баз (исключения сверки покрытия)
evidence/tests/ # change unit-of-work: service-tests.md (make service_test и service_test_db, таблица регрессий); выводы make test_isolated (test-isolated.md), make student_test через LB (student-test-lb.md) и make failure_checks (failure-checks.md) для REPORT.md, secrets.md; файлы этих проверок лаб 3 и 4 — в их репозиториях
evidence/tests/ # последний шаг лабы 6 (db3340d): service-tests.md (make service_test и service_test_db), test-isolated.md, student-test-lb.md, failure-checks.md, final-checks.md (check, validate, lint, alerts_test), secrets.md, clean-clone.md (git clone, make run_docker своим проектом на нестандартных портах), ci-application.md (прогон .github/workflows/application.yml на Gitea); файлы этих проверок лаб 3–5 — в их репозиториях
evidence/idempotency/ # повтор, 409, гонка, таблица ключей, X-Instance-Id
evidence/replicas/ # стенд с LB: порты, лимиты и их цена для Argon2id, окружение, распределение, ответы LB (нет реплик, зависшая, без PostgreSQL), test-persistence, чистый clone на нестандартных портах
evidence/failover/ # make test-failover для каждой реплики (stop и kill), отказы stop-one.sh; замер обнаружения, keep-alive, зависшая реплика и ключ; stop-at-start.md — docker stop стартующей реплики «до/после» раннего обработчика и ветка сбоя rolling-update.sh
@@ -783,9 +792,9 @@ evidence/bench/<метка>/ # результаты make bench / bench_rest
evidence/bench/scaling-*/ # серии трека 1 (a, b, pool, A/A scaling-aa, db — насыщение PostgreSQL; db4 — «до/после» пула без переполнения: scaling-db-aa*, -before*, -nooverflow*, окончательные — с суффиксом 2): паспорт с планом, бюджетом и лимитами по конфигурациям, runs.csv (строка на ступень), searches.csv (строка на ячейку), samples.csv (посекундно в окнах), summary.md, p95-by-rate.svg, cpu-by-component.svg, итоги k6 ступеней и журналы 5xx
evidence/plots/scaling/ # make bench_plots по сериям a и b: графики SVG и summary.md (R*, эффективность, точка насыщения, цена запроса, память)
evidence/plots/scaling-db/ # make bench_plots по серии db: R* по лимитам PostgreSQL и раздел «Насыщение PostgreSQL»
evidence/queue/<метка>/ # результаты make bench_queue (change track1-queue-overload): meta.json (классы, план, окна, app_env по конфигурациям), cells.csv, timeline.csv, summary.md (H1–H9, рекомендация), SVG, raw/ — итоги k6
evidence/queue/<метка>/ # результаты make bench_queue (change track1-queue-overload): meta.json (классы, план, окна, app_env по конфигурациям), cells.csv, timeline.csv, summary.md (H1–H9, рекомендация), SVG, raw/ — итоги k6; в лабе 6 — baseline4 с TELEMETRY=on (код b3a5ab8, dirty: true — QUESTIONS.md, «Последний шаг»)
evidence/telemetry-cost/<метка>/ # результаты make bench_telemetry (change track1-telemetry-cost): meta.json (варианты с SHA-256 слоёв, план, интенсивности, окна, блокировки, app_env по вариантам, stand и stand_telemetry, limits_by_mode), runs.csv, components.csv, classes.csv, summary.md (H1–H8, B1–B5), cpu-by-group.svg, latency-light.svg, ingest.svg, traces-by-class.svg, raw/ — итоги k6 и выборки
evidence/uploads/ # change upload-memory: <метка>/ — make bench_uploads (meta.json, runs.csv, summary.md, raw/), lb-timeouts.md — driver.py lb-upload-timeouts, rollout-upload.md — медленная загрузка во время make rolling_update
evidence/uploads/ # change upload-memory: <метка>/ — make bench_uploads (meta.json, runs.csv, summary.md, raw/; в лабе 6 — baseline с TELEMETRY=on, код b3a5ab8), lb-timeouts.md — driver.py lb-upload-timeouts, rollout-upload.md — медленная загрузка во время make rolling_update
evidence/bench/unit-of-work-*/ # change unit-of-work, профиль quick с именной меткой (идёт в git): before и aa на b2fb88f, after на 6ba74b1
evidence/rollout/unit-of-work*/ # change unit-of-work: unit-of-work (замена с Profile.rollout_from), unit-of-work-previous (--from b2fb88f: CPU на запрос старых и новых реплик)
evidence/compare/ # таблицы make bench_compare: <до>__<после>.md; unit-of-work-before__unit-of-work-after.md и unit-of-work-aa__unit-of-work-after.md — цена шага от двух меток одного кода
-222
View File
@@ -1,222 +0,0 @@
# План лабы 6: наблюдаемость
Рабочий план изменений OpenSpec лабы 6 для прогона `/openspec-cycle`. Задание —
`README.md`, сигналы — `contracts/observability.md`, роли —
`contracts/infrastructure.json`, что положить в `infra/` —
`infra/otel/README.md`. Перенос из лабы 5 и найденное при нём — `QUESTIONS.md`,
«Перенос из лабы 5». После закрытия всех changes план удаляется, итоги — в
`REPORT.md` (как в лабах 3 и 4).
## Что решает пользователь
Ответы записать в `QUESTIONS.md` («Ответы пользователя перед прогоном») и
передавать в промпт propose как решения, которые не пересматриваются.
| # | Решение | Рекомендация | Почему |
|---|---|---|---|
| 1 | Цель и трек 5 | **принято 2026-11-11:** 5, трек 1 «Цена наблюдаемости» | стенд `bench/` уже меряет latency (k6), CPU и память по контейнерам (сэмплер), сравнивает метки; трек 2 требует долгих окон burn-rate и долгих прогонов на ложные срабатывания, их честно не уменьшить до учебного стенда |
| 2 | Хранилища | **принято 2026-11-11:** Prometheus (метрики), Loki (логи), Tempo (трассы), отдельными сервисами | все три принимают OTLP, у каждого понятная роль и свой volume; `grafana/otel-lgtm` одним контейнером прячет Collector и хранилища, а рубрика требует отдельный Collector и объяснить каждое хранилище |
| 3 | Уровень 4 — один change или два | **принято 2026-11-11:** два — связь и насыщение, затем SLO, alerts и устойчивость | verify каждого уже; второй опирается на метрики первого. Цена — ещё один цикл из четырёх стадий |
| 4 | Что можно без пользователя | **принято 2026-11-11:** как в лабе 5: коммиты на `feat/<change>`, ff-merge в `solution/bvt2301-safronov`, архивация, зависимости и образы, стенд и замеры; push — в конце; PR не открывать | без разрешения на коммиты цикл идёт без них (скилл `openspec-cycle`) |
| 5 | Длинные замеры исключений (`bench_uploads` ~50 мин, `bench_queue` ~2 ч 10 мин) | **принято 2026-11-11:** в последнем шаге, на коде лабы 6 с **включённой** телеметрией на стенде `mtusi-bench` (уточнено 2026-11-11, вопрос 5 `## otel-telemetry`) | доказывают, что свойства лаб 4 и 5 сохранились вместе с телеметрией; снятые раньше пришлось бы снимать заново. Выключатель телеметрии `bench/` — из change 4 |
## Шаг 0. Перенос (без OpenSpec)
1. Сделано 2026-11-11: ветка `solution/bvt2301-safronov` от `main`, commit
переноса `9cc6c0c` (источник — `mtusi2026lab5-safronov`, `046ec9e`).
2. Сделано: commit «до» профилей `bench/` (`rollout_from`, `uploads_before`,
`reconcile_before`) → `9cc6c0c`, код успеха «до» у `uploads` — 202
(`QUESTIONS.md`).
3. `graphify update .` (граф локальный, в git не идёт).
4. Evidence исключений сверки покрытия — в последнем шаге (решение 5). До него
`make student_test` красный ровно одним `test_exclusion_evidence_exists` (10
файлов, `QUESTIONS.md`): в промпт apply и verify — «известно, не чинить».
## Changes
| # | Change | Уровень | Суть | Зависит от |
|---|---|---|---|---|
| 1 | `otel-telemetry` | 3 | Collector, Prometheus, Loki, Tempo, Grafana в стенде; SDK в API и worker; сигналы уровня 3; dashboard из provisioning; первый старт с нуля | шаг 0 |
| 2 | `job-trace-propagation` | 4 | W3C trace context API → outbox → relay → broker → worker; время до `ready`; очередь, возраст старейшей job, пул БД, saturation worker; p50/p95/p99 и доля ошибок | 1 |
| 3 | `slo-alerts` | 4 | SLI/SLO, alert rules с runbooks, проверка firing / resolved отказами; Collector и SDK с ограниченной памятью и очередью; отказ хранилища телеметрии; два инцидента | 2 |
| 4 | `track1-telemetry-cost` | 5 | цена телеметрии и потери при sampling (решение 1) | 3 |
| — | последний шаг | — | evidence исключений, полные проверки, `REPORT.md` | 4 |
### 1. `otel-telemetry` (уровень 3)
**Входит:**
- Стенд: отдельный OTel Collector (`infra/otel/collector.yaml`: OTLP receivers
на внутренней сети, `memory_limiter` и `batch` уже здесь, три pipeline на
реальные хранилища), Prometheus, Loki, Tempo с persistent volumes и
ограниченным сроком хранения, Grafana с provisioning datasources и dashboards
и dashboard JSON в git, порт Grafana только на `127.0.0.1`, пароль
администратора — случайный из `make env_setup`. Образы — тег и digest индекса,
лимиты CPU/RAM у всех, healthcheck, секреты по сервисам (`docker.md`).
- SDK в API (все реплики) и worker: resource attributes `service.name`
(`messenger-api`, `messenger-worker`), `service.version`, `service.instance.id`
(= `instance_id`, `X-Instance-Id`), `deployment.environment.name=lab`; OTLP
`http/protobuf` в Collector. Соответствие имён skeleton `OTEL_*` настройкам —
`.env.example`, `settings.md`, `REPORT.md`.
- Сигналы уровня 3 (`contracts/observability.md`): HTTP requests (method, route
template, status class) и duration histogram в секундах с границами под
ожидаемые задержки; jobs processed / failed и job duration (job type, outcome);
структурные логи с `trace_id` / `span_id`, severity, `service.name`, event —
stdout JSON остаётся; трассы — server spans API, consumer span worker, дочерние
spans БД, S3 и процесса обработки.
- Запреты: `user_id`, `chat_id`, `message_id`, `attachment_id`, `request_id`,
raw URL, `filename`, текст — не labels метрик; `Authorization`, пароль, токен,
`Idempotency-Key`, тела, байты, подписи S3 — нигде в telemetry (`logging.md`,
«Чего в логах быть не должно»).
- Dashboard уровня 3: RPS, ошибки и duration API, успешные и ошибочные jobs,
duration worker; переход лог ↔ трасса по `trace_id`.
- Проверка «свой запрос найден»: команда драйвера (рабочее имя
`telemetry-check`) — запрос с известным `X-Request-Id` → лог в Loki → `trace_id`
→ трасса в Tempo; upload → trace и лог worker. Проба приватности: маркеры пароля,
токена и текста теста в Loki и Tempo не находятся.
- Исправление `KNOWN_ISSUES.md` «Первый старт RabbitMQ на пустом volume» и
сценарий «стенд с нуля одной командой»: `make run_docker` на пустых volumes,
дважды подряд, включая новые хранилища (у non-root образов на именованных
volumes бывают те же права).
- Override CI (`.github/ci/compose.yml`, `stand-env.sh`): новые bind mount →
`configs`, без портов хоста.
- Стенд `bench/` и стенд отказов (`failure_checks`) не меняют прежних бюджетов:
телеметрия там выключена по умолчанию (`OTEL_SDK_DISABLED` или свой выбор), а
включается профилем. Иначе метки прежних профилей несравнимы, а сумма лимитов
`bench/` упрётся в ВМ. Выключатель SDK нужен и треку 1 (вариант off).
- `make test` проходит при включённой телеметрии; назначение каждого хранилища и
соответствие имён SDK ↔ Prometheus — в `REPORT.md`.
**Не входит:** перенос контекста через брокер, метрики очереди, пула и
saturation, alerts, SLO, настройка backpressure сверх базовых `memory_limiter` и
`batch`.
**Развилки для design** (решает propose, записывает в design):
- путь логов: OTLP из SDK (мост structlog / stdlib → `LoggingHandler`) или
`filelog` Collector по журналам Docker (на Docker Desktop журналы внутри ВМ);
рекомендация — SDK;
- путь метрик в Prometheus: OTLP receiver Prometheus, `prometheusremotewrite` или
scrape `prometheus` exporter Collector — от него зависят имена, суффиксы единиц
и какие resource attributes становятся labels;
- дистрибутив Collector: `tail_sampling` трека 1 есть только в contrib; с
выбранным треком 1 рекомендация — contrib с первого change, чтобы варианты
трека отличались настройкой, а не сборкой Collector;
- автоинструментирование (FastAPI/ASGI без заголовков и health, SQLAlchemy async,
redis, aio-pika) или ручные spans; S3 — ручной span в `ObjectStorage._call`
(единственная точка вызова);
- relay и cleaner: SDK сразу или в change 2 (relay нужен там для publish span);
- `scripts/restart.sh`: перезапускать ли хранилища телеметрии («все хранилища»
restart hook — про бизнес-данные);
- бюджет ВМ: Docker Desktop — 12 CPU, 7,75 GiB; лимиты стенда сейчас 9,0 CPU /
4992 МБ постоянных (`docker.md`); пять новых сервисов дадут ~11–12 CPU и ~7 ГБ —
сумма и решение в `REPORT.md`.
**Проверки:** `make lint`, `make service_test`, `make service_test_db`, `make test`
и `make student_test` на стенде с телеметрией, `make test_isolated`, `make
failure_checks`, `docker compose config --quiet`, стенд с нуля, evidence
`telemetry-check` и пробы приватности, provisioning без ручного импорта (Grafana
API: datasources и dashboard на месте после старта).
### 2. `job-trace-propagation` (уровень 4, часть 1)
**Входит:**
- W3C `traceparent` / `tracestate`: контекст span загрузки сохраняется вместе с
намерением задания (`attachment_jobs`, миграция только расширяет схему,
`migrations.md`), relay публикует с заголовками и publish span, worker
извлекает контекст — consumer / process span с parent или link по выбранной
semantic conventions messaging (выбор и почему — в design). Каждая попытка и
replay видны; по одному upload — цепочка до записи S3 и фиксации в БД, включая
retry (команда драйвера, рабочее имя `trace-chain`, с вынужденной повторной
попыткой).
- Метрики: end-to-end время до `ready` (от фиксации `queued` до фиксации `ready`,
histogram); queue depth и возраст старейшей незавершённой job (секунды) из
одного источника — не по разу на реплику API; DB pool used / waiting по
процессам; worker busy / capacity; CPU и RAM процессов или контейнеров (если
Collector читает `docker.sock` — это цена безопасности, назвать).
- Dashboard уровня 4: p50 / p95 / p99 через `histogram_quantile` по сумме buckets
всех реплик (не среднее p99), доля ошибок с заранее определёнными числителем и
знаменателем (5xx / бизнес-запросы без health; 4xx клиента отдельно),
очередь и возраст, пул, saturation; запросы и единицы — в `REPORT.md`.
**Не входит:** alerts, SLO, устойчивость телеметрии.
**Развилки:** parent или link у consumer (outbox разрывает синхронную цепочку:
publish идёт в другом процессе и позже); источник очереди — relay
(единственный, уже считает `published_backlog`), receiver Collector или
метрики брокера; смесь версий при `make rolling_update` — строки задания без
контекста у прежних реплик.
### 3. `slo-alerts` (уровень 4, часть 2)
**Входит:**
- Проверяемый SLI/SLO и окно: API (доступность и latency) и время до `ready`,
формула PromQL.
- Alert rules в git — минимум высокий error rate и растущий queue lag: условие,
окно, порог, `for`, описание, ссылка на локальный runbook. Проверка искусственным
отказом: остановить worker → firing → запустить → resolved; медленная или
недоступная БД → firing → resolved; состояние из API Prometheus / Grafana с
временем — в evidence. Доставка наружу не нужна.
- Collector: `memory_limiter`, `batch`, ограниченная `sending_queue`,
`retry_on_failure` с пределом времени; SDK — ограниченные очереди и сроки
экспорта. Остановка каждого хранилища телеметрии и самого Collector: API и
worker работают (`make test`), память Collector и API ограничена (замер), потери
посчитаны (собственные метрики Collector `otelcol_exporter_send_failed_*`,
`otelcol_exporter_enqueue_failed_*`, отказы `memory_limiter`) и объяснены.
- Два инцидента в `REPORT.md` с шагами диагностики только по сохранённым
наблюдениям: (1) остановлен worker — растёт возраст задач; (2) медленная или
недоступная БД отличается от медленного handler по трассам и метрикам. Третий —
недоступность хранилища телеметрии.
**Развилки:** правила Prometheus или Grafana-managed alerts (рекомендация —
правила Prometheus: файл в git, `promtool test rules`); нужен ли Alertmanager
(доставка не нужна — состояние firing / resolved видно без него).
### 4. `track1-telemetry-cost` (уровень 5, решение 1)
Профиль `telemetry` стенда `bench/`: одинаковая открытая нагрузка (смесь API и
загрузок ниже насыщения), варианты — телеметрия выключена, полная (100 %
трасс), head sampling (`parentbased_traceidratio`), tail sampling в Collector
(ошибки, медленные, доля остальных), вариант агрегации метрик (интервал
экспорта, границы buckets, лишние инструменты). Меряется p50 / p95 / p99, CPU и
RAM API, worker, Collector и хранилищ, объём ingest (метрики Collector, рост
хранилищ), потери spans. Редкие ошибки и медленные запросы вносятся с известным
числом — по ним видно, что теряет каждый вариант. Гипотезы закоммичены до метки,
повторы, A/A, сбалансированная конфигурация предложена и проверена, ограничения
названы (`bench.md`). Включение телеметрии на стенде `mtusi-bench` (SDK, Collector,
хранилища) делается не только для профиля `telemetry`: им пользуются `bench_uploads`
и `bench_queue` последнего шага (решение 5), бюджет ВМ — с ним.
Трек 2 «SLO и обнаружение инцидентов» не выбран (решение 1): burn-rate alerts
с несколькими окнами в changes не входят, alerts уровня 4 — пороговые
(change 3).
### Последний шаг (без отдельного change)
- Evidence исключений сверки покрытия на стенде лабы 6 и коде с телеметрией:
10 файлов из `QUESTIONS.md` (`make test_isolated` и `driver.py cache-check
--require-test-keys`, `auth-storage`, `make test-persistence`, повтор после
`--force-recreate api`, `attachment-failover` оба режима, `attachment-storage`,
`broker-check` и `--require-test-queue`, `make bench_uploads`, `make
bench_queue` — оба с включённой телеметрией, решение 5) и новые исключения
changes лабы 6. Метка очереди: исключение
называет `baseline4` — новая метка с тем же именем или правка текста исключения
на новую (решить там, назвать в `QUESTIONS.md`).
- Полные `make failure_checks`, `make test_isolated`, `make student_test` через
LB, `make test-persistence`, `make test-failover` (stop и kill), CI на Gitea,
проверка из чистого clone, `REPORT.md` целиком (шаблон skeleton), секреты в
evidence — проверка.
- Push ветки решения — по разрешению; PR — только по отдельной просьбе.
## Запуск
- Каждый change — `/openspec-cycle <change>`: propose (max) → apply (high) →
verify (xhigh) → правки → archive (high), обычно 4 шага; ветка
`feat/<change>` от `solution/bvt2301-safronov`, ff-merge обратно.
- В промпт propose — раздел change отсюда и ответы пользователя; развилки
решает design, а не этот план.
- В промпт apply и verify: `test_exclusion_evidence_exists` красный до
последнего шага — известно; стенд проекта `mtusi-lab6`; рабочий стенд перед
`bench/` — `make stop`.
+21 -3
View File
@@ -2,8 +2,9 @@
Решения, принятые без пользователя, и вопросы, которые не блокируют работу.
Раздел на каждый change: `## <change>`, внутри «Решения» и «Вопросы».
Вопросы преподавателю дублируются в `REPORT.md`. План изменений лабы —
`PLAN.md`.
Вопросы преподавателю дублируются в `REPORT.md`. План изменений лабы (`PLAN.md`)
удалён после последнего шага, последняя версия — `git show db3340d:PLAN.md`; ссылки на
него ниже — на эту версию.
## Ответы пользователя перед прогоном (2026-11-11)
@@ -564,9 +565,26 @@ Change `openspec/changes/archive/2026-11-15-track1-telemetry-cost/` (propose 202
лимита во всех повторах, отношение длительностей 0,869 при пороге 1,5. В лабе 5 на той же ячейке условие тоже было
неустойчивым (`baseline3` — H2 «нет»); с телеметрией перезапусков больше (13 против 5 у `baseline4` лабы 5), у
lp-c4p4-r3 — пометка `failed` (задания `retry_exhausted`). Рекомендация правила прежняя — (2, 2).
- **Доказательства исключений и полные проверки — на `db3340d`** при дереве без правок кода (менялись только документы и
`evidence/`), рабочий стенд `make run_docker` с включённой телеметрией. Порядок вынужденный: `make test_isolated` до появления
файлов исключений красный ровно одним `test_exclusion_evidence_exists`, поэтому прогонов три — два в последовательности
`evidence/broker/isolated.md` и третий зелёный (`evidence/tests/test-isolated.md`). Повтор после `--force-recreate api` выполнил
разовый скрипт на stdlib вне репозитория (как в лабе 5): шаги перечислены в шапке файла.
- **`make test-failover` `kill` — `failed_attempts` 1** при PASS: запись была в полёте на убитой реплике, проверка повторила её
с тем же ключом, дубля нет (в лабе 5 — 0). Не дефект: LB не повторяет отправленный `POST` (`balancer.md`).
- **Проверка из чистого clone — клон `db3340d`**, проект `mtusi-lab6-clonecheck` рядом с рабочим стендом на своих портах;
`make student_test` в нём — 1 failed (`test_exclusion_evidence_exists`): файлы исключений этого шага ещё не закоммичены.
Уборка — `docker compose down` и `docker volume rm` шести volumes клона по имени: `down -v` запрещён настройками, а
volumes рабочего стенда это имя не задевает. `driver.py stand-from-scratch` не перезапускался (вопрос 8 `## otel-telemetry` ждёт
пользователя): «стенд с нуля одной командой» на закоммиченном коде показывает чистый clone.
- **`PLAN.md` удалён** по его правилу (итоги — `REPORT.md`), последняя версия — `git show db3340d:PLAN.md` (файл не менялся с
`db3340d`); ссылка — в `AGENTS.md`, этом файле и шапке `REPORT.md`.
- **Хост в перерыве.** Агент продолжил после сброса лимита основной сессии; контейнеры `domains-*` к этому моменту уже
запустила команда замера (последний шаг цепочки).
### Вопросы
Пока нет.
1. Пользователю: переснять ли метку `evidence/queue/baseline4/` на чистом дереве (`dirty: true`, разбор — «Решения»)?
По умолчанию — нет: код тот же `b3a5ab8`, а изменённые файлы (`REPORT.md`, незакоммиченный каталог метки загрузок)
образ и `bench/` не читают. Ответ «да» — ~2 ч 20 мин хоста. Каталог удаляется и снимается заново под тем же именем:
его называют исключения `queue-overload`. Затем переносятся числа в `REPORT.md`.
+192 -14
View File
@@ -1,13 +1,81 @@
# Отчёт — лабораторная 6
- Автор, группа: TODO
- Целевая оценка; выбранный трек 5, если нужен: TODO
- Commit/PR: TODO после публикации
- Использованные источники, библиотеки и помощь ИИ: TODO
- Автор, группа: Сафронов Роман Николаевич, БВТ2301
- Целевая оценка; выбранный трек 5: оценка 5, трек 1 «Цена наблюдаемости»
- Состояние отчёта: закрыты **уровень 3** (change `otel-telemetry`), **уровень 4** (`job-trace-propagation`, `slo-alerts`) и
**уровень 5, трек 1** (`track1-telemetry-cost`); последний шаг — доказательства исключений сверки покрытия на стенде этой лабы,
полные проверки, проверка из чистого clone, CI. Рабочий план лабы удалён после закрытия всех changes, последняя версия —
`git show db3340d:PLAN.md`
- Ветка решения: `solution/bvt2301-safronov`, в неё по очереди влиты `feat/otel-telemetry`, `feat/job-trace-propagation`,
`feat/slo-alerts`, `feat/track1-telemetry-cost` и `feat/lab6-final`
- Commit: код последнего change — `56132c7` (правки verify трека 1), метки последнего шага — код `b3a5ab8`, каталоги — `db3340d`,
доказательства последнего шага — `db3340d`; снятое на других commit названо в разделе доказательств и в шапке каждого файла
- PR: по шаблону `.github/pull_request_template.md`, заголовок `ЛР 6 — БВТ2301 — Сафронов — на 5`; номер — после публикации
- Согласования с преподавателем: три договорённости лаб 1–4 действуют, новых в лабе 6 нет. Открытые вопросы преподавателю —
10 новых и перенесённые, раздел «Открытые вопросы преподавателю»; решения без пользователя — `QUESTIONS.md`
- Использованные источники, библиотеки и помощь ИИ — последний раздел
## Запуск из чистого clone
TODO: версии runtime/образов, prerequisites, команды создания локальных secrets/.env, build, миграций, запуска, ожидания готовности, тестов и остановки. Указать необходимые действия оператора. Не вставлять секреты. Отдельно указать безопасную остановку и команду намеренного удаления учебных данных.
**Версии.** Образ API: `python:3.12.14-slim-trixie`, uv 0.12.17. LB: `haproxy:3.4.6-trixie`. PostgreSQL: `postgres:18.6-trixie`.
Valkey: `valkey/valkey:9.1.2-trixie`. S3: `chrislusf/seaweedfs:4.48`. Брокер: `rabbitmq:4.3.7`. Телеметрия:
`otel/opentelemetry-collector-contrib:0.164.0`, `prom/prometheus:v3.15.1`, `grafana/loki:3.7.9`, `grafana/tempo:3.1.1`,
`grafana/grafana:13.3.1`. Все закреплены тегом и digest в `Dockerfile` и `docker-compose.yml`. Приложение: Python 3.12, FastAPI,
OpenTelemetry SDK 1.45.2; остальное строго по `uv.lock`. Проверено на Docker 29.9.2, Compose 5.6.1, macOS на Apple M3 Pro; ВМ
Docker Desktop — 12 CPU / 12 ГБ (сумма лимитов стенда — раздел «Сервисы стенда и лимиты»).
**Нужно на машине:** Docker с BuildKit и Compose v2, `make`, `openssl`, `curl`, `python3` 3.9+ (публичные проверки и драйвер
скилла), uv (`make validate`, `make student_test`, `make test_isolated`, `make failure_checks`, `make bench*`, `make run_dev`).
Свободные порты `127.0.0.1`: 8080 (LB), 3000 (Grafana), 5433 (PostgreSQL), 6380 (Valkey), 8334 (S3), 5673 (AMQP), 18088
(`make test_isolated`). Другой порт — аргументом make (`make run_docker APP_OUT_PORT=8090`) или строкой в `.env` до
`make env_setup`; другой проект compose — `COMPOSE_PROJECT_NAME` в `.env`.
**Действий оператора нет.** `make env_setup` создаёт `.env` и `config.toml` из шаблонов, подставляет случайные пароли, ключи S3 и
`GRAFANA_ADMIN_PASSWORD` и печатает только имена; в существующий `.env` дописывает недостающие переменные, прежние строки не
меняет. Миграции применяет одноразовый сервис `migrate`, bucket и пользователей S3 — `s3-bootstrap`; источники и dashboard
Grafana — provisioning из `infra/otel/grafana/` (ручного импорта нет).
### Способ 1: всё в compose — `make run_docker`
```sh
git clone <fork> && cd <каталог clone> && git checkout solution/bvt2301-safronov
make run_docker # env_setup + build + up -d: хранилища → migrate, s3-bootstrap → api × 2, relay, worker, cleaner → haproxy; рядом otel-collector, prometheus, loki, tempo, grafana
make replicas # дождаться healthy реплик; готовность стенда — haproxy (healthy) и /health/ready через LB
make check
uv sync && make validate PYTHON=.venv/bin/python
make test # публичный smoke с включённой телеметрией
make student_test
make test-persistence ACTION_SCRIPT=scripts/restart.sh
make test-failover ACTION_SCRIPT=scripts/stop-one.sh && make replicas
make alerts_test # правила Prometheus без стенда
python3 .claude/skills/run-mtusi-messenger/driver.py --port 8080 telemetry-check # свой запрос в Loki и Tempo, ~2 мин
python3 .claude/skills/run-mtusi-messenger/driver.py --port 8080 trace-chain # трасса загрузки с повтором, ~5 мин
python3 .claude/skills/run-mtusi-messenger/driver.py --port 8080 alerts-check # firing / resolved, ~25 мин
make failure_checks # отдельный стенд <проект>-failures, ~40 мин; рабочий стенд не трогается
```
Grafana — `http://127.0.0.1:3000`, пользователь `admin`, пароль — `GRAFANA_ADMIN_PASSWORD` из `.env`; dashboard «Messenger
overview» в папке Messenger. Проверка именно этих шагов из чистого clone — `evidence/tests/clean-clone.md`.
### Способ 2: сервис на хосте — `make run_dev`, `make run_worker`, `make run_relay`
```sh
make run_dev # терминал 1: PostgreSQL и миграции с хоста, Valkey, S3 с bootstrap, брокер в compose; API на 127.0.0.1:8080 с reload
make run_worker # терминал 2: worker на хосте
make run_relay # терминал 3: relay на хосте
curl -s http://127.0.0.1:8080/health/ready
make test
EXPECT_REPLICAS=1 make student_test
```
Консоль — без телеметрии (`telemetry_enabled: false` в записях о старте). Вариант README без make: `make env_setup`, `docker
compose --env-file .env config --quiet`, `docker compose --env-file .env up -d --build`.
### Остановка и удаление данных
- `make stop` — остановить контейнеры; `make down` — удалить контейнеры. Volumes `postgres_data`, `s3_data`, `rabbitmq_data`,
`prometheus_data`, `loki_data`, `tempo_data` остаются.
- `make wipe_data` — намеренное удаление учебных данных и volumes, включая историю телеметрии (спрашивает `yes`).
## Архитектура и решения
@@ -952,10 +1020,16 @@ Collector отправил 18 819 span из 137 868, у `balanced` — 14 442 и
**Режим телеметрии меток загрузок и очереди.**
> **Будет заполнено на последнем шаге лабы.** Метки `make bench_uploads TELEMETRY=on` и `make bench_queue TELEMETRY=on`
> (решение пользователя: обе — с включённой телеметрией) ещё не сняты. Здесь будут: метки и commit, режим из паспорта
> (`stand.telemetry.mode` = `on`), строка режима сводок, предупреждение о сумме лимитов CPU очереди (12,25 при 12 у ВМ) и
> смешанное сравнение варианта «до» профиля загрузок (код `9cc6c0c` без SDK).
Обе метки последнего шага сняты с включённой телеметрией (решение пользователя, `QUESTIONS.md`, «Ответы пользователя
перед прогоном»): `make bench_uploads TELEMETRY=on` → `evidence/uploads/baseline/`, `make bench_queue TELEMETRY=on
QUEUE_LABEL=baseline4` → `evidence/queue/baseline4/`, код `b3a5ab8`, каталоги — commit `db3340d`. В паспортах
`stand.telemetry.mode` = `on` (SDK реплик, worker и relay с настройками рабочего стенда, Collector, Prometheus, Loki и Tempo
рабочего стенда, образы и SHA-256 конфигураций — `stand.telemetry`), сводки начинаются строкой режима. У очереди —
предупреждение о сумме лимитов CPU 12,25 при 12 у ВМ (лимиты делят время, а не резервируют ядра) и столбцы `tel_*` в конце
`cells.csv`. У загрузок вариант «до» — образ `9cc6c0c` без SDK, поэтому его сравнение с остальными вариантами смешанное
(сводка это называет): «до окна» у вариантов с SDK 114,8–116,7 МиБ против 106,3–106,9 у «до», пик окна «с лимитом» на
10 MiB выше «до» на 9–11 МиБ — это цена SDK в памяти реплики, а не мест загрузки. Числа и вердикты — раздел «Эксперименты
и отказы». У метки очереди `dirty: true` — разбор там же.
**Вердикты** (`summary.md`, «Гипотезы и критерии»):
@@ -1046,8 +1120,19 @@ Collector отправил 18 819 span из 137 868, у `balanced` — 14 442 и
| Критерий README | Команда/сценарий | Наблюдаемый результат | Файл доказательства |
| --- | --- | --- | --- |
| Публичный smoke | make test | TODO | TODO |
| Остальные пункты уровня 3 | TODO | TODO | TODO |
| Публичный smoke при включённой телеметрии | `make test` (в `make test_isolated`, в `telemetry-outage`, из чистого clone, в CI) | `PASS: lab6 public API scenario` | `evidence/tests/test-isolated.md`, `evidence/tests/clean-clone.md`, `evidence/telemetry/collector-outage.md` |
| Минимум лаб 1–5 сохранён | `make student_test` через LB (`db3340d`) | 224 passed, реплики выполнены; сверка: 389 сценариев, 358 проверены (173 — `make failure_checks`), 31 исключение, `test_exclusion_evidence_exists` зелёный | `evidence/tests/student-test-lb.md` |
| Тот же набор на временной базе | `make test_isolated` (`db3340d`) | smoke PASS; 218 passed, 6 skipped (реплики против одного процесса); уборка базы, объектов и очереди | `evidence/tests/test-isolated.md` |
| Отказы прежних уровней | `make failure_checks` (`db3340d`) | 147 passed, pytest 2242,88 с, `crash markers 0`; телеметрия на стенде отказов выключена | `evidence/tests/failure-checks.md` |
| Ветки сервисов, телеметрия на in-memory экспортёрах, настоящая единица работы | `make service_test`, `make service_test_db` (`db3340d`) | 335 passed за 2,88 с; 88 passed за 34,04 с | `evidence/tests/service-tests.md` |
| Офлайн-проверки | `make check`, `make validate`, `make lint`, `make alerts_test` (`db3340d`) | PASS ×2, 619 файлов без изменений, 7 оповещений с runbook | `evidence/tests/final-checks.md` |
| Сохранность и hook | `make test-persistence ACTION_SCRIPT=scripts/restart.sh` (`db3340d`) | `PASS`; `api`, `haproxy`, `postgres`, `rabbitmq`, `s3`, `valkey` — новый `StartedAt`; `relay`, `worker`, `cleaner` и пять сервисов телеметрии — прежний | `evidence/replicas/test-persistence.md` |
| Отказ реплики | `make test-failover` `stop` и `kill` (`db3340d`) | `failed_attempts` 0 и 1 (повтор с тем же ключом), восстановление 1,20 и 0,23 с | `evidence/failover/test-failover.md` |
| Исключения сверки покрытия на стенде лабы 6 | `driver.py cache-check --require-test-keys`, `auth-storage`, `attachment-storage`, `attachment-failover` stop и kill, `broker-check` (и `--require-test-queue` между двумя `make test_isolated`), повтор после `--force-recreate api` (`db3340d`) | код 0 у всех: одно чтение `chats` на 50, TTL; Argon2id и SHA-256 токена; байты только в приватном bucket; другая реплика отдаёт тот же SHA-256; брокер по спеку; очередь временной базы есть и убрана; тот же `Message` | `evidence/cache/hits.md`, `evidence/auth/passwords-and-tokens.md`, `evidence/attachments/storage.md`, `evidence/attachments/failover.md`, `evidence/broker/stand.md`, `evidence/broker/isolated.md`, `evidence/idempotency/replay-after-restart.md` |
| Свойства лаб 4 и 5 с включённой телеметрией | `make bench_uploads TELEMETRY=on`, `make bench_queue TELEMETRY=on QUEUE_LABEL=baseline4` (код `b3a5ab8`) | загрузки: H1 и H4 да, «с лимитом» 182,6 / 189,4 / 193,6 МиБ, OOM 0; очередь: H3, H5–H9 подтверждены, рекомендация (2, 2); H1 и H2 — нет только на `lp` (4, 4) | `evidence/uploads/baseline/summary.md`, `evidence/queue/baseline4/summary.md` |
| Секретов в доказательствах и отчёте нет | поиск значений из `.env` по `evidence/` и файлам git | 13 значений, 0 совпадений в 577 файлах `evidence/` и 1285 файлах git, домашних путей 0, `.env` и `config.toml` в истории нет | `evidence/tests/secrets.md` |
| Стенд из чистого clone, с нуля одной командой | `git clone` `db3340d` во временный каталог, `make run_docker` своим проектом на нестандартных портах | `make run_docker` код 0 на пустых volumes, `RestartCount` брокера и телеметрии 0, provisioning Grafana на месте; `make test`, `make test-persistence`, `make test-failover`, `make alerts_test` — PASS; `make student_test` — 223 passed и только `test_exclusion_evidence_exists` (файлы исключений ещё не в этом commit) | `evidence/tests/clean-clone.md` |
| CI | `.github/workflows/application.yml` на Gitea после push | см. файл | `evidence/tests/ci-application.md` |
| Уровень 3: Collector, хранилища, provisioning, свой запрос и задание найдены, приватность | `driver.py --port 8080 telemetry-check` | код 0: Loki → Tempo по `X-Request-Id`, трасса worker, рост счётчиков, история после рестарта хранилищ, метрики LB без доступа к сети хранилищ, панель потерь на тихом стенде — 0 | `evidence/telemetry/check.md` (commit `4a2f9c9`) |
| Телеметрия не меняет ответы и остановку | `driver.py --port 8080 telemetry-outage` | код 0: `make test` PASS и остановка < 10 с при остановленном и замороженном Collector, сигналы после его возврата без перезапуска процессов | `evidence/telemetry/collector-outage.md` (commit `15ea156`) |
| Стенд с нуля одной командой | `driver.py stand-from-scratch --runs 2` | код 0 оба раза, `RestartCount` брокера и телеметрии 0 | `evidence/stand/from-scratch.md` |
@@ -1061,15 +1146,108 @@ Collector отправил 18 819 span из 137 868, у `balanced` — 14 442 и
| Уровень 4: memory limiter, batch, ограниченная буферизация, недоступный backend, учёт потерь | `driver.py --port 8080 backend-outage` | код 0 (~16 мин): `make test` PASS и 5xx 0 при остановленных Loki, Tempo, Prometheus и Collector; Collector ≤ 91 МиБ из 256, реплики без роста; потери учтены (441 запись, 1336 span, SDK +11 602 и +11 551) и видны на панели потерь; `TelemetryTargetDown` и `TelemetryDataLoss` — firing и снятие | `evidence/telemetry/backend-outage.md` (commit `ef60b47`) |
| Выбранный трек 5: трек 1 «Цена наблюдаемости» | `make bench_telemetry` (защита — `make bench_telemetry_quick VARIANTS=off,full,tail`, ~10 мин) | метка `baseline2`, 21 прогон из 21, код 0: `full` против `off` +26 % CPU реплик на запрос, +31 мс к p99; `head` +11 %; `tail` и `balanced` — приём Tempo 12,1 % и 10,6 %, Collector 136 и 101 МиБ, цена в приложении как у `full`; потерь 0; H1, H2, H4, H6, H8 подтверждены, H3, H5, H7 — нет (одна трасса из 75 у `tail`, B4); B1–B3, B5 прошли | `evidence/telemetry-cost/baseline2/summary.md` (код `68e14b6`, метка — commit `0f5dbfc`) |
TODO: добавить отдельную строку для каждого заявленного критерия. PASS без команды и наблюдения не является доказательством. Проверка инфраструктурного hook требует подтверждения, какие реальные процессы/хранилища перезапущены.
В шапке каждого файла `evidence/` — команда, дата, commit и стенд. Файлы последнего шага сняты на `db3340d` при рабочем дереве
без правок кода. Файлы уровней 3–5 сняты на commit своих change и с тех пор не переснимались, потому что код, который они
проверяют, не менялся: `telemetry-check` — на `4a2f9c9`; `trace-chain` и `telemetry-outage` — на `15ea156`; `alerts-check`,
`backend-outage` и `rules-test` — на `ef60b47`; бюджет — на `4178b3d`, `72cfa9a` и `15ea156`. `evidence/stand/from-scratch.md`
снят на рабочем дереве поверх `9b35c25`: команда сама удаляет volumes своего проекта, а это ждёт подтверждения пользователя
(вопрос 8 `## otel-telemetry`); сценарий «стенд с нуля одной командой» на закоммиченном коде показывает
`evidence/tests/clean-clone.md`.
## Эксперименты и отказы
TODO: гипотеза, hardware/лимиты, версии, объём данных, профиль нагрузки, concurrency/arrival rate, длительность/прогрев, повторы, успешные RPS, ошибки, p50/p95/p99, CPU/RAM. Сохранить raw summary без tokens и объяснить ограничения измерения.
Эксперимент трека 1 — раздел «Цена наблюдаемости (трек 1)». Здесь — метки последнего шага: свойства лаб 4 и 5 на коде
лабы 6 с **включённой** телеметрией (решение 5 плана), и отказы.
**Хост и стенд обеих меток.** macOS на Apple M3 Pro, 18 ГиБ, питание от сети; Docker Desktop 29.9.2, Compose 5.6.1, ВМ — 12 CPU /
11 902 МиБ. Рабочий стенд остановлен (`make stop`), посторонние контейнеры `domains-*` остановлены на время замеров. Обе метки
— одной командой подряд, код `b3a5ab8`; `swapouts_delta` 0, `slept_seconds` 0. Свой проект compose `mtusi-bench`, свежий стенд
на прогон или ячейку, k6 в сети стенда через LB; телеметрия — сервисы рабочего стенда с его лимитами (Collector 0,5 / 256 МиБ,
Prometheus 0,5 / 384, Loki 0,5 / 512, Tempo 0,5 / 640), Grafana не запускается.
### Память реплики при загрузках: метка `baseline`
Методика — `make bench_uploads TELEMETRY=on` (профиль `uploads`, `.claude/rules/bench.md`): одна реплика 1 CPU / 512 МБ без
swap, S3 1 / 512, LB 1 / 256; варианты «до» (образ `9cc6c0c`, код лабы 5 без SDK), «без лимита» (1000 мест, без очереди) и «с
лимитом» (по умолчанию: 4 места, очередь 16); тела PNG 1 048 276 и 10 479 107 байт; 1 / 10 / 20 / 40 клиентов `constant-vus`,
3 с разгона и 20 с окна; 3 повтора кругами, на прогон — новые реплика и volume S3; worker не запущен, задания ждут в PostgreSQL.
72 прогона, 49 мин, `dirty: false`, `host_warnings` пусты. Пик — `memory.peak` cgroup со сбросом перед окном, медиана повторов
(`evidence/uploads/baseline/summary.md`).
| Вариант, 10 MiB | До окна, МиБ | Пик при C = 10 | C = 20 | C = 40 | OOM при 40 | Загрузок/с при 10 | p95 при 10, мс | 5xx |
| --- | --- | --- | --- | --- | --- | --- | --- | --- |
| с лимитом | 116,1 | 182,6 | 189,4 | 193,6 | 0/3 | 10,40 | 1286 | 0 |
| без лимита | 114,9 | 238,0 | 343,9 | OOM (509) | 3/3 | 8,90 | 1523 | 0 до C = 20; 844 при C = 40 — ответы LB после OOM реплики |
| до (без SDK) | 106,7 | 171,6 | 179,8 | 184,1 | 0/3 | 10,85 | 1232 | 0 |
- H1 (пик «с лимитом» ≤ половины лимита, сверх C = 10 — ≤ 1 МиБ на клиента, лишние — 429) — **да**: 193,6 из 256, 0,68 и
0,37 МиБ на клиента, OOM 0, 5xx 0, 429 — 1354.
- H2 — **нет**, как в лабе 5: «без лимита» растёт на 1,21 и 1,14 тела на клиента и падает OOM при 40 × 10 MiB, а «до» — код с
местами загрузки, поэтому поведение кода до `upload-memory` он не показывает (настоящее «до» — отчёт лабы 4).
- H3 — **нет**, как в лабе 5: на 1 MiB «с лимитом» даёт 89–90 % «без лимита» при пороге 90 % (лаба 5 — 85–89 %), на 10 MiB —
112–117 %.
- H4 (нет 503 по сроку S3) — **да**: 0 в 69 прогонах без OOM.
- Сценарии исключений `attachments` выполнены: «Одна копия тела при записи в S3» — 1,21 тела на загрузку при пороге 1,5;
«Память не растёт с числом загрузок» — строка «с лимитом» выше. Сценарий `load-benchmark` «Буферы соединений ограничены»
(рост LB и `sock` реплики от 1 до 40 клиентов) — **не выполнен на 0,05 МиБ**: 1,05 МиБ на клиента при пороге 1 (LB 0,57 +
`sock` 0,49); у метки лабы 5 этой строки не было, сравнить не с чем.
- **Цена SDK в памяти реплики** (смешанное сравнение с «до»): +8–10 МиБ до окна и +9–11 МиБ к пику окна при тех же местах;
запас до лимита при 40 клиентах — 318 МиБ. Относительно лабы 5 (без SDK) пик «с лимитом» вырос с 172,9 / 180,1 / 185,6 до
182,6 / 189,4 / 193,6 МиБ.
### Очередь под перегрузкой: метка `baseline4`
Методика — `make bench_queue TELEMETRY=on QUEUE_LABEL=baseline4` (профиль `queue`, гипотезы H1–H9 и правило рекомендации — лаба 5,
раздел «Очередь под перегрузкой» её отчёта): LB, две реплики 1 / 512, PostgreSQL, Valkey, S3, брокер, relay, worker 1 CPU / 1 ГБ
и уборщик с лимитами рабочего стенда без swap плюс сервисы телеметрии; настройки (конкуренция, prefetch) (1, 1), (2, 2), (4, 4),
(2, 256) × классы `s`, `m`, `lj`, `lp` и блоки предела, приёма, второго worker, KILL worker, рестарта брокера; 57 ячеек × свежий
стенд, открытая модель, контрольный поток, обход метаданных. 2 ч 22 мин. Сумма лимитов CPU с телеметрией — 12,25 при 12 у ВМ
(предупреждение паспорта). Результат — `evidence/queue/baseline4/summary.md`.
**`dirty: true`.** Код — `b3a5ab8`, но метка очереди начата сразу после метки загрузок, когда в рабочем дереве были незакоммиченный
каталог `evidence/uploads/baseline/` и правка этого отчёта (агент писал его во время замера). Образ и `bench/` эти файлы не читают
(образ копирует `src/`, `migrations/`, `alembic.ini` и lock; `*.md` и `evidence` — в `.dockerignore`), других изменений не было,
поэтому числа воспроизводятся из `b3a5ab8`. Метка принята без пересъёмки — ошибка порядка названа, вопрос «переснять?» —
`QUESTIONS.md`, `## Последний шаг`.
| Гипотеза | Вердикт | Главное |
| --- | --- | --- |
| H1 потолок — CPU worker, конкуренция сверх двух не поднимает | **нет** | только lp-c4p4-r3: CPU worker в окне `over` 0,795 при пороге 0,85 — 11 перезапусков worker в ячейке; throughput восстановления (4, 4) / (2, 2): `s` 2,63 / 3,05, `m` 2,66 / 2,90, `lj` 2,12 / 2,36, `lp` 0,30 / 0,96 |
| H2 длительность пропорциональна конкуренции, память — на пик процесса | **нет** | только `lp` (4, 4): отношение длительностей 0,869 при пороге 1,5, `memory.peak` r1 — 870 МиБ при условии ≥ 95 % лимита во всех повторах (r2, r3 — 1024) |
| H3, H5 | подтверждено | 19 и 24 условия |
| H4 | **нет** | m-c1p1-r2 и r3: p95 / (пик / throughput) 0,775 и 0,794 — ниже порога, как в лабе 5 (там m-c1p1-r1, 0,78) |
| H6 восстановление без потерь | подтверждено | 288 условий: ноль незавершённых без оператора во всех ячейках, `lost`, `stuck`, `duplicate`, `sha_mismatch` — 0 |
| H7 контрольный поток | подтверждено | 1350 условий, 5xx контрольного потока 0 во всех окнах |
| H8 KILL worker и рестарт брокера | подтверждено | восстановление 58,5 и 45,4 с, потерь нет |
| H9 места, затем предел | подтверждено | 429 сначала от мест (3,1–3,3 с), затем от предела (34,4–35,4 с); плато 250 против 426 без предела |
Рекомендация правила — (2, 2), значения по умолчанию оставлены (та же, что в лабе 5). Девять сценариев исключений `queue-overload`
опираются на шкалу очереди, блоки и H6–H9 — все подтверждены. Второй worker поднимает разбор с 3,05 до 5,52 готовых/с; предел
250 сокращает восстановление `s` со 140,5 до 83,4 с.
**Что изменила телеметрия.** На всех настройках, кроме `lp` (4, 4), значения того же порядка, что в метке `baseline4` лабы 5
(throughput, плато предела, восстановление). На `lp` (4, 4), которая и в лабе 5 не помещалась в 1 ГБ (там 5 перезапусков, в
`baseline3` H2 — «нет»), с SDK в процессе worker перезапусков 13 (r2 — 2, r3 — 11, `oom_kill` 55 и 97), а у r3 задания ушли в
`failed` `retry_exhausted` (пометка `failed`): запас памяти этой настройки и так отрицательный, SDK его уменьшил. На (2, 2)
`memory.peak` `lp` — 675–845 МиБ, OOM 0; правило подбора конкуренции по памяти (лаба 5) действует и с телеметрией.
### Отказы
Отказы телеметрии — `evidence/telemetry/collector-outage.md`, `evidence/telemetry/backend-outage.md`, `evidence/alerts/check.md`
(разделы «Наблюдаемость» и «SLO, оповещения и инциденты»); отказы прежних уровней — `make failure_checks`
(`evidence/tests/failure-checks.md`) и команды драйвера лабы 5.
| Воздействие | Что ожидаем | Что наблюдали | Время восстановления / потеря данных |
| --- | --- | --- | --- |
| TODO | TODO | TODO | TODO |
| Collector остановлен и заморожен | API и worker отвечают, остановка < 10 с | `make test` PASS, загрузка до `ready`, `docker stop` реплики, worker и relay быстрее 10 с с кодом 0 (`collector-outage.md`) | сигналы после возврата без перезапуска процессов; не ушедшее из очередей SDK теряется и считается |
| Loki и Tempo 10 и 120 с, Prometheus 60 с, Collector 120 с под нагрузкой | сообщения работают, память ограничена, потери посчитаны | `make test` PASS, 5xx у клиента 0, Collector ≤ 91 МиБ из 256, реплики без роста; потери 441 запись и 1336 span у Collector, SDK +11 602 и +11 551 (`backend-outage.md`) | сразу после возврата; `TelemetryTargetDown`, `TelemetryDataLoss` — firing и снятие |
| Worker остановлен | `MessengerQueueLagHigh` | pending 84 с, firing 144 с, снятие 29 с после запуска (`alerts/check.md`) | работа доходит до `ready`, потерь нет |
| Медленная БД (блокировка таблицы сообщений) | `MessengerSlowRequests`, доля span PostgreSQL | firing 135 с, снятие 74 с | без потерь |
| PostgreSQL остановлен | `MessengerNoReadyReplicas`, `MessengerHighErrorRate`, 5xx LB | firing 59 и 105 с, снятие 30 и 135 с | без потерь подтверждённого |
| Реплика API остановлена или убита | запись через другую | `failed_attempts` 0 и 1 (повтор с тем же ключом), восстановление 1,20 и 0,23 с (`evidence/failover/test-failover.md`) | дублей нет |
| Принявшая файл реплика остановлена или убита | скачивание через другую | тот же SHA-256, постороннему 404 (`evidence/attachments/failover.md`) | потерь нет |
| Рестарт LB, реплик и всех хранилищ | данные и сессии на месте | `make test-persistence` PASS (`evidence/replicas/test-persistence.md`) | ~25 с, потерь нет |
| Пересоздание реплик API | повтор с ключом — тот же `Message` | тот же 201, 409 на другое тело (`evidence/idempotency/replay-after-restart.md`) | дублей нет |
## Ограничения и следующие шаги
+48
View File
@@ -0,0 +1,48 @@
# Принявшая реплика остановлена
- Команда: `python3 .claude/skills/run-mtusi-messenger/driver.py --port 8080 attachment-failover --mode stop`, затем то же с `--mode kill` (`make replicas` драйвер выполняет сам в `finally`)
- Дата: 2026-11-15, 06:38:59–06:39:10 UTC; оба прогона — код выхода 0
- Commit: `db3340d` (ветка `feat/lab6-final`), рабочее дерево без правок кода (изменены только `QUESTIONS.md` и файлы `evidence/`)
- Стенд: проект compose `mtusi-lab6`, две реплики за HAProxy, телеметрия включена, собран `make run_docker` из `HEAD`; пользователи синтетические
- Сценарий: `attachments` «Принявшая реплика остановлена»
- Вывод сокращён: убраны снимки `docker compose ps` до и после (все 15 сервисов `Up`, реплики `healthy`; после прогона `stop` у `api-14` новый `StartedAt` — его вернул `make replicas`)
## `stop`
```text
mode: stop; fixture sample.png: 111817 bytes
sha256 uploaded: 99ea7533c441f79cd630d15ce4d58d1ec4e06f6f0efb3b77a5c088305cd1bd75
sha256 downloaded: 99ea7533c441f79cd630d15ce4d58d1ec4e06f6f0efb3b77a5c088305cd1bd75
step expected got x-instance-id
alice uploads 202 202 e6c96453fc1b
attachment is ready ready ready
alice sends message 201 201 e6c96453fc1b
stop-one.sh stop 0 0 e6c96453fc1b
bob downloads 200 200 8112fa687696
bob reads metadata 200 200 8112fa687696
eve reads metadata 404 404 8112fa687696
eve downloads 404 404 8112fa687696
make replicas 0 0
LB slots UP 2 2
PASS: accepted by e6c96453fc1b, served by 8112fa687696 after stop, sha256 matches, outsider gets 404
```
## `kill`
```text
mode: kill; fixture sample.png: 111817 bytes
sha256 uploaded: 99ea7533c441f79cd630d15ce4d58d1ec4e06f6f0efb3b77a5c088305cd1bd75
sha256 downloaded: 99ea7533c441f79cd630d15ce4d58d1ec4e06f6f0efb3b77a5c088305cd1bd75
step expected got x-instance-id
alice uploads 202 202 e6c96453fc1b
attachment is ready ready ready
alice sends message 201 201 e6c96453fc1b
stop-one.sh kill 0 0 e6c96453fc1b
bob downloads 200 200 8112fa687696
bob reads metadata 200 200 8112fa687696
eve reads metadata 404 404 8112fa687696
eve downloads 404 404 8112fa687696
make replicas 0 0
LB slots UP 2 2
PASS: accepted by e6c96453fc1b, served by 8112fa687696 after kill, sha256 matches, outsider gets 404
```
+108
View File
@@ -0,0 +1,108 @@
# Вложения: метаданные, байты и ограничения обработки
- Команда: `python3 .claude/skills/run-mtusi-messenger/driver.py --port 8080 attachment-storage`
- Дата: 2026-11-15, 06:37:43–06:37:47 UTC; код выхода 0
- Commit: `db3340d` (ветка `feat/lab6-final`), рабочее дерево без правок кода (изменены только `QUESTIONS.md` и файлы `evidence/`)
- Стенд: проект compose `mtusi-lab6`, две реплики за HAProxy, телеметрия включена, собран `make run_docker` из `HEAD`. Контейнеры `docker diff`: реплики `8112fa687696`, `e6c96453fc1b` и worker `2b6afe2410a9`
- Сценарии: `attachments` «Байты не в БД и не на диске API», `data-storage` «Ограничения обработки в схеме» (пробы в откатываемой транзакции, запись аудита с неизвестным заданием). В списке колонок есть и колонки контекста W3C задания `traceparent`, `tracestate` (ревизия `e4b8c2d17f90`)
- Вывод сокращён: таблица второго вложения повторяет первую и совпала с ожидаемым
Итог: байты — только объекты приватного bucket (анонимный GET 403), в PostgreSQL — метаданные и SHA-256 (`bytea`, 32 байта), в файловых системах реплик и worker — только смонтированный `config.toml`; четыре пробы ограничений дают названные коды, после отката — одно задание и три варианта.
```text
columns of attachment tables:
attachment_job_replays id uuid
attachment_job_replays job_id uuid
attachment_job_replays operator text
attachment_job_replays error_code text
attachment_job_replays reason text
attachment_job_replays attempt integer
attachment_job_replays created_at timestamp with time zone
attachment_jobs id uuid
attachment_jobs attachment_id uuid
attachment_jobs pipeline_version integer
attachment_jobs state text
attachment_jobs attempt integer
attachment_jobs last_error_code text
attachment_jobs next_attempt_at timestamp with time zone
attachment_jobs lease_expires_at timestamp with time zone
attachment_jobs published_at timestamp with time zone
attachment_jobs updated_at timestamp with time zone
attachment_jobs finished_at timestamp with time zone
attachment_jobs created_at timestamp with time zone
attachment_jobs attempt_base integer
attachment_jobs traceparent text
attachment_jobs tracestate text
attachment_variants attachment_id uuid
attachment_variants pipeline_version integer
attachment_variants variant text
attachment_variants object_key text
attachment_variants content_type text
attachment_variants size_bytes integer
attachment_variants width integer
attachment_variants height integer
attachment_variants sha256 bytea
attachment_variants created_at timestamp with time zone
attachments id uuid
attachments chat_id uuid
attachments owner_id uuid
attachments filename text
attachments content_type text
attachments size_bytes integer
attachments sha256 bytea
attachments object_key text
attachments status text
attachments updated_at timestamp with time zone
attachments created_at timestamp with time zone
attachments lost_at timestamp with time zone
attachments staging_key text
attachments error_code text
message_attachments message_id uuid
message_attachments position smallint
message_attachments attachment_id uuid
message_attachments created_at timestamp with time zone
upload via 8112fa687696: object_key messenger/attachments/178cf6ce-9630-4b2d-85a2-e7b051b328ab/original, staging_key messenger/staging/178cf6ce-9630-4b2d-85a2-e7b051b328ab/original
sha256 uploaded 99ea7533c441f79cd630d15ce4d58d1ec4e06f6f0efb3b77a5c088305cd1bd75, downloaded by a member (200) 99ea7533c441f79cd630d15ce4d58d1ec4e06f6f0efb3b77a5c088305cd1bd75
upload via 8112fa687696: object_key messenger/attachments/47cce102-97b2-422d-b519-3a7acecd2d27/original, staging_key messenger/staging/47cce102-97b2-422d-b519-3a7acecd2d27/original
sha256 uploaded 99ea7533c441f79cd630d15ce4d58d1ec4e06f6f0efb3b77a5c088305cd1bd75, downloaded by a member (200) 99ea7533c441f79cd630d15ce4d58d1ec4e06f6f0efb3b77a5c088305cd1bd75
constraint probes (rolled back):
second job of the version: 23505 uq_attachment_jobs_attachment_id_pipeline_version
second variant of the name: 23505 pk_attachment_variants
error_code on not failed: 23514 ck_attachments_error_code_failed
replay audit of an unknown job: 23503 fk_attachment_job_replays_job_id_attachment_jobs
docker diff 8112fa687696: 2 changes
C /app
A /app/config.toml
docker diff e6c96453fc1b: 2 changes
C /app
A /app/config.toml
docker diff 2b6afe2410a9: 2 changes
C /app
A /app/config.toml
bytea columns expected attachment_variants.sha256,attachments.sha256 got attachment_variants.sha256,attachments.sha256
octet_length(sha256) expected 32 got 32
object_key form expected messenger/attachments/178cf6ce-9630-4b2d-85a2-e7b051b328ab/original got messenger/attachments/178cf6ce-9630-4b2d-85a2-e7b051b328ab/original
staging_key: its form or already empty expected yes got yes
filename not in key expected no got no
variant rows expected crop,optimized,thumbnail got crop,optimized,thumbnail
crop in bucket expected yes got yes
anonymous GET of crop expected 403 got 403
optimized in bucket expected yes got yes
anonymous GET of optimized expected 403 got 403
thumbnail in bucket expected yes got yes
anonymous GET of thumbnail expected 403 got 403
object in bucket, bytes expected 111817 got 111817
anonymous GET of the key expected 403 got 403
downloaded sha256 = uploaded expected yes got yes
(второе вложение 47cce102-…: те же 13 строк, expected = got)
probe: second job of the version expected 23505 uq_attachment_jobs_attachment_id_pipeline_version got 23505 uq_attachment_jobs_attachment_id_pipeline_version
probe: second variant of the name expected 23505 pk_attachment_variants got 23505 pk_attachment_variants
probe: error_code on not failed expected 23514 ck_attachments_error_code_failed got 23514 ck_attachments_error_code_failed
probe: replay audit of an unknown job expected 23503 fk_attachment_job_replays_job_id_attachment_jobs got 23503 fk_attachment_job_replays_job_id_attachment_jobs
jobs | variants after the probes expected 1|3 got 1|3
original files in 8112fa687696 expected 0 got 0
original files in e6c96453fc1b expected 0 got 0
original files in 2b6afe2410a9 expected 0 got 0
sha256 of the fixture: 99ea7533c441f79cd630d15ce4d58d1ec4e06f6f0efb3b77a5c088305cd1bd75
PASS: metadata in PostgreSQL, bytes only in the private bucket messenger, none in the API containers
```
+19
View File
@@ -0,0 +1,19 @@
# Хранение паролей и токенов
- Команда: `python3 .claude/skills/run-mtusi-messenger/driver.py --port 8080 auth-storage`
- Дата: 2026-11-15, 06:37:41–06:37:43 UTC; код выхода 0
- Commit: `db3340d` (ветка `feat/lab6-final`), рабочее дерево без правок кода (изменены только `QUESTIONS.md` и файлы `evidence/`)
- Стенд: проект compose `mtusi-lab6`, две реплики за HAProxy, телеметрия включена, собран `make run_docker` из `HEAD`; пользователи синтетические, пароль и токен только в памяти драйвера, в вывод не попадают
- Спеки: `users`, «Хэш в БД», `sessions`, «Токена нет в хранилище» (исключения сверки покрытия: схема и дамп по HTTP не видны)
Итог: в `users` — строки Argon2id с разной солью у одного пароля, в `sessions` — только SHA-256 токена (32 байта); ни токена (текстом и в hex), ни пароля в `pg_dump --data-only` нет.
```text
users auth_… and auth_…: same password P (36 characters with ':' and Cyrillic)
password_hash $argon2id$v=19$m=65536,t=3,p=4$… (97 chars)
password_hash $argon2id$v=19$m=65536,t=3,p=4$… (97 chars)
hashes differ: t
session of the first user: token T (43 characters); rows of sessions with token_hash = SHA-256(T): 1, octet_length 32
pg_dump --data-only: 12 COPY blocks; T as text: no, T in hex: no, P as text: no
PASS: only Argon2id strings and SHA-256 of the token are stored
```
+82
View File
@@ -0,0 +1,82 @@
# Очереди разных баз разделены
- Команды по порядку: `make test_isolated KEEP_TEST_DB=1`, `python3 .claude/skills/run-mtusi-messenger/driver.py --port 8080 broker-check --require-test-queue`, `make test_isolated`
- Дата: 2026-11-15; первый прогон 06:33:58–06:36:07 UTC, `broker-check` 06:40:52–06:41:00 UTC (код 0), второй прогон 06:41:00–06:43:17 UTC. Между первым прогоном и `broker-check` сняты другие доказательства (`evidence/broker/stand.md`, `make test-persistence` с рестартом брокера): очередь временной базы — durable и их пережила
- Commit: `db3340d` (ветка `feat/lab6-final`), рабочее дерево без правок кода (изменены только `QUESTIONS.md` и файлы `evidence/`)
- Стенд: рабочий `mtusi-lab6`, поверх него — контейнеры `mtusi-lab6-test-api`, `mtusi-lab6-test-worker`, `mtusi-lab6-test-relay` на временной базе `test_messenger` (телеметрия у них выключена)
- Сценарий: `message-broker` «Очереди разных баз разделены»
- Код 2 обоих `make test_isolated`: smoke — 0, набор — 2 только из-за `test_exclusion_evidence_exists` (в первом — 10 файлов исключений, во втором — только этот файл: его снимает сама эта последовательность). Оба прогона: 1 failed, 217 passed, 6 skipped, 147 deselected, ~117 с. Зелёный прогон после этого файла — `evidence/tests/test-isolated.md`
- Список очередей до первого прогона не сохранён: на рабочем стенде перед ним была только `messenger.attachment.process.v1` (прежний `make test_isolated` убирает свою очередь, так и в выводе второго прогона)
## Очереди брокера: `rabbitmqctl -q list_queues name durable messages consumers --formatter json`
После `make test_isolated KEEP_TEST_DB=1` — очередь временной базы есть, рабочая не затронута:
```json
[
{"messages":0,"name":"test_messenger.attachment.process.v1","consumers":0,"durable":true}
,{"messages":0,"name":"messenger.attachment.process.v1","consumers":1,"durable":true}
]
```
После второго `make test_isolated` — очереди временной базы нет:
```json
[
{"messages":0,"name":"messenger.attachment.process.v1","consumers":1,"durable":true}
]
```
## Вывод `make test_isolated`
Первый прогон (`KEEP_TEST_DB=1`):
```text
[test_isolated] database=test_messenger objects=/buckets/messenger/test_messenger/ queue=test_messenger.attachment.process.v1 containers=mtusi-lab6-test-api mtusi-lab6-test-worker mtusi-lab6-test-relay base_url=http://127.0.0.1:18088
[test_isolated] remove objects /buckets/messenger/test_messenger/ and queue test_messenger.attachment.process.v1
...
[test_isolated] cleanup
[test_isolated] kept database test_messenger, objects /buckets/messenger/test_messenger/ and queue test_messenger.attachment.process.v1
[test_isolated] results: {'test': 0, 'student_test': 2}
```
Второй прогон:
```text
[test_isolated] database=test_messenger objects=/buckets/messenger/test_messenger/ queue=test_messenger.attachment.process.v1 containers=mtusi-lab6-test-api mtusi-lab6-test-worker mtusi-lab6-test-relay base_url=http://127.0.0.1:18088
[test_isolated] remove objects /buckets/messenger/test_messenger/ and queue test_messenger.attachment.process.v1
...
[test_isolated] cleanup
[test_isolated] remove objects /buckets/messenger/test_messenger/ and queue test_messenger.attachment.process.v1
[test_isolated] results: {'test': 0, 'student_test': 2}
```
## `broker-check --require-test-queue` между прогонами (код 0)
```text
image rabbitmq:4.3.7@sha256:bd88985187aa73cd598fa0d8b31d49b2f814a6d9e58f6d5a89bae588669d946a
memory high watermark 419430400, container limit 536870912
queues (name durable messages consumers):
test_messenger.attachment.process.v1 True 0 0
messenger.attachment.process.v1 True 0 1
docker compose stop rabbitmq: 1.2 s
image is tag and digest expected yes got yes
container health expected healthy got healthy
data volume expected mtusi-lab6_rabbitmq_data got mtusi-lab6_rabbitmq_data
docker port expected 5672/tcp -> 127.0.0.1:5673 got 5672/tcp -> 127.0.0.1:5673
container memory limit expected 536870912 got 536870912
watermark below container limit expected yes got yes
broker password holders expected rabbitmq,relay,worker got rabbitmq,relay,worker
BROKER__* in the api service expected no got no
work queue exists expected yes got yes
work queue durable expected yes got yes
queue test_messenger.attachment.process.v1 expected yes got yes
docker compose stop exit code expected 0 got 0
container exit code expected 0 got 0
stopped before the 20 s grace expected yes got yes
broker back (up --wait) expected 0 got 0
work queue after restart expected yes got yes
worker consumes again expected yes got yes
relay survived the outage (StartedAt) expected yes got yes
PASS: the broker stand matches the spec
```
+36
View File
@@ -0,0 +1,36 @@
# Брокер рабочего стенда
- Команда: `python3 .claude/skills/run-mtusi-messenger/driver.py --port 8080 broker-check`
- Дата: 2026-11-15, 06:37:33–06:37:41 UTC; код выхода 0
- Commit: `db3340d` (ветка `feat/lab6-final`), рабочее дерево без правок кода (изменены только `QUESTIONS.md` и файлы `evidence/`)
- Стенд: проект compose `mtusi-lab6`, телеметрия включена, собран `make run_docker` из `HEAD`. Очередь `test_messenger.…` в списке — остаток `make test_isolated KEEP_TEST_DB=1` (`evidence/broker/isolated.md`)
- Сценарии спека `message-broker`: «Сервис брокера запущен», «Предел памяти брокера», «Остановка брокера»
- `watermark` 419430400 байт — 400 МиБ из `infra/rabbitmq/rabbitmq.conf`; лимит контейнера 512 МиБ. Пароль брокера только у `rabbitmq`, `relay`, `worker`: у реплик API настроек брокера нет
```text
image rabbitmq:4.3.7@sha256:bd88985187aa73cd598fa0d8b31d49b2f814a6d9e58f6d5a89bae588669d946a
memory high watermark 419430400, container limit 536870912
queues (name durable messages consumers):
test_messenger.attachment.process.v1 True 0 0
messenger.attachment.process.v1 True 0 1
temporary database queue test_messenger.attachment.process.v1: not checked
docker compose stop rabbitmq: 1.3 s
image is tag and digest expected yes got yes
container health expected healthy got healthy
data volume expected mtusi-lab6_rabbitmq_data got mtusi-lab6_rabbitmq_data
docker port expected 5672/tcp -> 127.0.0.1:5673 got 5672/tcp -> 127.0.0.1:5673
container memory limit expected 536870912 got 536870912
watermark below container limit expected yes got yes
broker password holders expected rabbitmq,relay,worker got rabbitmq,relay,worker
BROKER__* in the api service expected no got no
work queue exists expected yes got yes
work queue durable expected yes got yes
docker compose stop exit code expected 0 got 0
container exit code expected 0 got 0
stopped before the 20 s grace expected yes got yes
broker back (up --wait) expected 0 got 0
work queue after restart expected yes got yes
worker consumes again expected yes got yes
relay survived the outage (StartedAt) expected yes got yes
PASS: the broker stand matches the spec
```
+23
View File
@@ -0,0 +1,23 @@
# Кэш карточки чата
- Команды: `make test_isolated KEEP_TEST_DB=1` (ключи временной базы), затем `python3 .claude/skills/run-mtusi-messenger/driver.py --port 8080 cache-check --require-test-keys`
- Дата: 2026-11-15; `make test_isolated` до 06:36:07 UTC, `cache-check` 06:36:37–06:37:02 UTC, код выхода `cache-check` 0
- Код выхода `make test_isolated` 2 и только по одной причине: `test_exclusion_evidence_exists` (этого файла и соседних исключений ещё не было); публичный `make test` в нём — код 0. Снятие файла этой команды требует её прогона, поэтому поменять порядок нельзя
- Commit: `db3340d` (ветка `feat/lab6-final`), рабочее дерево без правок кода (изменены только `QUESTIONS.md` и файлы `evidence/`)
- Стенд: проект compose `mtusi-lab6`, две реплики за HAProxy, телеметрия включена, собран `make run_docker` из `HEAD`; пользователи и чат синтетические
- Спеки: `chat-cache`, «Чтение из кэша», «Срок записи», «Временная база» (исключения сверки покрытия: по HTTP ответ из кэша не отличить от ответа из PostgreSQL)
Итог: на 50 чтений карточки через LB — одно чтение таблицы `chats` (первое, ключ перед этим удалён), +49 попаданий и +1 промах Valkey; срок ключа не больше настроенного (3600 с), чтения его не продлевают; ключи рабочей и временной базы — под разными префиксами (1 и 166).
```text
users alice_… (creator) and bob_… (reader), chat a0334358-bf18-4591-a565-056c4e4ef3e3
key messenger:v1:messenger:chat:a0334358-bf18-4591-a565-056c4e4ef3e3
right after 201: EXISTS 1, TTL 3600 s (configured [cache] chat_ttl_seconds 3600 s in the replica); value keys ['created_at', 'id', 'member_ids', 'title'], member_ids in creation order: yes
DEL key: the first read is a miss; waiting 11 s
50 × GET /api/v1/chats/{id} by the reader through LB: 50 equal to the creation response; by replica 8112fa687696 25, e6c96453fc1b 25
after 11 s: reads of table chats (seq_scan + idx_scan) +1, keyspace_hits +49, keyspace_misses +1
TTL 3589 s, then 10 more reads, TTL 3588 s: reads do not extend the key
keys messenger:v1:messenger:chat:*: 1
keys messenger:v1:test_messenger:chat:*: 166
PASS: one read of chats, the rest from Valkey; TTL is bounded; temporary database: 166 keys under its own prefix
```
+34
View File
@@ -0,0 +1,34 @@
# Отказ одной реплики API
- Команды: `make test-failover ACTION_SCRIPT=scripts/stop-one.sh STOP_MODE=stop STOP_ONE_LOG=<файл>`, `make replicas`, `make test-failover ACTION_SCRIPT=scripts/stop-one.sh STOP_MODE=kill STOP_ONE_LOG=<файл>`, `make replicas`, `make lb_stats`
- Дата: 2026-11-15, 06:49:05–06:49:41 UTC; оба прогона — код выхода 0
- Commit: `db3340d` (ветка `feat/lab6-final`), рабочее дерево без правок кода (изменены только `QUESTIONS.md` и файлы `evidence/`)
- Стенд: проект compose `mtusi-lab6`, две реплики за HAProxy, телеметрия включена, собран `make run_docker` из `HEAD`
- `STOP_ONE_LOG` назвал реплику: в обоих прогонах `TARGET_INSTANCE_ID=d34fc9b86aa4`, контейнер `d34fc9b86aa4…`, остановленный контейнер совпадает с целью; между прогонами `make replicas` вернул реплику
- `failed_attempts` 1 в режиме `kill` — запись, которая была в полёте на убитой реплике: LB не повторяет `POST` после отправленного запроса (повтор — только на отказ соединения, `balancer.md`), клиент проверки повторяет её сам с тем же ключом и телом, дубля нет; данные и сессия сохранены (`PASS`). В лабе 5 на той же проверке было 0 — гонка момента `docker kill` с отправкой записи, а не изменение кода. 5xx на `BACKEND` в статистике — накопленные с рестарта LB, в том числе от `attachment-failover`
## `stop`
```text
{"observed_instances_before": 2, "successful_writes": 120, "failed_attempts": 0, "first_recovery_seconds": 1.201}
PASS: failover preserved confirmed data and existing session. Hook scope needs operator evidence.
2026-11-15T06:49:06Z TARGET_INSTANCE_ID=d34fc9b86aa4 container=d34fc9b86aa4edfc55f531909a22818375ef6466c58d818b86de046e702d7cdb mode=stop
```
## `kill`
```text
{"observed_instances_before": 2, "successful_writes": 114, "failed_attempts": 1, "first_recovery_seconds": 0.231}
PASS: failover preserved confirmed data and existing session. Hook scope needs operator evidence.
2026-11-15T06:49:24Z TARGET_INSTANCE_ID=d34fc9b86aa4 container=d34fc9b86aa4edfc55f531909a22818375ef6466c58d818b86de046e702d7cdb mode=kill
```
## После `make replicas`
```text
svname addr status check_status scur stot econ wretr wredis hrsp_5xx
api-1 192.168.96.9:8080 UP L7OK 0 1152 0 0 6 0
api-2 192.168.96.8:8080 UP L7OK 0 1379 0 0 0 0
BACKEND - UP - 0 2527 2 0 6 3
free slots: 6
```
@@ -0,0 +1,76 @@
# Повтор отправки после рестарта API
- Шаги: синтетический пользователь (регистрация, вход по Basic) и чат; `POST /api/v1/chats/<chat>/messages` с `Idempotency-Key`; `docker compose up -d --force-recreate api`; ожидание `/health/ready` 200 через LB; тот же `POST` с тем же ключом и токеном; другое тело с тем же ключом; `GET` истории. Шаги выполнил разовый скрипт на stdlib вне репозитория (те же запросы, что `driver.py --port 8080 req … --key <ключ>` скилла), шаги выше повторяются руками
- Дата: 2026-11-15, 06:39:32–06:39:38 UTC; код выхода 0
- Commit: `db3340d` (ветка `feat/lab6-final`), рабочее дерево без правок кода (изменены только `QUESTIONS.md` и файлы `evidence/`)
- Стенд: проект compose `mtusi-lab6`, две реплики за HAProxy, телеметрия включена, собран `make run_docker` из `HEAD`; пользователь и чат синтетические
- Спек: `idempotency`, «Повтор после рестарта API» (исключение сверки покрытия: тесты сервер не трогают)
- Вывод обезличен: ключ заменён на `<key>`; токена и пароля в выводе нет
Итог: новые контейнеры обеих реплик (другие `id` и `StartedAt`), повтор — тот же 201 и тот же `Message` от реплики, которой при первой отправке не было (`e6c96453fc1b` → `d34fc9b86aa4`). В истории одно сообщение; другое тело с тем же ключом — 409. Сессия и ключ лежат в PostgreSQL, поэтому пересоздание реплик на них не влияет. Compose пересоздал только реплики, зависимости (`migrate`, `s3-bootstrap`) лишь повторно запустил; PostgreSQL не перезапускался.
```text
--- before: api containers (name, id, StartedAt)
/mtusi-lab6-api-13 8112fa687696 2026-11-15T06:33:44.100363013Z
/mtusi-lab6-api-14 e6c96453fc1b 2026-11-15T06:39:07.790523426Z
--- first send
idempotency-key: <key>
201 x-request-id: 2186a97e48604705a47121996a371299 x-instance-id: e6c96453fc1b
{
"id": "a23371cd-c05f-4d9c-b5a5-5fad6612ae9d",
"chat_id": "9a476e8c-87fe-4ea8-985b-24880bd533b3",
"sender_id": "c964e2db-d181-4e27-8d42-4d72e68fe2a4",
"text": "replay after restart",
"created_at": "2026-11-15T06:39:32.610039Z",
"attachment_ids": []
}
--- docker compose up -d --force-recreate api
Container mtusi-lab6-api-13 Recreate
Container mtusi-lab6-api-14 Recreate
Container mtusi-lab6-api-13 Recreated
Container mtusi-lab6-api-14 Recreated
Container mtusi-lab6-s3-bootstrap-1 Starting
Container mtusi-lab6-migrate-1 Starting
Container mtusi-lab6-s3-bootstrap-1 Started
Container mtusi-lab6-migrate-1 Started
Container mtusi-lab6-migrate-1 Waiting
Container mtusi-lab6-s3-bootstrap-1 Waiting
Container mtusi-lab6-migrate-1 Exited
Container mtusi-lab6-s3-bootstrap-1 Exited
Container mtusi-lab6-api-14 Starting
Container mtusi-lab6-api-14 Started
Container mtusi-lab6-api-13 Starting
Container mtusi-lab6-api-13 Started
exit 0
LB ready: 200
--- after: api containers (name, id, StartedAt)
/mtusi-lab6-api-13 d34fc9b86aa4 2026-11-15T06:39:37.107929926Z
/mtusi-lab6-api-14 35f606496f73 2026-11-15T06:39:37.041578759Z
--- repeat with the same key, the same session
idempotency-key: <key>
201 x-request-id: ecdfd487a0de46f7b6f97665adf584d2 x-instance-id: d34fc9b86aa4
{
"id": "a23371cd-c05f-4d9c-b5a5-5fad6612ae9d",
"chat_id": "9a476e8c-87fe-4ea8-985b-24880bd533b3",
"sender_id": "c964e2db-d181-4e27-8d42-4d72e68fe2a4",
"text": "replay after restart",
"created_at": "2026-11-15T06:39:32.610039Z",
"attachment_ids": []
}
--- other body with the same key
idempotency-key: <key>
409 x-request-id: 12ed1beb0aa5443a9181b2869e62336f x-instance-id: 35f606496f73
{
"error": {
"code": "conflict",
"message": "Idempotency key was already used with another request",
"request_id": "12ed1beb0aa5443a9181b2869e62336f"
}
}
--- history
{"count": 1, "ids": ["a23371cd-c05f-4d9c-b5a5-5fad6612ae9d"]}
--- compare
Message of the repeat = Message of the first send: yes
other instance answered the repeat: yes
PASS
```
+34
View File
@@ -0,0 +1,34 @@
# Сохранность при рестарте стенда
- Команда: `make test-persistence ACTION_SCRIPT=scripts/restart.sh`
- Дата: 2026-11-15, 06:40:04–06:40:30 UTC; код выхода 0
- Commit: `db3340d` (ветка `feat/lab6-final`), рабочее дерево без правок кода (изменены только `QUESTIONS.md` и файлы `evidence/`)
- Стенд: проект compose `mtusi-lab6`, телеметрия включена, собран `make run_docker` из `HEAD`
- Что проверяет публичная проверка: данные, прежний токен и с лабы 4 оригинал вложения после hook (`tests/README.md`)
- Что перезапустил hook (сверка `docker inspect` до и после, `RestartCount` у всех 0): `api-13`, `api-14`, `haproxy`, `postgres`, `rabbitmq`, `s3`, `valkey` — новый `StartedAt`; `relay`, `worker` и `cleaner` hook не трогает, `StartedAt` прежний. Сервисы телеметрии (`otel-collector`, `prometheus`, `loki`, `tempo`, `grafana`) hook тоже не трогает — `StartedAt` прежний (вопрос 2 `## otel-telemetry` в `QUESTIONS.md`, предложение S2 там же). Одноразовые `migrate` и `s3-bootstrap` повторяет `start api` (no-op). Volumes не удалялись
```text
PASS: persistence preserved confirmed data and existing session. Hook scope needs operator evidence.
```
| Контейнер | `StartedAt` до | `StartedAt` после |
|---|---|---|
| `api-13` | 06:39:37.107 | 06:40:28.849 |
| `api-14` | 06:39:37.041 | 06:40:28.785 |
| `haproxy-1` | 06:33:44.415 | 06:40:28.929 |
| `postgres-1` | 06:33:36.616 | 06:40:05.823 |
| `rabbitmq-1` | 06:37:36.623 | 06:40:06.835 |
| `s3-1` | 06:33:36.481 | 06:40:20.757 |
| `valkey-1` | 06:33:37.067 | 06:40:05.845 |
| `migrate-1` | 06:39:33.975 | 06:40:25.653 |
| `s3-bootstrap-1` | 06:39:33.914 | 06:40:25.731 |
| `relay-1` | 06:33:40.789 | 06:33:40.789 |
| `worker-1` | 06:33:44.241 | 06:33:44.241 |
| `cleaner-1` | 06:33:44.322 | 06:33:44.322 |
| `otel-collector-1` | 06:33:36.959 | 06:33:36.959 |
| `prometheus-1` | 06:33:37.162 | 06:33:37.162 |
| `loki-1` | 06:33:36.545 | 06:33:36.545 |
| `tempo-1` | 06:33:36.794 | 06:33:36.794 |
| `grafana-1` | 06:33:36.867 | 06:33:36.867 |
`rabbitmq-1` до прогона — 06:37:36: его остановил и вернул `driver.py broker-check` (`evidence/broker/stand.md`); `api-13` и `api-14` — 06:39:37: их пересоздал повтор отправки (`evidence/idempotency/replay-after-restart.md`).
+62
View File
@@ -0,0 +1,62 @@
# Проверка из чистого clone: стенд с телеметрией одной командой
| | |
|---|---|
| Что проверялось | раздел `REPORT.md` «Запуск из чистого clone»: шаг за шагом, как у проверяющего, на пустых volumes |
| Дата | 2026-11-15, 07:28:57–07:32:42 UTC |
| Commit | `db3340d` — `git clone --branch feat/lab6-final` локального репозитория во временный каталог. Рабочее дерево клона чистое, `.env`, `config.toml` и `.venv` нет. Код тот же, что в `solution/bvt2301-safronov` после влития ветки: после `db3340d` меняются только документы и `evidence/` |
| Стенд | временный проект compose `mtusi-lab6-clonecheck` на нестандартных портах: LB `127.0.0.1:8090`, Grafana 3010, PostgreSQL 5443, Valkey 6390, S3 8344, AMQP 5683. Рабочий стенд `mtusi-lab6` всё это время работал рядом и не трогался. После проверки стенд клона удалён (`docker compose down`, затем `docker volume rm` шести volumes `mtusi-lab6-clonecheck_*` по имени), каталог клона удалён; volumes `mtusi-lab6_*` на месте |
| Хост | Docker Desktop 29.9.2, Compose 5.6.1, macOS на Apple M3 Pro; ВМ Docker — 12 CPU, 11 902 МиБ. Это проверка, а не замер |
**Отличие от последовательности проверяющего — строки `.env`.** Порты по умолчанию и имя проекта занимает рабочий стенд,
поэтому до `make env_setup` в клон записан `.env` из восьми строк: `COMPOSE_PROJECT_NAME=mtusi-lab6-clonecheck` и порты
`APP_OUT_PORT`, `POSTGRES_OUT_PORT`, `VALKEY_OUT_PORT`, `S3_OUT_PORT`, `RABBITMQ_OUT_PORT`, `GRAFANA_OUT_PORT`, `TEST_APP_PORT`.
Остальные переменные, в том числе все секреты, дописал `make env_setup` из `.env.example` (путь проверяющего со старым `.env`).
Цели `Makefile`, `scripts/restart.sh` и `scripts/stop-one.sh` берут проект и порты у `docker compose` и из `.env`; отличие
одно — `BASE_URL=http://localhost:8090` у `make test`, `make student_test`, `make test-persistence`, `make test-failover`.
Значения секретов не выводились: поиск 13 значений секретов из `.env` клона по журналам проверки — 0 совпадений.
## Шаги
| Шаг | Код | Время | Результат |
| --- | --- | --- | --- |
| `make env_setup` | 0 | <1 с | «added to existing .env: …» — 43 имени, в том числе `S3_WORKER_*`, `RABBITMQ_DEFAULT_PASS`, `GRAFANA_ADMIN_PASSWORD`; `POSTGRES_PASSWORD` и `VALKEY_PASSWORD` — 32 символа; `docker compose config` → `name: mtusi-lab6-clonecheck` |
| `make run_docker` | 0 | 13,8 с (слои — из кэша BuildKit) | пустые volumes `postgres_data`, `s3_data`, `rabbitmq_data`, `prometheus_data`, `loki_data`, `tempo_data` созданы, `migrate` и `s3-bootstrap` — `Exited (0)` |
| `make replicas` | 0 | ~2 с | обе реплики `healthy` |
| `make check` | 0 | 1 с | `PASS: offline skeleton structure, local refs and Python syntax` |
| `make test BASE_URL=http://localhost:8090` | 0 | 1 с | `PASS: lab6 public API scenario` |
| `make student_test BASE_URL=http://localhost:8090` | 2 | 81 с | 223 passed, **1 failed — `test_exclusion_evidence_exists`**: в `db3340d` ещё нет 8 файлов исключений, снятых последним шагом в рабочем дереве (их коммит — следующий). Остальной набор, включая тесты реплик, зелёный; на рабочем стенде с этими файлами — 224 passed (`evidence/tests/student-test-lb.md`), в CI — после push |
| `make test-persistence ACTION_SCRIPT=scripts/restart.sh BASE_URL=…` | 0 | 26 с | `PASS: persistence preserved confirmed data and existing session` |
| `make test-failover ACTION_SCRIPT=scripts/stop-one.sh BASE_URL=…` | 0 | 17 с | `failed_attempts` 0, `first_recovery_seconds` 0,519 |
| `make replicas` | 0 | 2 с | реплика возвращена |
| `make alerts_test` | 0 | 1 с | 7 оповещений, у каждого runbook |
| Grafana API (`admin` и пароль из `.env` клона) | — | — | источники `loki`, `prometheus`, `tempo`; dashboard `messenger-overview` «Messenger overview» в папке Messenger; без учётных данных — 401 |
| `RestartCount` брокера и сервисов телеметрии | — | — | 0 у `rabbitmq`, `otel-collector`, `prometheus`, `loki`, `tempo`, `grafana`; `eacces` в журнале брокера — 0 строк |
## Стенд клона
```text
NAME STATUS PORTS
mtusi-lab6-clonecheck-api-1 Up 11 seconds (healthy) 8080/tcp
mtusi-lab6-clonecheck-api-2 Up 11 seconds (healthy) 8080/tcp
mtusi-lab6-clonecheck-cleaner-1 Up 11 seconds 8080/tcp
mtusi-lab6-clonecheck-grafana-1 Up 21 seconds (healthy) 127.0.0.1:3010->3000/tcp
mtusi-lab6-clonecheck-haproxy-1 Up 11 seconds (healthy) 127.0.0.1:8090->8080/tcp
mtusi-lab6-clonecheck-loki-1 Up 21 seconds 3100/tcp
mtusi-lab6-clonecheck-migrate-1 Exited (0) 17 seconds ago
mtusi-lab6-clonecheck-otel-collector-1 Up 20 seconds 4317-4318/tcp, 55679/tcp
mtusi-lab6-clonecheck-postgres-1 Up 21 seconds (healthy) 127.0.0.1:5443->5432/tcp
mtusi-lab6-clonecheck-prometheus-1 Up 21 seconds (healthy) 9090/tcp
mtusi-lab6-clonecheck-rabbitmq-1 Up 21 seconds (healthy) 127.0.0.1:5683->5672/tcp
mtusi-lab6-clonecheck-relay-1 Up 16 seconds 8080/tcp
mtusi-lab6-clonecheck-s3-1 Up 21 seconds (healthy) 127.0.0.1:8344->8333/tcp
mtusi-lab6-clonecheck-s3-bootstrap-1 Exited (0) 12 seconds ago
mtusi-lab6-clonecheck-tempo-1 Up 20 seconds
mtusi-lab6-clonecheck-valkey-1 Up 21 seconds (healthy) 127.0.0.1:6390->6379/tcp
mtusi-lab6-clonecheck-worker-1 Up 11 seconds 8080/tcp
```
Наружу опубликованы только LB, Grafana и служебные порты хранилищ на `127.0.0.1`; порты Collector, Prometheus, Loki и Tempo
видны только в сетях стенда (`4317-4318/tcp` без адреса хоста). После уборки контейнеров, volumes и сетей проекта
`mtusi-lab6-clonecheck` — 0.
+70
View File
@@ -0,0 +1,70 @@
# Проверки отказов
- Команда: `make failure_checks`
- Дата: 2026-11-15, 06:50:18–07:28:09 UTC; код выхода 0
- Commit: `db3340d` (ветка `feat/lab6-final`), рабочее дерево без правок кода (во время прогона менялись только `REPORT.md`, `AGENTS.md`, `QUESTIONS.md` и файлы `evidence/`; образ стенд собрал в начале)
- Стенд: проект `mtusi-lab6-failures` со своими PostgreSQL, Valkey, S3, RabbitMQ, уборщиком, relay, worker и пятью API (телеметрия у API, worker и relay выключена, сервисы телеметрии не запускаются); рабочий стенд `mtusi-lab6` на время прогона работал рядом (в первые минуты — `make service_test`, `make service_test_db` и офлайн-проверки); стенд отказов и его volumes удалены в конце
- Итог: **147 passed, 224 deselected, pytest 2242,88 с (37:22)**; журнал PostgreSQL стенда без признаков аварии (`crash markers 0`). «too many clients» 34 и «administrator command» 194 — следы самих проверок (заполнение слотов, остановки PostgreSQL). Набор тот же, что в лабе 5 (147 проверок): лаба 6 проверок отказов не добавляла — телеметрию проверяют быстрые тесты и команды драйвера
- Параметры: уборщик — grace 20 с, интервал 1 с, плановая сверка выключена; worker — 4 попытки, пауза 4–16 с, срок 10 с, запас аренды 2 с, рендер 8 с / 3 с CPU, graceful 2 с; relay — опрос 0,2 с, повторная публикация через 5 с
- Вывод сокращён: убраны лог сборки и шаги compose, адреса API временные, строки `PASSED` свёрнуты в список имён. Таблицы красных прогонов (временные регрессии) — в отчётах лаб 4 и 5 и в `tasks.md` их change: код этих веток в лабе 6 не менялся
```text
[failure_checks] project=mtusi-lab6-failures (working stand: mtusi-lab6)
[failure_checks] build image
[failure_checks] start postgres, valkey, s3 and rabbitmq
[failure_checks] migrations
[failure_checks] s3 bootstrap
[failure_checks] start cleaner: grace 20 s, interval 1 s, reconcile interval 0 s (0 — off)
[failure_checks] start worker: attempts 4, retry 4–16 s, job timeout 10 s, lease margin 2 s, render 8 s / 3 s CPU, graceful 2 s
[failure_checks] start relay: poll 0.2 s, republish after 5 s
[failure_checks] start api containers
[failure_checks] ready: api=http://127.0.0.1:50598 tight=http://127.0.0.1:50603 uploads=http://127.0.0.1:50611 s3=http://127.0.0.1:50620 backlog=http://127.0.0.1:50627
[failure_checks] pytest -m fault
collecting ... collected 371 items / 224 deselected / 147 selected
=============== 147 passed, 224 deselected in 2242.88s (0:37:22) ===============
[failure_checks] postgres log: 572 lines, crash markers 0; "too many clients" 34, "administrator command" 194
[failure_checks] cleanup
[failure_checks] results: {'fault': 0, 'postgres': 0}
```
## Прошедшие проверки по порядку
```text
test_expired_token test_use_does_not_extend_session test_token_while_database_stopped test_members_failure_rolls_back_chat
test_database_stopped_and_back test_pool_exhausted test_connection_limit_reached test_pool_keeps_connections
test_readiness_without_database test_readiness_without_cache test_readiness_without_object_storage[stop] test_readiness_without_object_storage[pause]
test_flush_cache test_valkey_stopped test_valkey_paused test_valkey_back
test_message_failure_keeps_key_free test_database_outage_keeps_key_free test_key_free_after_ttl test_upload_with_object_storage_stopped
test_rejected_uploads_leave_nothing test_metadata_insert_failure test_interrupted_body test_queued_failure_compensated
test_killed_between_put_and_ready test_queued_commit_outcome_unknown test_upload_outlives_grace test_cleaner_failure_after_object_delete
test_cleaner_survives_outages test_object_storage_stopped test_environment_does_not_change_limits test_object_storage_paused
test_upload_slots_busy test_rejections_before_queue test_upload_waits_for_slot test_slot_released_after_failures
test_slow_body test_upload_after_idle_s3 test_queued_while_worker_stopped test_processing_visible
test_redelivery_of_ready_is_noop test_durable_state_at_202 test_transient_error_retried test_job_message_matches_schema
test_queue_durable test_malformed_message_dropped test_unknown_job_acked test_worker_killed_during_processing
test_duplicate_during_processing test_original_published_unchanged test_staging_corrupted test_staging_missing
test_max_pixels_fit_worker_memory test_ready_failure_retried test_queued_between_attempts test_attempts_exhausted
test_database_outage_during_processing test_undecodable_becomes_failed test_worker_down_api_serves test_concurrency_bounded
test_api_killed_after_202 test_broker_restart_keeps_job test_broker_kill_keeps_confirmed test_defense_scenario
test_upload_with_broker_stopped test_upload_with_broker_paused test_queue_deleted test_broker_recreated
test_start_without_broker test_worker_survives_broker_restart test_content_before_ready test_message_with_queued_attachment
test_attachment_failed_after_message test_replay_after_attachment_failed test_readiness_without_broker_and_worker[stop] test_readiness_without_broker_and_worker[pause]
test_worker_stop_during_processing test_worker_stop_during_render test_cleaner_keeps_current_work test_reconcile_finds_and_fixes
test_reconcile_keeps_fresh_used_and_unknown test_reconcile_restored_original test_reconcile_change_limit test_reconcile_keeps_referenced_objects
test_reconcile_limit_keeps_cleanup test_reconcile_foreign_key_untouched test_reconcile_object_storage_stopped test_reconcile_interrupted_by_database
test_reconcile_under_load test_scheduled_reconcile test_reconcile_head_strategy_same_findings test_reconcile_deep_checksum
test_reconcile_restore_needs_same_bytes test_reconcile_rate_limit test_reconcile_limit_stops_rechecks test_reconcile_row_with_other_id_key
test_reconcile_fresh_overwrite_untouched test_reconcile_variant_objects test_reconcile_orphan_variant test_reconcile_keeps_current_work
test_relay_killed_before_publish test_relay_killed_after_confirm test_relay_survives_broker_outage test_relay_survives_database_outage
test_two_relays test_relay_respects_next_attempt test_lost_message_republished test_no_copies_while_queue_has_messages
test_published_backlog_limit test_broker_memory_alarm test_crash_after_objects_before_commit test_crash_after_commit_before_ack
test_retry_backoff_with_jitter test_retry_waits_outside_worker test_limit_pixels test_limit_oversized_staging
test_limit_cpu_scan_bomb test_limit_memory test_limit_render_timeout test_render_killed
test_hung_worker_lease_fencing test_hung_worker_thawed_after_ready test_long_attempt_keeps_lease test_last_attempt_lost
test_replay_registry_dry_run test_replay_returns_work test_replay_ready_refused test_replay_in_progress_refused
test_replay_without_source_refused test_replay_new_budget test_replay_by_code test_prefetch_bounded
test_missing_variant test_cancelled_upload_of_previous_version test_staging_removed_after_ready test_staging_retention
test_staging_keeps_current_work test_staging_cleanup_survives_outage test_staging_foreign_key_kept test_reconcile_orphan_staging
test_defense_faults test_backlog_limit test_backlog_ignores_finished test_backlog_counts_waiting_retry
test_backlog_without_broker test_backlog_overshoot_bounded test_backlog_off
```
+45
View File
@@ -0,0 +1,45 @@
# Офлайн-проверки последнего шага
- Команды: `make alerts_test`, `make check`, `make validate PYTHON=.venv/bin/python`, `make lint`
- Дата: 2026-11-15, 06:51:11–06:51:14 UTC; все четыре — код выхода 0
- Commit: `db3340d` (ветка `feat/lab6-final`), рабочее дерево без правок кода (изменены только `QUESTIONS.md` и файлы `evidence/`); `make lint` файлов не изменил (619 без изменений, `git status` до и после тот же)
- Без стенда: `make alerts_test` — одноразовый контейнер образа Prometheus из compose с `--network none`. Разбор правил и контроли красного прогона — `evidence/alerts/rules-test.md` (`ef60b47`), правила с тех пор не менялись
```text
$ make alerts_test
promtool from prom/prometheus:v3.15.1@sha256:fa3302279710be2f21a8301ec17a8b4f2301fd829bd113839b3b6b02b6f191a2
Checking prometheus.yml
SUCCESS: 1 rule files found
SUCCESS: prometheus.yml is valid prometheus config file syntax
Checking /etc/prometheus/rules.yml
SUCCESS: 20 rules found
Checking rules.yml
SUCCESS: 20 rules found
SUCCESS
runbook infra/otel/runbooks/MessengerHighErrorRate.md: ok
runbook infra/otel/runbooks/MessengerSlowRequests.md: ok
runbook infra/otel/runbooks/MessengerNoReadyReplicas.md: ok
runbook infra/otel/runbooks/MessengerQueueLagHigh.md: ok
runbook infra/otel/runbooks/MessengerQueueMetricsMissing.md: ok
runbook infra/otel/runbooks/TelemetryTargetDown.md: ok
runbook infra/otel/runbooks/TelemetryDataLoss.md: ok
alerts: 7, each with an existing runbook
$ make check
python3 scripts/check_contract.py
PASS: offline skeleton structure, local refs and Python syntax; application NOT tested.
$ make validate PYTHON=.venv/bin/python
.venv/bin/python scripts/validate_openapi.py
PASS: full OpenAPI 3.1 and JSON Schema validation; application NOT tested.
$ make lint
619 files left unchanged
code formatted
All checks passed!
code checked and fixed if needed
619 files left unchanged
code formatted
All checks passed!
code checked and fixed if needed
```
+15
View File
@@ -0,0 +1,15 @@
# Секретов в `evidence/` и отчёте нет
- Что сделано: разовый скрипт (вне репозитория) читает `.env` рабочего стенда, берёт значения переменных с `PASS`, `SECRET`, `KEY`, `TOKEN` в имени (не короче 8 символов, без ссылок-шаблонов `${…}`) и ищет их байтами во всех файлах `evidence/`, включая `raw/` (быстрые метки `quick-*` и `.work/` в git не идут и в счёт не входят). Значения не печатаются, только имена и пути. Он же ищет абсолютный путь домашнего каталога и строки `Authorization: Bearer|Basic <значение>`. Второй проход — все файлы, отслеживаемые git, и `REPORT.md`. Третий — история всех веток на `.env` и `config.toml`
- Дата: 2026-11-15, 07:33 UTC; код выхода 0
- Commit: `db3340d` (ветка `feat/lab6-final`) плюс рабочее дерево последнего шага: новые файлы `evidence/` (исключения, проверки, чистый clone), `REPORT.md`, `AGENTS.md`, `QUESTIONS.md`
- `authorization with credentials: 1` в `tracked` — `examples/requests.http` skeleton: заглушки `REPLACE_WITH_LOCAL_BASE64_CREDENTIAL` и `{{sessionToken}}`, значений нет
- Секреты клона из `evidence/tests/clean-clone.md` (свой `.env`, удалён с клоном) проверены тем же способом по журналам проверки — 13 значений, 0 совпадений
- Тестовые токены и пароли синтетические и в выводы не попадают: драйвер печатает `token T (43 characters)`, ключ идемпотентности заменён на `<key>`
```text
evidence: secrets checked: 13, files: 577, hits: 0, home paths: 0, authorization with credentials: 0
tracked: secrets checked: 13, files: 1285, hits: 0, home paths: 0, authorization with credentials: 1
authorization: examples/requests.http
tracked .env or config.toml in any branch history: 0
```
+23
View File
@@ -0,0 +1,23 @@
# Быстрые тесты сервисов
- Команды: `make service_test`, затем `make service_test_db`
- Дата: 2026-11-15, 06:50:24–06:51:04 UTC; оба — код выхода 0
- Commit: `db3340d` (ветка `feat/lab6-final`), рабочее дерево без правок кода (изменены только `QUESTIONS.md` и файлы `evidence/`)
- Стенд: `make service_test` — без PostgreSQL, Valkey, S3, брокера, docker и сети (фейки, `service-tests/unit`); `make service_test_db` — PostgreSQL рабочего стенда `mtusi-lab6`, временная база `test_uow_messenger`, удалена после прогона (`service-tests/db`)
- Итог: **335 passed за 2,88 с** (ветки всех сервисов, архитектура, контракт repo на фейке, телеметрия на in-memory экспортёрах SDK — `test_telemetry`); **88 passed за 34,04 с** на временной базе (настоящая единица работы, контракт repo на SQL, общий срок запроса, span запросов и COMMIT, счёт пула `CountingQueuePool`). В лабе 5 при переносе было 215 и 78: прибавились тесты телеметрии четырёх change лабы 6
- Таблица регрессий (временная поломка кода → названный красный) — в лабе 5 (`evidence/tests/service-tests.md` её репозитория) и в `tasks.md` change лабы 6; здесь не переснималась
```text
uv run pytest -c service-tests/pytest.ini service-tests/unit
........................................................................ [ 21%]
........................................................................ [ 42%]
........................................................................ [ 64%]
........................................................................ [ 85%]
............................................... [100%]
335 passed in 2.88s
```
```text
................ [100%]
88 passed in 34.04s
```
+25
View File
@@ -0,0 +1,25 @@
# Свой набор через LB
- Команда: `make student_test` (`BASE_URL=http://localhost:8080 EXPECT_REPLICAS=2`)
- Дата: 2026-11-15, 06:44:13–06:45:31 UTC; код выхода 0
- Commit: `db3340d` (ветка `feat/lab6-final`), рабочее дерево без правок кода (изменены только `QUESTIONS.md` и файлы `evidence/`, в образ они не входят)
- Стенд: проект compose `mtusi-lab6`, две реплики за HAProxy, relay, worker, телеметрия включена (Collector, Prometheus, Loki, Tempo, Grafana), собран `make run_docker` из `HEAD`
- Итог: **224 passed, 147 deselected, 77,59 с**. 147 deselected — проверки отказов (`evidence/tests/failure-checks.md`)
- `test_exclusion_evidence_exists` зелёный: все 10 файлов исключений сняты на стенде лабы 6 (`evidence/cache/hits.md`, `evidence/auth/passwords-and-tokens.md`, `evidence/idempotency/replay-after-restart.md`, `evidence/replicas/test-persistence.md`, `evidence/attachments/failover.md`, `evidence/attachments/storage.md`, `evidence/broker/stand.md`, `evidence/broker/isolated.md`, `evidence/uploads/baseline/summary.md`, `evidence/queue/baseline4/summary.md`)
- Вывод сокращён: убраны строки `PASSED` и заголовки блоков вывода
```text
student-tests/test_coverage.py::test_exclusion_evidence_exists PASSED [ 50%]
uploaded via d34fc9b86aa4, downloaded via ['35f606496f73', 'd34fc9b86aa4']
coverage: 389 scenarios in 17 specs, 358 tested (173 by make failure_checks), 31 excluded
sent via d34fc9b86aa4, replayed via ['35f606496f73']
409 via ['35f606496f73', 'd34fc9b86aa4']
one session, 20 requests: {'35f606496f73': 10, 'd34fc9b86aa4': 10}
written via d34fc9b86aa4, read via {'35f606496f73': 3, 'd34fc9b86aa4': 3}
race: 10 clients x 10 messages, statuses {201: 100}, max in flight 10; history: 100 messages, 100 unique ids, 4 pages by 30
username race: 10 clients, statuses {409: 9, 201: 1}, max in flight 10
key race: 10 clients, statuses {201: 10}, max in flight 10; history: 1 messages
key race: 10 clients, statuses {201: 10}, max in flight 10; history: 1 messages
key race through replicas: {'35f606496f73': 5, 'd34fc9b86aa4': 5}
================ 224 passed, 147 deselected in 77.59s (0:01:17) ================
```
+32
View File
@@ -0,0 +1,32 @@
# Набор на временной базе
- Команда: `make test_isolated`
- Дата: 2026-11-15, 06:45:55–06:48:10 UTC; код выхода 0 (`results: {'test': 0, 'student_test': 0}`)
- Commit: `db3340d` (ветка `feat/lab6-final`), рабочее дерево без правок кода (изменены только `QUESTIONS.md` и файлы `evidence/`, в образ они не входят)
- Стенд: образ из рабочего дерева, контейнеры `mtusi-lab6-test-api`, `mtusi-lab6-test-worker`, `mtusi-lab6-test-relay` на базе `test_messenger` поверх хранилищ рабочего стенда (телеметрия у них выключена, `TELEMETRY__ENABLED=false`), один процесс API, `EXPECT_REPLICAS=1`
- Итог: smoke — `PASS: lab6`; набор — **218 passed, 6 skipped, 147 deselected, 116,06 с**. Это третий прогон этой сессии: первые два — последовательность `evidence/broker/isolated.md` (код 2 только из-за ещё не снятых файлов исключений)
- 6 skipped — тесты реплик против одного процесса, причина напечатана; 147 deselected — проверки отказов (`evidence/tests/failure-checks.md`)
- Вывод сокращён: убраны лог сборки и строки `PASSED`
```text
python3 tests/smoke.py --base-url "http://127.0.0.1:18088"
PASS: lab6 public API scenario; infrastructure and grading evidence remain separate.
student-tests/test_coverage.py::test_exclusion_evidence_exists PASSED [ 50%]
two series of 18 requests: {'47af42477da4': 36}
ready in 0.44 s
coverage: 389 scenarios in 17 specs, 358 tested (173 by make failure_checks), 31 excluded
race: 10 clients x 10 messages, statuses {201: 100}, max in flight 10; history: 100 messages, 100 unique ids, 4 pages by 30
username race: 10 clients, statuses {409: 9, 201: 1}, max in flight 10
key race: 10 clients, statuses {201: 10}, max in flight 10; history: 1 messages
SKIPPED [1] student-tests/test_attachment_processing.py:511: one API process (EXPECT_REPLICAS=1): replica checks need the stand with the load balancer
SKIPPED [1] student-tests/test_attachments.py:748: one API process (EXPECT_REPLICAS=1): replica checks need the stand with the load balancer
SKIPPED [1] student-tests/test_idempotency.py:372: one API process (EXPECT_REPLICAS=1): replica checks need the stand with the load balancer
SKIPPED [1] student-tests/test_load_balancing.py:18: one API process (EXPECT_REPLICAS=1): replica checks need the stand with the load balancer
SKIPPED [1] student-tests/test_load_balancing.py:34: one API process (EXPECT_REPLICAS=1): replica checks need the stand with the load balancer
SKIPPED [1] student-tests/test_race.py:169: one API process (EXPECT_REPLICAS=1): replica checks need the stand with the load balancer
========== 218 passed, 6 skipped, 147 deselected in 116.06s (0:01:56) ==========
[test_isolated] cleanup
[test_isolated] remove objects /buckets/messenger/test_messenger/ and queue test_messenger.attachment.process.v1
[test_isolated] results: {'test': 0, 'student_test': 0}
```