From 6c6e6d5192da829a93eb79c33aeb0fb965e23675 Mon Sep 17 00:00:00 2001 From: roman Date: Sun, 15 Nov 2026 10:35:25 +0300 Subject: [PATCH] docs: capture lab 6 exclusion evidence, full checks and final report Coverage-exclusion evidence on the lab 6 stand (db3340d), failure checks, isolated and LB test runs, clean clone and secrets check; fill REPORT.md from the skeleton template, drop PLAN.md (last version db3340d). Co-Authored-By: Claude Opus 5.5 --- AGENTS.md | 19 +- PLAN.md | 222 ------------------- QUESTIONS.md | 24 +- REPORT.md | 206 +++++++++++++++-- evidence/attachments/failover.md | 48 ++++ evidence/attachments/storage.md | 108 +++++++++ evidence/auth/passwords-and-tokens.md | 19 ++ evidence/broker/isolated.md | 82 +++++++ evidence/broker/stand.md | 36 +++ evidence/cache/hits.md | 23 ++ evidence/failover/test-failover.md | 34 +++ evidence/idempotency/replay-after-restart.md | 76 +++++++ evidence/replicas/test-persistence.md | 34 +++ evidence/tests/clean-clone.md | 62 ++++++ evidence/tests/failure-checks.md | 70 ++++++ evidence/tests/final-checks.md | 45 ++++ evidence/tests/secrets.md | 15 ++ evidence/tests/service-tests.md | 23 ++ evidence/tests/student-test-lb.md | 25 +++ evidence/tests/test-isolated.md | 32 +++ 20 files changed, 959 insertions(+), 244 deletions(-) delete mode 100644 PLAN.md create mode 100644 evidence/attachments/failover.md create mode 100644 evidence/attachments/storage.md create mode 100644 evidence/auth/passwords-and-tokens.md create mode 100644 evidence/broker/isolated.md create mode 100644 evidence/broker/stand.md create mode 100644 evidence/cache/hits.md create mode 100644 evidence/failover/test-failover.md create mode 100644 evidence/idempotency/replay-after-restart.md create mode 100644 evidence/replicas/test-persistence.md create mode 100644 evidence/tests/clean-clone.md create mode 100644 evidence/tests/failure-checks.md create mode 100644 evidence/tests/final-checks.md create mode 100644 evidence/tests/secrets.md create mode 100644 evidence/tests/service-tests.md create mode 100644 evidence/tests/student-test-lb.md create mode 100644 evidence/tests/test-isolated.md diff --git a/AGENTS.md b/AGENTS.md index 772c587..3363175 100644 --- a/AGENTS.md +++ b/AGENTS.md @@ -9,7 +9,9 @@ SDK OpenTelemetry в API и worker, отдельный OTel Collector, хран `contracts/infrastructure.json`, `infra/otel/README.md`). Цель — оценка 5, трек 1 «Цена наблюдаемости»; хранилища — Prometheus (метрики), Loki (логи), Tempo (трассы), интерфейс — Grafana (решения пользователя -2026-11-11). План изменений лабы и развилки — `PLAN.md`. Решения, принятые +2026-11-11). Рабочий план лабы (`PLAN.md`) удалён после закрытия всех changes и +последнего шага: итоги — в `REPORT.md`, последняя версия плана — `git show +db3340d:PLAN.md`. Решения, принятые без пользователя, и открытые вопросы — `QUESTIONS.md`. Первое изменение лабы, наблюдаемость (уровень 3) — change `otel-telemetry` (заархивирован 2026-11-11, @@ -71,7 +73,14 @@ histogram — поля `[telemetry] trace_sample_ratio`, `metric_buckets` (по `bench_queue`; сбалансированная конфигурация — `bench/otel/` (рабочий стенд остаётся со всеми трассами); гипотезы H1–H8 и критерии B1–B5 — `REPORT.md`, «Цена наблюдаемости (трек 1)». Гипотезы — commit `509afca`, метка `evidence/telemetry-cost/baseline2/` снята на коде `68e14b6` -(каталог — commit `0f5dbfc`), правки verify — commit `56132c7`. +(каталог — commit `0f5dbfc`), правки verify — commit `56132c7`. Последний шаг лабы (без +change, ветка `feat/lab6-final`): метки `make bench_uploads TELEMETRY=on` → +`evidence/uploads/baseline/` и `make bench_queue TELEMETRY=on QUEUE_LABEL=baseline4` → +`evidence/queue/baseline4/` (код `b3a5ab8`, каталоги — commit `db3340d`; у очереди +`dirty: true` — `QUESTIONS.md`, `## Последний шаг`), файлы исключений сверки покрытия и +полные проверки на `db3340d` (`evidence/cache/`, `auth/`, `attachments/`, `broker/`, +`idempotency/`, `replicas/`, `failover/`, `tests/`), проверка из чистого clone, CI на Gitea, +`REPORT.md` целиком; `make student_test` через LB зелёный. Код перенесён из лабы 5 (репозиторий `mtusi2026lab5-safronov`, ветка `solution/bvt2301-safronov`, commit `046ec9e`) по разделу «Переход в следующую лабу»; отчёт и evidence лабы 5 @@ -772,7 +781,7 @@ evidence/storage/ # отказы БД, пул, statement_timeout, р evidence/migrations/ # миграции с нуля и повторно, ошибка миграции; лаба 4: pending-index.md (ревизия 739b8f04d5fb с нуля, повтор, откат, EXPLAIN общего плана кандидатов уборщика на рабочей базе с откатом, rollout_quick), lost-at.md (ревизия 5c3e1f0a9b7d колонки lost_at: с нуля, повтор, откат, --sql с lock_timeout, make rolling_update с ревизией до и после) evidence/auth/ # passwords-and-tokens.md — driver.py auth-storage на стенде текущей лабы: Argon2id в users, SHA-256 токена в sessions, ни токена, ни пароля в pg_dump (исключения сверки покрытия) evidence/cache/ # hits.md — make test_isolated + driver.py cache-check на стенде текущей лабы: одно чтение chats на 50 через LB, TTL, ключи двух баз (исключения сверки покрытия) -evidence/tests/ # change unit-of-work: service-tests.md (make service_test и service_test_db, таблица регрессий); выводы make test_isolated (test-isolated.md), make student_test через LB (student-test-lb.md) и make failure_checks (failure-checks.md) для REPORT.md, secrets.md; файлы этих проверок лаб 3 и 4 — в их репозиториях +evidence/tests/ # последний шаг лабы 6 (db3340d): service-tests.md (make service_test и service_test_db), test-isolated.md, student-test-lb.md, failure-checks.md, final-checks.md (check, validate, lint, alerts_test), secrets.md, clean-clone.md (git clone, make run_docker своим проектом на нестандартных портах), ci-application.md (прогон .github/workflows/application.yml на Gitea); файлы этих проверок лаб 3–5 — в их репозиториях evidence/idempotency/ # повтор, 409, гонка, таблица ключей, X-Instance-Id evidence/replicas/ # стенд с LB: порты, лимиты и их цена для Argon2id, окружение, распределение, ответы LB (нет реплик, зависшая, без PostgreSQL), test-persistence, чистый clone на нестандартных портах evidence/failover/ # make test-failover для каждой реплики (stop и kill), отказы stop-one.sh; замер обнаружения, keep-alive, зависшая реплика и ключ; stop-at-start.md — docker stop стартующей реплики «до/после» раннего обработчика и ветка сбоя rolling-update.sh @@ -783,9 +792,9 @@ evidence/bench/<метка>/ # результаты make bench / bench_rest evidence/bench/scaling-*/ # серии трека 1 (a, b, pool, A/A scaling-aa, db — насыщение PostgreSQL; db4 — «до/после» пула без переполнения: scaling-db-aa*, -before*, -nooverflow*, окончательные — с суффиксом 2): паспорт с планом, бюджетом и лимитами по конфигурациям, runs.csv (строка на ступень), searches.csv (строка на ячейку), samples.csv (посекундно в окнах), summary.md, p95-by-rate.svg, cpu-by-component.svg, итоги k6 ступеней и журналы 5xx evidence/plots/scaling/ # make bench_plots по сериям a и b: графики SVG и summary.md (R*, эффективность, точка насыщения, цена запроса, память) evidence/plots/scaling-db/ # make bench_plots по серии db: R* по лимитам PostgreSQL и раздел «Насыщение PostgreSQL» -evidence/queue/<метка>/ # результаты make bench_queue (change track1-queue-overload): meta.json (классы, план, окна, app_env по конфигурациям), cells.csv, timeline.csv, summary.md (H1–H9, рекомендация), SVG, raw/ — итоги k6 +evidence/queue/<метка>/ # результаты make bench_queue (change track1-queue-overload): meta.json (классы, план, окна, app_env по конфигурациям), cells.csv, timeline.csv, summary.md (H1–H9, рекомендация), SVG, raw/ — итоги k6; в лабе 6 — baseline4 с TELEMETRY=on (код b3a5ab8, dirty: true — QUESTIONS.md, «Последний шаг») evidence/telemetry-cost/<метка>/ # результаты make bench_telemetry (change track1-telemetry-cost): meta.json (варианты с SHA-256 слоёв, план, интенсивности, окна, блокировки, app_env по вариантам, stand и stand_telemetry, limits_by_mode), runs.csv, components.csv, classes.csv, summary.md (H1–H8, B1–B5), cpu-by-group.svg, latency-light.svg, ingest.svg, traces-by-class.svg, raw/ — итоги k6 и выборки -evidence/uploads/ # change upload-memory: <метка>/ — make bench_uploads (meta.json, runs.csv, summary.md, raw/), lb-timeouts.md — driver.py lb-upload-timeouts, rollout-upload.md — медленная загрузка во время make rolling_update +evidence/uploads/ # change upload-memory: <метка>/ — make bench_uploads (meta.json, runs.csv, summary.md, raw/; в лабе 6 — baseline с TELEMETRY=on, код b3a5ab8), lb-timeouts.md — driver.py lb-upload-timeouts, rollout-upload.md — медленная загрузка во время make rolling_update evidence/bench/unit-of-work-*/ # change unit-of-work, профиль quick с именной меткой (идёт в git): before и aa на b2fb88f, after на 6ba74b1 evidence/rollout/unit-of-work*/ # change unit-of-work: unit-of-work (замена с Profile.rollout_from), unit-of-work-previous (--from b2fb88f: CPU на запрос старых и новых реплик) evidence/compare/ # таблицы make bench_compare: <до>__<после>.md; unit-of-work-before__unit-of-work-after.md и unit-of-work-aa__unit-of-work-after.md — цена шага от двух меток одного кода diff --git a/PLAN.md b/PLAN.md deleted file mode 100644 index d9c3fe8..0000000 --- a/PLAN.md +++ /dev/null @@ -1,222 +0,0 @@ -# План лабы 6: наблюдаемость - -Рабочий план изменений OpenSpec лабы 6 для прогона `/openspec-cycle`. Задание — -`README.md`, сигналы — `contracts/observability.md`, роли — -`contracts/infrastructure.json`, что положить в `infra/` — -`infra/otel/README.md`. Перенос из лабы 5 и найденное при нём — `QUESTIONS.md`, -«Перенос из лабы 5». После закрытия всех changes план удаляется, итоги — в -`REPORT.md` (как в лабах 3 и 4). - -## Что решает пользователь - -Ответы записать в `QUESTIONS.md` («Ответы пользователя перед прогоном») и -передавать в промпт propose как решения, которые не пересматриваются. - -| # | Решение | Рекомендация | Почему | -|---|---|---|---| -| 1 | Цель и трек 5 | **принято 2026-11-11:** 5, трек 1 «Цена наблюдаемости» | стенд `bench/` уже меряет latency (k6), CPU и память по контейнерам (сэмплер), сравнивает метки; трек 2 требует долгих окон burn-rate и долгих прогонов на ложные срабатывания, их честно не уменьшить до учебного стенда | -| 2 | Хранилища | **принято 2026-11-11:** Prometheus (метрики), Loki (логи), Tempo (трассы), отдельными сервисами | все три принимают OTLP, у каждого понятная роль и свой volume; `grafana/otel-lgtm` одним контейнером прячет Collector и хранилища, а рубрика требует отдельный Collector и объяснить каждое хранилище | -| 3 | Уровень 4 — один change или два | **принято 2026-11-11:** два — связь и насыщение, затем SLO, alerts и устойчивость | verify каждого уже; второй опирается на метрики первого. Цена — ещё один цикл из четырёх стадий | -| 4 | Что можно без пользователя | **принято 2026-11-11:** как в лабе 5: коммиты на `feat/`, ff-merge в `solution/bvt2301-safronov`, архивация, зависимости и образы, стенд и замеры; push — в конце; PR не открывать | без разрешения на коммиты цикл идёт без них (скилл `openspec-cycle`) | -| 5 | Длинные замеры исключений (`bench_uploads` ~50 мин, `bench_queue` ~2 ч 10 мин) | **принято 2026-11-11:** в последнем шаге, на коде лабы 6 с **включённой** телеметрией на стенде `mtusi-bench` (уточнено 2026-11-11, вопрос 5 `## otel-telemetry`) | доказывают, что свойства лаб 4 и 5 сохранились вместе с телеметрией; снятые раньше пришлось бы снимать заново. Выключатель телеметрии `bench/` — из change 4 | - -## Шаг 0. Перенос (без OpenSpec) - -1. Сделано 2026-11-11: ветка `solution/bvt2301-safronov` от `main`, commit - переноса `9cc6c0c` (источник — `mtusi2026lab5-safronov`, `046ec9e`). -2. Сделано: commit «до» профилей `bench/` (`rollout_from`, `uploads_before`, - `reconcile_before`) → `9cc6c0c`, код успеха «до» у `uploads` — 202 - (`QUESTIONS.md`). -3. `graphify update .` (граф локальный, в git не идёт). -4. Evidence исключений сверки покрытия — в последнем шаге (решение 5). До него - `make student_test` красный ровно одним `test_exclusion_evidence_exists` (10 - файлов, `QUESTIONS.md`): в промпт apply и verify — «известно, не чинить». - -## Changes - -| # | Change | Уровень | Суть | Зависит от | -|---|---|---|---|---| -| 1 | `otel-telemetry` | 3 | Collector, Prometheus, Loki, Tempo, Grafana в стенде; SDK в API и worker; сигналы уровня 3; dashboard из provisioning; первый старт с нуля | шаг 0 | -| 2 | `job-trace-propagation` | 4 | W3C trace context API → outbox → relay → broker → worker; время до `ready`; очередь, возраст старейшей job, пул БД, saturation worker; p50/p95/p99 и доля ошибок | 1 | -| 3 | `slo-alerts` | 4 | SLI/SLO, alert rules с runbooks, проверка firing / resolved отказами; Collector и SDK с ограниченной памятью и очередью; отказ хранилища телеметрии; два инцидента | 2 | -| 4 | `track1-telemetry-cost` | 5 | цена телеметрии и потери при sampling (решение 1) | 3 | -| — | последний шаг | — | evidence исключений, полные проверки, `REPORT.md` | 4 | - -### 1. `otel-telemetry` (уровень 3) - -**Входит:** - -- Стенд: отдельный OTel Collector (`infra/otel/collector.yaml`: OTLP receivers - на внутренней сети, `memory_limiter` и `batch` уже здесь, три pipeline на - реальные хранилища), Prometheus, Loki, Tempo с persistent volumes и - ограниченным сроком хранения, Grafana с provisioning datasources и dashboards - и dashboard JSON в git, порт Grafana только на `127.0.0.1`, пароль - администратора — случайный из `make env_setup`. Образы — тег и digest индекса, - лимиты CPU/RAM у всех, healthcheck, секреты по сервисам (`docker.md`). -- SDK в API (все реплики) и worker: resource attributes `service.name` - (`messenger-api`, `messenger-worker`), `service.version`, `service.instance.id` - (= `instance_id`, `X-Instance-Id`), `deployment.environment.name=lab`; OTLP - `http/protobuf` в Collector. Соответствие имён skeleton `OTEL_*` настройкам — - `.env.example`, `settings.md`, `REPORT.md`. -- Сигналы уровня 3 (`contracts/observability.md`): HTTP requests (method, route - template, status class) и duration histogram в секундах с границами под - ожидаемые задержки; jobs processed / failed и job duration (job type, outcome); - структурные логи с `trace_id` / `span_id`, severity, `service.name`, event — - stdout JSON остаётся; трассы — server spans API, consumer span worker, дочерние - spans БД, S3 и процесса обработки. -- Запреты: `user_id`, `chat_id`, `message_id`, `attachment_id`, `request_id`, - raw URL, `filename`, текст — не labels метрик; `Authorization`, пароль, токен, - `Idempotency-Key`, тела, байты, подписи S3 — нигде в telemetry (`logging.md`, - «Чего в логах быть не должно»). -- Dashboard уровня 3: RPS, ошибки и duration API, успешные и ошибочные jobs, - duration worker; переход лог ↔ трасса по `trace_id`. -- Проверка «свой запрос найден»: команда драйвера (рабочее имя - `telemetry-check`) — запрос с известным `X-Request-Id` → лог в Loki → `trace_id` - → трасса в Tempo; upload → trace и лог worker. Проба приватности: маркеры пароля, - токена и текста теста в Loki и Tempo не находятся. -- Исправление `KNOWN_ISSUES.md` «Первый старт RabbitMQ на пустом volume» и - сценарий «стенд с нуля одной командой»: `make run_docker` на пустых volumes, - дважды подряд, включая новые хранилища (у non-root образов на именованных - volumes бывают те же права). -- Override CI (`.github/ci/compose.yml`, `stand-env.sh`): новые bind mount → - `configs`, без портов хоста. -- Стенд `bench/` и стенд отказов (`failure_checks`) не меняют прежних бюджетов: - телеметрия там выключена по умолчанию (`OTEL_SDK_DISABLED` или свой выбор), а - включается профилем. Иначе метки прежних профилей несравнимы, а сумма лимитов - `bench/` упрётся в ВМ. Выключатель SDK нужен и треку 1 (вариант off). -- `make test` проходит при включённой телеметрии; назначение каждого хранилища и - соответствие имён SDK ↔ Prometheus — в `REPORT.md`. - -**Не входит:** перенос контекста через брокер, метрики очереди, пула и -saturation, alerts, SLO, настройка backpressure сверх базовых `memory_limiter` и -`batch`. - -**Развилки для design** (решает propose, записывает в design): - -- путь логов: OTLP из SDK (мост structlog / stdlib → `LoggingHandler`) или - `filelog` Collector по журналам Docker (на Docker Desktop журналы внутри ВМ); - рекомендация — SDK; -- путь метрик в Prometheus: OTLP receiver Prometheus, `prometheusremotewrite` или - scrape `prometheus` exporter Collector — от него зависят имена, суффиксы единиц - и какие resource attributes становятся labels; -- дистрибутив Collector: `tail_sampling` трека 1 есть только в contrib; с - выбранным треком 1 рекомендация — contrib с первого change, чтобы варианты - трека отличались настройкой, а не сборкой Collector; -- автоинструментирование (FastAPI/ASGI без заголовков и health, SQLAlchemy async, - redis, aio-pika) или ручные spans; S3 — ручной span в `ObjectStorage._call` - (единственная точка вызова); -- relay и cleaner: SDK сразу или в change 2 (relay нужен там для publish span); -- `scripts/restart.sh`: перезапускать ли хранилища телеметрии («все хранилища» - restart hook — про бизнес-данные); -- бюджет ВМ: Docker Desktop — 12 CPU, 7,75 GiB; лимиты стенда сейчас 9,0 CPU / - 4992 МБ постоянных (`docker.md`); пять новых сервисов дадут ~11–12 CPU и ~7 ГБ — - сумма и решение в `REPORT.md`. - -**Проверки:** `make lint`, `make service_test`, `make service_test_db`, `make test` -и `make student_test` на стенде с телеметрией, `make test_isolated`, `make -failure_checks`, `docker compose config --quiet`, стенд с нуля, evidence -`telemetry-check` и пробы приватности, provisioning без ручного импорта (Grafana -API: datasources и dashboard на месте после старта). - -### 2. `job-trace-propagation` (уровень 4, часть 1) - -**Входит:** - -- W3C `traceparent` / `tracestate`: контекст span загрузки сохраняется вместе с - намерением задания (`attachment_jobs`, миграция только расширяет схему, - `migrations.md`), relay публикует с заголовками и publish span, worker - извлекает контекст — consumer / process span с parent или link по выбранной - semantic conventions messaging (выбор и почему — в design). Каждая попытка и - replay видны; по одному upload — цепочка до записи S3 и фиксации в БД, включая - retry (команда драйвера, рабочее имя `trace-chain`, с вынужденной повторной - попыткой). -- Метрики: end-to-end время до `ready` (от фиксации `queued` до фиксации `ready`, - histogram); queue depth и возраст старейшей незавершённой job (секунды) из - одного источника — не по разу на реплику API; DB pool used / waiting по - процессам; worker busy / capacity; CPU и RAM процессов или контейнеров (если - Collector читает `docker.sock` — это цена безопасности, назвать). -- Dashboard уровня 4: p50 / p95 / p99 через `histogram_quantile` по сумме buckets - всех реплик (не среднее p99), доля ошибок с заранее определёнными числителем и - знаменателем (5xx / бизнес-запросы без health; 4xx клиента отдельно), - очередь и возраст, пул, saturation; запросы и единицы — в `REPORT.md`. - -**Не входит:** alerts, SLO, устойчивость телеметрии. - -**Развилки:** parent или link у consumer (outbox разрывает синхронную цепочку: -publish идёт в другом процессе и позже); источник очереди — relay -(единственный, уже считает `published_backlog`), receiver Collector или -метрики брокера; смесь версий при `make rolling_update` — строки задания без -контекста у прежних реплик. - -### 3. `slo-alerts` (уровень 4, часть 2) - -**Входит:** - -- Проверяемый SLI/SLO и окно: API (доступность и latency) и время до `ready`, - формула PromQL. -- Alert rules в git — минимум высокий error rate и растущий queue lag: условие, - окно, порог, `for`, описание, ссылка на локальный runbook. Проверка искусственным - отказом: остановить worker → firing → запустить → resolved; медленная или - недоступная БД → firing → resolved; состояние из API Prometheus / Grafana с - временем — в evidence. Доставка наружу не нужна. -- Collector: `memory_limiter`, `batch`, ограниченная `sending_queue`, - `retry_on_failure` с пределом времени; SDK — ограниченные очереди и сроки - экспорта. Остановка каждого хранилища телеметрии и самого Collector: API и - worker работают (`make test`), память Collector и API ограничена (замер), потери - посчитаны (собственные метрики Collector `otelcol_exporter_send_failed_*`, - `otelcol_exporter_enqueue_failed_*`, отказы `memory_limiter`) и объяснены. -- Два инцидента в `REPORT.md` с шагами диагностики только по сохранённым - наблюдениям: (1) остановлен worker — растёт возраст задач; (2) медленная или - недоступная БД отличается от медленного handler по трассам и метрикам. Третий — - недоступность хранилища телеметрии. - -**Развилки:** правила Prometheus или Grafana-managed alerts (рекомендация — -правила Prometheus: файл в git, `promtool test rules`); нужен ли Alertmanager -(доставка не нужна — состояние firing / resolved видно без него). - -### 4. `track1-telemetry-cost` (уровень 5, решение 1) - -Профиль `telemetry` стенда `bench/`: одинаковая открытая нагрузка (смесь API и -загрузок ниже насыщения), варианты — телеметрия выключена, полная (100 % -трасс), head sampling (`parentbased_traceidratio`), tail sampling в Collector -(ошибки, медленные, доля остальных), вариант агрегации метрик (интервал -экспорта, границы buckets, лишние инструменты). Меряется p50 / p95 / p99, CPU и -RAM API, worker, Collector и хранилищ, объём ingest (метрики Collector, рост -хранилищ), потери spans. Редкие ошибки и медленные запросы вносятся с известным -числом — по ним видно, что теряет каждый вариант. Гипотезы закоммичены до метки, -повторы, A/A, сбалансированная конфигурация предложена и проверена, ограничения -названы (`bench.md`). Включение телеметрии на стенде `mtusi-bench` (SDK, Collector, -хранилища) делается не только для профиля `telemetry`: им пользуются `bench_uploads` -и `bench_queue` последнего шага (решение 5), бюджет ВМ — с ним. - -Трек 2 «SLO и обнаружение инцидентов» не выбран (решение 1): burn-rate alerts -с несколькими окнами в changes не входят, alerts уровня 4 — пороговые -(change 3). - -### Последний шаг (без отдельного change) - -- Evidence исключений сверки покрытия на стенде лабы 6 и коде с телеметрией: - 10 файлов из `QUESTIONS.md` (`make test_isolated` и `driver.py cache-check - --require-test-keys`, `auth-storage`, `make test-persistence`, повтор после - `--force-recreate api`, `attachment-failover` оба режима, `attachment-storage`, - `broker-check` и `--require-test-queue`, `make bench_uploads`, `make - bench_queue` — оба с включённой телеметрией, решение 5) и новые исключения - changes лабы 6. Метка очереди: исключение - называет `baseline4` — новая метка с тем же именем или правка текста исключения - на новую (решить там, назвать в `QUESTIONS.md`). -- Полные `make failure_checks`, `make test_isolated`, `make student_test` через - LB, `make test-persistence`, `make test-failover` (stop и kill), CI на Gitea, - проверка из чистого clone, `REPORT.md` целиком (шаблон skeleton), секреты в - evidence — проверка. -- Push ветки решения — по разрешению; PR — только по отдельной просьбе. - -## Запуск - -- Каждый change — `/openspec-cycle `: propose (max) → apply (high) → - verify (xhigh) → правки → archive (high), обычно 4 шага; ветка - `feat/` от `solution/bvt2301-safronov`, ff-merge обратно. -- В промпт propose — раздел change отсюда и ответы пользователя; развилки - решает design, а не этот план. -- В промпт apply и verify: `test_exclusion_evidence_exists` красный до - последнего шага — известно; стенд проекта `mtusi-lab6`; рабочий стенд перед - `bench/` — `make stop`. diff --git a/QUESTIONS.md b/QUESTIONS.md index a81acc5..e08067e 100644 --- a/QUESTIONS.md +++ b/QUESTIONS.md @@ -2,8 +2,9 @@ Решения, принятые без пользователя, и вопросы, которые не блокируют работу. Раздел на каждый change: `## `, внутри «Решения» и «Вопросы». -Вопросы преподавателю дублируются в `REPORT.md`. План изменений лабы — -`PLAN.md`. +Вопросы преподавателю дублируются в `REPORT.md`. План изменений лабы (`PLAN.md`) +удалён после последнего шага, последняя версия — `git show db3340d:PLAN.md`; ссылки на +него ниже — на эту версию. ## Ответы пользователя перед прогоном (2026-11-11) @@ -564,9 +565,26 @@ Change `openspec/changes/archive/2026-11-15-track1-telemetry-cost/` (propose 202 лимита во всех повторах, отношение длительностей 0,869 при пороге 1,5. В лабе 5 на той же ячейке условие тоже было неустойчивым (`baseline3` — H2 «нет»); с телеметрией перезапусков больше (13 против 5 у `baseline4` лабы 5), у lp-c4p4-r3 — пометка `failed` (задания `retry_exhausted`). Рекомендация правила прежняя — (2, 2). +- **Доказательства исключений и полные проверки — на `db3340d`** при дереве без правок кода (менялись только документы и + `evidence/`), рабочий стенд `make run_docker` с включённой телеметрией. Порядок вынужденный: `make test_isolated` до появления + файлов исключений красный ровно одним `test_exclusion_evidence_exists`, поэтому прогонов три — два в последовательности + `evidence/broker/isolated.md` и третий зелёный (`evidence/tests/test-isolated.md`). Повтор после `--force-recreate api` выполнил + разовый скрипт на stdlib вне репозитория (как в лабе 5): шаги перечислены в шапке файла. +- **`make test-failover` `kill` — `failed_attempts` 1** при PASS: запись была в полёте на убитой реплике, проверка повторила её + с тем же ключом, дубля нет (в лабе 5 — 0). Не дефект: LB не повторяет отправленный `POST` (`balancer.md`). +- **Проверка из чистого clone — клон `db3340d`**, проект `mtusi-lab6-clonecheck` рядом с рабочим стендом на своих портах; + `make student_test` в нём — 1 failed (`test_exclusion_evidence_exists`): файлы исключений этого шага ещё не закоммичены. + Уборка — `docker compose down` и `docker volume rm` шести volumes клона по имени: `down -v` запрещён настройками, а + volumes рабочего стенда это имя не задевает. `driver.py stand-from-scratch` не перезапускался (вопрос 8 `## otel-telemetry` ждёт + пользователя): «стенд с нуля одной командой» на закоммиченном коде показывает чистый clone. +- **`PLAN.md` удалён** по его правилу (итоги — `REPORT.md`), последняя версия — `git show db3340d:PLAN.md` (файл не менялся с + `db3340d`); ссылка — в `AGENTS.md`, этом файле и шапке `REPORT.md`. - **Хост в перерыве.** Агент продолжил после сброса лимита основной сессии; контейнеры `domains-*` к этому моменту уже запустила команда замера (последний шаг цепочки). ### Вопросы -Пока нет. +1. Пользователю: переснять ли метку `evidence/queue/baseline4/` на чистом дереве (`dirty: true`, разбор — «Решения»)? + По умолчанию — нет: код тот же `b3a5ab8`, а изменённые файлы (`REPORT.md`, незакоммиченный каталог метки загрузок) + образ и `bench/` не читают. Ответ «да» — ~2 ч 20 мин хоста. Каталог удаляется и снимается заново под тем же именем: + его называют исключения `queue-overload`. Затем переносятся числа в `REPORT.md`. diff --git a/REPORT.md b/REPORT.md index 62c7123..1dbfcb1 100644 --- a/REPORT.md +++ b/REPORT.md @@ -1,13 +1,81 @@ # Отчёт — лабораторная 6 -- Автор, группа: TODO -- Целевая оценка; выбранный трек 5, если нужен: TODO -- Commit/PR: TODO после публикации -- Использованные источники, библиотеки и помощь ИИ: TODO +- Автор, группа: Сафронов Роман Николаевич, БВТ2301 +- Целевая оценка; выбранный трек 5: оценка 5, трек 1 «Цена наблюдаемости» +- Состояние отчёта: закрыты **уровень 3** (change `otel-telemetry`), **уровень 4** (`job-trace-propagation`, `slo-alerts`) и + **уровень 5, трек 1** (`track1-telemetry-cost`); последний шаг — доказательства исключений сверки покрытия на стенде этой лабы, + полные проверки, проверка из чистого clone, CI. Рабочий план лабы удалён после закрытия всех changes, последняя версия — + `git show db3340d:PLAN.md` +- Ветка решения: `solution/bvt2301-safronov`, в неё по очереди влиты `feat/otel-telemetry`, `feat/job-trace-propagation`, + `feat/slo-alerts`, `feat/track1-telemetry-cost` и `feat/lab6-final` +- Commit: код последнего change — `56132c7` (правки verify трека 1), метки последнего шага — код `b3a5ab8`, каталоги — `db3340d`, + доказательства последнего шага — `db3340d`; снятое на других commit названо в разделе доказательств и в шапке каждого файла +- PR: по шаблону `.github/pull_request_template.md`, заголовок `ЛР 6 — БВТ2301 — Сафронов — на 5`; номер — после публикации +- Согласования с преподавателем: три договорённости лаб 1–4 действуют, новых в лабе 6 нет. Открытые вопросы преподавателю — + 10 новых и перенесённые, раздел «Открытые вопросы преподавателю»; решения без пользователя — `QUESTIONS.md` +- Использованные источники, библиотеки и помощь ИИ — последний раздел ## Запуск из чистого clone -TODO: версии runtime/образов, prerequisites, команды создания локальных secrets/.env, build, миграций, запуска, ожидания готовности, тестов и остановки. Указать необходимые действия оператора. Не вставлять секреты. Отдельно указать безопасную остановку и команду намеренного удаления учебных данных. +**Версии.** Образ API: `python:3.12.14-slim-trixie`, uv 0.12.17. LB: `haproxy:3.4.6-trixie`. PostgreSQL: `postgres:18.6-trixie`. +Valkey: `valkey/valkey:9.1.2-trixie`. S3: `chrislusf/seaweedfs:4.48`. Брокер: `rabbitmq:4.3.7`. Телеметрия: +`otel/opentelemetry-collector-contrib:0.164.0`, `prom/prometheus:v3.15.1`, `grafana/loki:3.7.9`, `grafana/tempo:3.1.1`, +`grafana/grafana:13.3.1`. Все закреплены тегом и digest в `Dockerfile` и `docker-compose.yml`. Приложение: Python 3.12, FastAPI, +OpenTelemetry SDK 1.45.2; остальное строго по `uv.lock`. Проверено на Docker 29.9.2, Compose 5.6.1, macOS на Apple M3 Pro; ВМ +Docker Desktop — 12 CPU / 12 ГБ (сумма лимитов стенда — раздел «Сервисы стенда и лимиты»). + +**Нужно на машине:** Docker с BuildKit и Compose v2, `make`, `openssl`, `curl`, `python3` 3.9+ (публичные проверки и драйвер +скилла), uv (`make validate`, `make student_test`, `make test_isolated`, `make failure_checks`, `make bench*`, `make run_dev`). +Свободные порты `127.0.0.1`: 8080 (LB), 3000 (Grafana), 5433 (PostgreSQL), 6380 (Valkey), 8334 (S3), 5673 (AMQP), 18088 +(`make test_isolated`). Другой порт — аргументом make (`make run_docker APP_OUT_PORT=8090`) или строкой в `.env` до +`make env_setup`; другой проект compose — `COMPOSE_PROJECT_NAME` в `.env`. + +**Действий оператора нет.** `make env_setup` создаёт `.env` и `config.toml` из шаблонов, подставляет случайные пароли, ключи S3 и +`GRAFANA_ADMIN_PASSWORD` и печатает только имена; в существующий `.env` дописывает недостающие переменные, прежние строки не +меняет. Миграции применяет одноразовый сервис `migrate`, bucket и пользователей S3 — `s3-bootstrap`; источники и dashboard +Grafana — provisioning из `infra/otel/grafana/` (ручного импорта нет). + +### Способ 1: всё в compose — `make run_docker` + +```sh +git clone && cd <каталог clone> && git checkout solution/bvt2301-safronov +make run_docker # env_setup + build + up -d: хранилища → migrate, s3-bootstrap → api × 2, relay, worker, cleaner → haproxy; рядом otel-collector, prometheus, loki, tempo, grafana +make replicas # дождаться healthy реплик; готовность стенда — haproxy (healthy) и /health/ready через LB +make check +uv sync && make validate PYTHON=.venv/bin/python +make test # публичный smoke с включённой телеметрией +make student_test +make test-persistence ACTION_SCRIPT=scripts/restart.sh +make test-failover ACTION_SCRIPT=scripts/stop-one.sh && make replicas +make alerts_test # правила Prometheus без стенда +python3 .claude/skills/run-mtusi-messenger/driver.py --port 8080 telemetry-check # свой запрос в Loki и Tempo, ~2 мин +python3 .claude/skills/run-mtusi-messenger/driver.py --port 8080 trace-chain # трасса загрузки с повтором, ~5 мин +python3 .claude/skills/run-mtusi-messenger/driver.py --port 8080 alerts-check # firing / resolved, ~25 мин +make failure_checks # отдельный стенд <проект>-failures, ~40 мин; рабочий стенд не трогается +``` + +Grafana — `http://127.0.0.1:3000`, пользователь `admin`, пароль — `GRAFANA_ADMIN_PASSWORD` из `.env`; dashboard «Messenger +overview» в папке Messenger. Проверка именно этих шагов из чистого clone — `evidence/tests/clean-clone.md`. + +### Способ 2: сервис на хосте — `make run_dev`, `make run_worker`, `make run_relay` + +```sh +make run_dev # терминал 1: PostgreSQL и миграции с хоста, Valkey, S3 с bootstrap, брокер в compose; API на 127.0.0.1:8080 с reload +make run_worker # терминал 2: worker на хосте +make run_relay # терминал 3: relay на хосте +curl -s http://127.0.0.1:8080/health/ready +make test +EXPECT_REPLICAS=1 make student_test +``` + +Консоль — без телеметрии (`telemetry_enabled: false` в записях о старте). Вариант README без make: `make env_setup`, `docker +compose --env-file .env config --quiet`, `docker compose --env-file .env up -d --build`. + +### Остановка и удаление данных + +- `make stop` — остановить контейнеры; `make down` — удалить контейнеры. Volumes `postgres_data`, `s3_data`, `rabbitmq_data`, + `prometheus_data`, `loki_data`, `tempo_data` остаются. +- `make wipe_data` — намеренное удаление учебных данных и volumes, включая историю телеметрии (спрашивает `yes`). ## Архитектура и решения @@ -952,10 +1020,16 @@ Collector отправил 18 819 span из 137 868, у `balanced` — 14 442 и **Режим телеметрии меток загрузок и очереди.** -> **Будет заполнено на последнем шаге лабы.** Метки `make bench_uploads TELEMETRY=on` и `make bench_queue TELEMETRY=on` -> (решение пользователя: обе — с включённой телеметрией) ещё не сняты. Здесь будут: метки и commit, режим из паспорта -> (`stand.telemetry.mode` = `on`), строка режима сводок, предупреждение о сумме лимитов CPU очереди (12,25 при 12 у ВМ) и -> смешанное сравнение варианта «до» профиля загрузок (код `9cc6c0c` без SDK). +Обе метки последнего шага сняты с включённой телеметрией (решение пользователя, `QUESTIONS.md`, «Ответы пользователя +перед прогоном»): `make bench_uploads TELEMETRY=on` → `evidence/uploads/baseline/`, `make bench_queue TELEMETRY=on +QUEUE_LABEL=baseline4` → `evidence/queue/baseline4/`, код `b3a5ab8`, каталоги — commit `db3340d`. В паспортах +`stand.telemetry.mode` = `on` (SDK реплик, worker и relay с настройками рабочего стенда, Collector, Prometheus, Loki и Tempo +рабочего стенда, образы и SHA-256 конфигураций — `stand.telemetry`), сводки начинаются строкой режима. У очереди — +предупреждение о сумме лимитов CPU 12,25 при 12 у ВМ (лимиты делят время, а не резервируют ядра) и столбцы `tel_*` в конце +`cells.csv`. У загрузок вариант «до» — образ `9cc6c0c` без SDK, поэтому его сравнение с остальными вариантами смешанное +(сводка это называет): «до окна» у вариантов с SDK 114,8–116,7 МиБ против 106,3–106,9 у «до», пик окна «с лимитом» на +10 MiB выше «до» на 9–11 МиБ — это цена SDK в памяти реплики, а не мест загрузки. Числа и вердикты — раздел «Эксперименты +и отказы». У метки очереди `dirty: true` — разбор там же. **Вердикты** (`summary.md`, «Гипотезы и критерии»): @@ -1046,8 +1120,19 @@ Collector отправил 18 819 span из 137 868, у `balanced` — 14 442 и | Критерий README | Команда/сценарий | Наблюдаемый результат | Файл доказательства | | --- | --- | --- | --- | -| Публичный smoke | make test | TODO | TODO | -| Остальные пункты уровня 3 | TODO | TODO | TODO | +| Публичный smoke при включённой телеметрии | `make test` (в `make test_isolated`, в `telemetry-outage`, из чистого clone, в CI) | `PASS: lab6 public API scenario` | `evidence/tests/test-isolated.md`, `evidence/tests/clean-clone.md`, `evidence/telemetry/collector-outage.md` | +| Минимум лаб 1–5 сохранён | `make student_test` через LB (`db3340d`) | 224 passed, реплики выполнены; сверка: 389 сценариев, 358 проверены (173 — `make failure_checks`), 31 исключение, `test_exclusion_evidence_exists` зелёный | `evidence/tests/student-test-lb.md` | +| Тот же набор на временной базе | `make test_isolated` (`db3340d`) | smoke PASS; 218 passed, 6 skipped (реплики против одного процесса); уборка базы, объектов и очереди | `evidence/tests/test-isolated.md` | +| Отказы прежних уровней | `make failure_checks` (`db3340d`) | 147 passed, pytest 2242,88 с, `crash markers 0`; телеметрия на стенде отказов выключена | `evidence/tests/failure-checks.md` | +| Ветки сервисов, телеметрия на in-memory экспортёрах, настоящая единица работы | `make service_test`, `make service_test_db` (`db3340d`) | 335 passed за 2,88 с; 88 passed за 34,04 с | `evidence/tests/service-tests.md` | +| Офлайн-проверки | `make check`, `make validate`, `make lint`, `make alerts_test` (`db3340d`) | PASS ×2, 619 файлов без изменений, 7 оповещений с runbook | `evidence/tests/final-checks.md` | +| Сохранность и hook | `make test-persistence ACTION_SCRIPT=scripts/restart.sh` (`db3340d`) | `PASS`; `api`, `haproxy`, `postgres`, `rabbitmq`, `s3`, `valkey` — новый `StartedAt`; `relay`, `worker`, `cleaner` и пять сервисов телеметрии — прежний | `evidence/replicas/test-persistence.md` | +| Отказ реплики | `make test-failover` `stop` и `kill` (`db3340d`) | `failed_attempts` 0 и 1 (повтор с тем же ключом), восстановление 1,20 и 0,23 с | `evidence/failover/test-failover.md` | +| Исключения сверки покрытия на стенде лабы 6 | `driver.py cache-check --require-test-keys`, `auth-storage`, `attachment-storage`, `attachment-failover` stop и kill, `broker-check` (и `--require-test-queue` между двумя `make test_isolated`), повтор после `--force-recreate api` (`db3340d`) | код 0 у всех: одно чтение `chats` на 50, TTL; Argon2id и SHA-256 токена; байты только в приватном bucket; другая реплика отдаёт тот же SHA-256; брокер по спеку; очередь временной базы есть и убрана; тот же `Message` | `evidence/cache/hits.md`, `evidence/auth/passwords-and-tokens.md`, `evidence/attachments/storage.md`, `evidence/attachments/failover.md`, `evidence/broker/stand.md`, `evidence/broker/isolated.md`, `evidence/idempotency/replay-after-restart.md` | +| Свойства лаб 4 и 5 с включённой телеметрией | `make bench_uploads TELEMETRY=on`, `make bench_queue TELEMETRY=on QUEUE_LABEL=baseline4` (код `b3a5ab8`) | загрузки: H1 и H4 да, «с лимитом» 182,6 / 189,4 / 193,6 МиБ, OOM 0; очередь: H3, H5–H9 подтверждены, рекомендация (2, 2); H1 и H2 — нет только на `lp` (4, 4) | `evidence/uploads/baseline/summary.md`, `evidence/queue/baseline4/summary.md` | +| Секретов в доказательствах и отчёте нет | поиск значений из `.env` по `evidence/` и файлам git | 13 значений, 0 совпадений в 577 файлах `evidence/` и 1285 файлах git, домашних путей 0, `.env` и `config.toml` в истории нет | `evidence/tests/secrets.md` | +| Стенд из чистого clone, с нуля одной командой | `git clone` `db3340d` во временный каталог, `make run_docker` своим проектом на нестандартных портах | `make run_docker` код 0 на пустых volumes, `RestartCount` брокера и телеметрии 0, provisioning Grafana на месте; `make test`, `make test-persistence`, `make test-failover`, `make alerts_test` — PASS; `make student_test` — 223 passed и только `test_exclusion_evidence_exists` (файлы исключений ещё не в этом commit) | `evidence/tests/clean-clone.md` | +| CI | `.github/workflows/application.yml` на Gitea после push | см. файл | `evidence/tests/ci-application.md` | | Уровень 3: Collector, хранилища, provisioning, свой запрос и задание найдены, приватность | `driver.py --port 8080 telemetry-check` | код 0: Loki → Tempo по `X-Request-Id`, трасса worker, рост счётчиков, история после рестарта хранилищ, метрики LB без доступа к сети хранилищ, панель потерь на тихом стенде — 0 | `evidence/telemetry/check.md` (commit `4a2f9c9`) | | Телеметрия не меняет ответы и остановку | `driver.py --port 8080 telemetry-outage` | код 0: `make test` PASS и остановка < 10 с при остановленном и замороженном Collector, сигналы после его возврата без перезапуска процессов | `evidence/telemetry/collector-outage.md` (commit `15ea156`) | | Стенд с нуля одной командой | `driver.py stand-from-scratch --runs 2` | код 0 оба раза, `RestartCount` брокера и телеметрии 0 | `evidence/stand/from-scratch.md` | @@ -1061,15 +1146,108 @@ Collector отправил 18 819 span из 137 868, у `balanced` — 14 442 и | Уровень 4: memory limiter, batch, ограниченная буферизация, недоступный backend, учёт потерь | `driver.py --port 8080 backend-outage` | код 0 (~16 мин): `make test` PASS и 5xx 0 при остановленных Loki, Tempo, Prometheus и Collector; Collector ≤ 91 МиБ из 256, реплики без роста; потери учтены (441 запись, 1336 span, SDK +11 602 и +11 551) и видны на панели потерь; `TelemetryTargetDown` и `TelemetryDataLoss` — firing и снятие | `evidence/telemetry/backend-outage.md` (commit `ef60b47`) | | Выбранный трек 5: трек 1 «Цена наблюдаемости» | `make bench_telemetry` (защита — `make bench_telemetry_quick VARIANTS=off,full,tail`, ~10 мин) | метка `baseline2`, 21 прогон из 21, код 0: `full` против `off` +26 % CPU реплик на запрос, +31 мс к p99; `head` +11 %; `tail` и `balanced` — приём Tempo 12,1 % и 10,6 %, Collector 136 и 101 МиБ, цена в приложении как у `full`; потерь 0; H1, H2, H4, H6, H8 подтверждены, H3, H5, H7 — нет (одна трасса из 75 у `tail`, B4); B1–B3, B5 прошли | `evidence/telemetry-cost/baseline2/summary.md` (код `68e14b6`, метка — commit `0f5dbfc`) | -TODO: добавить отдельную строку для каждого заявленного критерия. PASS без команды и наблюдения не является доказательством. Проверка инфраструктурного hook требует подтверждения, какие реальные процессы/хранилища перезапущены. +В шапке каждого файла `evidence/` — команда, дата, commit и стенд. Файлы последнего шага сняты на `db3340d` при рабочем дереве +без правок кода. Файлы уровней 3–5 сняты на commit своих change и с тех пор не переснимались, потому что код, который они +проверяют, не менялся: `telemetry-check` — на `4a2f9c9`; `trace-chain` и `telemetry-outage` — на `15ea156`; `alerts-check`, +`backend-outage` и `rules-test` — на `ef60b47`; бюджет — на `4178b3d`, `72cfa9a` и `15ea156`. `evidence/stand/from-scratch.md` +снят на рабочем дереве поверх `9b35c25`: команда сама удаляет volumes своего проекта, а это ждёт подтверждения пользователя +(вопрос 8 `## otel-telemetry`); сценарий «стенд с нуля одной командой» на закоммиченном коде показывает +`evidence/tests/clean-clone.md`. ## Эксперименты и отказы -TODO: гипотеза, hardware/лимиты, версии, объём данных, профиль нагрузки, concurrency/arrival rate, длительность/прогрев, повторы, успешные RPS, ошибки, p50/p95/p99, CPU/RAM. Сохранить raw summary без tokens и объяснить ограничения измерения. +Эксперимент трека 1 — раздел «Цена наблюдаемости (трек 1)». Здесь — метки последнего шага: свойства лаб 4 и 5 на коде +лабы 6 с **включённой** телеметрией (решение 5 плана), и отказы. + +**Хост и стенд обеих меток.** macOS на Apple M3 Pro, 18 ГиБ, питание от сети; Docker Desktop 29.9.2, Compose 5.6.1, ВМ — 12 CPU / +11 902 МиБ. Рабочий стенд остановлен (`make stop`), посторонние контейнеры `domains-*` остановлены на время замеров. Обе метки +— одной командой подряд, код `b3a5ab8`; `swapouts_delta` 0, `slept_seconds` 0. Свой проект compose `mtusi-bench`, свежий стенд +на прогон или ячейку, k6 в сети стенда через LB; телеметрия — сервисы рабочего стенда с его лимитами (Collector 0,5 / 256 МиБ, +Prometheus 0,5 / 384, Loki 0,5 / 512, Tempo 0,5 / 640), Grafana не запускается. + +### Память реплики при загрузках: метка `baseline` + +Методика — `make bench_uploads TELEMETRY=on` (профиль `uploads`, `.claude/rules/bench.md`): одна реплика 1 CPU / 512 МБ без +swap, S3 1 / 512, LB 1 / 256; варианты «до» (образ `9cc6c0c`, код лабы 5 без SDK), «без лимита» (1000 мест, без очереди) и «с +лимитом» (по умолчанию: 4 места, очередь 16); тела PNG 1 048 276 и 10 479 107 байт; 1 / 10 / 20 / 40 клиентов `constant-vus`, +3 с разгона и 20 с окна; 3 повтора кругами, на прогон — новые реплика и volume S3; worker не запущен, задания ждут в PostgreSQL. +72 прогона, 49 мин, `dirty: false`, `host_warnings` пусты. Пик — `memory.peak` cgroup со сбросом перед окном, медиана повторов +(`evidence/uploads/baseline/summary.md`). + +| Вариант, 10 MiB | До окна, МиБ | Пик при C = 10 | C = 20 | C = 40 | OOM при 40 | Загрузок/с при 10 | p95 при 10, мс | 5xx | +| --- | --- | --- | --- | --- | --- | --- | --- | --- | +| с лимитом | 116,1 | 182,6 | 189,4 | 193,6 | 0/3 | 10,40 | 1286 | 0 | +| без лимита | 114,9 | 238,0 | 343,9 | OOM (509) | 3/3 | 8,90 | 1523 | 0 до C = 20; 844 при C = 40 — ответы LB после OOM реплики | +| до (без SDK) | 106,7 | 171,6 | 179,8 | 184,1 | 0/3 | 10,85 | 1232 | 0 | + +- H1 (пик «с лимитом» ≤ половины лимита, сверх C = 10 — ≤ 1 МиБ на клиента, лишние — 429) — **да**: 193,6 из 256, 0,68 и + 0,37 МиБ на клиента, OOM 0, 5xx 0, 429 — 1354. +- H2 — **нет**, как в лабе 5: «без лимита» растёт на 1,21 и 1,14 тела на клиента и падает OOM при 40 × 10 MiB, а «до» — код с + местами загрузки, поэтому поведение кода до `upload-memory` он не показывает (настоящее «до» — отчёт лабы 4). +- H3 — **нет**, как в лабе 5: на 1 MiB «с лимитом» даёт 89–90 % «без лимита» при пороге 90 % (лаба 5 — 85–89 %), на 10 MiB — + 112–117 %. +- H4 (нет 503 по сроку S3) — **да**: 0 в 69 прогонах без OOM. +- Сценарии исключений `attachments` выполнены: «Одна копия тела при записи в S3» — 1,21 тела на загрузку при пороге 1,5; + «Память не растёт с числом загрузок» — строка «с лимитом» выше. Сценарий `load-benchmark` «Буферы соединений ограничены» + (рост LB и `sock` реплики от 1 до 40 клиентов) — **не выполнен на 0,05 МиБ**: 1,05 МиБ на клиента при пороге 1 (LB 0,57 + + `sock` 0,49); у метки лабы 5 этой строки не было, сравнить не с чем. +- **Цена SDK в памяти реплики** (смешанное сравнение с «до»): +8–10 МиБ до окна и +9–11 МиБ к пику окна при тех же местах; + запас до лимита при 40 клиентах — 318 МиБ. Относительно лабы 5 (без SDK) пик «с лимитом» вырос с 172,9 / 180,1 / 185,6 до + 182,6 / 189,4 / 193,6 МиБ. + +### Очередь под перегрузкой: метка `baseline4` + +Методика — `make bench_queue TELEMETRY=on QUEUE_LABEL=baseline4` (профиль `queue`, гипотезы H1–H9 и правило рекомендации — лаба 5, +раздел «Очередь под перегрузкой» её отчёта): LB, две реплики 1 / 512, PostgreSQL, Valkey, S3, брокер, relay, worker 1 CPU / 1 ГБ +и уборщик с лимитами рабочего стенда без swap плюс сервисы телеметрии; настройки (конкуренция, prefetch) (1, 1), (2, 2), (4, 4), +(2, 256) × классы `s`, `m`, `lj`, `lp` и блоки предела, приёма, второго worker, KILL worker, рестарта брокера; 57 ячеек × свежий +стенд, открытая модель, контрольный поток, обход метаданных. 2 ч 22 мин. Сумма лимитов CPU с телеметрией — 12,25 при 12 у ВМ +(предупреждение паспорта). Результат — `evidence/queue/baseline4/summary.md`. + +**`dirty: true`.** Код — `b3a5ab8`, но метка очереди начата сразу после метки загрузок, когда в рабочем дереве были незакоммиченный +каталог `evidence/uploads/baseline/` и правка этого отчёта (агент писал его во время замера). Образ и `bench/` эти файлы не читают +(образ копирует `src/`, `migrations/`, `alembic.ini` и lock; `*.md` и `evidence` — в `.dockerignore`), других изменений не было, +поэтому числа воспроизводятся из `b3a5ab8`. Метка принята без пересъёмки — ошибка порядка названа, вопрос «переснять?» — +`QUESTIONS.md`, `## Последний шаг`. + +| Гипотеза | Вердикт | Главное | +| --- | --- | --- | +| H1 потолок — CPU worker, конкуренция сверх двух не поднимает | **нет** | только lp-c4p4-r3: CPU worker в окне `over` 0,795 при пороге 0,85 — 11 перезапусков worker в ячейке; throughput восстановления (4, 4) / (2, 2): `s` 2,63 / 3,05, `m` 2,66 / 2,90, `lj` 2,12 / 2,36, `lp` 0,30 / 0,96 | +| H2 длительность пропорциональна конкуренции, память — на пик процесса | **нет** | только `lp` (4, 4): отношение длительностей 0,869 при пороге 1,5, `memory.peak` r1 — 870 МиБ при условии ≥ 95 % лимита во всех повторах (r2, r3 — 1024) | +| H3, H5 | подтверждено | 19 и 24 условия | +| H4 | **нет** | m-c1p1-r2 и r3: p95 / (пик / throughput) 0,775 и 0,794 — ниже порога, как в лабе 5 (там m-c1p1-r1, 0,78) | +| H6 восстановление без потерь | подтверждено | 288 условий: ноль незавершённых без оператора во всех ячейках, `lost`, `stuck`, `duplicate`, `sha_mismatch` — 0 | +| H7 контрольный поток | подтверждено | 1350 условий, 5xx контрольного потока 0 во всех окнах | +| H8 KILL worker и рестарт брокера | подтверждено | восстановление 58,5 и 45,4 с, потерь нет | +| H9 места, затем предел | подтверждено | 429 сначала от мест (3,1–3,3 с), затем от предела (34,4–35,4 с); плато 250 против 426 без предела | + +Рекомендация правила — (2, 2), значения по умолчанию оставлены (та же, что в лабе 5). Девять сценариев исключений `queue-overload` +опираются на шкалу очереди, блоки и H6–H9 — все подтверждены. Второй worker поднимает разбор с 3,05 до 5,52 готовых/с; предел +250 сокращает восстановление `s` со 140,5 до 83,4 с. + +**Что изменила телеметрия.** На всех настройках, кроме `lp` (4, 4), значения того же порядка, что в метке `baseline4` лабы 5 +(throughput, плато предела, восстановление). На `lp` (4, 4), которая и в лабе 5 не помещалась в 1 ГБ (там 5 перезапусков, в +`baseline3` H2 — «нет»), с SDK в процессе worker перезапусков 13 (r2 — 2, r3 — 11, `oom_kill` 55 и 97), а у r3 задания ушли в +`failed` `retry_exhausted` (пометка `failed`): запас памяти этой настройки и так отрицательный, SDK его уменьшил. На (2, 2) +`memory.peak` `lp` — 675–845 МиБ, OOM 0; правило подбора конкуренции по памяти (лаба 5) действует и с телеметрией. + +### Отказы + +Отказы телеметрии — `evidence/telemetry/collector-outage.md`, `evidence/telemetry/backend-outage.md`, `evidence/alerts/check.md` +(разделы «Наблюдаемость» и «SLO, оповещения и инциденты»); отказы прежних уровней — `make failure_checks` +(`evidence/tests/failure-checks.md`) и команды драйвера лабы 5. | Воздействие | Что ожидаем | Что наблюдали | Время восстановления / потеря данных | | --- | --- | --- | --- | -| TODO | TODO | TODO | TODO | +| Collector остановлен и заморожен | API и worker отвечают, остановка < 10 с | `make test` PASS, загрузка до `ready`, `docker stop` реплики, worker и relay быстрее 10 с с кодом 0 (`collector-outage.md`) | сигналы после возврата без перезапуска процессов; не ушедшее из очередей SDK теряется и считается | +| Loki и Tempo 10 и 120 с, Prometheus 60 с, Collector 120 с под нагрузкой | сообщения работают, память ограничена, потери посчитаны | `make test` PASS, 5xx у клиента 0, Collector ≤ 91 МиБ из 256, реплики без роста; потери 441 запись и 1336 span у Collector, SDK +11 602 и +11 551 (`backend-outage.md`) | сразу после возврата; `TelemetryTargetDown`, `TelemetryDataLoss` — firing и снятие | +| Worker остановлен | `MessengerQueueLagHigh` | pending 84 с, firing 144 с, снятие 29 с после запуска (`alerts/check.md`) | работа доходит до `ready`, потерь нет | +| Медленная БД (блокировка таблицы сообщений) | `MessengerSlowRequests`, доля span PostgreSQL | firing 135 с, снятие 74 с | без потерь | +| PostgreSQL остановлен | `MessengerNoReadyReplicas`, `MessengerHighErrorRate`, 5xx LB | firing 59 и 105 с, снятие 30 и 135 с | без потерь подтверждённого | +| Реплика API остановлена или убита | запись через другую | `failed_attempts` 0 и 1 (повтор с тем же ключом), восстановление 1,20 и 0,23 с (`evidence/failover/test-failover.md`) | дублей нет | +| Принявшая файл реплика остановлена или убита | скачивание через другую | тот же SHA-256, постороннему 404 (`evidence/attachments/failover.md`) | потерь нет | +| Рестарт LB, реплик и всех хранилищ | данные и сессии на месте | `make test-persistence` PASS (`evidence/replicas/test-persistence.md`) | ~25 с, потерь нет | +| Пересоздание реплик API | повтор с ключом — тот же `Message` | тот же 201, 409 на другое тело (`evidence/idempotency/replay-after-restart.md`) | дублей нет | ## Ограничения и следующие шаги diff --git a/evidence/attachments/failover.md b/evidence/attachments/failover.md new file mode 100644 index 0000000..80cc1e6 --- /dev/null +++ b/evidence/attachments/failover.md @@ -0,0 +1,48 @@ +# Принявшая реплика остановлена + +- Команда: `python3 .claude/skills/run-mtusi-messenger/driver.py --port 8080 attachment-failover --mode stop`, затем то же с `--mode kill` (`make replicas` драйвер выполняет сам в `finally`) +- Дата: 2026-11-15, 06:38:59–06:39:10 UTC; оба прогона — код выхода 0 +- Commit: `db3340d` (ветка `feat/lab6-final`), рабочее дерево без правок кода (изменены только `QUESTIONS.md` и файлы `evidence/`) +- Стенд: проект compose `mtusi-lab6`, две реплики за HAProxy, телеметрия включена, собран `make run_docker` из `HEAD`; пользователи синтетические +- Сценарий: `attachments` «Принявшая реплика остановлена» +- Вывод сокращён: убраны снимки `docker compose ps` до и после (все 15 сервисов `Up`, реплики `healthy`; после прогона `stop` у `api-14` новый `StartedAt` — его вернул `make replicas`) + +## `stop` + +```text +mode: stop; fixture sample.png: 111817 bytes +sha256 uploaded: 99ea7533c441f79cd630d15ce4d58d1ec4e06f6f0efb3b77a5c088305cd1bd75 +sha256 downloaded: 99ea7533c441f79cd630d15ce4d58d1ec4e06f6f0efb3b77a5c088305cd1bd75 +step expected got x-instance-id +alice uploads 202 202 e6c96453fc1b +attachment is ready ready ready +alice sends message 201 201 e6c96453fc1b +stop-one.sh stop 0 0 e6c96453fc1b +bob downloads 200 200 8112fa687696 +bob reads metadata 200 200 8112fa687696 +eve reads metadata 404 404 8112fa687696 +eve downloads 404 404 8112fa687696 +make replicas 0 0 +LB slots UP 2 2 +PASS: accepted by e6c96453fc1b, served by 8112fa687696 after stop, sha256 matches, outsider gets 404 +``` + +## `kill` + +```text +mode: kill; fixture sample.png: 111817 bytes +sha256 uploaded: 99ea7533c441f79cd630d15ce4d58d1ec4e06f6f0efb3b77a5c088305cd1bd75 +sha256 downloaded: 99ea7533c441f79cd630d15ce4d58d1ec4e06f6f0efb3b77a5c088305cd1bd75 +step expected got x-instance-id +alice uploads 202 202 e6c96453fc1b +attachment is ready ready ready +alice sends message 201 201 e6c96453fc1b +stop-one.sh kill 0 0 e6c96453fc1b +bob downloads 200 200 8112fa687696 +bob reads metadata 200 200 8112fa687696 +eve reads metadata 404 404 8112fa687696 +eve downloads 404 404 8112fa687696 +make replicas 0 0 +LB slots UP 2 2 +PASS: accepted by e6c96453fc1b, served by 8112fa687696 after kill, sha256 matches, outsider gets 404 +``` diff --git a/evidence/attachments/storage.md b/evidence/attachments/storage.md new file mode 100644 index 0000000..1453267 --- /dev/null +++ b/evidence/attachments/storage.md @@ -0,0 +1,108 @@ +# Вложения: метаданные, байты и ограничения обработки + +- Команда: `python3 .claude/skills/run-mtusi-messenger/driver.py --port 8080 attachment-storage` +- Дата: 2026-11-15, 06:37:43–06:37:47 UTC; код выхода 0 +- Commit: `db3340d` (ветка `feat/lab6-final`), рабочее дерево без правок кода (изменены только `QUESTIONS.md` и файлы `evidence/`) +- Стенд: проект compose `mtusi-lab6`, две реплики за HAProxy, телеметрия включена, собран `make run_docker` из `HEAD`. Контейнеры `docker diff`: реплики `8112fa687696`, `e6c96453fc1b` и worker `2b6afe2410a9` +- Сценарии: `attachments` «Байты не в БД и не на диске API», `data-storage` «Ограничения обработки в схеме» (пробы в откатываемой транзакции, запись аудита с неизвестным заданием). В списке колонок есть и колонки контекста W3C задания `traceparent`, `tracestate` (ревизия `e4b8c2d17f90`) +- Вывод сокращён: таблица второго вложения повторяет первую и совпала с ожидаемым + +Итог: байты — только объекты приватного bucket (анонимный GET 403), в PostgreSQL — метаданные и SHA-256 (`bytea`, 32 байта), в файловых системах реплик и worker — только смонтированный `config.toml`; четыре пробы ограничений дают названные коды, после отката — одно задание и три варианта. + +```text +columns of attachment tables: + attachment_job_replays id uuid + attachment_job_replays job_id uuid + attachment_job_replays operator text + attachment_job_replays error_code text + attachment_job_replays reason text + attachment_job_replays attempt integer + attachment_job_replays created_at timestamp with time zone + attachment_jobs id uuid + attachment_jobs attachment_id uuid + attachment_jobs pipeline_version integer + attachment_jobs state text + attachment_jobs attempt integer + attachment_jobs last_error_code text + attachment_jobs next_attempt_at timestamp with time zone + attachment_jobs lease_expires_at timestamp with time zone + attachment_jobs published_at timestamp with time zone + attachment_jobs updated_at timestamp with time zone + attachment_jobs finished_at timestamp with time zone + attachment_jobs created_at timestamp with time zone + attachment_jobs attempt_base integer + attachment_jobs traceparent text + attachment_jobs tracestate text + attachment_variants attachment_id uuid + attachment_variants pipeline_version integer + attachment_variants variant text + attachment_variants object_key text + attachment_variants content_type text + attachment_variants size_bytes integer + attachment_variants width integer + attachment_variants height integer + attachment_variants sha256 bytea + attachment_variants created_at timestamp with time zone + attachments id uuid + attachments chat_id uuid + attachments owner_id uuid + attachments filename text + attachments content_type text + attachments size_bytes integer + attachments sha256 bytea + attachments object_key text + attachments status text + attachments updated_at timestamp with time zone + attachments created_at timestamp with time zone + attachments lost_at timestamp with time zone + attachments staging_key text + attachments error_code text + message_attachments message_id uuid + message_attachments position smallint + message_attachments attachment_id uuid + message_attachments created_at timestamp with time zone +upload via 8112fa687696: object_key messenger/attachments/178cf6ce-9630-4b2d-85a2-e7b051b328ab/original, staging_key messenger/staging/178cf6ce-9630-4b2d-85a2-e7b051b328ab/original + sha256 uploaded 99ea7533c441f79cd630d15ce4d58d1ec4e06f6f0efb3b77a5c088305cd1bd75, downloaded by a member (200) 99ea7533c441f79cd630d15ce4d58d1ec4e06f6f0efb3b77a5c088305cd1bd75 +upload via 8112fa687696: object_key messenger/attachments/47cce102-97b2-422d-b519-3a7acecd2d27/original, staging_key messenger/staging/47cce102-97b2-422d-b519-3a7acecd2d27/original + sha256 uploaded 99ea7533c441f79cd630d15ce4d58d1ec4e06f6f0efb3b77a5c088305cd1bd75, downloaded by a member (200) 99ea7533c441f79cd630d15ce4d58d1ec4e06f6f0efb3b77a5c088305cd1bd75 +constraint probes (rolled back): + second job of the version: 23505 uq_attachment_jobs_attachment_id_pipeline_version + second variant of the name: 23505 pk_attachment_variants + error_code on not failed: 23514 ck_attachments_error_code_failed + replay audit of an unknown job: 23503 fk_attachment_job_replays_job_id_attachment_jobs +docker diff 8112fa687696: 2 changes + C /app + A /app/config.toml +docker diff e6c96453fc1b: 2 changes + C /app + A /app/config.toml +docker diff 2b6afe2410a9: 2 changes + C /app + A /app/config.toml +bytea columns expected attachment_variants.sha256,attachments.sha256 got attachment_variants.sha256,attachments.sha256 +octet_length(sha256) expected 32 got 32 +object_key form expected messenger/attachments/178cf6ce-9630-4b2d-85a2-e7b051b328ab/original got messenger/attachments/178cf6ce-9630-4b2d-85a2-e7b051b328ab/original +staging_key: its form or already empty expected yes got yes +filename not in key expected no got no +variant rows expected crop,optimized,thumbnail got crop,optimized,thumbnail +crop in bucket expected yes got yes +anonymous GET of crop expected 403 got 403 +optimized in bucket expected yes got yes +anonymous GET of optimized expected 403 got 403 +thumbnail in bucket expected yes got yes +anonymous GET of thumbnail expected 403 got 403 +object in bucket, bytes expected 111817 got 111817 +anonymous GET of the key expected 403 got 403 +downloaded sha256 = uploaded expected yes got yes +(второе вложение 47cce102-…: те же 13 строк, expected = got) +probe: second job of the version expected 23505 uq_attachment_jobs_attachment_id_pipeline_version got 23505 uq_attachment_jobs_attachment_id_pipeline_version +probe: second variant of the name expected 23505 pk_attachment_variants got 23505 pk_attachment_variants +probe: error_code on not failed expected 23514 ck_attachments_error_code_failed got 23514 ck_attachments_error_code_failed +probe: replay audit of an unknown job expected 23503 fk_attachment_job_replays_job_id_attachment_jobs got 23503 fk_attachment_job_replays_job_id_attachment_jobs +jobs | variants after the probes expected 1|3 got 1|3 +original files in 8112fa687696 expected 0 got 0 +original files in e6c96453fc1b expected 0 got 0 +original files in 2b6afe2410a9 expected 0 got 0 +sha256 of the fixture: 99ea7533c441f79cd630d15ce4d58d1ec4e06f6f0efb3b77a5c088305cd1bd75 +PASS: metadata in PostgreSQL, bytes only in the private bucket messenger, none in the API containers +``` diff --git a/evidence/auth/passwords-and-tokens.md b/evidence/auth/passwords-and-tokens.md new file mode 100644 index 0000000..698c4ee --- /dev/null +++ b/evidence/auth/passwords-and-tokens.md @@ -0,0 +1,19 @@ +# Хранение паролей и токенов + +- Команда: `python3 .claude/skills/run-mtusi-messenger/driver.py --port 8080 auth-storage` +- Дата: 2026-11-15, 06:37:41–06:37:43 UTC; код выхода 0 +- Commit: `db3340d` (ветка `feat/lab6-final`), рабочее дерево без правок кода (изменены только `QUESTIONS.md` и файлы `evidence/`) +- Стенд: проект compose `mtusi-lab6`, две реплики за HAProxy, телеметрия включена, собран `make run_docker` из `HEAD`; пользователи синтетические, пароль и токен только в памяти драйвера, в вывод не попадают +- Спеки: `users`, «Хэш в БД», `sessions`, «Токена нет в хранилище» (исключения сверки покрытия: схема и дамп по HTTP не видны) + +Итог: в `users` — строки Argon2id с разной солью у одного пароля, в `sessions` — только SHA-256 токена (32 байта); ни токена (текстом и в hex), ни пароля в `pg_dump --data-only` нет. + +```text +users auth_… and auth_…: same password P (36 characters with ':' and Cyrillic) + password_hash $argon2id$v=19$m=65536,t=3,p=4$… (97 chars) + password_hash $argon2id$v=19$m=65536,t=3,p=4$… (97 chars) + hashes differ: t +session of the first user: token T (43 characters); rows of sessions with token_hash = SHA-256(T): 1, octet_length 32 +pg_dump --data-only: 12 COPY blocks; T as text: no, T in hex: no, P as text: no +PASS: only Argon2id strings and SHA-256 of the token are stored +``` diff --git a/evidence/broker/isolated.md b/evidence/broker/isolated.md new file mode 100644 index 0000000..ce22df4 --- /dev/null +++ b/evidence/broker/isolated.md @@ -0,0 +1,82 @@ +# Очереди разных баз разделены + +- Команды по порядку: `make test_isolated KEEP_TEST_DB=1`, `python3 .claude/skills/run-mtusi-messenger/driver.py --port 8080 broker-check --require-test-queue`, `make test_isolated` +- Дата: 2026-11-15; первый прогон 06:33:58–06:36:07 UTC, `broker-check` 06:40:52–06:41:00 UTC (код 0), второй прогон 06:41:00–06:43:17 UTC. Между первым прогоном и `broker-check` сняты другие доказательства (`evidence/broker/stand.md`, `make test-persistence` с рестартом брокера): очередь временной базы — durable и их пережила +- Commit: `db3340d` (ветка `feat/lab6-final`), рабочее дерево без правок кода (изменены только `QUESTIONS.md` и файлы `evidence/`) +- Стенд: рабочий `mtusi-lab6`, поверх него — контейнеры `mtusi-lab6-test-api`, `mtusi-lab6-test-worker`, `mtusi-lab6-test-relay` на временной базе `test_messenger` (телеметрия у них выключена) +- Сценарий: `message-broker` «Очереди разных баз разделены» +- Код 2 обоих `make test_isolated`: smoke — 0, набор — 2 только из-за `test_exclusion_evidence_exists` (в первом — 10 файлов исключений, во втором — только этот файл: его снимает сама эта последовательность). Оба прогона: 1 failed, 217 passed, 6 skipped, 147 deselected, ~117 с. Зелёный прогон после этого файла — `evidence/tests/test-isolated.md` +- Список очередей до первого прогона не сохранён: на рабочем стенде перед ним была только `messenger.attachment.process.v1` (прежний `make test_isolated` убирает свою очередь, так и в выводе второго прогона) + +## Очереди брокера: `rabbitmqctl -q list_queues name durable messages consumers --formatter json` + +После `make test_isolated KEEP_TEST_DB=1` — очередь временной базы есть, рабочая не затронута: + +```json +[ +{"messages":0,"name":"test_messenger.attachment.process.v1","consumers":0,"durable":true} +,{"messages":0,"name":"messenger.attachment.process.v1","consumers":1,"durable":true} +] +``` + +После второго `make test_isolated` — очереди временной базы нет: + +```json +[ +{"messages":0,"name":"messenger.attachment.process.v1","consumers":1,"durable":true} +] +``` + +## Вывод `make test_isolated` + +Первый прогон (`KEEP_TEST_DB=1`): + +```text +[test_isolated] database=test_messenger objects=/buckets/messenger/test_messenger/ queue=test_messenger.attachment.process.v1 containers=mtusi-lab6-test-api mtusi-lab6-test-worker mtusi-lab6-test-relay base_url=http://127.0.0.1:18088 +[test_isolated] remove objects /buckets/messenger/test_messenger/ and queue test_messenger.attachment.process.v1 +... +[test_isolated] cleanup +[test_isolated] kept database test_messenger, objects /buckets/messenger/test_messenger/ and queue test_messenger.attachment.process.v1 +[test_isolated] results: {'test': 0, 'student_test': 2} +``` + +Второй прогон: + +```text +[test_isolated] database=test_messenger objects=/buckets/messenger/test_messenger/ queue=test_messenger.attachment.process.v1 containers=mtusi-lab6-test-api mtusi-lab6-test-worker mtusi-lab6-test-relay base_url=http://127.0.0.1:18088 +[test_isolated] remove objects /buckets/messenger/test_messenger/ and queue test_messenger.attachment.process.v1 +... +[test_isolated] cleanup +[test_isolated] remove objects /buckets/messenger/test_messenger/ and queue test_messenger.attachment.process.v1 +[test_isolated] results: {'test': 0, 'student_test': 2} +``` + +## `broker-check --require-test-queue` между прогонами (код 0) + +```text +image rabbitmq:4.3.7@sha256:bd88985187aa73cd598fa0d8b31d49b2f814a6d9e58f6d5a89bae588669d946a +memory high watermark 419430400, container limit 536870912 +queues (name durable messages consumers): + test_messenger.attachment.process.v1 True 0 0 + messenger.attachment.process.v1 True 0 1 +docker compose stop rabbitmq: 1.2 s +image is tag and digest expected yes got yes +container health expected healthy got healthy +data volume expected mtusi-lab6_rabbitmq_data got mtusi-lab6_rabbitmq_data +docker port expected 5672/tcp -> 127.0.0.1:5673 got 5672/tcp -> 127.0.0.1:5673 +container memory limit expected 536870912 got 536870912 +watermark below container limit expected yes got yes +broker password holders expected rabbitmq,relay,worker got rabbitmq,relay,worker +BROKER__* in the api service expected no got no +work queue exists expected yes got yes +work queue durable expected yes got yes +queue test_messenger.attachment.process.v1 expected yes got yes +docker compose stop exit code expected 0 got 0 +container exit code expected 0 got 0 +stopped before the 20 s grace expected yes got yes +broker back (up --wait) expected 0 got 0 +work queue after restart expected yes got yes +worker consumes again expected yes got yes +relay survived the outage (StartedAt) expected yes got yes +PASS: the broker stand matches the spec +``` diff --git a/evidence/broker/stand.md b/evidence/broker/stand.md new file mode 100644 index 0000000..9b565d8 --- /dev/null +++ b/evidence/broker/stand.md @@ -0,0 +1,36 @@ +# Брокер рабочего стенда + +- Команда: `python3 .claude/skills/run-mtusi-messenger/driver.py --port 8080 broker-check` +- Дата: 2026-11-15, 06:37:33–06:37:41 UTC; код выхода 0 +- Commit: `db3340d` (ветка `feat/lab6-final`), рабочее дерево без правок кода (изменены только `QUESTIONS.md` и файлы `evidence/`) +- Стенд: проект compose `mtusi-lab6`, телеметрия включена, собран `make run_docker` из `HEAD`. Очередь `test_messenger.…` в списке — остаток `make test_isolated KEEP_TEST_DB=1` (`evidence/broker/isolated.md`) +- Сценарии спека `message-broker`: «Сервис брокера запущен», «Предел памяти брокера», «Остановка брокера» +- `watermark` 419430400 байт — 400 МиБ из `infra/rabbitmq/rabbitmq.conf`; лимит контейнера 512 МиБ. Пароль брокера только у `rabbitmq`, `relay`, `worker`: у реплик API настроек брокера нет + +```text +image rabbitmq:4.3.7@sha256:bd88985187aa73cd598fa0d8b31d49b2f814a6d9e58f6d5a89bae588669d946a +memory high watermark 419430400, container limit 536870912 +queues (name durable messages consumers): + test_messenger.attachment.process.v1 True 0 0 + messenger.attachment.process.v1 True 0 1 +temporary database queue test_messenger.attachment.process.v1: not checked +docker compose stop rabbitmq: 1.3 s +image is tag and digest expected yes got yes +container health expected healthy got healthy +data volume expected mtusi-lab6_rabbitmq_data got mtusi-lab6_rabbitmq_data +docker port expected 5672/tcp -> 127.0.0.1:5673 got 5672/tcp -> 127.0.0.1:5673 +container memory limit expected 536870912 got 536870912 +watermark below container limit expected yes got yes +broker password holders expected rabbitmq,relay,worker got rabbitmq,relay,worker +BROKER__* in the api service expected no got no +work queue exists expected yes got yes +work queue durable expected yes got yes +docker compose stop exit code expected 0 got 0 +container exit code expected 0 got 0 +stopped before the 20 s grace expected yes got yes +broker back (up --wait) expected 0 got 0 +work queue after restart expected yes got yes +worker consumes again expected yes got yes +relay survived the outage (StartedAt) expected yes got yes +PASS: the broker stand matches the spec +``` diff --git a/evidence/cache/hits.md b/evidence/cache/hits.md new file mode 100644 index 0000000..d01089a --- /dev/null +++ b/evidence/cache/hits.md @@ -0,0 +1,23 @@ +# Кэш карточки чата + +- Команды: `make test_isolated KEEP_TEST_DB=1` (ключи временной базы), затем `python3 .claude/skills/run-mtusi-messenger/driver.py --port 8080 cache-check --require-test-keys` +- Дата: 2026-11-15; `make test_isolated` до 06:36:07 UTC, `cache-check` 06:36:37–06:37:02 UTC, код выхода `cache-check` 0 +- Код выхода `make test_isolated` 2 и только по одной причине: `test_exclusion_evidence_exists` (этого файла и соседних исключений ещё не было); публичный `make test` в нём — код 0. Снятие файла этой команды требует её прогона, поэтому поменять порядок нельзя +- Commit: `db3340d` (ветка `feat/lab6-final`), рабочее дерево без правок кода (изменены только `QUESTIONS.md` и файлы `evidence/`) +- Стенд: проект compose `mtusi-lab6`, две реплики за HAProxy, телеметрия включена, собран `make run_docker` из `HEAD`; пользователи и чат синтетические +- Спеки: `chat-cache`, «Чтение из кэша», «Срок записи», «Временная база» (исключения сверки покрытия: по HTTP ответ из кэша не отличить от ответа из PostgreSQL) + +Итог: на 50 чтений карточки через LB — одно чтение таблицы `chats` (первое, ключ перед этим удалён), +49 попаданий и +1 промах Valkey; срок ключа не больше настроенного (3600 с), чтения его не продлевают; ключи рабочей и временной базы — под разными префиксами (1 и 166). + +```text +users alice_… (creator) and bob_… (reader), chat a0334358-bf18-4591-a565-056c4e4ef3e3 +key messenger:v1:messenger:chat:a0334358-bf18-4591-a565-056c4e4ef3e3 +right after 201: EXISTS 1, TTL 3600 s (configured [cache] chat_ttl_seconds 3600 s in the replica); value keys ['created_at', 'id', 'member_ids', 'title'], member_ids in creation order: yes +DEL key: the first read is a miss; waiting 11 s +50 × GET /api/v1/chats/{id} by the reader through LB: 50 equal to the creation response; by replica 8112fa687696 25, e6c96453fc1b 25 +after 11 s: reads of table chats (seq_scan + idx_scan) +1, keyspace_hits +49, keyspace_misses +1 +TTL 3589 s, then 10 more reads, TTL 3588 s: reads do not extend the key +keys messenger:v1:messenger:chat:*: 1 +keys messenger:v1:test_messenger:chat:*: 166 +PASS: one read of chats, the rest from Valkey; TTL is bounded; temporary database: 166 keys under its own prefix +``` diff --git a/evidence/failover/test-failover.md b/evidence/failover/test-failover.md new file mode 100644 index 0000000..b8d5117 --- /dev/null +++ b/evidence/failover/test-failover.md @@ -0,0 +1,34 @@ +# Отказ одной реплики API + +- Команды: `make test-failover ACTION_SCRIPT=scripts/stop-one.sh STOP_MODE=stop STOP_ONE_LOG=<файл>`, `make replicas`, `make test-failover ACTION_SCRIPT=scripts/stop-one.sh STOP_MODE=kill STOP_ONE_LOG=<файл>`, `make replicas`, `make lb_stats` +- Дата: 2026-11-15, 06:49:05–06:49:41 UTC; оба прогона — код выхода 0 +- Commit: `db3340d` (ветка `feat/lab6-final`), рабочее дерево без правок кода (изменены только `QUESTIONS.md` и файлы `evidence/`) +- Стенд: проект compose `mtusi-lab6`, две реплики за HAProxy, телеметрия включена, собран `make run_docker` из `HEAD` +- `STOP_ONE_LOG` назвал реплику: в обоих прогонах `TARGET_INSTANCE_ID=d34fc9b86aa4`, контейнер `d34fc9b86aa4…`, остановленный контейнер совпадает с целью; между прогонами `make replicas` вернул реплику +- `failed_attempts` 1 в режиме `kill` — запись, которая была в полёте на убитой реплике: LB не повторяет `POST` после отправленного запроса (повтор — только на отказ соединения, `balancer.md`), клиент проверки повторяет её сам с тем же ключом и телом, дубля нет; данные и сессия сохранены (`PASS`). В лабе 5 на той же проверке было 0 — гонка момента `docker kill` с отправкой записи, а не изменение кода. 5xx на `BACKEND` в статистике — накопленные с рестарта LB, в том числе от `attachment-failover` + +## `stop` + +```text +{"observed_instances_before": 2, "successful_writes": 120, "failed_attempts": 0, "first_recovery_seconds": 1.201} +PASS: failover preserved confirmed data and existing session. Hook scope needs operator evidence. +2026-11-15T06:49:06Z TARGET_INSTANCE_ID=d34fc9b86aa4 container=d34fc9b86aa4edfc55f531909a22818375ef6466c58d818b86de046e702d7cdb mode=stop +``` + +## `kill` + +```text +{"observed_instances_before": 2, "successful_writes": 114, "failed_attempts": 1, "first_recovery_seconds": 0.231} +PASS: failover preserved confirmed data and existing session. Hook scope needs operator evidence. +2026-11-15T06:49:24Z TARGET_INSTANCE_ID=d34fc9b86aa4 container=d34fc9b86aa4edfc55f531909a22818375ef6466c58d818b86de046e702d7cdb mode=kill +``` + +## После `make replicas` + +```text +svname addr status check_status scur stot econ wretr wredis hrsp_5xx +api-1 192.168.96.9:8080 UP L7OK 0 1152 0 0 6 0 +api-2 192.168.96.8:8080 UP L7OK 0 1379 0 0 0 0 +BACKEND - UP - 0 2527 2 0 6 3 +free slots: 6 +``` diff --git a/evidence/idempotency/replay-after-restart.md b/evidence/idempotency/replay-after-restart.md new file mode 100644 index 0000000..1969fb3 --- /dev/null +++ b/evidence/idempotency/replay-after-restart.md @@ -0,0 +1,76 @@ +# Повтор отправки после рестарта API + +- Шаги: синтетический пользователь (регистрация, вход по Basic) и чат; `POST /api/v1/chats//messages` с `Idempotency-Key`; `docker compose up -d --force-recreate api`; ожидание `/health/ready` 200 через LB; тот же `POST` с тем же ключом и токеном; другое тело с тем же ключом; `GET` истории. Шаги выполнил разовый скрипт на stdlib вне репозитория (те же запросы, что `driver.py --port 8080 req … --key <ключ>` скилла), шаги выше повторяются руками +- Дата: 2026-11-15, 06:39:32–06:39:38 UTC; код выхода 0 +- Commit: `db3340d` (ветка `feat/lab6-final`), рабочее дерево без правок кода (изменены только `QUESTIONS.md` и файлы `evidence/`) +- Стенд: проект compose `mtusi-lab6`, две реплики за HAProxy, телеметрия включена, собран `make run_docker` из `HEAD`; пользователь и чат синтетические +- Спек: `idempotency`, «Повтор после рестарта API» (исключение сверки покрытия: тесты сервер не трогают) +- Вывод обезличен: ключ заменён на ``; токена и пароля в выводе нет + +Итог: новые контейнеры обеих реплик (другие `id` и `StartedAt`), повтор — тот же 201 и тот же `Message` от реплики, которой при первой отправке не было (`e6c96453fc1b` → `d34fc9b86aa4`). В истории одно сообщение; другое тело с тем же ключом — 409. Сессия и ключ лежат в PostgreSQL, поэтому пересоздание реплик на них не влияет. Compose пересоздал только реплики, зависимости (`migrate`, `s3-bootstrap`) лишь повторно запустил; PostgreSQL не перезапускался. + +```text +--- before: api containers (name, id, StartedAt) +/mtusi-lab6-api-13 8112fa687696 2026-11-15T06:33:44.100363013Z +/mtusi-lab6-api-14 e6c96453fc1b 2026-11-15T06:39:07.790523426Z +--- first send +idempotency-key: +201 x-request-id: 2186a97e48604705a47121996a371299 x-instance-id: e6c96453fc1b +{ + "id": "a23371cd-c05f-4d9c-b5a5-5fad6612ae9d", + "chat_id": "9a476e8c-87fe-4ea8-985b-24880bd533b3", + "sender_id": "c964e2db-d181-4e27-8d42-4d72e68fe2a4", + "text": "replay after restart", + "created_at": "2026-11-15T06:39:32.610039Z", + "attachment_ids": [] +} +--- docker compose up -d --force-recreate api + Container mtusi-lab6-api-13 Recreate + Container mtusi-lab6-api-14 Recreate + Container mtusi-lab6-api-13 Recreated + Container mtusi-lab6-api-14 Recreated + Container mtusi-lab6-s3-bootstrap-1 Starting + Container mtusi-lab6-migrate-1 Starting + Container mtusi-lab6-s3-bootstrap-1 Started + Container mtusi-lab6-migrate-1 Started + Container mtusi-lab6-migrate-1 Waiting + Container mtusi-lab6-s3-bootstrap-1 Waiting + Container mtusi-lab6-migrate-1 Exited + Container mtusi-lab6-s3-bootstrap-1 Exited + Container mtusi-lab6-api-14 Starting + Container mtusi-lab6-api-14 Started + Container mtusi-lab6-api-13 Starting + Container mtusi-lab6-api-13 Started +exit 0 +LB ready: 200 +--- after: api containers (name, id, StartedAt) +/mtusi-lab6-api-13 d34fc9b86aa4 2026-11-15T06:39:37.107929926Z +/mtusi-lab6-api-14 35f606496f73 2026-11-15T06:39:37.041578759Z +--- repeat with the same key, the same session +idempotency-key: +201 x-request-id: ecdfd487a0de46f7b6f97665adf584d2 x-instance-id: d34fc9b86aa4 +{ + "id": "a23371cd-c05f-4d9c-b5a5-5fad6612ae9d", + "chat_id": "9a476e8c-87fe-4ea8-985b-24880bd533b3", + "sender_id": "c964e2db-d181-4e27-8d42-4d72e68fe2a4", + "text": "replay after restart", + "created_at": "2026-11-15T06:39:32.610039Z", + "attachment_ids": [] +} +--- other body with the same key +idempotency-key: +409 x-request-id: 12ed1beb0aa5443a9181b2869e62336f x-instance-id: 35f606496f73 +{ + "error": { + "code": "conflict", + "message": "Idempotency key was already used with another request", + "request_id": "12ed1beb0aa5443a9181b2869e62336f" + } +} +--- history +{"count": 1, "ids": ["a23371cd-c05f-4d9c-b5a5-5fad6612ae9d"]} +--- compare +Message of the repeat = Message of the first send: yes +other instance answered the repeat: yes +PASS +``` diff --git a/evidence/replicas/test-persistence.md b/evidence/replicas/test-persistence.md new file mode 100644 index 0000000..3842366 --- /dev/null +++ b/evidence/replicas/test-persistence.md @@ -0,0 +1,34 @@ +# Сохранность при рестарте стенда + +- Команда: `make test-persistence ACTION_SCRIPT=scripts/restart.sh` +- Дата: 2026-11-15, 06:40:04–06:40:30 UTC; код выхода 0 +- Commit: `db3340d` (ветка `feat/lab6-final`), рабочее дерево без правок кода (изменены только `QUESTIONS.md` и файлы `evidence/`) +- Стенд: проект compose `mtusi-lab6`, телеметрия включена, собран `make run_docker` из `HEAD` +- Что проверяет публичная проверка: данные, прежний токен и с лабы 4 оригинал вложения после hook (`tests/README.md`) +- Что перезапустил hook (сверка `docker inspect` до и после, `RestartCount` у всех 0): `api-13`, `api-14`, `haproxy`, `postgres`, `rabbitmq`, `s3`, `valkey` — новый `StartedAt`; `relay`, `worker` и `cleaner` hook не трогает, `StartedAt` прежний. Сервисы телеметрии (`otel-collector`, `prometheus`, `loki`, `tempo`, `grafana`) hook тоже не трогает — `StartedAt` прежний (вопрос 2 `## otel-telemetry` в `QUESTIONS.md`, предложение S2 там же). Одноразовые `migrate` и `s3-bootstrap` повторяет `start api` (no-op). Volumes не удалялись + +```text +PASS: persistence preserved confirmed data and existing session. Hook scope needs operator evidence. +``` + +| Контейнер | `StartedAt` до | `StartedAt` после | +|---|---|---| +| `api-13` | 06:39:37.107 | 06:40:28.849 | +| `api-14` | 06:39:37.041 | 06:40:28.785 | +| `haproxy-1` | 06:33:44.415 | 06:40:28.929 | +| `postgres-1` | 06:33:36.616 | 06:40:05.823 | +| `rabbitmq-1` | 06:37:36.623 | 06:40:06.835 | +| `s3-1` | 06:33:36.481 | 06:40:20.757 | +| `valkey-1` | 06:33:37.067 | 06:40:05.845 | +| `migrate-1` | 06:39:33.975 | 06:40:25.653 | +| `s3-bootstrap-1` | 06:39:33.914 | 06:40:25.731 | +| `relay-1` | 06:33:40.789 | 06:33:40.789 | +| `worker-1` | 06:33:44.241 | 06:33:44.241 | +| `cleaner-1` | 06:33:44.322 | 06:33:44.322 | +| `otel-collector-1` | 06:33:36.959 | 06:33:36.959 | +| `prometheus-1` | 06:33:37.162 | 06:33:37.162 | +| `loki-1` | 06:33:36.545 | 06:33:36.545 | +| `tempo-1` | 06:33:36.794 | 06:33:36.794 | +| `grafana-1` | 06:33:36.867 | 06:33:36.867 | + +`rabbitmq-1` до прогона — 06:37:36: его остановил и вернул `driver.py broker-check` (`evidence/broker/stand.md`); `api-13` и `api-14` — 06:39:37: их пересоздал повтор отправки (`evidence/idempotency/replay-after-restart.md`). diff --git a/evidence/tests/clean-clone.md b/evidence/tests/clean-clone.md new file mode 100644 index 0000000..e5c5581 --- /dev/null +++ b/evidence/tests/clean-clone.md @@ -0,0 +1,62 @@ +# Проверка из чистого clone: стенд с телеметрией одной командой + +| | | +|---|---| +| Что проверялось | раздел `REPORT.md` «Запуск из чистого clone»: шаг за шагом, как у проверяющего, на пустых volumes | +| Дата | 2026-11-15, 07:28:57–07:32:42 UTC | +| Commit | `db3340d` — `git clone --branch feat/lab6-final` локального репозитория во временный каталог. Рабочее дерево клона чистое, `.env`, `config.toml` и `.venv` нет. Код тот же, что в `solution/bvt2301-safronov` после влития ветки: после `db3340d` меняются только документы и `evidence/` | +| Стенд | временный проект compose `mtusi-lab6-clonecheck` на нестандартных портах: LB `127.0.0.1:8090`, Grafana 3010, PostgreSQL 5443, Valkey 6390, S3 8344, AMQP 5683. Рабочий стенд `mtusi-lab6` всё это время работал рядом и не трогался. После проверки стенд клона удалён (`docker compose down`, затем `docker volume rm` шести volumes `mtusi-lab6-clonecheck_*` по имени), каталог клона удалён; volumes `mtusi-lab6_*` на месте | +| Хост | Docker Desktop 29.9.2, Compose 5.6.1, macOS на Apple M3 Pro; ВМ Docker — 12 CPU, 11 902 МиБ. Это проверка, а не замер | + +**Отличие от последовательности проверяющего — строки `.env`.** Порты по умолчанию и имя проекта занимает рабочий стенд, +поэтому до `make env_setup` в клон записан `.env` из восьми строк: `COMPOSE_PROJECT_NAME=mtusi-lab6-clonecheck` и порты +`APP_OUT_PORT`, `POSTGRES_OUT_PORT`, `VALKEY_OUT_PORT`, `S3_OUT_PORT`, `RABBITMQ_OUT_PORT`, `GRAFANA_OUT_PORT`, `TEST_APP_PORT`. +Остальные переменные, в том числе все секреты, дописал `make env_setup` из `.env.example` (путь проверяющего со старым `.env`). +Цели `Makefile`, `scripts/restart.sh` и `scripts/stop-one.sh` берут проект и порты у `docker compose` и из `.env`; отличие +одно — `BASE_URL=http://localhost:8090` у `make test`, `make student_test`, `make test-persistence`, `make test-failover`. + +Значения секретов не выводились: поиск 13 значений секретов из `.env` клона по журналам проверки — 0 совпадений. + +## Шаги + +| Шаг | Код | Время | Результат | +| --- | --- | --- | --- | +| `make env_setup` | 0 | <1 с | «added to existing .env: …» — 43 имени, в том числе `S3_WORKER_*`, `RABBITMQ_DEFAULT_PASS`, `GRAFANA_ADMIN_PASSWORD`; `POSTGRES_PASSWORD` и `VALKEY_PASSWORD` — 32 символа; `docker compose config` → `name: mtusi-lab6-clonecheck` | +| `make run_docker` | 0 | 13,8 с (слои — из кэша BuildKit) | пустые volumes `postgres_data`, `s3_data`, `rabbitmq_data`, `prometheus_data`, `loki_data`, `tempo_data` созданы, `migrate` и `s3-bootstrap` — `Exited (0)` | +| `make replicas` | 0 | ~2 с | обе реплики `healthy` | +| `make check` | 0 | 1 с | `PASS: offline skeleton structure, local refs and Python syntax` | +| `make test BASE_URL=http://localhost:8090` | 0 | 1 с | `PASS: lab6 public API scenario` | +| `make student_test BASE_URL=http://localhost:8090` | 2 | 81 с | 223 passed, **1 failed — `test_exclusion_evidence_exists`**: в `db3340d` ещё нет 8 файлов исключений, снятых последним шагом в рабочем дереве (их коммит — следующий). Остальной набор, включая тесты реплик, зелёный; на рабочем стенде с этими файлами — 224 passed (`evidence/tests/student-test-lb.md`), в CI — после push | +| `make test-persistence ACTION_SCRIPT=scripts/restart.sh BASE_URL=…` | 0 | 26 с | `PASS: persistence preserved confirmed data and existing session` | +| `make test-failover ACTION_SCRIPT=scripts/stop-one.sh BASE_URL=…` | 0 | 17 с | `failed_attempts` 0, `first_recovery_seconds` 0,519 | +| `make replicas` | 0 | 2 с | реплика возвращена | +| `make alerts_test` | 0 | 1 с | 7 оповещений, у каждого runbook | +| Grafana API (`admin` и пароль из `.env` клона) | — | — | источники `loki`, `prometheus`, `tempo`; dashboard `messenger-overview` «Messenger overview» в папке Messenger; без учётных данных — 401 | +| `RestartCount` брокера и сервисов телеметрии | — | — | 0 у `rabbitmq`, `otel-collector`, `prometheus`, `loki`, `tempo`, `grafana`; `eacces` в журнале брокера — 0 строк | + +## Стенд клона + +```text +NAME STATUS PORTS +mtusi-lab6-clonecheck-api-1 Up 11 seconds (healthy) 8080/tcp +mtusi-lab6-clonecheck-api-2 Up 11 seconds (healthy) 8080/tcp +mtusi-lab6-clonecheck-cleaner-1 Up 11 seconds 8080/tcp +mtusi-lab6-clonecheck-grafana-1 Up 21 seconds (healthy) 127.0.0.1:3010->3000/tcp +mtusi-lab6-clonecheck-haproxy-1 Up 11 seconds (healthy) 127.0.0.1:8090->8080/tcp +mtusi-lab6-clonecheck-loki-1 Up 21 seconds 3100/tcp +mtusi-lab6-clonecheck-migrate-1 Exited (0) 17 seconds ago +mtusi-lab6-clonecheck-otel-collector-1 Up 20 seconds 4317-4318/tcp, 55679/tcp +mtusi-lab6-clonecheck-postgres-1 Up 21 seconds (healthy) 127.0.0.1:5443->5432/tcp +mtusi-lab6-clonecheck-prometheus-1 Up 21 seconds (healthy) 9090/tcp +mtusi-lab6-clonecheck-rabbitmq-1 Up 21 seconds (healthy) 127.0.0.1:5683->5672/tcp +mtusi-lab6-clonecheck-relay-1 Up 16 seconds 8080/tcp +mtusi-lab6-clonecheck-s3-1 Up 21 seconds (healthy) 127.0.0.1:8344->8333/tcp +mtusi-lab6-clonecheck-s3-bootstrap-1 Exited (0) 12 seconds ago +mtusi-lab6-clonecheck-tempo-1 Up 20 seconds +mtusi-lab6-clonecheck-valkey-1 Up 21 seconds (healthy) 127.0.0.1:6390->6379/tcp +mtusi-lab6-clonecheck-worker-1 Up 11 seconds 8080/tcp +``` + +Наружу опубликованы только LB, Grafana и служебные порты хранилищ на `127.0.0.1`; порты Collector, Prometheus, Loki и Tempo +видны только в сетях стенда (`4317-4318/tcp` без адреса хоста). После уборки контейнеров, volumes и сетей проекта +`mtusi-lab6-clonecheck` — 0. diff --git a/evidence/tests/failure-checks.md b/evidence/tests/failure-checks.md new file mode 100644 index 0000000..32091ea --- /dev/null +++ b/evidence/tests/failure-checks.md @@ -0,0 +1,70 @@ +# Проверки отказов + +- Команда: `make failure_checks` +- Дата: 2026-11-15, 06:50:18–07:28:09 UTC; код выхода 0 +- Commit: `db3340d` (ветка `feat/lab6-final`), рабочее дерево без правок кода (во время прогона менялись только `REPORT.md`, `AGENTS.md`, `QUESTIONS.md` и файлы `evidence/`; образ стенд собрал в начале) +- Стенд: проект `mtusi-lab6-failures` со своими PostgreSQL, Valkey, S3, RabbitMQ, уборщиком, relay, worker и пятью API (телеметрия у API, worker и relay выключена, сервисы телеметрии не запускаются); рабочий стенд `mtusi-lab6` на время прогона работал рядом (в первые минуты — `make service_test`, `make service_test_db` и офлайн-проверки); стенд отказов и его volumes удалены в конце +- Итог: **147 passed, 224 deselected, pytest 2242,88 с (37:22)**; журнал PostgreSQL стенда без признаков аварии (`crash markers 0`). «too many clients» 34 и «administrator command» 194 — следы самих проверок (заполнение слотов, остановки PostgreSQL). Набор тот же, что в лабе 5 (147 проверок): лаба 6 проверок отказов не добавляла — телеметрию проверяют быстрые тесты и команды драйвера +- Параметры: уборщик — grace 20 с, интервал 1 с, плановая сверка выключена; worker — 4 попытки, пауза 4–16 с, срок 10 с, запас аренды 2 с, рендер 8 с / 3 с CPU, graceful 2 с; relay — опрос 0,2 с, повторная публикация через 5 с +- Вывод сокращён: убраны лог сборки и шаги compose, адреса API временные, строки `PASSED` свёрнуты в список имён. Таблицы красных прогонов (временные регрессии) — в отчётах лаб 4 и 5 и в `tasks.md` их change: код этих веток в лабе 6 не менялся + +```text +[failure_checks] project=mtusi-lab6-failures (working stand: mtusi-lab6) +[failure_checks] build image +[failure_checks] start postgres, valkey, s3 and rabbitmq +[failure_checks] migrations +[failure_checks] s3 bootstrap +[failure_checks] start cleaner: grace 20 s, interval 1 s, reconcile interval 0 s (0 — off) +[failure_checks] start worker: attempts 4, retry 4–16 s, job timeout 10 s, lease margin 2 s, render 8 s / 3 s CPU, graceful 2 s +[failure_checks] start relay: poll 0.2 s, republish after 5 s +[failure_checks] start api containers +[failure_checks] ready: api=http://127.0.0.1:50598 tight=http://127.0.0.1:50603 uploads=http://127.0.0.1:50611 s3=http://127.0.0.1:50620 backlog=http://127.0.0.1:50627 +[failure_checks] pytest -m fault +collecting ... collected 371 items / 224 deselected / 147 selected +=============== 147 passed, 224 deselected in 2242.88s (0:37:22) =============== +[failure_checks] postgres log: 572 lines, crash markers 0; "too many clients" 34, "administrator command" 194 +[failure_checks] cleanup +[failure_checks] results: {'fault': 0, 'postgres': 0} +``` + +## Прошедшие проверки по порядку + +```text +test_expired_token test_use_does_not_extend_session test_token_while_database_stopped test_members_failure_rolls_back_chat +test_database_stopped_and_back test_pool_exhausted test_connection_limit_reached test_pool_keeps_connections +test_readiness_without_database test_readiness_without_cache test_readiness_without_object_storage[stop] test_readiness_without_object_storage[pause] +test_flush_cache test_valkey_stopped test_valkey_paused test_valkey_back +test_message_failure_keeps_key_free test_database_outage_keeps_key_free test_key_free_after_ttl test_upload_with_object_storage_stopped +test_rejected_uploads_leave_nothing test_metadata_insert_failure test_interrupted_body test_queued_failure_compensated +test_killed_between_put_and_ready test_queued_commit_outcome_unknown test_upload_outlives_grace test_cleaner_failure_after_object_delete +test_cleaner_survives_outages test_object_storage_stopped test_environment_does_not_change_limits test_object_storage_paused +test_upload_slots_busy test_rejections_before_queue test_upload_waits_for_slot test_slot_released_after_failures +test_slow_body test_upload_after_idle_s3 test_queued_while_worker_stopped test_processing_visible +test_redelivery_of_ready_is_noop test_durable_state_at_202 test_transient_error_retried test_job_message_matches_schema +test_queue_durable test_malformed_message_dropped test_unknown_job_acked test_worker_killed_during_processing +test_duplicate_during_processing test_original_published_unchanged test_staging_corrupted test_staging_missing +test_max_pixels_fit_worker_memory test_ready_failure_retried test_queued_between_attempts test_attempts_exhausted +test_database_outage_during_processing test_undecodable_becomes_failed test_worker_down_api_serves test_concurrency_bounded +test_api_killed_after_202 test_broker_restart_keeps_job test_broker_kill_keeps_confirmed test_defense_scenario +test_upload_with_broker_stopped test_upload_with_broker_paused test_queue_deleted test_broker_recreated +test_start_without_broker test_worker_survives_broker_restart test_content_before_ready test_message_with_queued_attachment +test_attachment_failed_after_message test_replay_after_attachment_failed test_readiness_without_broker_and_worker[stop] test_readiness_without_broker_and_worker[pause] +test_worker_stop_during_processing test_worker_stop_during_render test_cleaner_keeps_current_work test_reconcile_finds_and_fixes +test_reconcile_keeps_fresh_used_and_unknown test_reconcile_restored_original test_reconcile_change_limit test_reconcile_keeps_referenced_objects +test_reconcile_limit_keeps_cleanup test_reconcile_foreign_key_untouched test_reconcile_object_storage_stopped test_reconcile_interrupted_by_database +test_reconcile_under_load test_scheduled_reconcile test_reconcile_head_strategy_same_findings test_reconcile_deep_checksum +test_reconcile_restore_needs_same_bytes test_reconcile_rate_limit test_reconcile_limit_stops_rechecks test_reconcile_row_with_other_id_key +test_reconcile_fresh_overwrite_untouched test_reconcile_variant_objects test_reconcile_orphan_variant test_reconcile_keeps_current_work +test_relay_killed_before_publish test_relay_killed_after_confirm test_relay_survives_broker_outage test_relay_survives_database_outage +test_two_relays test_relay_respects_next_attempt test_lost_message_republished test_no_copies_while_queue_has_messages +test_published_backlog_limit test_broker_memory_alarm test_crash_after_objects_before_commit test_crash_after_commit_before_ack +test_retry_backoff_with_jitter test_retry_waits_outside_worker test_limit_pixels test_limit_oversized_staging +test_limit_cpu_scan_bomb test_limit_memory test_limit_render_timeout test_render_killed +test_hung_worker_lease_fencing test_hung_worker_thawed_after_ready test_long_attempt_keeps_lease test_last_attempt_lost +test_replay_registry_dry_run test_replay_returns_work test_replay_ready_refused test_replay_in_progress_refused +test_replay_without_source_refused test_replay_new_budget test_replay_by_code test_prefetch_bounded +test_missing_variant test_cancelled_upload_of_previous_version test_staging_removed_after_ready test_staging_retention +test_staging_keeps_current_work test_staging_cleanup_survives_outage test_staging_foreign_key_kept test_reconcile_orphan_staging +test_defense_faults test_backlog_limit test_backlog_ignores_finished test_backlog_counts_waiting_retry +test_backlog_without_broker test_backlog_overshoot_bounded test_backlog_off +``` diff --git a/evidence/tests/final-checks.md b/evidence/tests/final-checks.md new file mode 100644 index 0000000..98dc5b1 --- /dev/null +++ b/evidence/tests/final-checks.md @@ -0,0 +1,45 @@ +# Офлайн-проверки последнего шага + +- Команды: `make alerts_test`, `make check`, `make validate PYTHON=.venv/bin/python`, `make lint` +- Дата: 2026-11-15, 06:51:11–06:51:14 UTC; все четыре — код выхода 0 +- Commit: `db3340d` (ветка `feat/lab6-final`), рабочее дерево без правок кода (изменены только `QUESTIONS.md` и файлы `evidence/`); `make lint` файлов не изменил (619 без изменений, `git status` до и после тот же) +- Без стенда: `make alerts_test` — одноразовый контейнер образа Prometheus из compose с `--network none`. Разбор правил и контроли красного прогона — `evidence/alerts/rules-test.md` (`ef60b47`), правила с тех пор не менялись + +```text +$ make alerts_test +promtool from prom/prometheus:v3.15.1@sha256:fa3302279710be2f21a8301ec17a8b4f2301fd829bd113839b3b6b02b6f191a2 +Checking prometheus.yml + SUCCESS: 1 rule files found + SUCCESS: prometheus.yml is valid prometheus config file syntax +Checking /etc/prometheus/rules.yml + SUCCESS: 20 rules found +Checking rules.yml + SUCCESS: 20 rules found + SUCCESS +runbook infra/otel/runbooks/MessengerHighErrorRate.md: ok +runbook infra/otel/runbooks/MessengerSlowRequests.md: ok +runbook infra/otel/runbooks/MessengerNoReadyReplicas.md: ok +runbook infra/otel/runbooks/MessengerQueueLagHigh.md: ok +runbook infra/otel/runbooks/MessengerQueueMetricsMissing.md: ok +runbook infra/otel/runbooks/TelemetryTargetDown.md: ok +runbook infra/otel/runbooks/TelemetryDataLoss.md: ok +alerts: 7, each with an existing runbook + +$ make check +python3 scripts/check_contract.py +PASS: offline skeleton structure, local refs and Python syntax; application NOT tested. + +$ make validate PYTHON=.venv/bin/python +.venv/bin/python scripts/validate_openapi.py +PASS: full OpenAPI 3.1 and JSON Schema validation; application NOT tested. + +$ make lint +619 files left unchanged +code formatted +All checks passed! +code checked and fixed if needed +619 files left unchanged +code formatted +All checks passed! +code checked and fixed if needed +``` diff --git a/evidence/tests/secrets.md b/evidence/tests/secrets.md new file mode 100644 index 0000000..2e730fb --- /dev/null +++ b/evidence/tests/secrets.md @@ -0,0 +1,15 @@ +# Секретов в `evidence/` и отчёте нет + +- Что сделано: разовый скрипт (вне репозитория) читает `.env` рабочего стенда, берёт значения переменных с `PASS`, `SECRET`, `KEY`, `TOKEN` в имени (не короче 8 символов, без ссылок-шаблонов `${…}`) и ищет их байтами во всех файлах `evidence/`, включая `raw/` (быстрые метки `quick-*` и `.work/` в git не идут и в счёт не входят). Значения не печатаются, только имена и пути. Он же ищет абсолютный путь домашнего каталога и строки `Authorization: Bearer|Basic <значение>`. Второй проход — все файлы, отслеживаемые git, и `REPORT.md`. Третий — история всех веток на `.env` и `config.toml` +- Дата: 2026-11-15, 07:33 UTC; код выхода 0 +- Commit: `db3340d` (ветка `feat/lab6-final`) плюс рабочее дерево последнего шага: новые файлы `evidence/` (исключения, проверки, чистый clone), `REPORT.md`, `AGENTS.md`, `QUESTIONS.md` +- `authorization with credentials: 1` в `tracked` — `examples/requests.http` skeleton: заглушки `REPLACE_WITH_LOCAL_BASE64_CREDENTIAL` и `{{sessionToken}}`, значений нет +- Секреты клона из `evidence/tests/clean-clone.md` (свой `.env`, удалён с клоном) проверены тем же способом по журналам проверки — 13 значений, 0 совпадений +- Тестовые токены и пароли синтетические и в выводы не попадают: драйвер печатает `token T (43 characters)`, ключ идемпотентности заменён на `` + +```text +evidence: secrets checked: 13, files: 577, hits: 0, home paths: 0, authorization with credentials: 0 +tracked: secrets checked: 13, files: 1285, hits: 0, home paths: 0, authorization with credentials: 1 + authorization: examples/requests.http +tracked .env or config.toml in any branch history: 0 +``` diff --git a/evidence/tests/service-tests.md b/evidence/tests/service-tests.md new file mode 100644 index 0000000..44df32b --- /dev/null +++ b/evidence/tests/service-tests.md @@ -0,0 +1,23 @@ +# Быстрые тесты сервисов + +- Команды: `make service_test`, затем `make service_test_db` +- Дата: 2026-11-15, 06:50:24–06:51:04 UTC; оба — код выхода 0 +- Commit: `db3340d` (ветка `feat/lab6-final`), рабочее дерево без правок кода (изменены только `QUESTIONS.md` и файлы `evidence/`) +- Стенд: `make service_test` — без PostgreSQL, Valkey, S3, брокера, docker и сети (фейки, `service-tests/unit`); `make service_test_db` — PostgreSQL рабочего стенда `mtusi-lab6`, временная база `test_uow_messenger`, удалена после прогона (`service-tests/db`) +- Итог: **335 passed за 2,88 с** (ветки всех сервисов, архитектура, контракт repo на фейке, телеметрия на in-memory экспортёрах SDK — `test_telemetry`); **88 passed за 34,04 с** на временной базе (настоящая единица работы, контракт repo на SQL, общий срок запроса, span запросов и COMMIT, счёт пула `CountingQueuePool`). В лабе 5 при переносе было 215 и 78: прибавились тесты телеметрии четырёх change лабы 6 +- Таблица регрессий (временная поломка кода → названный красный) — в лабе 5 (`evidence/tests/service-tests.md` её репозитория) и в `tasks.md` change лабы 6; здесь не переснималась + +```text +uv run pytest -c service-tests/pytest.ini service-tests/unit +........................................................................ [ 21%] +........................................................................ [ 42%] +........................................................................ [ 64%] +........................................................................ [ 85%] +............................................... [100%] +335 passed in 2.88s +``` + +```text +................ [100%] +88 passed in 34.04s +``` diff --git a/evidence/tests/student-test-lb.md b/evidence/tests/student-test-lb.md new file mode 100644 index 0000000..6ab3d9a --- /dev/null +++ b/evidence/tests/student-test-lb.md @@ -0,0 +1,25 @@ +# Свой набор через LB + +- Команда: `make student_test` (`BASE_URL=http://localhost:8080 EXPECT_REPLICAS=2`) +- Дата: 2026-11-15, 06:44:13–06:45:31 UTC; код выхода 0 +- Commit: `db3340d` (ветка `feat/lab6-final`), рабочее дерево без правок кода (изменены только `QUESTIONS.md` и файлы `evidence/`, в образ они не входят) +- Стенд: проект compose `mtusi-lab6`, две реплики за HAProxy, relay, worker, телеметрия включена (Collector, Prometheus, Loki, Tempo, Grafana), собран `make run_docker` из `HEAD` +- Итог: **224 passed, 147 deselected, 77,59 с**. 147 deselected — проверки отказов (`evidence/tests/failure-checks.md`) +- `test_exclusion_evidence_exists` зелёный: все 10 файлов исключений сняты на стенде лабы 6 (`evidence/cache/hits.md`, `evidence/auth/passwords-and-tokens.md`, `evidence/idempotency/replay-after-restart.md`, `evidence/replicas/test-persistence.md`, `evidence/attachments/failover.md`, `evidence/attachments/storage.md`, `evidence/broker/stand.md`, `evidence/broker/isolated.md`, `evidence/uploads/baseline/summary.md`, `evidence/queue/baseline4/summary.md`) +- Вывод сокращён: убраны строки `PASSED` и заголовки блоков вывода + +```text +student-tests/test_coverage.py::test_exclusion_evidence_exists PASSED [ 50%] +uploaded via d34fc9b86aa4, downloaded via ['35f606496f73', 'd34fc9b86aa4'] +coverage: 389 scenarios in 17 specs, 358 tested (173 by make failure_checks), 31 excluded +sent via d34fc9b86aa4, replayed via ['35f606496f73'] +409 via ['35f606496f73', 'd34fc9b86aa4'] +one session, 20 requests: {'35f606496f73': 10, 'd34fc9b86aa4': 10} +written via d34fc9b86aa4, read via {'35f606496f73': 3, 'd34fc9b86aa4': 3} +race: 10 clients x 10 messages, statuses {201: 100}, max in flight 10; history: 100 messages, 100 unique ids, 4 pages by 30 +username race: 10 clients, statuses {409: 9, 201: 1}, max in flight 10 +key race: 10 clients, statuses {201: 10}, max in flight 10; history: 1 messages +key race: 10 clients, statuses {201: 10}, max in flight 10; history: 1 messages +key race through replicas: {'35f606496f73': 5, 'd34fc9b86aa4': 5} +================ 224 passed, 147 deselected in 77.59s (0:01:17) ================ +``` diff --git a/evidence/tests/test-isolated.md b/evidence/tests/test-isolated.md new file mode 100644 index 0000000..49811ea --- /dev/null +++ b/evidence/tests/test-isolated.md @@ -0,0 +1,32 @@ +# Набор на временной базе + +- Команда: `make test_isolated` +- Дата: 2026-11-15, 06:45:55–06:48:10 UTC; код выхода 0 (`results: {'test': 0, 'student_test': 0}`) +- Commit: `db3340d` (ветка `feat/lab6-final`), рабочее дерево без правок кода (изменены только `QUESTIONS.md` и файлы `evidence/`, в образ они не входят) +- Стенд: образ из рабочего дерева, контейнеры `mtusi-lab6-test-api`, `mtusi-lab6-test-worker`, `mtusi-lab6-test-relay` на базе `test_messenger` поверх хранилищ рабочего стенда (телеметрия у них выключена, `TELEMETRY__ENABLED=false`), один процесс API, `EXPECT_REPLICAS=1` +- Итог: smoke — `PASS: lab6`; набор — **218 passed, 6 skipped, 147 deselected, 116,06 с**. Это третий прогон этой сессии: первые два — последовательность `evidence/broker/isolated.md` (код 2 только из-за ещё не снятых файлов исключений) +- 6 skipped — тесты реплик против одного процесса, причина напечатана; 147 deselected — проверки отказов (`evidence/tests/failure-checks.md`) +- Вывод сокращён: убраны лог сборки и строки `PASSED` + +```text +python3 tests/smoke.py --base-url "http://127.0.0.1:18088" +PASS: lab6 public API scenario; infrastructure and grading evidence remain separate. + +student-tests/test_coverage.py::test_exclusion_evidence_exists PASSED [ 50%] +two series of 18 requests: {'47af42477da4': 36} +ready in 0.44 s +coverage: 389 scenarios in 17 specs, 358 tested (173 by make failure_checks), 31 excluded +race: 10 clients x 10 messages, statuses {201: 100}, max in flight 10; history: 100 messages, 100 unique ids, 4 pages by 30 +username race: 10 clients, statuses {409: 9, 201: 1}, max in flight 10 +key race: 10 clients, statuses {201: 10}, max in flight 10; history: 1 messages +SKIPPED [1] student-tests/test_attachment_processing.py:511: one API process (EXPECT_REPLICAS=1): replica checks need the stand with the load balancer +SKIPPED [1] student-tests/test_attachments.py:748: one API process (EXPECT_REPLICAS=1): replica checks need the stand with the load balancer +SKIPPED [1] student-tests/test_idempotency.py:372: one API process (EXPECT_REPLICAS=1): replica checks need the stand with the load balancer +SKIPPED [1] student-tests/test_load_balancing.py:18: one API process (EXPECT_REPLICAS=1): replica checks need the stand with the load balancer +SKIPPED [1] student-tests/test_load_balancing.py:34: one API process (EXPECT_REPLICAS=1): replica checks need the stand with the load balancer +SKIPPED [1] student-tests/test_race.py:169: one API process (EXPECT_REPLICAS=1): replica checks need the stand with the load balancer +========== 218 passed, 6 skipped, 147 deselected in 116.06s (0:01:56) ========== +[test_isolated] cleanup +[test_isolated] remove objects /buckets/messenger/test_messenger/ and queue test_messenger.attachment.process.v1 +[test_isolated] results: {'test': 0, 'student_test': 0} +```