docs: capture lab 6 exclusion evidence, full checks and final report
Coverage-exclusion evidence on the lab 6 stand (db3340d), failure checks, isolated and LB test runs, clean clone and secrets check; fill REPORT.md from the skeleton template, drop PLAN.md (last versiondb3340d). Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
@@ -9,7 +9,9 @@ SDK OpenTelemetry в API и worker, отдельный OTel Collector, хран
|
||||
`contracts/infrastructure.json`, `infra/otel/README.md`). Цель — оценка 5,
|
||||
трек 1 «Цена наблюдаемости»; хранилища — Prometheus (метрики), Loki
|
||||
(логи), Tempo (трассы), интерфейс — Grafana (решения пользователя
|
||||
2026-11-11). План изменений лабы и развилки — `PLAN.md`. Решения, принятые
|
||||
2026-11-11). Рабочий план лабы (`PLAN.md`) удалён после закрытия всех changes и
|
||||
последнего шага: итоги — в `REPORT.md`, последняя версия плана — `git show
|
||||
db3340d:PLAN.md`. Решения, принятые
|
||||
без пользователя, и открытые вопросы —
|
||||
`QUESTIONS.md`. Первое изменение лабы, наблюдаемость (уровень 3) — change
|
||||
`otel-telemetry` (заархивирован 2026-11-11,
|
||||
@@ -71,7 +73,14 @@ histogram — поля `[telemetry] trace_sample_ratio`, `metric_buckets` (по
|
||||
`bench_queue`; сбалансированная конфигурация — `bench/otel/` (рабочий стенд остаётся со всеми
|
||||
трассами); гипотезы H1–H8 и критерии B1–B5 — `REPORT.md`, «Цена наблюдаемости (трек 1)».
|
||||
Гипотезы — commit `509afca`, метка `evidence/telemetry-cost/baseline2/` снята на коде `68e14b6`
|
||||
(каталог — commit `0f5dbfc`), правки verify — commit `56132c7`.
|
||||
(каталог — commit `0f5dbfc`), правки verify — commit `56132c7`. Последний шаг лабы (без
|
||||
change, ветка `feat/lab6-final`): метки `make bench_uploads TELEMETRY=on` →
|
||||
`evidence/uploads/baseline/` и `make bench_queue TELEMETRY=on QUEUE_LABEL=baseline4` →
|
||||
`evidence/queue/baseline4/` (код `b3a5ab8`, каталоги — commit `db3340d`; у очереди
|
||||
`dirty: true` — `QUESTIONS.md`, `## Последний шаг`), файлы исключений сверки покрытия и
|
||||
полные проверки на `db3340d` (`evidence/cache/`, `auth/`, `attachments/`, `broker/`,
|
||||
`idempotency/`, `replicas/`, `failover/`, `tests/`), проверка из чистого clone, CI на Gitea,
|
||||
`REPORT.md` целиком; `make student_test` через LB зелёный.
|
||||
Код перенесён из лабы 5 (репозиторий
|
||||
`mtusi2026lab5-safronov`, ветка `solution/bvt2301-safronov`, commit
|
||||
`046ec9e`) по разделу «Переход в следующую лабу»; отчёт и evidence лабы 5
|
||||
@@ -772,7 +781,7 @@ evidence/storage/ # отказы БД, пул, statement_timeout, р
|
||||
evidence/migrations/ # миграции с нуля и повторно, ошибка миграции; лаба 4: pending-index.md (ревизия 739b8f04d5fb с нуля, повтор, откат, EXPLAIN общего плана кандидатов уборщика на рабочей базе с откатом, rollout_quick), lost-at.md (ревизия 5c3e1f0a9b7d колонки lost_at: с нуля, повтор, откат, --sql с lock_timeout, make rolling_update с ревизией до и после)
|
||||
evidence/auth/ # passwords-and-tokens.md — driver.py auth-storage на стенде текущей лабы: Argon2id в users, SHA-256 токена в sessions, ни токена, ни пароля в pg_dump (исключения сверки покрытия)
|
||||
evidence/cache/ # hits.md — make test_isolated + driver.py cache-check на стенде текущей лабы: одно чтение chats на 50 через LB, TTL, ключи двух баз (исключения сверки покрытия)
|
||||
evidence/tests/ # change unit-of-work: service-tests.md (make service_test и service_test_db, таблица регрессий); выводы make test_isolated (test-isolated.md), make student_test через LB (student-test-lb.md) и make failure_checks (failure-checks.md) для REPORT.md, secrets.md; файлы этих проверок лаб 3 и 4 — в их репозиториях
|
||||
evidence/tests/ # последний шаг лабы 6 (db3340d): service-tests.md (make service_test и service_test_db), test-isolated.md, student-test-lb.md, failure-checks.md, final-checks.md (check, validate, lint, alerts_test), secrets.md, clean-clone.md (git clone, make run_docker своим проектом на нестандартных портах), ci-application.md (прогон .github/workflows/application.yml на Gitea); файлы этих проверок лаб 3–5 — в их репозиториях
|
||||
evidence/idempotency/ # повтор, 409, гонка, таблица ключей, X-Instance-Id
|
||||
evidence/replicas/ # стенд с LB: порты, лимиты и их цена для Argon2id, окружение, распределение, ответы LB (нет реплик, зависшая, без PostgreSQL), test-persistence, чистый clone на нестандартных портах
|
||||
evidence/failover/ # make test-failover для каждой реплики (stop и kill), отказы stop-one.sh; замер обнаружения, keep-alive, зависшая реплика и ключ; stop-at-start.md — docker stop стартующей реплики «до/после» раннего обработчика и ветка сбоя rolling-update.sh
|
||||
@@ -783,9 +792,9 @@ evidence/bench/<метка>/ # результаты make bench / bench_rest
|
||||
evidence/bench/scaling-*/ # серии трека 1 (a, b, pool, A/A scaling-aa, db — насыщение PostgreSQL; db4 — «до/после» пула без переполнения: scaling-db-aa*, -before*, -nooverflow*, окончательные — с суффиксом 2): паспорт с планом, бюджетом и лимитами по конфигурациям, runs.csv (строка на ступень), searches.csv (строка на ячейку), samples.csv (посекундно в окнах), summary.md, p95-by-rate.svg, cpu-by-component.svg, итоги k6 ступеней и журналы 5xx
|
||||
evidence/plots/scaling/ # make bench_plots по сериям a и b: графики SVG и summary.md (R*, эффективность, точка насыщения, цена запроса, память)
|
||||
evidence/plots/scaling-db/ # make bench_plots по серии db: R* по лимитам PostgreSQL и раздел «Насыщение PostgreSQL»
|
||||
evidence/queue/<метка>/ # результаты make bench_queue (change track1-queue-overload): meta.json (классы, план, окна, app_env по конфигурациям), cells.csv, timeline.csv, summary.md (H1–H9, рекомендация), SVG, raw/ — итоги k6
|
||||
evidence/queue/<метка>/ # результаты make bench_queue (change track1-queue-overload): meta.json (классы, план, окна, app_env по конфигурациям), cells.csv, timeline.csv, summary.md (H1–H9, рекомендация), SVG, raw/ — итоги k6; в лабе 6 — baseline4 с TELEMETRY=on (код b3a5ab8, dirty: true — QUESTIONS.md, «Последний шаг»)
|
||||
evidence/telemetry-cost/<метка>/ # результаты make bench_telemetry (change track1-telemetry-cost): meta.json (варианты с SHA-256 слоёв, план, интенсивности, окна, блокировки, app_env по вариантам, stand и stand_telemetry, limits_by_mode), runs.csv, components.csv, classes.csv, summary.md (H1–H8, B1–B5), cpu-by-group.svg, latency-light.svg, ingest.svg, traces-by-class.svg, raw/ — итоги k6 и выборки
|
||||
evidence/uploads/ # change upload-memory: <метка>/ — make bench_uploads (meta.json, runs.csv, summary.md, raw/), lb-timeouts.md — driver.py lb-upload-timeouts, rollout-upload.md — медленная загрузка во время make rolling_update
|
||||
evidence/uploads/ # change upload-memory: <метка>/ — make bench_uploads (meta.json, runs.csv, summary.md, raw/; в лабе 6 — baseline с TELEMETRY=on, код b3a5ab8), lb-timeouts.md — driver.py lb-upload-timeouts, rollout-upload.md — медленная загрузка во время make rolling_update
|
||||
evidence/bench/unit-of-work-*/ # change unit-of-work, профиль quick с именной меткой (идёт в git): before и aa на b2fb88f, after на 6ba74b1
|
||||
evidence/rollout/unit-of-work*/ # change unit-of-work: unit-of-work (замена с Profile.rollout_from), unit-of-work-previous (--from b2fb88f: CPU на запрос старых и новых реплик)
|
||||
evidence/compare/ # таблицы make bench_compare: <до>__<после>.md; unit-of-work-before__unit-of-work-after.md и unit-of-work-aa__unit-of-work-after.md — цена шага от двух меток одного кода
|
||||
|
||||
@@ -1,222 +0,0 @@
|
||||
# План лабы 6: наблюдаемость
|
||||
|
||||
Рабочий план изменений OpenSpec лабы 6 для прогона `/openspec-cycle`. Задание —
|
||||
`README.md`, сигналы — `contracts/observability.md`, роли —
|
||||
`contracts/infrastructure.json`, что положить в `infra/` —
|
||||
`infra/otel/README.md`. Перенос из лабы 5 и найденное при нём — `QUESTIONS.md`,
|
||||
«Перенос из лабы 5». После закрытия всех changes план удаляется, итоги — в
|
||||
`REPORT.md` (как в лабах 3 и 4).
|
||||
|
||||
## Что решает пользователь
|
||||
|
||||
Ответы записать в `QUESTIONS.md` («Ответы пользователя перед прогоном») и
|
||||
передавать в промпт propose как решения, которые не пересматриваются.
|
||||
|
||||
| # | Решение | Рекомендация | Почему |
|
||||
|---|---|---|---|
|
||||
| 1 | Цель и трек 5 | **принято 2026-11-11:** 5, трек 1 «Цена наблюдаемости» | стенд `bench/` уже меряет latency (k6), CPU и память по контейнерам (сэмплер), сравнивает метки; трек 2 требует долгих окон burn-rate и долгих прогонов на ложные срабатывания, их честно не уменьшить до учебного стенда |
|
||||
| 2 | Хранилища | **принято 2026-11-11:** Prometheus (метрики), Loki (логи), Tempo (трассы), отдельными сервисами | все три принимают OTLP, у каждого понятная роль и свой volume; `grafana/otel-lgtm` одним контейнером прячет Collector и хранилища, а рубрика требует отдельный Collector и объяснить каждое хранилище |
|
||||
| 3 | Уровень 4 — один change или два | **принято 2026-11-11:** два — связь и насыщение, затем SLO, alerts и устойчивость | verify каждого уже; второй опирается на метрики первого. Цена — ещё один цикл из четырёх стадий |
|
||||
| 4 | Что можно без пользователя | **принято 2026-11-11:** как в лабе 5: коммиты на `feat/<change>`, ff-merge в `solution/bvt2301-safronov`, архивация, зависимости и образы, стенд и замеры; push — в конце; PR не открывать | без разрешения на коммиты цикл идёт без них (скилл `openspec-cycle`) |
|
||||
| 5 | Длинные замеры исключений (`bench_uploads` ~50 мин, `bench_queue` ~2 ч 10 мин) | **принято 2026-11-11:** в последнем шаге, на коде лабы 6 с **включённой** телеметрией на стенде `mtusi-bench` (уточнено 2026-11-11, вопрос 5 `## otel-telemetry`) | доказывают, что свойства лаб 4 и 5 сохранились вместе с телеметрией; снятые раньше пришлось бы снимать заново. Выключатель телеметрии `bench/` — из change 4 |
|
||||
|
||||
## Шаг 0. Перенос (без OpenSpec)
|
||||
|
||||
1. Сделано 2026-11-11: ветка `solution/bvt2301-safronov` от `main`, commit
|
||||
переноса `9cc6c0c` (источник — `mtusi2026lab5-safronov`, `046ec9e`).
|
||||
2. Сделано: commit «до» профилей `bench/` (`rollout_from`, `uploads_before`,
|
||||
`reconcile_before`) → `9cc6c0c`, код успеха «до» у `uploads` — 202
|
||||
(`QUESTIONS.md`).
|
||||
3. `graphify update .` (граф локальный, в git не идёт).
|
||||
4. Evidence исключений сверки покрытия — в последнем шаге (решение 5). До него
|
||||
`make student_test` красный ровно одним `test_exclusion_evidence_exists` (10
|
||||
файлов, `QUESTIONS.md`): в промпт apply и verify — «известно, не чинить».
|
||||
|
||||
## Changes
|
||||
|
||||
| # | Change | Уровень | Суть | Зависит от |
|
||||
|---|---|---|---|---|
|
||||
| 1 | `otel-telemetry` | 3 | Collector, Prometheus, Loki, Tempo, Grafana в стенде; SDK в API и worker; сигналы уровня 3; dashboard из provisioning; первый старт с нуля | шаг 0 |
|
||||
| 2 | `job-trace-propagation` | 4 | W3C trace context API → outbox → relay → broker → worker; время до `ready`; очередь, возраст старейшей job, пул БД, saturation worker; p50/p95/p99 и доля ошибок | 1 |
|
||||
| 3 | `slo-alerts` | 4 | SLI/SLO, alert rules с runbooks, проверка firing / resolved отказами; Collector и SDK с ограниченной памятью и очередью; отказ хранилища телеметрии; два инцидента | 2 |
|
||||
| 4 | `track1-telemetry-cost` | 5 | цена телеметрии и потери при sampling (решение 1) | 3 |
|
||||
| — | последний шаг | — | evidence исключений, полные проверки, `REPORT.md` | 4 |
|
||||
|
||||
### 1. `otel-telemetry` (уровень 3)
|
||||
|
||||
**Входит:**
|
||||
|
||||
- Стенд: отдельный OTel Collector (`infra/otel/collector.yaml`: OTLP receivers
|
||||
на внутренней сети, `memory_limiter` и `batch` уже здесь, три pipeline на
|
||||
реальные хранилища), Prometheus, Loki, Tempo с persistent volumes и
|
||||
ограниченным сроком хранения, Grafana с provisioning datasources и dashboards
|
||||
и dashboard JSON в git, порт Grafana только на `127.0.0.1`, пароль
|
||||
администратора — случайный из `make env_setup`. Образы — тег и digest индекса,
|
||||
лимиты CPU/RAM у всех, healthcheck, секреты по сервисам (`docker.md`).
|
||||
- SDK в API (все реплики) и worker: resource attributes `service.name`
|
||||
(`messenger-api`, `messenger-worker`), `service.version`, `service.instance.id`
|
||||
(= `instance_id`, `X-Instance-Id`), `deployment.environment.name=lab`; OTLP
|
||||
`http/protobuf` в Collector. Соответствие имён skeleton `OTEL_*` настройкам —
|
||||
`.env.example`, `settings.md`, `REPORT.md`.
|
||||
- Сигналы уровня 3 (`contracts/observability.md`): HTTP requests (method, route
|
||||
template, status class) и duration histogram в секундах с границами под
|
||||
ожидаемые задержки; jobs processed / failed и job duration (job type, outcome);
|
||||
структурные логи с `trace_id` / `span_id`, severity, `service.name`, event —
|
||||
stdout JSON остаётся; трассы — server spans API, consumer span worker, дочерние
|
||||
spans БД, S3 и процесса обработки.
|
||||
- Запреты: `user_id`, `chat_id`, `message_id`, `attachment_id`, `request_id`,
|
||||
raw URL, `filename`, текст — не labels метрик; `Authorization`, пароль, токен,
|
||||
`Idempotency-Key`, тела, байты, подписи S3 — нигде в telemetry (`logging.md`,
|
||||
«Чего в логах быть не должно»).
|
||||
- Dashboard уровня 3: RPS, ошибки и duration API, успешные и ошибочные jobs,
|
||||
duration worker; переход лог ↔ трасса по `trace_id`.
|
||||
- Проверка «свой запрос найден»: команда драйвера (рабочее имя
|
||||
`telemetry-check`) — запрос с известным `X-Request-Id` → лог в Loki → `trace_id`
|
||||
→ трасса в Tempo; upload → trace и лог worker. Проба приватности: маркеры пароля,
|
||||
токена и текста теста в Loki и Tempo не находятся.
|
||||
- Исправление `KNOWN_ISSUES.md` «Первый старт RabbitMQ на пустом volume» и
|
||||
сценарий «стенд с нуля одной командой»: `make run_docker` на пустых volumes,
|
||||
дважды подряд, включая новые хранилища (у non-root образов на именованных
|
||||
volumes бывают те же права).
|
||||
- Override CI (`.github/ci/compose.yml`, `stand-env.sh`): новые bind mount →
|
||||
`configs`, без портов хоста.
|
||||
- Стенд `bench/` и стенд отказов (`failure_checks`) не меняют прежних бюджетов:
|
||||
телеметрия там выключена по умолчанию (`OTEL_SDK_DISABLED` или свой выбор), а
|
||||
включается профилем. Иначе метки прежних профилей несравнимы, а сумма лимитов
|
||||
`bench/` упрётся в ВМ. Выключатель SDK нужен и треку 1 (вариант off).
|
||||
- `make test` проходит при включённой телеметрии; назначение каждого хранилища и
|
||||
соответствие имён SDK ↔ Prometheus — в `REPORT.md`.
|
||||
|
||||
**Не входит:** перенос контекста через брокер, метрики очереди, пула и
|
||||
saturation, alerts, SLO, настройка backpressure сверх базовых `memory_limiter` и
|
||||
`batch`.
|
||||
|
||||
**Развилки для design** (решает propose, записывает в design):
|
||||
|
||||
- путь логов: OTLP из SDK (мост structlog / stdlib → `LoggingHandler`) или
|
||||
`filelog` Collector по журналам Docker (на Docker Desktop журналы внутри ВМ);
|
||||
рекомендация — SDK;
|
||||
- путь метрик в Prometheus: OTLP receiver Prometheus, `prometheusremotewrite` или
|
||||
scrape `prometheus` exporter Collector — от него зависят имена, суффиксы единиц
|
||||
и какие resource attributes становятся labels;
|
||||
- дистрибутив Collector: `tail_sampling` трека 1 есть только в contrib; с
|
||||
выбранным треком 1 рекомендация — contrib с первого change, чтобы варианты
|
||||
трека отличались настройкой, а не сборкой Collector;
|
||||
- автоинструментирование (FastAPI/ASGI без заголовков и health, SQLAlchemy async,
|
||||
redis, aio-pika) или ручные spans; S3 — ручной span в `ObjectStorage._call`
|
||||
(единственная точка вызова);
|
||||
- relay и cleaner: SDK сразу или в change 2 (relay нужен там для publish span);
|
||||
- `scripts/restart.sh`: перезапускать ли хранилища телеметрии («все хранилища»
|
||||
restart hook — про бизнес-данные);
|
||||
- бюджет ВМ: Docker Desktop — 12 CPU, 7,75 GiB; лимиты стенда сейчас 9,0 CPU /
|
||||
4992 МБ постоянных (`docker.md`); пять новых сервисов дадут ~11–12 CPU и ~7 ГБ —
|
||||
сумма и решение в `REPORT.md`.
|
||||
|
||||
**Проверки:** `make lint`, `make service_test`, `make service_test_db`, `make test`
|
||||
и `make student_test` на стенде с телеметрией, `make test_isolated`, `make
|
||||
failure_checks`, `docker compose config --quiet`, стенд с нуля, evidence
|
||||
`telemetry-check` и пробы приватности, provisioning без ручного импорта (Grafana
|
||||
API: datasources и dashboard на месте после старта).
|
||||
|
||||
### 2. `job-trace-propagation` (уровень 4, часть 1)
|
||||
|
||||
**Входит:**
|
||||
|
||||
- W3C `traceparent` / `tracestate`: контекст span загрузки сохраняется вместе с
|
||||
намерением задания (`attachment_jobs`, миграция только расширяет схему,
|
||||
`migrations.md`), relay публикует с заголовками и publish span, worker
|
||||
извлекает контекст — consumer / process span с parent или link по выбранной
|
||||
semantic conventions messaging (выбор и почему — в design). Каждая попытка и
|
||||
replay видны; по одному upload — цепочка до записи S3 и фиксации в БД, включая
|
||||
retry (команда драйвера, рабочее имя `trace-chain`, с вынужденной повторной
|
||||
попыткой).
|
||||
- Метрики: end-to-end время до `ready` (от фиксации `queued` до фиксации `ready`,
|
||||
histogram); queue depth и возраст старейшей незавершённой job (секунды) из
|
||||
одного источника — не по разу на реплику API; DB pool used / waiting по
|
||||
процессам; worker busy / capacity; CPU и RAM процессов или контейнеров (если
|
||||
Collector читает `docker.sock` — это цена безопасности, назвать).
|
||||
- Dashboard уровня 4: p50 / p95 / p99 через `histogram_quantile` по сумме buckets
|
||||
всех реплик (не среднее p99), доля ошибок с заранее определёнными числителем и
|
||||
знаменателем (5xx / бизнес-запросы без health; 4xx клиента отдельно),
|
||||
очередь и возраст, пул, saturation; запросы и единицы — в `REPORT.md`.
|
||||
|
||||
**Не входит:** alerts, SLO, устойчивость телеметрии.
|
||||
|
||||
**Развилки:** parent или link у consumer (outbox разрывает синхронную цепочку:
|
||||
publish идёт в другом процессе и позже); источник очереди — relay
|
||||
(единственный, уже считает `published_backlog`), receiver Collector или
|
||||
метрики брокера; смесь версий при `make rolling_update` — строки задания без
|
||||
контекста у прежних реплик.
|
||||
|
||||
### 3. `slo-alerts` (уровень 4, часть 2)
|
||||
|
||||
**Входит:**
|
||||
|
||||
- Проверяемый SLI/SLO и окно: API (доступность и latency) и время до `ready`,
|
||||
формула PromQL.
|
||||
- Alert rules в git — минимум высокий error rate и растущий queue lag: условие,
|
||||
окно, порог, `for`, описание, ссылка на локальный runbook. Проверка искусственным
|
||||
отказом: остановить worker → firing → запустить → resolved; медленная или
|
||||
недоступная БД → firing → resolved; состояние из API Prometheus / Grafana с
|
||||
временем — в evidence. Доставка наружу не нужна.
|
||||
- Collector: `memory_limiter`, `batch`, ограниченная `sending_queue`,
|
||||
`retry_on_failure` с пределом времени; SDK — ограниченные очереди и сроки
|
||||
экспорта. Остановка каждого хранилища телеметрии и самого Collector: API и
|
||||
worker работают (`make test`), память Collector и API ограничена (замер), потери
|
||||
посчитаны (собственные метрики Collector `otelcol_exporter_send_failed_*`,
|
||||
`otelcol_exporter_enqueue_failed_*`, отказы `memory_limiter`) и объяснены.
|
||||
- Два инцидента в `REPORT.md` с шагами диагностики только по сохранённым
|
||||
наблюдениям: (1) остановлен worker — растёт возраст задач; (2) медленная или
|
||||
недоступная БД отличается от медленного handler по трассам и метрикам. Третий —
|
||||
недоступность хранилища телеметрии.
|
||||
|
||||
**Развилки:** правила Prometheus или Grafana-managed alerts (рекомендация —
|
||||
правила Prometheus: файл в git, `promtool test rules`); нужен ли Alertmanager
|
||||
(доставка не нужна — состояние firing / resolved видно без него).
|
||||
|
||||
### 4. `track1-telemetry-cost` (уровень 5, решение 1)
|
||||
|
||||
Профиль `telemetry` стенда `bench/`: одинаковая открытая нагрузка (смесь API и
|
||||
загрузок ниже насыщения), варианты — телеметрия выключена, полная (100 %
|
||||
трасс), head sampling (`parentbased_traceidratio`), tail sampling в Collector
|
||||
(ошибки, медленные, доля остальных), вариант агрегации метрик (интервал
|
||||
экспорта, границы buckets, лишние инструменты). Меряется p50 / p95 / p99, CPU и
|
||||
RAM API, worker, Collector и хранилищ, объём ingest (метрики Collector, рост
|
||||
хранилищ), потери spans. Редкие ошибки и медленные запросы вносятся с известным
|
||||
числом — по ним видно, что теряет каждый вариант. Гипотезы закоммичены до метки,
|
||||
повторы, A/A, сбалансированная конфигурация предложена и проверена, ограничения
|
||||
названы (`bench.md`). Включение телеметрии на стенде `mtusi-bench` (SDK, Collector,
|
||||
хранилища) делается не только для профиля `telemetry`: им пользуются `bench_uploads`
|
||||
и `bench_queue` последнего шага (решение 5), бюджет ВМ — с ним.
|
||||
|
||||
Трек 2 «SLO и обнаружение инцидентов» не выбран (решение 1): burn-rate alerts
|
||||
с несколькими окнами в changes не входят, alerts уровня 4 — пороговые
|
||||
(change 3).
|
||||
|
||||
### Последний шаг (без отдельного change)
|
||||
|
||||
- Evidence исключений сверки покрытия на стенде лабы 6 и коде с телеметрией:
|
||||
10 файлов из `QUESTIONS.md` (`make test_isolated` и `driver.py cache-check
|
||||
--require-test-keys`, `auth-storage`, `make test-persistence`, повтор после
|
||||
`--force-recreate api`, `attachment-failover` оба режима, `attachment-storage`,
|
||||
`broker-check` и `--require-test-queue`, `make bench_uploads`, `make
|
||||
bench_queue` — оба с включённой телеметрией, решение 5) и новые исключения
|
||||
changes лабы 6. Метка очереди: исключение
|
||||
называет `baseline4` — новая метка с тем же именем или правка текста исключения
|
||||
на новую (решить там, назвать в `QUESTIONS.md`).
|
||||
- Полные `make failure_checks`, `make test_isolated`, `make student_test` через
|
||||
LB, `make test-persistence`, `make test-failover` (stop и kill), CI на Gitea,
|
||||
проверка из чистого clone, `REPORT.md` целиком (шаблон skeleton), секреты в
|
||||
evidence — проверка.
|
||||
- Push ветки решения — по разрешению; PR — только по отдельной просьбе.
|
||||
|
||||
## Запуск
|
||||
|
||||
- Каждый change — `/openspec-cycle <change>`: propose (max) → apply (high) →
|
||||
verify (xhigh) → правки → archive (high), обычно 4 шага; ветка
|
||||
`feat/<change>` от `solution/bvt2301-safronov`, ff-merge обратно.
|
||||
- В промпт propose — раздел change отсюда и ответы пользователя; развилки
|
||||
решает design, а не этот план.
|
||||
- В промпт apply и verify: `test_exclusion_evidence_exists` красный до
|
||||
последнего шага — известно; стенд проекта `mtusi-lab6`; рабочий стенд перед
|
||||
`bench/` — `make stop`.
|
||||
+21
-3
@@ -2,8 +2,9 @@
|
||||
|
||||
Решения, принятые без пользователя, и вопросы, которые не блокируют работу.
|
||||
Раздел на каждый change: `## <change>`, внутри «Решения» и «Вопросы».
|
||||
Вопросы преподавателю дублируются в `REPORT.md`. План изменений лабы —
|
||||
`PLAN.md`.
|
||||
Вопросы преподавателю дублируются в `REPORT.md`. План изменений лабы (`PLAN.md`)
|
||||
удалён после последнего шага, последняя версия — `git show db3340d:PLAN.md`; ссылки на
|
||||
него ниже — на эту версию.
|
||||
|
||||
## Ответы пользователя перед прогоном (2026-11-11)
|
||||
|
||||
@@ -564,9 +565,26 @@ Change `openspec/changes/archive/2026-11-15-track1-telemetry-cost/` (propose 202
|
||||
лимита во всех повторах, отношение длительностей 0,869 при пороге 1,5. В лабе 5 на той же ячейке условие тоже было
|
||||
неустойчивым (`baseline3` — H2 «нет»); с телеметрией перезапусков больше (13 против 5 у `baseline4` лабы 5), у
|
||||
lp-c4p4-r3 — пометка `failed` (задания `retry_exhausted`). Рекомендация правила прежняя — (2, 2).
|
||||
- **Доказательства исключений и полные проверки — на `db3340d`** при дереве без правок кода (менялись только документы и
|
||||
`evidence/`), рабочий стенд `make run_docker` с включённой телеметрией. Порядок вынужденный: `make test_isolated` до появления
|
||||
файлов исключений красный ровно одним `test_exclusion_evidence_exists`, поэтому прогонов три — два в последовательности
|
||||
`evidence/broker/isolated.md` и третий зелёный (`evidence/tests/test-isolated.md`). Повтор после `--force-recreate api` выполнил
|
||||
разовый скрипт на stdlib вне репозитория (как в лабе 5): шаги перечислены в шапке файла.
|
||||
- **`make test-failover` `kill` — `failed_attempts` 1** при PASS: запись была в полёте на убитой реплике, проверка повторила её
|
||||
с тем же ключом, дубля нет (в лабе 5 — 0). Не дефект: LB не повторяет отправленный `POST` (`balancer.md`).
|
||||
- **Проверка из чистого clone — клон `db3340d`**, проект `mtusi-lab6-clonecheck` рядом с рабочим стендом на своих портах;
|
||||
`make student_test` в нём — 1 failed (`test_exclusion_evidence_exists`): файлы исключений этого шага ещё не закоммичены.
|
||||
Уборка — `docker compose down` и `docker volume rm` шести volumes клона по имени: `down -v` запрещён настройками, а
|
||||
volumes рабочего стенда это имя не задевает. `driver.py stand-from-scratch` не перезапускался (вопрос 8 `## otel-telemetry` ждёт
|
||||
пользователя): «стенд с нуля одной командой» на закоммиченном коде показывает чистый clone.
|
||||
- **`PLAN.md` удалён** по его правилу (итоги — `REPORT.md`), последняя версия — `git show db3340d:PLAN.md` (файл не менялся с
|
||||
`db3340d`); ссылка — в `AGENTS.md`, этом файле и шапке `REPORT.md`.
|
||||
- **Хост в перерыве.** Агент продолжил после сброса лимита основной сессии; контейнеры `domains-*` к этому моменту уже
|
||||
запустила команда замера (последний шаг цепочки).
|
||||
|
||||
### Вопросы
|
||||
|
||||
Пока нет.
|
||||
1. Пользователю: переснять ли метку `evidence/queue/baseline4/` на чистом дереве (`dirty: true`, разбор — «Решения»)?
|
||||
По умолчанию — нет: код тот же `b3a5ab8`, а изменённые файлы (`REPORT.md`, незакоммиченный каталог метки загрузок)
|
||||
образ и `bench/` не читают. Ответ «да» — ~2 ч 20 мин хоста. Каталог удаляется и снимается заново под тем же именем:
|
||||
его называют исключения `queue-overload`. Затем переносятся числа в `REPORT.md`.
|
||||
|
||||
@@ -1,13 +1,81 @@
|
||||
# Отчёт — лабораторная 6
|
||||
|
||||
- Автор, группа: TODO
|
||||
- Целевая оценка; выбранный трек 5, если нужен: TODO
|
||||
- Commit/PR: TODO после публикации
|
||||
- Использованные источники, библиотеки и помощь ИИ: TODO
|
||||
- Автор, группа: Сафронов Роман Николаевич, БВТ2301
|
||||
- Целевая оценка; выбранный трек 5: оценка 5, трек 1 «Цена наблюдаемости»
|
||||
- Состояние отчёта: закрыты **уровень 3** (change `otel-telemetry`), **уровень 4** (`job-trace-propagation`, `slo-alerts`) и
|
||||
**уровень 5, трек 1** (`track1-telemetry-cost`); последний шаг — доказательства исключений сверки покрытия на стенде этой лабы,
|
||||
полные проверки, проверка из чистого clone, CI. Рабочий план лабы удалён после закрытия всех changes, последняя версия —
|
||||
`git show db3340d:PLAN.md`
|
||||
- Ветка решения: `solution/bvt2301-safronov`, в неё по очереди влиты `feat/otel-telemetry`, `feat/job-trace-propagation`,
|
||||
`feat/slo-alerts`, `feat/track1-telemetry-cost` и `feat/lab6-final`
|
||||
- Commit: код последнего change — `56132c7` (правки verify трека 1), метки последнего шага — код `b3a5ab8`, каталоги — `db3340d`,
|
||||
доказательства последнего шага — `db3340d`; снятое на других commit названо в разделе доказательств и в шапке каждого файла
|
||||
- PR: по шаблону `.github/pull_request_template.md`, заголовок `ЛР 6 — БВТ2301 — Сафронов — на 5`; номер — после публикации
|
||||
- Согласования с преподавателем: три договорённости лаб 1–4 действуют, новых в лабе 6 нет. Открытые вопросы преподавателю —
|
||||
10 новых и перенесённые, раздел «Открытые вопросы преподавателю»; решения без пользователя — `QUESTIONS.md`
|
||||
- Использованные источники, библиотеки и помощь ИИ — последний раздел
|
||||
|
||||
## Запуск из чистого clone
|
||||
|
||||
TODO: версии runtime/образов, prerequisites, команды создания локальных secrets/.env, build, миграций, запуска, ожидания готовности, тестов и остановки. Указать необходимые действия оператора. Не вставлять секреты. Отдельно указать безопасную остановку и команду намеренного удаления учебных данных.
|
||||
**Версии.** Образ API: `python:3.12.14-slim-trixie`, uv 0.12.17. LB: `haproxy:3.4.6-trixie`. PostgreSQL: `postgres:18.6-trixie`.
|
||||
Valkey: `valkey/valkey:9.1.2-trixie`. S3: `chrislusf/seaweedfs:4.48`. Брокер: `rabbitmq:4.3.7`. Телеметрия:
|
||||
`otel/opentelemetry-collector-contrib:0.164.0`, `prom/prometheus:v3.15.1`, `grafana/loki:3.7.9`, `grafana/tempo:3.1.1`,
|
||||
`grafana/grafana:13.3.1`. Все закреплены тегом и digest в `Dockerfile` и `docker-compose.yml`. Приложение: Python 3.12, FastAPI,
|
||||
OpenTelemetry SDK 1.45.2; остальное строго по `uv.lock`. Проверено на Docker 29.9.2, Compose 5.6.1, macOS на Apple M3 Pro; ВМ
|
||||
Docker Desktop — 12 CPU / 12 ГБ (сумма лимитов стенда — раздел «Сервисы стенда и лимиты»).
|
||||
|
||||
**Нужно на машине:** Docker с BuildKit и Compose v2, `make`, `openssl`, `curl`, `python3` 3.9+ (публичные проверки и драйвер
|
||||
скилла), uv (`make validate`, `make student_test`, `make test_isolated`, `make failure_checks`, `make bench*`, `make run_dev`).
|
||||
Свободные порты `127.0.0.1`: 8080 (LB), 3000 (Grafana), 5433 (PostgreSQL), 6380 (Valkey), 8334 (S3), 5673 (AMQP), 18088
|
||||
(`make test_isolated`). Другой порт — аргументом make (`make run_docker APP_OUT_PORT=8090`) или строкой в `.env` до
|
||||
`make env_setup`; другой проект compose — `COMPOSE_PROJECT_NAME` в `.env`.
|
||||
|
||||
**Действий оператора нет.** `make env_setup` создаёт `.env` и `config.toml` из шаблонов, подставляет случайные пароли, ключи S3 и
|
||||
`GRAFANA_ADMIN_PASSWORD` и печатает только имена; в существующий `.env` дописывает недостающие переменные, прежние строки не
|
||||
меняет. Миграции применяет одноразовый сервис `migrate`, bucket и пользователей S3 — `s3-bootstrap`; источники и dashboard
|
||||
Grafana — provisioning из `infra/otel/grafana/` (ручного импорта нет).
|
||||
|
||||
### Способ 1: всё в compose — `make run_docker`
|
||||
|
||||
```sh
|
||||
git clone <fork> && cd <каталог clone> && git checkout solution/bvt2301-safronov
|
||||
make run_docker # env_setup + build + up -d: хранилища → migrate, s3-bootstrap → api × 2, relay, worker, cleaner → haproxy; рядом otel-collector, prometheus, loki, tempo, grafana
|
||||
make replicas # дождаться healthy реплик; готовность стенда — haproxy (healthy) и /health/ready через LB
|
||||
make check
|
||||
uv sync && make validate PYTHON=.venv/bin/python
|
||||
make test # публичный smoke с включённой телеметрией
|
||||
make student_test
|
||||
make test-persistence ACTION_SCRIPT=scripts/restart.sh
|
||||
make test-failover ACTION_SCRIPT=scripts/stop-one.sh && make replicas
|
||||
make alerts_test # правила Prometheus без стенда
|
||||
python3 .claude/skills/run-mtusi-messenger/driver.py --port 8080 telemetry-check # свой запрос в Loki и Tempo, ~2 мин
|
||||
python3 .claude/skills/run-mtusi-messenger/driver.py --port 8080 trace-chain # трасса загрузки с повтором, ~5 мин
|
||||
python3 .claude/skills/run-mtusi-messenger/driver.py --port 8080 alerts-check # firing / resolved, ~25 мин
|
||||
make failure_checks # отдельный стенд <проект>-failures, ~40 мин; рабочий стенд не трогается
|
||||
```
|
||||
|
||||
Grafana — `http://127.0.0.1:3000`, пользователь `admin`, пароль — `GRAFANA_ADMIN_PASSWORD` из `.env`; dashboard «Messenger
|
||||
overview» в папке Messenger. Проверка именно этих шагов из чистого clone — `evidence/tests/clean-clone.md`.
|
||||
|
||||
### Способ 2: сервис на хосте — `make run_dev`, `make run_worker`, `make run_relay`
|
||||
|
||||
```sh
|
||||
make run_dev # терминал 1: PostgreSQL и миграции с хоста, Valkey, S3 с bootstrap, брокер в compose; API на 127.0.0.1:8080 с reload
|
||||
make run_worker # терминал 2: worker на хосте
|
||||
make run_relay # терминал 3: relay на хосте
|
||||
curl -s http://127.0.0.1:8080/health/ready
|
||||
make test
|
||||
EXPECT_REPLICAS=1 make student_test
|
||||
```
|
||||
|
||||
Консоль — без телеметрии (`telemetry_enabled: false` в записях о старте). Вариант README без make: `make env_setup`, `docker
|
||||
compose --env-file .env config --quiet`, `docker compose --env-file .env up -d --build`.
|
||||
|
||||
### Остановка и удаление данных
|
||||
|
||||
- `make stop` — остановить контейнеры; `make down` — удалить контейнеры. Volumes `postgres_data`, `s3_data`, `rabbitmq_data`,
|
||||
`prometheus_data`, `loki_data`, `tempo_data` остаются.
|
||||
- `make wipe_data` — намеренное удаление учебных данных и volumes, включая историю телеметрии (спрашивает `yes`).
|
||||
|
||||
## Архитектура и решения
|
||||
|
||||
@@ -952,10 +1020,16 @@ Collector отправил 18 819 span из 137 868, у `balanced` — 14 442 и
|
||||
|
||||
**Режим телеметрии меток загрузок и очереди.**
|
||||
|
||||
> **Будет заполнено на последнем шаге лабы.** Метки `make bench_uploads TELEMETRY=on` и `make bench_queue TELEMETRY=on`
|
||||
> (решение пользователя: обе — с включённой телеметрией) ещё не сняты. Здесь будут: метки и commit, режим из паспорта
|
||||
> (`stand.telemetry.mode` = `on`), строка режима сводок, предупреждение о сумме лимитов CPU очереди (12,25 при 12 у ВМ) и
|
||||
> смешанное сравнение варианта «до» профиля загрузок (код `9cc6c0c` без SDK).
|
||||
Обе метки последнего шага сняты с включённой телеметрией (решение пользователя, `QUESTIONS.md`, «Ответы пользователя
|
||||
перед прогоном»): `make bench_uploads TELEMETRY=on` → `evidence/uploads/baseline/`, `make bench_queue TELEMETRY=on
|
||||
QUEUE_LABEL=baseline4` → `evidence/queue/baseline4/`, код `b3a5ab8`, каталоги — commit `db3340d`. В паспортах
|
||||
`stand.telemetry.mode` = `on` (SDK реплик, worker и relay с настройками рабочего стенда, Collector, Prometheus, Loki и Tempo
|
||||
рабочего стенда, образы и SHA-256 конфигураций — `stand.telemetry`), сводки начинаются строкой режима. У очереди —
|
||||
предупреждение о сумме лимитов CPU 12,25 при 12 у ВМ (лимиты делят время, а не резервируют ядра) и столбцы `tel_*` в конце
|
||||
`cells.csv`. У загрузок вариант «до» — образ `9cc6c0c` без SDK, поэтому его сравнение с остальными вариантами смешанное
|
||||
(сводка это называет): «до окна» у вариантов с SDK 114,8–116,7 МиБ против 106,3–106,9 у «до», пик окна «с лимитом» на
|
||||
10 MiB выше «до» на 9–11 МиБ — это цена SDK в памяти реплики, а не мест загрузки. Числа и вердикты — раздел «Эксперименты
|
||||
и отказы». У метки очереди `dirty: true` — разбор там же.
|
||||
|
||||
**Вердикты** (`summary.md`, «Гипотезы и критерии»):
|
||||
|
||||
@@ -1046,8 +1120,19 @@ Collector отправил 18 819 span из 137 868, у `balanced` — 14 442 и
|
||||
|
||||
| Критерий README | Команда/сценарий | Наблюдаемый результат | Файл доказательства |
|
||||
| --- | --- | --- | --- |
|
||||
| Публичный smoke | make test | TODO | TODO |
|
||||
| Остальные пункты уровня 3 | TODO | TODO | TODO |
|
||||
| Публичный smoke при включённой телеметрии | `make test` (в `make test_isolated`, в `telemetry-outage`, из чистого clone, в CI) | `PASS: lab6 public API scenario` | `evidence/tests/test-isolated.md`, `evidence/tests/clean-clone.md`, `evidence/telemetry/collector-outage.md` |
|
||||
| Минимум лаб 1–5 сохранён | `make student_test` через LB (`db3340d`) | 224 passed, реплики выполнены; сверка: 389 сценариев, 358 проверены (173 — `make failure_checks`), 31 исключение, `test_exclusion_evidence_exists` зелёный | `evidence/tests/student-test-lb.md` |
|
||||
| Тот же набор на временной базе | `make test_isolated` (`db3340d`) | smoke PASS; 218 passed, 6 skipped (реплики против одного процесса); уборка базы, объектов и очереди | `evidence/tests/test-isolated.md` |
|
||||
| Отказы прежних уровней | `make failure_checks` (`db3340d`) | 147 passed, pytest 2242,88 с, `crash markers 0`; телеметрия на стенде отказов выключена | `evidence/tests/failure-checks.md` |
|
||||
| Ветки сервисов, телеметрия на in-memory экспортёрах, настоящая единица работы | `make service_test`, `make service_test_db` (`db3340d`) | 335 passed за 2,88 с; 88 passed за 34,04 с | `evidence/tests/service-tests.md` |
|
||||
| Офлайн-проверки | `make check`, `make validate`, `make lint`, `make alerts_test` (`db3340d`) | PASS ×2, 619 файлов без изменений, 7 оповещений с runbook | `evidence/tests/final-checks.md` |
|
||||
| Сохранность и hook | `make test-persistence ACTION_SCRIPT=scripts/restart.sh` (`db3340d`) | `PASS`; `api`, `haproxy`, `postgres`, `rabbitmq`, `s3`, `valkey` — новый `StartedAt`; `relay`, `worker`, `cleaner` и пять сервисов телеметрии — прежний | `evidence/replicas/test-persistence.md` |
|
||||
| Отказ реплики | `make test-failover` `stop` и `kill` (`db3340d`) | `failed_attempts` 0 и 1 (повтор с тем же ключом), восстановление 1,20 и 0,23 с | `evidence/failover/test-failover.md` |
|
||||
| Исключения сверки покрытия на стенде лабы 6 | `driver.py cache-check --require-test-keys`, `auth-storage`, `attachment-storage`, `attachment-failover` stop и kill, `broker-check` (и `--require-test-queue` между двумя `make test_isolated`), повтор после `--force-recreate api` (`db3340d`) | код 0 у всех: одно чтение `chats` на 50, TTL; Argon2id и SHA-256 токена; байты только в приватном bucket; другая реплика отдаёт тот же SHA-256; брокер по спеку; очередь временной базы есть и убрана; тот же `Message` | `evidence/cache/hits.md`, `evidence/auth/passwords-and-tokens.md`, `evidence/attachments/storage.md`, `evidence/attachments/failover.md`, `evidence/broker/stand.md`, `evidence/broker/isolated.md`, `evidence/idempotency/replay-after-restart.md` |
|
||||
| Свойства лаб 4 и 5 с включённой телеметрией | `make bench_uploads TELEMETRY=on`, `make bench_queue TELEMETRY=on QUEUE_LABEL=baseline4` (код `b3a5ab8`) | загрузки: H1 и H4 да, «с лимитом» 182,6 / 189,4 / 193,6 МиБ, OOM 0; очередь: H3, H5–H9 подтверждены, рекомендация (2, 2); H1 и H2 — нет только на `lp` (4, 4) | `evidence/uploads/baseline/summary.md`, `evidence/queue/baseline4/summary.md` |
|
||||
| Секретов в доказательствах и отчёте нет | поиск значений из `.env` по `evidence/` и файлам git | 13 значений, 0 совпадений в 577 файлах `evidence/` и 1285 файлах git, домашних путей 0, `.env` и `config.toml` в истории нет | `evidence/tests/secrets.md` |
|
||||
| Стенд из чистого clone, с нуля одной командой | `git clone` `db3340d` во временный каталог, `make run_docker` своим проектом на нестандартных портах | `make run_docker` код 0 на пустых volumes, `RestartCount` брокера и телеметрии 0, provisioning Grafana на месте; `make test`, `make test-persistence`, `make test-failover`, `make alerts_test` — PASS; `make student_test` — 223 passed и только `test_exclusion_evidence_exists` (файлы исключений ещё не в этом commit) | `evidence/tests/clean-clone.md` |
|
||||
| CI | `.github/workflows/application.yml` на Gitea после push | см. файл | `evidence/tests/ci-application.md` |
|
||||
| Уровень 3: Collector, хранилища, provisioning, свой запрос и задание найдены, приватность | `driver.py --port 8080 telemetry-check` | код 0: Loki → Tempo по `X-Request-Id`, трасса worker, рост счётчиков, история после рестарта хранилищ, метрики LB без доступа к сети хранилищ, панель потерь на тихом стенде — 0 | `evidence/telemetry/check.md` (commit `4a2f9c9`) |
|
||||
| Телеметрия не меняет ответы и остановку | `driver.py --port 8080 telemetry-outage` | код 0: `make test` PASS и остановка < 10 с при остановленном и замороженном Collector, сигналы после его возврата без перезапуска процессов | `evidence/telemetry/collector-outage.md` (commit `15ea156`) |
|
||||
| Стенд с нуля одной командой | `driver.py stand-from-scratch --runs 2` | код 0 оба раза, `RestartCount` брокера и телеметрии 0 | `evidence/stand/from-scratch.md` |
|
||||
@@ -1061,15 +1146,108 @@ Collector отправил 18 819 span из 137 868, у `balanced` — 14 442 и
|
||||
| Уровень 4: memory limiter, batch, ограниченная буферизация, недоступный backend, учёт потерь | `driver.py --port 8080 backend-outage` | код 0 (~16 мин): `make test` PASS и 5xx 0 при остановленных Loki, Tempo, Prometheus и Collector; Collector ≤ 91 МиБ из 256, реплики без роста; потери учтены (441 запись, 1336 span, SDK +11 602 и +11 551) и видны на панели потерь; `TelemetryTargetDown` и `TelemetryDataLoss` — firing и снятие | `evidence/telemetry/backend-outage.md` (commit `ef60b47`) |
|
||||
| Выбранный трек 5: трек 1 «Цена наблюдаемости» | `make bench_telemetry` (защита — `make bench_telemetry_quick VARIANTS=off,full,tail`, ~10 мин) | метка `baseline2`, 21 прогон из 21, код 0: `full` против `off` +26 % CPU реплик на запрос, +31 мс к p99; `head` +11 %; `tail` и `balanced` — приём Tempo 12,1 % и 10,6 %, Collector 136 и 101 МиБ, цена в приложении как у `full`; потерь 0; H1, H2, H4, H6, H8 подтверждены, H3, H5, H7 — нет (одна трасса из 75 у `tail`, B4); B1–B3, B5 прошли | `evidence/telemetry-cost/baseline2/summary.md` (код `68e14b6`, метка — commit `0f5dbfc`) |
|
||||
|
||||
TODO: добавить отдельную строку для каждого заявленного критерия. PASS без команды и наблюдения не является доказательством. Проверка инфраструктурного hook требует подтверждения, какие реальные процессы/хранилища перезапущены.
|
||||
В шапке каждого файла `evidence/` — команда, дата, commit и стенд. Файлы последнего шага сняты на `db3340d` при рабочем дереве
|
||||
без правок кода. Файлы уровней 3–5 сняты на commit своих change и с тех пор не переснимались, потому что код, который они
|
||||
проверяют, не менялся: `telemetry-check` — на `4a2f9c9`; `trace-chain` и `telemetry-outage` — на `15ea156`; `alerts-check`,
|
||||
`backend-outage` и `rules-test` — на `ef60b47`; бюджет — на `4178b3d`, `72cfa9a` и `15ea156`. `evidence/stand/from-scratch.md`
|
||||
снят на рабочем дереве поверх `9b35c25`: команда сама удаляет volumes своего проекта, а это ждёт подтверждения пользователя
|
||||
(вопрос 8 `## otel-telemetry`); сценарий «стенд с нуля одной командой» на закоммиченном коде показывает
|
||||
`evidence/tests/clean-clone.md`.
|
||||
|
||||
## Эксперименты и отказы
|
||||
|
||||
TODO: гипотеза, hardware/лимиты, версии, объём данных, профиль нагрузки, concurrency/arrival rate, длительность/прогрев, повторы, успешные RPS, ошибки, p50/p95/p99, CPU/RAM. Сохранить raw summary без tokens и объяснить ограничения измерения.
|
||||
Эксперимент трека 1 — раздел «Цена наблюдаемости (трек 1)». Здесь — метки последнего шага: свойства лаб 4 и 5 на коде
|
||||
лабы 6 с **включённой** телеметрией (решение 5 плана), и отказы.
|
||||
|
||||
**Хост и стенд обеих меток.** macOS на Apple M3 Pro, 18 ГиБ, питание от сети; Docker Desktop 29.9.2, Compose 5.6.1, ВМ — 12 CPU /
|
||||
11 902 МиБ. Рабочий стенд остановлен (`make stop`), посторонние контейнеры `domains-*` остановлены на время замеров. Обе метки
|
||||
— одной командой подряд, код `b3a5ab8`; `swapouts_delta` 0, `slept_seconds` 0. Свой проект compose `mtusi-bench`, свежий стенд
|
||||
на прогон или ячейку, k6 в сети стенда через LB; телеметрия — сервисы рабочего стенда с его лимитами (Collector 0,5 / 256 МиБ,
|
||||
Prometheus 0,5 / 384, Loki 0,5 / 512, Tempo 0,5 / 640), Grafana не запускается.
|
||||
|
||||
### Память реплики при загрузках: метка `baseline`
|
||||
|
||||
Методика — `make bench_uploads TELEMETRY=on` (профиль `uploads`, `.claude/rules/bench.md`): одна реплика 1 CPU / 512 МБ без
|
||||
swap, S3 1 / 512, LB 1 / 256; варианты «до» (образ `9cc6c0c`, код лабы 5 без SDK), «без лимита» (1000 мест, без очереди) и «с
|
||||
лимитом» (по умолчанию: 4 места, очередь 16); тела PNG 1 048 276 и 10 479 107 байт; 1 / 10 / 20 / 40 клиентов `constant-vus`,
|
||||
3 с разгона и 20 с окна; 3 повтора кругами, на прогон — новые реплика и volume S3; worker не запущен, задания ждут в PostgreSQL.
|
||||
72 прогона, 49 мин, `dirty: false`, `host_warnings` пусты. Пик — `memory.peak` cgroup со сбросом перед окном, медиана повторов
|
||||
(`evidence/uploads/baseline/summary.md`).
|
||||
|
||||
| Вариант, 10 MiB | До окна, МиБ | Пик при C = 10 | C = 20 | C = 40 | OOM при 40 | Загрузок/с при 10 | p95 при 10, мс | 5xx |
|
||||
| --- | --- | --- | --- | --- | --- | --- | --- | --- |
|
||||
| с лимитом | 116,1 | 182,6 | 189,4 | 193,6 | 0/3 | 10,40 | 1286 | 0 |
|
||||
| без лимита | 114,9 | 238,0 | 343,9 | OOM (509) | 3/3 | 8,90 | 1523 | 0 до C = 20; 844 при C = 40 — ответы LB после OOM реплики |
|
||||
| до (без SDK) | 106,7 | 171,6 | 179,8 | 184,1 | 0/3 | 10,85 | 1232 | 0 |
|
||||
|
||||
- H1 (пик «с лимитом» ≤ половины лимита, сверх C = 10 — ≤ 1 МиБ на клиента, лишние — 429) — **да**: 193,6 из 256, 0,68 и
|
||||
0,37 МиБ на клиента, OOM 0, 5xx 0, 429 — 1354.
|
||||
- H2 — **нет**, как в лабе 5: «без лимита» растёт на 1,21 и 1,14 тела на клиента и падает OOM при 40 × 10 MiB, а «до» — код с
|
||||
местами загрузки, поэтому поведение кода до `upload-memory` он не показывает (настоящее «до» — отчёт лабы 4).
|
||||
- H3 — **нет**, как в лабе 5: на 1 MiB «с лимитом» даёт 89–90 % «без лимита» при пороге 90 % (лаба 5 — 85–89 %), на 10 MiB —
|
||||
112–117 %.
|
||||
- H4 (нет 503 по сроку S3) — **да**: 0 в 69 прогонах без OOM.
|
||||
- Сценарии исключений `attachments` выполнены: «Одна копия тела при записи в S3» — 1,21 тела на загрузку при пороге 1,5;
|
||||
«Память не растёт с числом загрузок» — строка «с лимитом» выше. Сценарий `load-benchmark` «Буферы соединений ограничены»
|
||||
(рост LB и `sock` реплики от 1 до 40 клиентов) — **не выполнен на 0,05 МиБ**: 1,05 МиБ на клиента при пороге 1 (LB 0,57 +
|
||||
`sock` 0,49); у метки лабы 5 этой строки не было, сравнить не с чем.
|
||||
- **Цена SDK в памяти реплики** (смешанное сравнение с «до»): +8–10 МиБ до окна и +9–11 МиБ к пику окна при тех же местах;
|
||||
запас до лимита при 40 клиентах — 318 МиБ. Относительно лабы 5 (без SDK) пик «с лимитом» вырос с 172,9 / 180,1 / 185,6 до
|
||||
182,6 / 189,4 / 193,6 МиБ.
|
||||
|
||||
### Очередь под перегрузкой: метка `baseline4`
|
||||
|
||||
Методика — `make bench_queue TELEMETRY=on QUEUE_LABEL=baseline4` (профиль `queue`, гипотезы H1–H9 и правило рекомендации — лаба 5,
|
||||
раздел «Очередь под перегрузкой» её отчёта): LB, две реплики 1 / 512, PostgreSQL, Valkey, S3, брокер, relay, worker 1 CPU / 1 ГБ
|
||||
и уборщик с лимитами рабочего стенда без swap плюс сервисы телеметрии; настройки (конкуренция, prefetch) (1, 1), (2, 2), (4, 4),
|
||||
(2, 256) × классы `s`, `m`, `lj`, `lp` и блоки предела, приёма, второго worker, KILL worker, рестарта брокера; 57 ячеек × свежий
|
||||
стенд, открытая модель, контрольный поток, обход метаданных. 2 ч 22 мин. Сумма лимитов CPU с телеметрией — 12,25 при 12 у ВМ
|
||||
(предупреждение паспорта). Результат — `evidence/queue/baseline4/summary.md`.
|
||||
|
||||
**`dirty: true`.** Код — `b3a5ab8`, но метка очереди начата сразу после метки загрузок, когда в рабочем дереве были незакоммиченный
|
||||
каталог `evidence/uploads/baseline/` и правка этого отчёта (агент писал его во время замера). Образ и `bench/` эти файлы не читают
|
||||
(образ копирует `src/`, `migrations/`, `alembic.ini` и lock; `*.md` и `evidence` — в `.dockerignore`), других изменений не было,
|
||||
поэтому числа воспроизводятся из `b3a5ab8`. Метка принята без пересъёмки — ошибка порядка названа, вопрос «переснять?» —
|
||||
`QUESTIONS.md`, `## Последний шаг`.
|
||||
|
||||
| Гипотеза | Вердикт | Главное |
|
||||
| --- | --- | --- |
|
||||
| H1 потолок — CPU worker, конкуренция сверх двух не поднимает | **нет** | только lp-c4p4-r3: CPU worker в окне `over` 0,795 при пороге 0,85 — 11 перезапусков worker в ячейке; throughput восстановления (4, 4) / (2, 2): `s` 2,63 / 3,05, `m` 2,66 / 2,90, `lj` 2,12 / 2,36, `lp` 0,30 / 0,96 |
|
||||
| H2 длительность пропорциональна конкуренции, память — на пик процесса | **нет** | только `lp` (4, 4): отношение длительностей 0,869 при пороге 1,5, `memory.peak` r1 — 870 МиБ при условии ≥ 95 % лимита во всех повторах (r2, r3 — 1024) |
|
||||
| H3, H5 | подтверждено | 19 и 24 условия |
|
||||
| H4 | **нет** | m-c1p1-r2 и r3: p95 / (пик / throughput) 0,775 и 0,794 — ниже порога, как в лабе 5 (там m-c1p1-r1, 0,78) |
|
||||
| H6 восстановление без потерь | подтверждено | 288 условий: ноль незавершённых без оператора во всех ячейках, `lost`, `stuck`, `duplicate`, `sha_mismatch` — 0 |
|
||||
| H7 контрольный поток | подтверждено | 1350 условий, 5xx контрольного потока 0 во всех окнах |
|
||||
| H8 KILL worker и рестарт брокера | подтверждено | восстановление 58,5 и 45,4 с, потерь нет |
|
||||
| H9 места, затем предел | подтверждено | 429 сначала от мест (3,1–3,3 с), затем от предела (34,4–35,4 с); плато 250 против 426 без предела |
|
||||
|
||||
Рекомендация правила — (2, 2), значения по умолчанию оставлены (та же, что в лабе 5). Девять сценариев исключений `queue-overload`
|
||||
опираются на шкалу очереди, блоки и H6–H9 — все подтверждены. Второй worker поднимает разбор с 3,05 до 5,52 готовых/с; предел
|
||||
250 сокращает восстановление `s` со 140,5 до 83,4 с.
|
||||
|
||||
**Что изменила телеметрия.** На всех настройках, кроме `lp` (4, 4), значения того же порядка, что в метке `baseline4` лабы 5
|
||||
(throughput, плато предела, восстановление). На `lp` (4, 4), которая и в лабе 5 не помещалась в 1 ГБ (там 5 перезапусков, в
|
||||
`baseline3` H2 — «нет»), с SDK в процессе worker перезапусков 13 (r2 — 2, r3 — 11, `oom_kill` 55 и 97), а у r3 задания ушли в
|
||||
`failed` `retry_exhausted` (пометка `failed`): запас памяти этой настройки и так отрицательный, SDK его уменьшил. На (2, 2)
|
||||
`memory.peak` `lp` — 675–845 МиБ, OOM 0; правило подбора конкуренции по памяти (лаба 5) действует и с телеметрией.
|
||||
|
||||
### Отказы
|
||||
|
||||
Отказы телеметрии — `evidence/telemetry/collector-outage.md`, `evidence/telemetry/backend-outage.md`, `evidence/alerts/check.md`
|
||||
(разделы «Наблюдаемость» и «SLO, оповещения и инциденты»); отказы прежних уровней — `make failure_checks`
|
||||
(`evidence/tests/failure-checks.md`) и команды драйвера лабы 5.
|
||||
|
||||
| Воздействие | Что ожидаем | Что наблюдали | Время восстановления / потеря данных |
|
||||
| --- | --- | --- | --- |
|
||||
| TODO | TODO | TODO | TODO |
|
||||
| Collector остановлен и заморожен | API и worker отвечают, остановка < 10 с | `make test` PASS, загрузка до `ready`, `docker stop` реплики, worker и relay быстрее 10 с с кодом 0 (`collector-outage.md`) | сигналы после возврата без перезапуска процессов; не ушедшее из очередей SDK теряется и считается |
|
||||
| Loki и Tempo 10 и 120 с, Prometheus 60 с, Collector 120 с под нагрузкой | сообщения работают, память ограничена, потери посчитаны | `make test` PASS, 5xx у клиента 0, Collector ≤ 91 МиБ из 256, реплики без роста; потери 441 запись и 1336 span у Collector, SDK +11 602 и +11 551 (`backend-outage.md`) | сразу после возврата; `TelemetryTargetDown`, `TelemetryDataLoss` — firing и снятие |
|
||||
| Worker остановлен | `MessengerQueueLagHigh` | pending 84 с, firing 144 с, снятие 29 с после запуска (`alerts/check.md`) | работа доходит до `ready`, потерь нет |
|
||||
| Медленная БД (блокировка таблицы сообщений) | `MessengerSlowRequests`, доля span PostgreSQL | firing 135 с, снятие 74 с | без потерь |
|
||||
| PostgreSQL остановлен | `MessengerNoReadyReplicas`, `MessengerHighErrorRate`, 5xx LB | firing 59 и 105 с, снятие 30 и 135 с | без потерь подтверждённого |
|
||||
| Реплика API остановлена или убита | запись через другую | `failed_attempts` 0 и 1 (повтор с тем же ключом), восстановление 1,20 и 0,23 с (`evidence/failover/test-failover.md`) | дублей нет |
|
||||
| Принявшая файл реплика остановлена или убита | скачивание через другую | тот же SHA-256, постороннему 404 (`evidence/attachments/failover.md`) | потерь нет |
|
||||
| Рестарт LB, реплик и всех хранилищ | данные и сессии на месте | `make test-persistence` PASS (`evidence/replicas/test-persistence.md`) | ~25 с, потерь нет |
|
||||
| Пересоздание реплик API | повтор с ключом — тот же `Message` | тот же 201, 409 на другое тело (`evidence/idempotency/replay-after-restart.md`) | дублей нет |
|
||||
|
||||
## Ограничения и следующие шаги
|
||||
|
||||
|
||||
@@ -0,0 +1,48 @@
|
||||
# Принявшая реплика остановлена
|
||||
|
||||
- Команда: `python3 .claude/skills/run-mtusi-messenger/driver.py --port 8080 attachment-failover --mode stop`, затем то же с `--mode kill` (`make replicas` драйвер выполняет сам в `finally`)
|
||||
- Дата: 2026-11-15, 06:38:59–06:39:10 UTC; оба прогона — код выхода 0
|
||||
- Commit: `db3340d` (ветка `feat/lab6-final`), рабочее дерево без правок кода (изменены только `QUESTIONS.md` и файлы `evidence/`)
|
||||
- Стенд: проект compose `mtusi-lab6`, две реплики за HAProxy, телеметрия включена, собран `make run_docker` из `HEAD`; пользователи синтетические
|
||||
- Сценарий: `attachments` «Принявшая реплика остановлена»
|
||||
- Вывод сокращён: убраны снимки `docker compose ps` до и после (все 15 сервисов `Up`, реплики `healthy`; после прогона `stop` у `api-14` новый `StartedAt` — его вернул `make replicas`)
|
||||
|
||||
## `stop`
|
||||
|
||||
```text
|
||||
mode: stop; fixture sample.png: 111817 bytes
|
||||
sha256 uploaded: 99ea7533c441f79cd630d15ce4d58d1ec4e06f6f0efb3b77a5c088305cd1bd75
|
||||
sha256 downloaded: 99ea7533c441f79cd630d15ce4d58d1ec4e06f6f0efb3b77a5c088305cd1bd75
|
||||
step expected got x-instance-id
|
||||
alice uploads 202 202 e6c96453fc1b
|
||||
attachment is ready ready ready
|
||||
alice sends message 201 201 e6c96453fc1b
|
||||
stop-one.sh stop 0 0 e6c96453fc1b
|
||||
bob downloads 200 200 8112fa687696
|
||||
bob reads metadata 200 200 8112fa687696
|
||||
eve reads metadata 404 404 8112fa687696
|
||||
eve downloads 404 404 8112fa687696
|
||||
make replicas 0 0
|
||||
LB slots UP 2 2
|
||||
PASS: accepted by e6c96453fc1b, served by 8112fa687696 after stop, sha256 matches, outsider gets 404
|
||||
```
|
||||
|
||||
## `kill`
|
||||
|
||||
```text
|
||||
mode: kill; fixture sample.png: 111817 bytes
|
||||
sha256 uploaded: 99ea7533c441f79cd630d15ce4d58d1ec4e06f6f0efb3b77a5c088305cd1bd75
|
||||
sha256 downloaded: 99ea7533c441f79cd630d15ce4d58d1ec4e06f6f0efb3b77a5c088305cd1bd75
|
||||
step expected got x-instance-id
|
||||
alice uploads 202 202 e6c96453fc1b
|
||||
attachment is ready ready ready
|
||||
alice sends message 201 201 e6c96453fc1b
|
||||
stop-one.sh kill 0 0 e6c96453fc1b
|
||||
bob downloads 200 200 8112fa687696
|
||||
bob reads metadata 200 200 8112fa687696
|
||||
eve reads metadata 404 404 8112fa687696
|
||||
eve downloads 404 404 8112fa687696
|
||||
make replicas 0 0
|
||||
LB slots UP 2 2
|
||||
PASS: accepted by e6c96453fc1b, served by 8112fa687696 after kill, sha256 matches, outsider gets 404
|
||||
```
|
||||
@@ -0,0 +1,108 @@
|
||||
# Вложения: метаданные, байты и ограничения обработки
|
||||
|
||||
- Команда: `python3 .claude/skills/run-mtusi-messenger/driver.py --port 8080 attachment-storage`
|
||||
- Дата: 2026-11-15, 06:37:43–06:37:47 UTC; код выхода 0
|
||||
- Commit: `db3340d` (ветка `feat/lab6-final`), рабочее дерево без правок кода (изменены только `QUESTIONS.md` и файлы `evidence/`)
|
||||
- Стенд: проект compose `mtusi-lab6`, две реплики за HAProxy, телеметрия включена, собран `make run_docker` из `HEAD`. Контейнеры `docker diff`: реплики `8112fa687696`, `e6c96453fc1b` и worker `2b6afe2410a9`
|
||||
- Сценарии: `attachments` «Байты не в БД и не на диске API», `data-storage` «Ограничения обработки в схеме» (пробы в откатываемой транзакции, запись аудита с неизвестным заданием). В списке колонок есть и колонки контекста W3C задания `traceparent`, `tracestate` (ревизия `e4b8c2d17f90`)
|
||||
- Вывод сокращён: таблица второго вложения повторяет первую и совпала с ожидаемым
|
||||
|
||||
Итог: байты — только объекты приватного bucket (анонимный GET 403), в PostgreSQL — метаданные и SHA-256 (`bytea`, 32 байта), в файловых системах реплик и worker — только смонтированный `config.toml`; четыре пробы ограничений дают названные коды, после отката — одно задание и три варианта.
|
||||
|
||||
```text
|
||||
columns of attachment tables:
|
||||
attachment_job_replays id uuid
|
||||
attachment_job_replays job_id uuid
|
||||
attachment_job_replays operator text
|
||||
attachment_job_replays error_code text
|
||||
attachment_job_replays reason text
|
||||
attachment_job_replays attempt integer
|
||||
attachment_job_replays created_at timestamp with time zone
|
||||
attachment_jobs id uuid
|
||||
attachment_jobs attachment_id uuid
|
||||
attachment_jobs pipeline_version integer
|
||||
attachment_jobs state text
|
||||
attachment_jobs attempt integer
|
||||
attachment_jobs last_error_code text
|
||||
attachment_jobs next_attempt_at timestamp with time zone
|
||||
attachment_jobs lease_expires_at timestamp with time zone
|
||||
attachment_jobs published_at timestamp with time zone
|
||||
attachment_jobs updated_at timestamp with time zone
|
||||
attachment_jobs finished_at timestamp with time zone
|
||||
attachment_jobs created_at timestamp with time zone
|
||||
attachment_jobs attempt_base integer
|
||||
attachment_jobs traceparent text
|
||||
attachment_jobs tracestate text
|
||||
attachment_variants attachment_id uuid
|
||||
attachment_variants pipeline_version integer
|
||||
attachment_variants variant text
|
||||
attachment_variants object_key text
|
||||
attachment_variants content_type text
|
||||
attachment_variants size_bytes integer
|
||||
attachment_variants width integer
|
||||
attachment_variants height integer
|
||||
attachment_variants sha256 bytea
|
||||
attachment_variants created_at timestamp with time zone
|
||||
attachments id uuid
|
||||
attachments chat_id uuid
|
||||
attachments owner_id uuid
|
||||
attachments filename text
|
||||
attachments content_type text
|
||||
attachments size_bytes integer
|
||||
attachments sha256 bytea
|
||||
attachments object_key text
|
||||
attachments status text
|
||||
attachments updated_at timestamp with time zone
|
||||
attachments created_at timestamp with time zone
|
||||
attachments lost_at timestamp with time zone
|
||||
attachments staging_key text
|
||||
attachments error_code text
|
||||
message_attachments message_id uuid
|
||||
message_attachments position smallint
|
||||
message_attachments attachment_id uuid
|
||||
message_attachments created_at timestamp with time zone
|
||||
upload via 8112fa687696: object_key messenger/attachments/178cf6ce-9630-4b2d-85a2-e7b051b328ab/original, staging_key messenger/staging/178cf6ce-9630-4b2d-85a2-e7b051b328ab/original
|
||||
sha256 uploaded 99ea7533c441f79cd630d15ce4d58d1ec4e06f6f0efb3b77a5c088305cd1bd75, downloaded by a member (200) 99ea7533c441f79cd630d15ce4d58d1ec4e06f6f0efb3b77a5c088305cd1bd75
|
||||
upload via 8112fa687696: object_key messenger/attachments/47cce102-97b2-422d-b519-3a7acecd2d27/original, staging_key messenger/staging/47cce102-97b2-422d-b519-3a7acecd2d27/original
|
||||
sha256 uploaded 99ea7533c441f79cd630d15ce4d58d1ec4e06f6f0efb3b77a5c088305cd1bd75, downloaded by a member (200) 99ea7533c441f79cd630d15ce4d58d1ec4e06f6f0efb3b77a5c088305cd1bd75
|
||||
constraint probes (rolled back):
|
||||
second job of the version: 23505 uq_attachment_jobs_attachment_id_pipeline_version
|
||||
second variant of the name: 23505 pk_attachment_variants
|
||||
error_code on not failed: 23514 ck_attachments_error_code_failed
|
||||
replay audit of an unknown job: 23503 fk_attachment_job_replays_job_id_attachment_jobs
|
||||
docker diff 8112fa687696: 2 changes
|
||||
C /app
|
||||
A /app/config.toml
|
||||
docker diff e6c96453fc1b: 2 changes
|
||||
C /app
|
||||
A /app/config.toml
|
||||
docker diff 2b6afe2410a9: 2 changes
|
||||
C /app
|
||||
A /app/config.toml
|
||||
bytea columns expected attachment_variants.sha256,attachments.sha256 got attachment_variants.sha256,attachments.sha256
|
||||
octet_length(sha256) expected 32 got 32
|
||||
object_key form expected messenger/attachments/178cf6ce-9630-4b2d-85a2-e7b051b328ab/original got messenger/attachments/178cf6ce-9630-4b2d-85a2-e7b051b328ab/original
|
||||
staging_key: its form or already empty expected yes got yes
|
||||
filename not in key expected no got no
|
||||
variant rows expected crop,optimized,thumbnail got crop,optimized,thumbnail
|
||||
crop in bucket expected yes got yes
|
||||
anonymous GET of crop expected 403 got 403
|
||||
optimized in bucket expected yes got yes
|
||||
anonymous GET of optimized expected 403 got 403
|
||||
thumbnail in bucket expected yes got yes
|
||||
anonymous GET of thumbnail expected 403 got 403
|
||||
object in bucket, bytes expected 111817 got 111817
|
||||
anonymous GET of the key expected 403 got 403
|
||||
downloaded sha256 = uploaded expected yes got yes
|
||||
(второе вложение 47cce102-…: те же 13 строк, expected = got)
|
||||
probe: second job of the version expected 23505 uq_attachment_jobs_attachment_id_pipeline_version got 23505 uq_attachment_jobs_attachment_id_pipeline_version
|
||||
probe: second variant of the name expected 23505 pk_attachment_variants got 23505 pk_attachment_variants
|
||||
probe: error_code on not failed expected 23514 ck_attachments_error_code_failed got 23514 ck_attachments_error_code_failed
|
||||
probe: replay audit of an unknown job expected 23503 fk_attachment_job_replays_job_id_attachment_jobs got 23503 fk_attachment_job_replays_job_id_attachment_jobs
|
||||
jobs | variants after the probes expected 1|3 got 1|3
|
||||
original files in 8112fa687696 expected 0 got 0
|
||||
original files in e6c96453fc1b expected 0 got 0
|
||||
original files in 2b6afe2410a9 expected 0 got 0
|
||||
sha256 of the fixture: 99ea7533c441f79cd630d15ce4d58d1ec4e06f6f0efb3b77a5c088305cd1bd75
|
||||
PASS: metadata in PostgreSQL, bytes only in the private bucket messenger, none in the API containers
|
||||
```
|
||||
@@ -0,0 +1,19 @@
|
||||
# Хранение паролей и токенов
|
||||
|
||||
- Команда: `python3 .claude/skills/run-mtusi-messenger/driver.py --port 8080 auth-storage`
|
||||
- Дата: 2026-11-15, 06:37:41–06:37:43 UTC; код выхода 0
|
||||
- Commit: `db3340d` (ветка `feat/lab6-final`), рабочее дерево без правок кода (изменены только `QUESTIONS.md` и файлы `evidence/`)
|
||||
- Стенд: проект compose `mtusi-lab6`, две реплики за HAProxy, телеметрия включена, собран `make run_docker` из `HEAD`; пользователи синтетические, пароль и токен только в памяти драйвера, в вывод не попадают
|
||||
- Спеки: `users`, «Хэш в БД», `sessions`, «Токена нет в хранилище» (исключения сверки покрытия: схема и дамп по HTTP не видны)
|
||||
|
||||
Итог: в `users` — строки Argon2id с разной солью у одного пароля, в `sessions` — только SHA-256 токена (32 байта); ни токена (текстом и в hex), ни пароля в `pg_dump --data-only` нет.
|
||||
|
||||
```text
|
||||
users auth_… and auth_…: same password P (36 characters with ':' and Cyrillic)
|
||||
password_hash $argon2id$v=19$m=65536,t=3,p=4$… (97 chars)
|
||||
password_hash $argon2id$v=19$m=65536,t=3,p=4$… (97 chars)
|
||||
hashes differ: t
|
||||
session of the first user: token T (43 characters); rows of sessions with token_hash = SHA-256(T): 1, octet_length 32
|
||||
pg_dump --data-only: 12 COPY blocks; T as text: no, T in hex: no, P as text: no
|
||||
PASS: only Argon2id strings and SHA-256 of the token are stored
|
||||
```
|
||||
@@ -0,0 +1,82 @@
|
||||
# Очереди разных баз разделены
|
||||
|
||||
- Команды по порядку: `make test_isolated KEEP_TEST_DB=1`, `python3 .claude/skills/run-mtusi-messenger/driver.py --port 8080 broker-check --require-test-queue`, `make test_isolated`
|
||||
- Дата: 2026-11-15; первый прогон 06:33:58–06:36:07 UTC, `broker-check` 06:40:52–06:41:00 UTC (код 0), второй прогон 06:41:00–06:43:17 UTC. Между первым прогоном и `broker-check` сняты другие доказательства (`evidence/broker/stand.md`, `make test-persistence` с рестартом брокера): очередь временной базы — durable и их пережила
|
||||
- Commit: `db3340d` (ветка `feat/lab6-final`), рабочее дерево без правок кода (изменены только `QUESTIONS.md` и файлы `evidence/`)
|
||||
- Стенд: рабочий `mtusi-lab6`, поверх него — контейнеры `mtusi-lab6-test-api`, `mtusi-lab6-test-worker`, `mtusi-lab6-test-relay` на временной базе `test_messenger` (телеметрия у них выключена)
|
||||
- Сценарий: `message-broker` «Очереди разных баз разделены»
|
||||
- Код 2 обоих `make test_isolated`: smoke — 0, набор — 2 только из-за `test_exclusion_evidence_exists` (в первом — 10 файлов исключений, во втором — только этот файл: его снимает сама эта последовательность). Оба прогона: 1 failed, 217 passed, 6 skipped, 147 deselected, ~117 с. Зелёный прогон после этого файла — `evidence/tests/test-isolated.md`
|
||||
- Список очередей до первого прогона не сохранён: на рабочем стенде перед ним была только `messenger.attachment.process.v1` (прежний `make test_isolated` убирает свою очередь, так и в выводе второго прогона)
|
||||
|
||||
## Очереди брокера: `rabbitmqctl -q list_queues name durable messages consumers --formatter json`
|
||||
|
||||
После `make test_isolated KEEP_TEST_DB=1` — очередь временной базы есть, рабочая не затронута:
|
||||
|
||||
```json
|
||||
[
|
||||
{"messages":0,"name":"test_messenger.attachment.process.v1","consumers":0,"durable":true}
|
||||
,{"messages":0,"name":"messenger.attachment.process.v1","consumers":1,"durable":true}
|
||||
]
|
||||
```
|
||||
|
||||
После второго `make test_isolated` — очереди временной базы нет:
|
||||
|
||||
```json
|
||||
[
|
||||
{"messages":0,"name":"messenger.attachment.process.v1","consumers":1,"durable":true}
|
||||
]
|
||||
```
|
||||
|
||||
## Вывод `make test_isolated`
|
||||
|
||||
Первый прогон (`KEEP_TEST_DB=1`):
|
||||
|
||||
```text
|
||||
[test_isolated] database=test_messenger objects=/buckets/messenger/test_messenger/ queue=test_messenger.attachment.process.v1 containers=mtusi-lab6-test-api mtusi-lab6-test-worker mtusi-lab6-test-relay base_url=http://127.0.0.1:18088
|
||||
[test_isolated] remove objects /buckets/messenger/test_messenger/ and queue test_messenger.attachment.process.v1
|
||||
...
|
||||
[test_isolated] cleanup
|
||||
[test_isolated] kept database test_messenger, objects /buckets/messenger/test_messenger/ and queue test_messenger.attachment.process.v1
|
||||
[test_isolated] results: {'test': 0, 'student_test': 2}
|
||||
```
|
||||
|
||||
Второй прогон:
|
||||
|
||||
```text
|
||||
[test_isolated] database=test_messenger objects=/buckets/messenger/test_messenger/ queue=test_messenger.attachment.process.v1 containers=mtusi-lab6-test-api mtusi-lab6-test-worker mtusi-lab6-test-relay base_url=http://127.0.0.1:18088
|
||||
[test_isolated] remove objects /buckets/messenger/test_messenger/ and queue test_messenger.attachment.process.v1
|
||||
...
|
||||
[test_isolated] cleanup
|
||||
[test_isolated] remove objects /buckets/messenger/test_messenger/ and queue test_messenger.attachment.process.v1
|
||||
[test_isolated] results: {'test': 0, 'student_test': 2}
|
||||
```
|
||||
|
||||
## `broker-check --require-test-queue` между прогонами (код 0)
|
||||
|
||||
```text
|
||||
image rabbitmq:4.3.7@sha256:bd88985187aa73cd598fa0d8b31d49b2f814a6d9e58f6d5a89bae588669d946a
|
||||
memory high watermark 419430400, container limit 536870912
|
||||
queues (name durable messages consumers):
|
||||
test_messenger.attachment.process.v1 True 0 0
|
||||
messenger.attachment.process.v1 True 0 1
|
||||
docker compose stop rabbitmq: 1.2 s
|
||||
image is tag and digest expected yes got yes
|
||||
container health expected healthy got healthy
|
||||
data volume expected mtusi-lab6_rabbitmq_data got mtusi-lab6_rabbitmq_data
|
||||
docker port expected 5672/tcp -> 127.0.0.1:5673 got 5672/tcp -> 127.0.0.1:5673
|
||||
container memory limit expected 536870912 got 536870912
|
||||
watermark below container limit expected yes got yes
|
||||
broker password holders expected rabbitmq,relay,worker got rabbitmq,relay,worker
|
||||
BROKER__* in the api service expected no got no
|
||||
work queue exists expected yes got yes
|
||||
work queue durable expected yes got yes
|
||||
queue test_messenger.attachment.process.v1 expected yes got yes
|
||||
docker compose stop exit code expected 0 got 0
|
||||
container exit code expected 0 got 0
|
||||
stopped before the 20 s grace expected yes got yes
|
||||
broker back (up --wait) expected 0 got 0
|
||||
work queue after restart expected yes got yes
|
||||
worker consumes again expected yes got yes
|
||||
relay survived the outage (StartedAt) expected yes got yes
|
||||
PASS: the broker stand matches the spec
|
||||
```
|
||||
@@ -0,0 +1,36 @@
|
||||
# Брокер рабочего стенда
|
||||
|
||||
- Команда: `python3 .claude/skills/run-mtusi-messenger/driver.py --port 8080 broker-check`
|
||||
- Дата: 2026-11-15, 06:37:33–06:37:41 UTC; код выхода 0
|
||||
- Commit: `db3340d` (ветка `feat/lab6-final`), рабочее дерево без правок кода (изменены только `QUESTIONS.md` и файлы `evidence/`)
|
||||
- Стенд: проект compose `mtusi-lab6`, телеметрия включена, собран `make run_docker` из `HEAD`. Очередь `test_messenger.…` в списке — остаток `make test_isolated KEEP_TEST_DB=1` (`evidence/broker/isolated.md`)
|
||||
- Сценарии спека `message-broker`: «Сервис брокера запущен», «Предел памяти брокера», «Остановка брокера»
|
||||
- `watermark` 419430400 байт — 400 МиБ из `infra/rabbitmq/rabbitmq.conf`; лимит контейнера 512 МиБ. Пароль брокера только у `rabbitmq`, `relay`, `worker`: у реплик API настроек брокера нет
|
||||
|
||||
```text
|
||||
image rabbitmq:4.3.7@sha256:bd88985187aa73cd598fa0d8b31d49b2f814a6d9e58f6d5a89bae588669d946a
|
||||
memory high watermark 419430400, container limit 536870912
|
||||
queues (name durable messages consumers):
|
||||
test_messenger.attachment.process.v1 True 0 0
|
||||
messenger.attachment.process.v1 True 0 1
|
||||
temporary database queue test_messenger.attachment.process.v1: not checked
|
||||
docker compose stop rabbitmq: 1.3 s
|
||||
image is tag and digest expected yes got yes
|
||||
container health expected healthy got healthy
|
||||
data volume expected mtusi-lab6_rabbitmq_data got mtusi-lab6_rabbitmq_data
|
||||
docker port expected 5672/tcp -> 127.0.0.1:5673 got 5672/tcp -> 127.0.0.1:5673
|
||||
container memory limit expected 536870912 got 536870912
|
||||
watermark below container limit expected yes got yes
|
||||
broker password holders expected rabbitmq,relay,worker got rabbitmq,relay,worker
|
||||
BROKER__* in the api service expected no got no
|
||||
work queue exists expected yes got yes
|
||||
work queue durable expected yes got yes
|
||||
docker compose stop exit code expected 0 got 0
|
||||
container exit code expected 0 got 0
|
||||
stopped before the 20 s grace expected yes got yes
|
||||
broker back (up --wait) expected 0 got 0
|
||||
work queue after restart expected yes got yes
|
||||
worker consumes again expected yes got yes
|
||||
relay survived the outage (StartedAt) expected yes got yes
|
||||
PASS: the broker stand matches the spec
|
||||
```
|
||||
Vendored
+23
@@ -0,0 +1,23 @@
|
||||
# Кэш карточки чата
|
||||
|
||||
- Команды: `make test_isolated KEEP_TEST_DB=1` (ключи временной базы), затем `python3 .claude/skills/run-mtusi-messenger/driver.py --port 8080 cache-check --require-test-keys`
|
||||
- Дата: 2026-11-15; `make test_isolated` до 06:36:07 UTC, `cache-check` 06:36:37–06:37:02 UTC, код выхода `cache-check` 0
|
||||
- Код выхода `make test_isolated` 2 и только по одной причине: `test_exclusion_evidence_exists` (этого файла и соседних исключений ещё не было); публичный `make test` в нём — код 0. Снятие файла этой команды требует её прогона, поэтому поменять порядок нельзя
|
||||
- Commit: `db3340d` (ветка `feat/lab6-final`), рабочее дерево без правок кода (изменены только `QUESTIONS.md` и файлы `evidence/`)
|
||||
- Стенд: проект compose `mtusi-lab6`, две реплики за HAProxy, телеметрия включена, собран `make run_docker` из `HEAD`; пользователи и чат синтетические
|
||||
- Спеки: `chat-cache`, «Чтение из кэша», «Срок записи», «Временная база» (исключения сверки покрытия: по HTTP ответ из кэша не отличить от ответа из PostgreSQL)
|
||||
|
||||
Итог: на 50 чтений карточки через LB — одно чтение таблицы `chats` (первое, ключ перед этим удалён), +49 попаданий и +1 промах Valkey; срок ключа не больше настроенного (3600 с), чтения его не продлевают; ключи рабочей и временной базы — под разными префиксами (1 и 166).
|
||||
|
||||
```text
|
||||
users alice_… (creator) and bob_… (reader), chat a0334358-bf18-4591-a565-056c4e4ef3e3
|
||||
key messenger:v1:messenger:chat:a0334358-bf18-4591-a565-056c4e4ef3e3
|
||||
right after 201: EXISTS 1, TTL 3600 s (configured [cache] chat_ttl_seconds 3600 s in the replica); value keys ['created_at', 'id', 'member_ids', 'title'], member_ids in creation order: yes
|
||||
DEL key: the first read is a miss; waiting 11 s
|
||||
50 × GET /api/v1/chats/{id} by the reader through LB: 50 equal to the creation response; by replica 8112fa687696 25, e6c96453fc1b 25
|
||||
after 11 s: reads of table chats (seq_scan + idx_scan) +1, keyspace_hits +49, keyspace_misses +1
|
||||
TTL 3589 s, then 10 more reads, TTL 3588 s: reads do not extend the key
|
||||
keys messenger:v1:messenger:chat:*: 1
|
||||
keys messenger:v1:test_messenger:chat:*: 166
|
||||
PASS: one read of chats, the rest from Valkey; TTL is bounded; temporary database: 166 keys under its own prefix
|
||||
```
|
||||
@@ -0,0 +1,34 @@
|
||||
# Отказ одной реплики API
|
||||
|
||||
- Команды: `make test-failover ACTION_SCRIPT=scripts/stop-one.sh STOP_MODE=stop STOP_ONE_LOG=<файл>`, `make replicas`, `make test-failover ACTION_SCRIPT=scripts/stop-one.sh STOP_MODE=kill STOP_ONE_LOG=<файл>`, `make replicas`, `make lb_stats`
|
||||
- Дата: 2026-11-15, 06:49:05–06:49:41 UTC; оба прогона — код выхода 0
|
||||
- Commit: `db3340d` (ветка `feat/lab6-final`), рабочее дерево без правок кода (изменены только `QUESTIONS.md` и файлы `evidence/`)
|
||||
- Стенд: проект compose `mtusi-lab6`, две реплики за HAProxy, телеметрия включена, собран `make run_docker` из `HEAD`
|
||||
- `STOP_ONE_LOG` назвал реплику: в обоих прогонах `TARGET_INSTANCE_ID=d34fc9b86aa4`, контейнер `d34fc9b86aa4…`, остановленный контейнер совпадает с целью; между прогонами `make replicas` вернул реплику
|
||||
- `failed_attempts` 1 в режиме `kill` — запись, которая была в полёте на убитой реплике: LB не повторяет `POST` после отправленного запроса (повтор — только на отказ соединения, `balancer.md`), клиент проверки повторяет её сам с тем же ключом и телом, дубля нет; данные и сессия сохранены (`PASS`). В лабе 5 на той же проверке было 0 — гонка момента `docker kill` с отправкой записи, а не изменение кода. 5xx на `BACKEND` в статистике — накопленные с рестарта LB, в том числе от `attachment-failover`
|
||||
|
||||
## `stop`
|
||||
|
||||
```text
|
||||
{"observed_instances_before": 2, "successful_writes": 120, "failed_attempts": 0, "first_recovery_seconds": 1.201}
|
||||
PASS: failover preserved confirmed data and existing session. Hook scope needs operator evidence.
|
||||
2026-11-15T06:49:06Z TARGET_INSTANCE_ID=d34fc9b86aa4 container=d34fc9b86aa4edfc55f531909a22818375ef6466c58d818b86de046e702d7cdb mode=stop
|
||||
```
|
||||
|
||||
## `kill`
|
||||
|
||||
```text
|
||||
{"observed_instances_before": 2, "successful_writes": 114, "failed_attempts": 1, "first_recovery_seconds": 0.231}
|
||||
PASS: failover preserved confirmed data and existing session. Hook scope needs operator evidence.
|
||||
2026-11-15T06:49:24Z TARGET_INSTANCE_ID=d34fc9b86aa4 container=d34fc9b86aa4edfc55f531909a22818375ef6466c58d818b86de046e702d7cdb mode=kill
|
||||
```
|
||||
|
||||
## После `make replicas`
|
||||
|
||||
```text
|
||||
svname addr status check_status scur stot econ wretr wredis hrsp_5xx
|
||||
api-1 192.168.96.9:8080 UP L7OK 0 1152 0 0 6 0
|
||||
api-2 192.168.96.8:8080 UP L7OK 0 1379 0 0 0 0
|
||||
BACKEND - UP - 0 2527 2 0 6 3
|
||||
free slots: 6
|
||||
```
|
||||
@@ -0,0 +1,76 @@
|
||||
# Повтор отправки после рестарта API
|
||||
|
||||
- Шаги: синтетический пользователь (регистрация, вход по Basic) и чат; `POST /api/v1/chats/<chat>/messages` с `Idempotency-Key`; `docker compose up -d --force-recreate api`; ожидание `/health/ready` 200 через LB; тот же `POST` с тем же ключом и токеном; другое тело с тем же ключом; `GET` истории. Шаги выполнил разовый скрипт на stdlib вне репозитория (те же запросы, что `driver.py --port 8080 req … --key <ключ>` скилла), шаги выше повторяются руками
|
||||
- Дата: 2026-11-15, 06:39:32–06:39:38 UTC; код выхода 0
|
||||
- Commit: `db3340d` (ветка `feat/lab6-final`), рабочее дерево без правок кода (изменены только `QUESTIONS.md` и файлы `evidence/`)
|
||||
- Стенд: проект compose `mtusi-lab6`, две реплики за HAProxy, телеметрия включена, собран `make run_docker` из `HEAD`; пользователь и чат синтетические
|
||||
- Спек: `idempotency`, «Повтор после рестарта API» (исключение сверки покрытия: тесты сервер не трогают)
|
||||
- Вывод обезличен: ключ заменён на `<key>`; токена и пароля в выводе нет
|
||||
|
||||
Итог: новые контейнеры обеих реплик (другие `id` и `StartedAt`), повтор — тот же 201 и тот же `Message` от реплики, которой при первой отправке не было (`e6c96453fc1b` → `d34fc9b86aa4`). В истории одно сообщение; другое тело с тем же ключом — 409. Сессия и ключ лежат в PostgreSQL, поэтому пересоздание реплик на них не влияет. Compose пересоздал только реплики, зависимости (`migrate`, `s3-bootstrap`) лишь повторно запустил; PostgreSQL не перезапускался.
|
||||
|
||||
```text
|
||||
--- before: api containers (name, id, StartedAt)
|
||||
/mtusi-lab6-api-13 8112fa687696 2026-11-15T06:33:44.100363013Z
|
||||
/mtusi-lab6-api-14 e6c96453fc1b 2026-11-15T06:39:07.790523426Z
|
||||
--- first send
|
||||
idempotency-key: <key>
|
||||
201 x-request-id: 2186a97e48604705a47121996a371299 x-instance-id: e6c96453fc1b
|
||||
{
|
||||
"id": "a23371cd-c05f-4d9c-b5a5-5fad6612ae9d",
|
||||
"chat_id": "9a476e8c-87fe-4ea8-985b-24880bd533b3",
|
||||
"sender_id": "c964e2db-d181-4e27-8d42-4d72e68fe2a4",
|
||||
"text": "replay after restart",
|
||||
"created_at": "2026-11-15T06:39:32.610039Z",
|
||||
"attachment_ids": []
|
||||
}
|
||||
--- docker compose up -d --force-recreate api
|
||||
Container mtusi-lab6-api-13 Recreate
|
||||
Container mtusi-lab6-api-14 Recreate
|
||||
Container mtusi-lab6-api-13 Recreated
|
||||
Container mtusi-lab6-api-14 Recreated
|
||||
Container mtusi-lab6-s3-bootstrap-1 Starting
|
||||
Container mtusi-lab6-migrate-1 Starting
|
||||
Container mtusi-lab6-s3-bootstrap-1 Started
|
||||
Container mtusi-lab6-migrate-1 Started
|
||||
Container mtusi-lab6-migrate-1 Waiting
|
||||
Container mtusi-lab6-s3-bootstrap-1 Waiting
|
||||
Container mtusi-lab6-migrate-1 Exited
|
||||
Container mtusi-lab6-s3-bootstrap-1 Exited
|
||||
Container mtusi-lab6-api-14 Starting
|
||||
Container mtusi-lab6-api-14 Started
|
||||
Container mtusi-lab6-api-13 Starting
|
||||
Container mtusi-lab6-api-13 Started
|
||||
exit 0
|
||||
LB ready: 200
|
||||
--- after: api containers (name, id, StartedAt)
|
||||
/mtusi-lab6-api-13 d34fc9b86aa4 2026-11-15T06:39:37.107929926Z
|
||||
/mtusi-lab6-api-14 35f606496f73 2026-11-15T06:39:37.041578759Z
|
||||
--- repeat with the same key, the same session
|
||||
idempotency-key: <key>
|
||||
201 x-request-id: ecdfd487a0de46f7b6f97665adf584d2 x-instance-id: d34fc9b86aa4
|
||||
{
|
||||
"id": "a23371cd-c05f-4d9c-b5a5-5fad6612ae9d",
|
||||
"chat_id": "9a476e8c-87fe-4ea8-985b-24880bd533b3",
|
||||
"sender_id": "c964e2db-d181-4e27-8d42-4d72e68fe2a4",
|
||||
"text": "replay after restart",
|
||||
"created_at": "2026-11-15T06:39:32.610039Z",
|
||||
"attachment_ids": []
|
||||
}
|
||||
--- other body with the same key
|
||||
idempotency-key: <key>
|
||||
409 x-request-id: 12ed1beb0aa5443a9181b2869e62336f x-instance-id: 35f606496f73
|
||||
{
|
||||
"error": {
|
||||
"code": "conflict",
|
||||
"message": "Idempotency key was already used with another request",
|
||||
"request_id": "12ed1beb0aa5443a9181b2869e62336f"
|
||||
}
|
||||
}
|
||||
--- history
|
||||
{"count": 1, "ids": ["a23371cd-c05f-4d9c-b5a5-5fad6612ae9d"]}
|
||||
--- compare
|
||||
Message of the repeat = Message of the first send: yes
|
||||
other instance answered the repeat: yes
|
||||
PASS
|
||||
```
|
||||
@@ -0,0 +1,34 @@
|
||||
# Сохранность при рестарте стенда
|
||||
|
||||
- Команда: `make test-persistence ACTION_SCRIPT=scripts/restart.sh`
|
||||
- Дата: 2026-11-15, 06:40:04–06:40:30 UTC; код выхода 0
|
||||
- Commit: `db3340d` (ветка `feat/lab6-final`), рабочее дерево без правок кода (изменены только `QUESTIONS.md` и файлы `evidence/`)
|
||||
- Стенд: проект compose `mtusi-lab6`, телеметрия включена, собран `make run_docker` из `HEAD`
|
||||
- Что проверяет публичная проверка: данные, прежний токен и с лабы 4 оригинал вложения после hook (`tests/README.md`)
|
||||
- Что перезапустил hook (сверка `docker inspect` до и после, `RestartCount` у всех 0): `api-13`, `api-14`, `haproxy`, `postgres`, `rabbitmq`, `s3`, `valkey` — новый `StartedAt`; `relay`, `worker` и `cleaner` hook не трогает, `StartedAt` прежний. Сервисы телеметрии (`otel-collector`, `prometheus`, `loki`, `tempo`, `grafana`) hook тоже не трогает — `StartedAt` прежний (вопрос 2 `## otel-telemetry` в `QUESTIONS.md`, предложение S2 там же). Одноразовые `migrate` и `s3-bootstrap` повторяет `start api` (no-op). Volumes не удалялись
|
||||
|
||||
```text
|
||||
PASS: persistence preserved confirmed data and existing session. Hook scope needs operator evidence.
|
||||
```
|
||||
|
||||
| Контейнер | `StartedAt` до | `StartedAt` после |
|
||||
|---|---|---|
|
||||
| `api-13` | 06:39:37.107 | 06:40:28.849 |
|
||||
| `api-14` | 06:39:37.041 | 06:40:28.785 |
|
||||
| `haproxy-1` | 06:33:44.415 | 06:40:28.929 |
|
||||
| `postgres-1` | 06:33:36.616 | 06:40:05.823 |
|
||||
| `rabbitmq-1` | 06:37:36.623 | 06:40:06.835 |
|
||||
| `s3-1` | 06:33:36.481 | 06:40:20.757 |
|
||||
| `valkey-1` | 06:33:37.067 | 06:40:05.845 |
|
||||
| `migrate-1` | 06:39:33.975 | 06:40:25.653 |
|
||||
| `s3-bootstrap-1` | 06:39:33.914 | 06:40:25.731 |
|
||||
| `relay-1` | 06:33:40.789 | 06:33:40.789 |
|
||||
| `worker-1` | 06:33:44.241 | 06:33:44.241 |
|
||||
| `cleaner-1` | 06:33:44.322 | 06:33:44.322 |
|
||||
| `otel-collector-1` | 06:33:36.959 | 06:33:36.959 |
|
||||
| `prometheus-1` | 06:33:37.162 | 06:33:37.162 |
|
||||
| `loki-1` | 06:33:36.545 | 06:33:36.545 |
|
||||
| `tempo-1` | 06:33:36.794 | 06:33:36.794 |
|
||||
| `grafana-1` | 06:33:36.867 | 06:33:36.867 |
|
||||
|
||||
`rabbitmq-1` до прогона — 06:37:36: его остановил и вернул `driver.py broker-check` (`evidence/broker/stand.md`); `api-13` и `api-14` — 06:39:37: их пересоздал повтор отправки (`evidence/idempotency/replay-after-restart.md`).
|
||||
@@ -0,0 +1,62 @@
|
||||
# Проверка из чистого clone: стенд с телеметрией одной командой
|
||||
|
||||
| | |
|
||||
|---|---|
|
||||
| Что проверялось | раздел `REPORT.md` «Запуск из чистого clone»: шаг за шагом, как у проверяющего, на пустых volumes |
|
||||
| Дата | 2026-11-15, 07:28:57–07:32:42 UTC |
|
||||
| Commit | `db3340d` — `git clone --branch feat/lab6-final` локального репозитория во временный каталог. Рабочее дерево клона чистое, `.env`, `config.toml` и `.venv` нет. Код тот же, что в `solution/bvt2301-safronov` после влития ветки: после `db3340d` меняются только документы и `evidence/` |
|
||||
| Стенд | временный проект compose `mtusi-lab6-clonecheck` на нестандартных портах: LB `127.0.0.1:8090`, Grafana 3010, PostgreSQL 5443, Valkey 6390, S3 8344, AMQP 5683. Рабочий стенд `mtusi-lab6` всё это время работал рядом и не трогался. После проверки стенд клона удалён (`docker compose down`, затем `docker volume rm` шести volumes `mtusi-lab6-clonecheck_*` по имени), каталог клона удалён; volumes `mtusi-lab6_*` на месте |
|
||||
| Хост | Docker Desktop 29.9.2, Compose 5.6.1, macOS на Apple M3 Pro; ВМ Docker — 12 CPU, 11 902 МиБ. Это проверка, а не замер |
|
||||
|
||||
**Отличие от последовательности проверяющего — строки `.env`.** Порты по умолчанию и имя проекта занимает рабочий стенд,
|
||||
поэтому до `make env_setup` в клон записан `.env` из восьми строк: `COMPOSE_PROJECT_NAME=mtusi-lab6-clonecheck` и порты
|
||||
`APP_OUT_PORT`, `POSTGRES_OUT_PORT`, `VALKEY_OUT_PORT`, `S3_OUT_PORT`, `RABBITMQ_OUT_PORT`, `GRAFANA_OUT_PORT`, `TEST_APP_PORT`.
|
||||
Остальные переменные, в том числе все секреты, дописал `make env_setup` из `.env.example` (путь проверяющего со старым `.env`).
|
||||
Цели `Makefile`, `scripts/restart.sh` и `scripts/stop-one.sh` берут проект и порты у `docker compose` и из `.env`; отличие
|
||||
одно — `BASE_URL=http://localhost:8090` у `make test`, `make student_test`, `make test-persistence`, `make test-failover`.
|
||||
|
||||
Значения секретов не выводились: поиск 13 значений секретов из `.env` клона по журналам проверки — 0 совпадений.
|
||||
|
||||
## Шаги
|
||||
|
||||
| Шаг | Код | Время | Результат |
|
||||
| --- | --- | --- | --- |
|
||||
| `make env_setup` | 0 | <1 с | «added to existing .env: …» — 43 имени, в том числе `S3_WORKER_*`, `RABBITMQ_DEFAULT_PASS`, `GRAFANA_ADMIN_PASSWORD`; `POSTGRES_PASSWORD` и `VALKEY_PASSWORD` — 32 символа; `docker compose config` → `name: mtusi-lab6-clonecheck` |
|
||||
| `make run_docker` | 0 | 13,8 с (слои — из кэша BuildKit) | пустые volumes `postgres_data`, `s3_data`, `rabbitmq_data`, `prometheus_data`, `loki_data`, `tempo_data` созданы, `migrate` и `s3-bootstrap` — `Exited (0)` |
|
||||
| `make replicas` | 0 | ~2 с | обе реплики `healthy` |
|
||||
| `make check` | 0 | 1 с | `PASS: offline skeleton structure, local refs and Python syntax` |
|
||||
| `make test BASE_URL=http://localhost:8090` | 0 | 1 с | `PASS: lab6 public API scenario` |
|
||||
| `make student_test BASE_URL=http://localhost:8090` | 2 | 81 с | 223 passed, **1 failed — `test_exclusion_evidence_exists`**: в `db3340d` ещё нет 8 файлов исключений, снятых последним шагом в рабочем дереве (их коммит — следующий). Остальной набор, включая тесты реплик, зелёный; на рабочем стенде с этими файлами — 224 passed (`evidence/tests/student-test-lb.md`), в CI — после push |
|
||||
| `make test-persistence ACTION_SCRIPT=scripts/restart.sh BASE_URL=…` | 0 | 26 с | `PASS: persistence preserved confirmed data and existing session` |
|
||||
| `make test-failover ACTION_SCRIPT=scripts/stop-one.sh BASE_URL=…` | 0 | 17 с | `failed_attempts` 0, `first_recovery_seconds` 0,519 |
|
||||
| `make replicas` | 0 | 2 с | реплика возвращена |
|
||||
| `make alerts_test` | 0 | 1 с | 7 оповещений, у каждого runbook |
|
||||
| Grafana API (`admin` и пароль из `.env` клона) | — | — | источники `loki`, `prometheus`, `tempo`; dashboard `messenger-overview` «Messenger overview» в папке Messenger; без учётных данных — 401 |
|
||||
| `RestartCount` брокера и сервисов телеметрии | — | — | 0 у `rabbitmq`, `otel-collector`, `prometheus`, `loki`, `tempo`, `grafana`; `eacces` в журнале брокера — 0 строк |
|
||||
|
||||
## Стенд клона
|
||||
|
||||
```text
|
||||
NAME STATUS PORTS
|
||||
mtusi-lab6-clonecheck-api-1 Up 11 seconds (healthy) 8080/tcp
|
||||
mtusi-lab6-clonecheck-api-2 Up 11 seconds (healthy) 8080/tcp
|
||||
mtusi-lab6-clonecheck-cleaner-1 Up 11 seconds 8080/tcp
|
||||
mtusi-lab6-clonecheck-grafana-1 Up 21 seconds (healthy) 127.0.0.1:3010->3000/tcp
|
||||
mtusi-lab6-clonecheck-haproxy-1 Up 11 seconds (healthy) 127.0.0.1:8090->8080/tcp
|
||||
mtusi-lab6-clonecheck-loki-1 Up 21 seconds 3100/tcp
|
||||
mtusi-lab6-clonecheck-migrate-1 Exited (0) 17 seconds ago
|
||||
mtusi-lab6-clonecheck-otel-collector-1 Up 20 seconds 4317-4318/tcp, 55679/tcp
|
||||
mtusi-lab6-clonecheck-postgres-1 Up 21 seconds (healthy) 127.0.0.1:5443->5432/tcp
|
||||
mtusi-lab6-clonecheck-prometheus-1 Up 21 seconds (healthy) 9090/tcp
|
||||
mtusi-lab6-clonecheck-rabbitmq-1 Up 21 seconds (healthy) 127.0.0.1:5683->5672/tcp
|
||||
mtusi-lab6-clonecheck-relay-1 Up 16 seconds 8080/tcp
|
||||
mtusi-lab6-clonecheck-s3-1 Up 21 seconds (healthy) 127.0.0.1:8344->8333/tcp
|
||||
mtusi-lab6-clonecheck-s3-bootstrap-1 Exited (0) 12 seconds ago
|
||||
mtusi-lab6-clonecheck-tempo-1 Up 20 seconds
|
||||
mtusi-lab6-clonecheck-valkey-1 Up 21 seconds (healthy) 127.0.0.1:6390->6379/tcp
|
||||
mtusi-lab6-clonecheck-worker-1 Up 11 seconds 8080/tcp
|
||||
```
|
||||
|
||||
Наружу опубликованы только LB, Grafana и служебные порты хранилищ на `127.0.0.1`; порты Collector, Prometheus, Loki и Tempo
|
||||
видны только в сетях стенда (`4317-4318/tcp` без адреса хоста). После уборки контейнеров, volumes и сетей проекта
|
||||
`mtusi-lab6-clonecheck` — 0.
|
||||
@@ -0,0 +1,70 @@
|
||||
# Проверки отказов
|
||||
|
||||
- Команда: `make failure_checks`
|
||||
- Дата: 2026-11-15, 06:50:18–07:28:09 UTC; код выхода 0
|
||||
- Commit: `db3340d` (ветка `feat/lab6-final`), рабочее дерево без правок кода (во время прогона менялись только `REPORT.md`, `AGENTS.md`, `QUESTIONS.md` и файлы `evidence/`; образ стенд собрал в начале)
|
||||
- Стенд: проект `mtusi-lab6-failures` со своими PostgreSQL, Valkey, S3, RabbitMQ, уборщиком, relay, worker и пятью API (телеметрия у API, worker и relay выключена, сервисы телеметрии не запускаются); рабочий стенд `mtusi-lab6` на время прогона работал рядом (в первые минуты — `make service_test`, `make service_test_db` и офлайн-проверки); стенд отказов и его volumes удалены в конце
|
||||
- Итог: **147 passed, 224 deselected, pytest 2242,88 с (37:22)**; журнал PostgreSQL стенда без признаков аварии (`crash markers 0`). «too many clients» 34 и «administrator command» 194 — следы самих проверок (заполнение слотов, остановки PostgreSQL). Набор тот же, что в лабе 5 (147 проверок): лаба 6 проверок отказов не добавляла — телеметрию проверяют быстрые тесты и команды драйвера
|
||||
- Параметры: уборщик — grace 20 с, интервал 1 с, плановая сверка выключена; worker — 4 попытки, пауза 4–16 с, срок 10 с, запас аренды 2 с, рендер 8 с / 3 с CPU, graceful 2 с; relay — опрос 0,2 с, повторная публикация через 5 с
|
||||
- Вывод сокращён: убраны лог сборки и шаги compose, адреса API временные, строки `PASSED` свёрнуты в список имён. Таблицы красных прогонов (временные регрессии) — в отчётах лаб 4 и 5 и в `tasks.md` их change: код этих веток в лабе 6 не менялся
|
||||
|
||||
```text
|
||||
[failure_checks] project=mtusi-lab6-failures (working stand: mtusi-lab6)
|
||||
[failure_checks] build image
|
||||
[failure_checks] start postgres, valkey, s3 and rabbitmq
|
||||
[failure_checks] migrations
|
||||
[failure_checks] s3 bootstrap
|
||||
[failure_checks] start cleaner: grace 20 s, interval 1 s, reconcile interval 0 s (0 — off)
|
||||
[failure_checks] start worker: attempts 4, retry 4–16 s, job timeout 10 s, lease margin 2 s, render 8 s / 3 s CPU, graceful 2 s
|
||||
[failure_checks] start relay: poll 0.2 s, republish after 5 s
|
||||
[failure_checks] start api containers
|
||||
[failure_checks] ready: api=http://127.0.0.1:50598 tight=http://127.0.0.1:50603 uploads=http://127.0.0.1:50611 s3=http://127.0.0.1:50620 backlog=http://127.0.0.1:50627
|
||||
[failure_checks] pytest -m fault
|
||||
collecting ... collected 371 items / 224 deselected / 147 selected
|
||||
=============== 147 passed, 224 deselected in 2242.88s (0:37:22) ===============
|
||||
[failure_checks] postgres log: 572 lines, crash markers 0; "too many clients" 34, "administrator command" 194
|
||||
[failure_checks] cleanup
|
||||
[failure_checks] results: {'fault': 0, 'postgres': 0}
|
||||
```
|
||||
|
||||
## Прошедшие проверки по порядку
|
||||
|
||||
```text
|
||||
test_expired_token test_use_does_not_extend_session test_token_while_database_stopped test_members_failure_rolls_back_chat
|
||||
test_database_stopped_and_back test_pool_exhausted test_connection_limit_reached test_pool_keeps_connections
|
||||
test_readiness_without_database test_readiness_without_cache test_readiness_without_object_storage[stop] test_readiness_without_object_storage[pause]
|
||||
test_flush_cache test_valkey_stopped test_valkey_paused test_valkey_back
|
||||
test_message_failure_keeps_key_free test_database_outage_keeps_key_free test_key_free_after_ttl test_upload_with_object_storage_stopped
|
||||
test_rejected_uploads_leave_nothing test_metadata_insert_failure test_interrupted_body test_queued_failure_compensated
|
||||
test_killed_between_put_and_ready test_queued_commit_outcome_unknown test_upload_outlives_grace test_cleaner_failure_after_object_delete
|
||||
test_cleaner_survives_outages test_object_storage_stopped test_environment_does_not_change_limits test_object_storage_paused
|
||||
test_upload_slots_busy test_rejections_before_queue test_upload_waits_for_slot test_slot_released_after_failures
|
||||
test_slow_body test_upload_after_idle_s3 test_queued_while_worker_stopped test_processing_visible
|
||||
test_redelivery_of_ready_is_noop test_durable_state_at_202 test_transient_error_retried test_job_message_matches_schema
|
||||
test_queue_durable test_malformed_message_dropped test_unknown_job_acked test_worker_killed_during_processing
|
||||
test_duplicate_during_processing test_original_published_unchanged test_staging_corrupted test_staging_missing
|
||||
test_max_pixels_fit_worker_memory test_ready_failure_retried test_queued_between_attempts test_attempts_exhausted
|
||||
test_database_outage_during_processing test_undecodable_becomes_failed test_worker_down_api_serves test_concurrency_bounded
|
||||
test_api_killed_after_202 test_broker_restart_keeps_job test_broker_kill_keeps_confirmed test_defense_scenario
|
||||
test_upload_with_broker_stopped test_upload_with_broker_paused test_queue_deleted test_broker_recreated
|
||||
test_start_without_broker test_worker_survives_broker_restart test_content_before_ready test_message_with_queued_attachment
|
||||
test_attachment_failed_after_message test_replay_after_attachment_failed test_readiness_without_broker_and_worker[stop] test_readiness_without_broker_and_worker[pause]
|
||||
test_worker_stop_during_processing test_worker_stop_during_render test_cleaner_keeps_current_work test_reconcile_finds_and_fixes
|
||||
test_reconcile_keeps_fresh_used_and_unknown test_reconcile_restored_original test_reconcile_change_limit test_reconcile_keeps_referenced_objects
|
||||
test_reconcile_limit_keeps_cleanup test_reconcile_foreign_key_untouched test_reconcile_object_storage_stopped test_reconcile_interrupted_by_database
|
||||
test_reconcile_under_load test_scheduled_reconcile test_reconcile_head_strategy_same_findings test_reconcile_deep_checksum
|
||||
test_reconcile_restore_needs_same_bytes test_reconcile_rate_limit test_reconcile_limit_stops_rechecks test_reconcile_row_with_other_id_key
|
||||
test_reconcile_fresh_overwrite_untouched test_reconcile_variant_objects test_reconcile_orphan_variant test_reconcile_keeps_current_work
|
||||
test_relay_killed_before_publish test_relay_killed_after_confirm test_relay_survives_broker_outage test_relay_survives_database_outage
|
||||
test_two_relays test_relay_respects_next_attempt test_lost_message_republished test_no_copies_while_queue_has_messages
|
||||
test_published_backlog_limit test_broker_memory_alarm test_crash_after_objects_before_commit test_crash_after_commit_before_ack
|
||||
test_retry_backoff_with_jitter test_retry_waits_outside_worker test_limit_pixels test_limit_oversized_staging
|
||||
test_limit_cpu_scan_bomb test_limit_memory test_limit_render_timeout test_render_killed
|
||||
test_hung_worker_lease_fencing test_hung_worker_thawed_after_ready test_long_attempt_keeps_lease test_last_attempt_lost
|
||||
test_replay_registry_dry_run test_replay_returns_work test_replay_ready_refused test_replay_in_progress_refused
|
||||
test_replay_without_source_refused test_replay_new_budget test_replay_by_code test_prefetch_bounded
|
||||
test_missing_variant test_cancelled_upload_of_previous_version test_staging_removed_after_ready test_staging_retention
|
||||
test_staging_keeps_current_work test_staging_cleanup_survives_outage test_staging_foreign_key_kept test_reconcile_orphan_staging
|
||||
test_defense_faults test_backlog_limit test_backlog_ignores_finished test_backlog_counts_waiting_retry
|
||||
test_backlog_without_broker test_backlog_overshoot_bounded test_backlog_off
|
||||
```
|
||||
@@ -0,0 +1,45 @@
|
||||
# Офлайн-проверки последнего шага
|
||||
|
||||
- Команды: `make alerts_test`, `make check`, `make validate PYTHON=.venv/bin/python`, `make lint`
|
||||
- Дата: 2026-11-15, 06:51:11–06:51:14 UTC; все четыре — код выхода 0
|
||||
- Commit: `db3340d` (ветка `feat/lab6-final`), рабочее дерево без правок кода (изменены только `QUESTIONS.md` и файлы `evidence/`); `make lint` файлов не изменил (619 без изменений, `git status` до и после тот же)
|
||||
- Без стенда: `make alerts_test` — одноразовый контейнер образа Prometheus из compose с `--network none`. Разбор правил и контроли красного прогона — `evidence/alerts/rules-test.md` (`ef60b47`), правила с тех пор не менялись
|
||||
|
||||
```text
|
||||
$ make alerts_test
|
||||
promtool from prom/prometheus:v3.15.1@sha256:fa3302279710be2f21a8301ec17a8b4f2301fd829bd113839b3b6b02b6f191a2
|
||||
Checking prometheus.yml
|
||||
SUCCESS: 1 rule files found
|
||||
SUCCESS: prometheus.yml is valid prometheus config file syntax
|
||||
Checking /etc/prometheus/rules.yml
|
||||
SUCCESS: 20 rules found
|
||||
Checking rules.yml
|
||||
SUCCESS: 20 rules found
|
||||
SUCCESS
|
||||
runbook infra/otel/runbooks/MessengerHighErrorRate.md: ok
|
||||
runbook infra/otel/runbooks/MessengerSlowRequests.md: ok
|
||||
runbook infra/otel/runbooks/MessengerNoReadyReplicas.md: ok
|
||||
runbook infra/otel/runbooks/MessengerQueueLagHigh.md: ok
|
||||
runbook infra/otel/runbooks/MessengerQueueMetricsMissing.md: ok
|
||||
runbook infra/otel/runbooks/TelemetryTargetDown.md: ok
|
||||
runbook infra/otel/runbooks/TelemetryDataLoss.md: ok
|
||||
alerts: 7, each with an existing runbook
|
||||
|
||||
$ make check
|
||||
python3 scripts/check_contract.py
|
||||
PASS: offline skeleton structure, local refs and Python syntax; application NOT tested.
|
||||
|
||||
$ make validate PYTHON=.venv/bin/python
|
||||
.venv/bin/python scripts/validate_openapi.py
|
||||
PASS: full OpenAPI 3.1 and JSON Schema validation; application NOT tested.
|
||||
|
||||
$ make lint
|
||||
619 files left unchanged
|
||||
code formatted
|
||||
All checks passed!
|
||||
code checked and fixed if needed
|
||||
619 files left unchanged
|
||||
code formatted
|
||||
All checks passed!
|
||||
code checked and fixed if needed
|
||||
```
|
||||
@@ -0,0 +1,15 @@
|
||||
# Секретов в `evidence/` и отчёте нет
|
||||
|
||||
- Что сделано: разовый скрипт (вне репозитория) читает `.env` рабочего стенда, берёт значения переменных с `PASS`, `SECRET`, `KEY`, `TOKEN` в имени (не короче 8 символов, без ссылок-шаблонов `${…}`) и ищет их байтами во всех файлах `evidence/`, включая `raw/` (быстрые метки `quick-*` и `.work/` в git не идут и в счёт не входят). Значения не печатаются, только имена и пути. Он же ищет абсолютный путь домашнего каталога и строки `Authorization: Bearer|Basic <значение>`. Второй проход — все файлы, отслеживаемые git, и `REPORT.md`. Третий — история всех веток на `.env` и `config.toml`
|
||||
- Дата: 2026-11-15, 07:33 UTC; код выхода 0
|
||||
- Commit: `db3340d` (ветка `feat/lab6-final`) плюс рабочее дерево последнего шага: новые файлы `evidence/` (исключения, проверки, чистый clone), `REPORT.md`, `AGENTS.md`, `QUESTIONS.md`
|
||||
- `authorization with credentials: 1` в `tracked` — `examples/requests.http` skeleton: заглушки `REPLACE_WITH_LOCAL_BASE64_CREDENTIAL` и `{{sessionToken}}`, значений нет
|
||||
- Секреты клона из `evidence/tests/clean-clone.md` (свой `.env`, удалён с клоном) проверены тем же способом по журналам проверки — 13 значений, 0 совпадений
|
||||
- Тестовые токены и пароли синтетические и в выводы не попадают: драйвер печатает `token T (43 characters)`, ключ идемпотентности заменён на `<key>`
|
||||
|
||||
```text
|
||||
evidence: secrets checked: 13, files: 577, hits: 0, home paths: 0, authorization with credentials: 0
|
||||
tracked: secrets checked: 13, files: 1285, hits: 0, home paths: 0, authorization with credentials: 1
|
||||
authorization: examples/requests.http
|
||||
tracked .env or config.toml in any branch history: 0
|
||||
```
|
||||
@@ -0,0 +1,23 @@
|
||||
# Быстрые тесты сервисов
|
||||
|
||||
- Команды: `make service_test`, затем `make service_test_db`
|
||||
- Дата: 2026-11-15, 06:50:24–06:51:04 UTC; оба — код выхода 0
|
||||
- Commit: `db3340d` (ветка `feat/lab6-final`), рабочее дерево без правок кода (изменены только `QUESTIONS.md` и файлы `evidence/`)
|
||||
- Стенд: `make service_test` — без PostgreSQL, Valkey, S3, брокера, docker и сети (фейки, `service-tests/unit`); `make service_test_db` — PostgreSQL рабочего стенда `mtusi-lab6`, временная база `test_uow_messenger`, удалена после прогона (`service-tests/db`)
|
||||
- Итог: **335 passed за 2,88 с** (ветки всех сервисов, архитектура, контракт repo на фейке, телеметрия на in-memory экспортёрах SDK — `test_telemetry`); **88 passed за 34,04 с** на временной базе (настоящая единица работы, контракт repo на SQL, общий срок запроса, span запросов и COMMIT, счёт пула `CountingQueuePool`). В лабе 5 при переносе было 215 и 78: прибавились тесты телеметрии четырёх change лабы 6
|
||||
- Таблица регрессий (временная поломка кода → названный красный) — в лабе 5 (`evidence/tests/service-tests.md` её репозитория) и в `tasks.md` change лабы 6; здесь не переснималась
|
||||
|
||||
```text
|
||||
uv run pytest -c service-tests/pytest.ini service-tests/unit
|
||||
........................................................................ [ 21%]
|
||||
........................................................................ [ 42%]
|
||||
........................................................................ [ 64%]
|
||||
........................................................................ [ 85%]
|
||||
............................................... [100%]
|
||||
335 passed in 2.88s
|
||||
```
|
||||
|
||||
```text
|
||||
................ [100%]
|
||||
88 passed in 34.04s
|
||||
```
|
||||
@@ -0,0 +1,25 @@
|
||||
# Свой набор через LB
|
||||
|
||||
- Команда: `make student_test` (`BASE_URL=http://localhost:8080 EXPECT_REPLICAS=2`)
|
||||
- Дата: 2026-11-15, 06:44:13–06:45:31 UTC; код выхода 0
|
||||
- Commit: `db3340d` (ветка `feat/lab6-final`), рабочее дерево без правок кода (изменены только `QUESTIONS.md` и файлы `evidence/`, в образ они не входят)
|
||||
- Стенд: проект compose `mtusi-lab6`, две реплики за HAProxy, relay, worker, телеметрия включена (Collector, Prometheus, Loki, Tempo, Grafana), собран `make run_docker` из `HEAD`
|
||||
- Итог: **224 passed, 147 deselected, 77,59 с**. 147 deselected — проверки отказов (`evidence/tests/failure-checks.md`)
|
||||
- `test_exclusion_evidence_exists` зелёный: все 10 файлов исключений сняты на стенде лабы 6 (`evidence/cache/hits.md`, `evidence/auth/passwords-and-tokens.md`, `evidence/idempotency/replay-after-restart.md`, `evidence/replicas/test-persistence.md`, `evidence/attachments/failover.md`, `evidence/attachments/storage.md`, `evidence/broker/stand.md`, `evidence/broker/isolated.md`, `evidence/uploads/baseline/summary.md`, `evidence/queue/baseline4/summary.md`)
|
||||
- Вывод сокращён: убраны строки `PASSED` и заголовки блоков вывода
|
||||
|
||||
```text
|
||||
student-tests/test_coverage.py::test_exclusion_evidence_exists PASSED [ 50%]
|
||||
uploaded via d34fc9b86aa4, downloaded via ['35f606496f73', 'd34fc9b86aa4']
|
||||
coverage: 389 scenarios in 17 specs, 358 tested (173 by make failure_checks), 31 excluded
|
||||
sent via d34fc9b86aa4, replayed via ['35f606496f73']
|
||||
409 via ['35f606496f73', 'd34fc9b86aa4']
|
||||
one session, 20 requests: {'35f606496f73': 10, 'd34fc9b86aa4': 10}
|
||||
written via d34fc9b86aa4, read via {'35f606496f73': 3, 'd34fc9b86aa4': 3}
|
||||
race: 10 clients x 10 messages, statuses {201: 100}, max in flight 10; history: 100 messages, 100 unique ids, 4 pages by 30
|
||||
username race: 10 clients, statuses {409: 9, 201: 1}, max in flight 10
|
||||
key race: 10 clients, statuses {201: 10}, max in flight 10; history: 1 messages
|
||||
key race: 10 clients, statuses {201: 10}, max in flight 10; history: 1 messages
|
||||
key race through replicas: {'35f606496f73': 5, 'd34fc9b86aa4': 5}
|
||||
================ 224 passed, 147 deselected in 77.59s (0:01:17) ================
|
||||
```
|
||||
@@ -0,0 +1,32 @@
|
||||
# Набор на временной базе
|
||||
|
||||
- Команда: `make test_isolated`
|
||||
- Дата: 2026-11-15, 06:45:55–06:48:10 UTC; код выхода 0 (`results: {'test': 0, 'student_test': 0}`)
|
||||
- Commit: `db3340d` (ветка `feat/lab6-final`), рабочее дерево без правок кода (изменены только `QUESTIONS.md` и файлы `evidence/`, в образ они не входят)
|
||||
- Стенд: образ из рабочего дерева, контейнеры `mtusi-lab6-test-api`, `mtusi-lab6-test-worker`, `mtusi-lab6-test-relay` на базе `test_messenger` поверх хранилищ рабочего стенда (телеметрия у них выключена, `TELEMETRY__ENABLED=false`), один процесс API, `EXPECT_REPLICAS=1`
|
||||
- Итог: smoke — `PASS: lab6`; набор — **218 passed, 6 skipped, 147 deselected, 116,06 с**. Это третий прогон этой сессии: первые два — последовательность `evidence/broker/isolated.md` (код 2 только из-за ещё не снятых файлов исключений)
|
||||
- 6 skipped — тесты реплик против одного процесса, причина напечатана; 147 deselected — проверки отказов (`evidence/tests/failure-checks.md`)
|
||||
- Вывод сокращён: убраны лог сборки и строки `PASSED`
|
||||
|
||||
```text
|
||||
python3 tests/smoke.py --base-url "http://127.0.0.1:18088"
|
||||
PASS: lab6 public API scenario; infrastructure and grading evidence remain separate.
|
||||
|
||||
student-tests/test_coverage.py::test_exclusion_evidence_exists PASSED [ 50%]
|
||||
two series of 18 requests: {'47af42477da4': 36}
|
||||
ready in 0.44 s
|
||||
coverage: 389 scenarios in 17 specs, 358 tested (173 by make failure_checks), 31 excluded
|
||||
race: 10 clients x 10 messages, statuses {201: 100}, max in flight 10; history: 100 messages, 100 unique ids, 4 pages by 30
|
||||
username race: 10 clients, statuses {409: 9, 201: 1}, max in flight 10
|
||||
key race: 10 clients, statuses {201: 10}, max in flight 10; history: 1 messages
|
||||
SKIPPED [1] student-tests/test_attachment_processing.py:511: one API process (EXPECT_REPLICAS=1): replica checks need the stand with the load balancer
|
||||
SKIPPED [1] student-tests/test_attachments.py:748: one API process (EXPECT_REPLICAS=1): replica checks need the stand with the load balancer
|
||||
SKIPPED [1] student-tests/test_idempotency.py:372: one API process (EXPECT_REPLICAS=1): replica checks need the stand with the load balancer
|
||||
SKIPPED [1] student-tests/test_load_balancing.py:18: one API process (EXPECT_REPLICAS=1): replica checks need the stand with the load balancer
|
||||
SKIPPED [1] student-tests/test_load_balancing.py:34: one API process (EXPECT_REPLICAS=1): replica checks need the stand with the load balancer
|
||||
SKIPPED [1] student-tests/test_race.py:169: one API process (EXPECT_REPLICAS=1): replica checks need the stand with the load balancer
|
||||
========== 218 passed, 6 skipped, 147 deselected in 116.06s (0:01:56) ==========
|
||||
[test_isolated] cleanup
|
||||
[test_isolated] remove objects /buckets/messenger/test_messenger/ and queue test_messenger.attachment.process.v1
|
||||
[test_isolated] results: {'test': 0, 'student_test': 0}
|
||||
```
|
||||
Reference in New Issue
Block a user