docs: finish lab 6 report and reproducible evidence

This commit is contained in:
Dmitrii Grishko
2026-11-13 19:02:30 +03:00
parent d753e348eb
commit 1b9c6eefae
36 changed files with 991 additions and 86 deletions
+5
View File
@@ -114,3 +114,8 @@ test-pipeline: app-init
frontend-build:
$(COMPOSE) exec -T frontend npm run build
.PHONY: evidence
evidence:
$(PYTHON) scripts/generate_evidence.py --base-url "$(BASE_URL)"
+59 -18
View File
@@ -1,37 +1,78 @@
# Отчёт — лабораторная 6
- Автор, группа: TODO
- Целевая оценка; выбранный трек 5, если нужен: TODO
- Commit/PR: TODO после публикации
- Использованные источники, библиотеки и помощь ИИ: TODO
- Автор — Гришко Дмитрий Михайлович, БВТ2303.
- Целевая оценка — 4.
- Ветка — `solution/Grishko-BVT2303`. Перенос — `d993866`, базовая наблюдаемость — `549edc8`, сквозная трассировка и алерты — `d753e34`.
- Источники — [задание](README.md), [контракт наблюдаемости](contracts/observability.md), [OpenAPI](contracts/openapi.json), [OpenTelemetry Go](https://opentelemetry.io/docs/languages/go/instrumentation/), [OTLP в Loki](https://grafana.com/docs/loki/latest/send-data/otel/). Зависимости закреплены в [go.mod](src/go.mod). Помощь ИИ — OpenAI Codex, реализация, проверки и оформление.
## Запуск из чистого clone
## Запуск из чистого клона
TODO: версии runtime/образов, prerequisites, команды создания локальных secrets/.env, build, миграций, запуска, ожидания готовности, тестов и остановки. Указать необходимые действия оператора. Не вставлять секреты. Отдельно указать безопасную остановку и команду намеренного удаления учебных данных.
Нужны Linux, Git, Make, Python 3.9+, Docker Engine с Compose и доступ к реестрам образов и зависимостей при первой сборке. Из каталога репозитория на ветке решения:
```sh
make app-init
docker compose config --quiet
make app-up
curl --fail http://127.0.0.1:8080/health/ready
make check
make test BASE_URL=http://127.0.0.1:8080
make evidence BASE_URL=http://127.0.0.1:8080
```
`app-init` создаёт локальные `.env` и `secrets/`. Compose применяет миграции и создаёт приватный S3 bucket до запуска API и worker. По умолчанию API доступен на 8080, Grafana на 3000, UI на 5173, S3 на 9000 и статистика HAProxy на 8404. Dashboard открывается в гостевом режиме. Для Explore при первом входе используются стандартные локальные данные Grafana с последующей сменой пароля.
`make app-down` останавливает стенд с сохранением томов. Для намеренного удаления учебных данных используется `docker compose down --volumes`.
Приложение собирается Go 1.22.2 в Debian 12.15. Frontend использует Node 22. В Compose закреплены PostgreSQL 16.10, Redis 7.4.11, RabbitMQ 4.2.0, HAProxy 3.2.25, Collector Contrib 0.120.0, Prometheus 3.2.1, Loki 3.4.2, Tempo 2.7.1 и Grafana 11.5.2. MinIO собирается из закреплённого коммита [Dockerfile](infra/minio.Dockerfile). OpenTelemetry Go использует 1.34.0 для трасс и метрик и 0.10.0 для логов.
## Архитектура и решения
TODO: схема процессов/хранилищ, источник истины, транзакционные границы, ограничения. Что перенесено из lab5, что изменено в этой работе. Соответствие переменных из .env.example реальной конфигурации.
```text
Клиент → HAProxy → API ×2 → PostgreSQL / Redis / S3 staging
PostgreSQL outbox → dispatcher → RabbitMQ → worker → S3 / PostgreSQL
API / dispatcher / worker → OTLP HTTP → Collector
├→ Prometheus (scrape)
├→ Loki (OTLP)
└→ Tempo (OTLP)
Grafana → Prometheus / Loki / Tempo
```
Из №5 перенесены сессии Redis, балансировка, идемпотентность сообщений, приватный S3 и фоновая обработка. API отвечает 202 после записи оригинала в устойчивый staging и фиксации метаданных и задания в PostgreSQL. Dispatcher подтверждает публикацию через RabbitMQ. Worker завершает обработку и фиксирует результат или намерение повторной попытки перед ACK. PostgreSQL хранит бизнес-данные и состояние задания. Готовность API зависит от PostgreSQL, Redis и S3.
Миграция 10 добавляет W3C `traceparent` и `tracestate` в outbox. Dispatcher восстанавливает контекст, создаёт producer span и переносит его в заголовки AMQP. Worker создаёт дочерний consumer span с номером попытки. Повторная публикация восстанавливает тот же контекст upload. В Tempo доступны спаны S3 и PostgreSQL, а Loki хранит trace ID, span ID, исход операции и технические поля корреляции. SQL, параметры запросов, заголовки авторизации, тексты и содержимое файлов не включаются в события. В метриках маршруты представлены шаблонами.
Prometheus хранит временные ряды, Loki — журналы, Tempo — трассы. У хранилищ отдельные тома. Grafana загружает источники и dashboard из [provisioning](infra/otel/grafana/provisioning). Collector использует batch, memory limiter 128 МиБ, лимит контейнера 192 МиБ и очереди экспорта Loki/Tempo по 64 пакета с retry до 30 секунд. Экспорт выполняется асинхронно.
Compose использует `APP_*`, `API_REPLICAS`, `SESSION_TTL_SECONDS`, `IDEMPOTENCY_TTL_SECONDS`, параметры S3, файлы подключения и `JOB_MAX_ATTEMPTS` / `JOB_TIMEOUT_SECONDS`. Сессии используют Redis. Конкурентность задаётся количеством процессов worker, по одному слоту на экземпляр. Пределы API — 10 МиБ и 40 млн пикселей, worker — 8 млн по умолчанию через `WORKER_MAX_PIXELS`. Failed staging хранится 24 часа. Код задаёт ресурсные атрибуты и имя сервиса по роли процесса, использует OTLP HTTP/protobuf. Endpoint задаётся через `OTEL_EXPORTER_OTLP_ENDPOINT`.
## Доказательства критериев
| Критерий README | Команда/сценарий | Наблюдаемый результат | Файл доказательства |
| Критерий | Команда или сценарий | Наблюдение | Доказательство |
| --- | --- | --- | --- |
| Публичный smoke | make test | TODO | TODO |
| Остальные пункты уровня 3 | TODO | TODO | TODO |
| Все пункты уровня 4, если заявлен | TODO | TODO | TODO |
| Выбранный трек 5, если заявлен | TODO | TODO | TODO |
| 3. Минимум №5 | `make test` | Сессии, ACL, сообщения, идемпотентность, 202 → ready, оригинал и thumbnail | [Smoke](evidence/criteria/grade3-smoke.md) |
| 3. Единый стенд, хранилища, provisioning | Compose, Collector validate, Grafana API | Тома и три источника данных, импортированный dashboard | [Стенд](evidence/criteria/grade3-stand.md) |
| 3. OTLP и корреляция сигналов | `check_observability.py signals` | Метрики API и worker, совпадение trace/span ID в Loki и Tempo, проверка контрольных чувствительных значений | [Сигналы](evidence/criteria/grade3-signals.md) |
| 4. Контекст через брокер и retry | `pipeline`, затем временная остановка S3 | Родительская цепочка до worker и операции S3/DB, обе попытки в одной трассе | [Трассировка](evidence/criteria/grade4-pipeline.md) |
| 4. Диагностические метрики и SLO | `check_observability.py dashboard`, `promtool check rules` | PromQL для панелей, SLI за 30 минут, два валидных правила | [Dashboard и SLO](evidence/criteria/grade4-dashboard.md) |
| 4. Алерт возраста очереди | Остановка worker | `MessengerQueueLag` firing → resolved, принятое вложение стало ready | [Очередь](evidence/criteria/grade4-queue.md) |
| 4. Алерт доли 5xx | Временная блокировка таблицы чатов | `MessengerHighErrorRate` firing → resolved, задержка видна в дочернем спане PostgreSQL | [PostgreSQL](evidence/criteria/grade4-database.md) |
| 4. Недоступность хранилища сигналов | Остановка Tempo | API принимает сообщения, worker обрабатывает вложение, Collector ограничивает буфер и регистрирует потерю спанов | [Tempo](evidence/criteria/grade4-telemetry.md) |
TODO: добавить отдельную строку для каждого заявленного критерия. PASS без команды и наблюдения не является доказательством. Проверка инфраструктурного hook требует подтверждения, какие реальные процессы/хранилища перезапущены.
SLI — доля бизнес-запросов без 5xx, SLO ≥99% за 30 минут при наличии трафика. Health исключён. Перед итоговыми инцидентами SLI составил 99,93%. p50/p95/p99 вычисляются из агрегированных histogram buckets в секундах. Глубина очереди включает все незавершённые задания, в том числе ожидающие retry. Подробные запросы находятся в [dashboard JSON](infra/otel/grafana/dashboards/messenger.json), порядок диагностики — в [runbook](infra/otel/runbook.md).
## Эксперименты и отказы
TODO: гипотеза, hardware/лимиты, версии, объём данных, профиль нагрузки, concurrency/arrival rate, длительность/прогрев, повторы, успешные RPS, ошибки, p50/p95/p99, CPU/RAM. Сохранить raw summary без tokens и объяснить ограничения измерения.
Сценарии запускаются последовательно на локальном стенде. Проверяется, можно ли по сохранённым сигналам различить остановку обработчика и задержку в БД, а также сохраняется ли бизнес-путь при недоступности хранилища трасс.
| Воздействие | Что ожидаем | Что наблюдали | Время восстановления / потеря данных |
| --- | --- | --- | --- |
| TODO | TODO | TODO | TODO |
| Воздействие | Наблюдение | Восстановление |
| --- | --- | --- |
| Остановка worker | Возраст заданий растёт, alert firing после превышения 20 секунд в течение 15 секунд | Запуск worker, то же вложение ready, alert resolved |
| Блокировка таблицы чатов | 5xx и долгий дочерний спан PostgreSQL. Правило проверяет порог 5% за минуту с выдержкой 15 секунд | Снятие блокировки, успешное чтение чата, alert resolved после выхода ошибок из окна |
| Остановка S3 | Первая попытка обработки откладывается. Следующая видна в той же трассе | Запуск S3, исходное вложение ready |
| Остановка Tempo | Сообщения приняты, вложение достигло ready. Collector отбросил 54 спана. Память по снимку — 56,43 МиБ из 192 МиБ | Tempo запущен после проверки |
Один короткий профиль нагрузки выполнен на AMD Ryzen 9 PRO 7940HS с 16 логическими CPU и 14 ГиБ RAM. Две API-реплики ограничены 0,5 CPU и 512 МиБ каждая. Worker ограничен 1 CPU и 512 МиБ. Профиль — 30 секунд, четыре параллельных клиента, closed-loop POST сообщений, один прогон без отдельного прогрева. В итоговом прогоне подтверждено 37 708 запросов, ошибок 0, пропускная способность 1256,75 RPS. Задержки p50/p95/p99 составили 2,828 / 4,327 / 7,211 мс. Полный вывод и снимок ресурсов после прогона сохранены в [результатах нагрузки](evidence/criteria/grade4-load.md).
## Ограничения и следующие шаги
TODO: какие отказы выдерживаются и какие нет; что не реализовано; где учебное упрощение; какое улучшение подтверждено, а какое пока гипотеза.
Стенд локальный, PostgreSQL, S3, RabbitMQ и балансировщик развёрнуты в одном экземпляре. Отказы этих компонентов могут прерывать соответствующие бизнес-операции. Снимок памяти Collector относится к короткому отказу. При переполнении очереди или исчерпании повторов возможна потеря телеметрии. Результат closed-loop прогона зависит от клиента и не оценивает предел пропускной способности. Заявленная оценка — 4.
+13
View File
@@ -0,0 +1,13 @@
# Доказательства критериев
[Сводка прогона 20261113T155722.910201Z](runs/20261113T155722.910201Z/summary.json)
- [grade3-stand](grade3-stand.md) — PASS
- [grade3-smoke](grade3-smoke.md) — PASS
- [grade3-signals](grade3-signals.md) — PASS
- [grade4-pipeline](grade4-pipeline.md) — PASS
- [grade4-dashboard](grade4-dashboard.md) — PASS
- [grade4-queue](grade4-queue.md) — PASS
- [grade4-database](grade4-database.md) — PASS
- [grade4-telemetry](grade4-telemetry.md) — PASS
- [grade4-load](grade4-load.md) — PASS
+22
View File
@@ -0,0 +1,22 @@
# Метрики, структурные логи и трассы API и worker
Предпосылки — локальный синтетический стенд после make app-up и доступ к Docker.
Контрольный POST сопоставляется с логом по X-Request-Id. Оба сервиса сопоставляются с Tempo по trace_id и span_id. Prometheus возвращает счётчики и histogram buckets. Проверка ищет утечки синтетических значений в полученных сигналах.
Команда `/usr/bin/python3 scripts/check_observability.py --base-url http://127.0.0.1:8080 --grafana-url http://127.0.0.1:3000 signals`. Код выхода **0**. Время 7.2 с.
[Вывод](runs/20261113T155722.910201Z/grade3-signals-1.txt)
````text
Worker: изображение 3000×3000 завершилось в состоянии failed.
messenger-api: http.request.completed, trace=91735be6f8944614b886c2a34bfc95a8, span=7aca4e9abb3620f6
messenger-worker: job.processing.completed, trace=8f05225357fb027e222f890074249eed, span=49632776d49e21fe
messenger-worker: job.processing.completed, trace=c958e0f21140e39dddb4192b5982442e, span=f459a5c48084c984
Prometheus: messenger_http_requests_total, рядов=40
Prometheus: messenger_http_duration_seconds_bucket, рядов=560
Prometheus: messenger_worker_jobs_total{job_outcome="success"}, рядов=1
Prometheus: messenger_worker_jobs_total{job_outcome="error"}, рядов=1
Prometheus: messenger_worker_duration_seconds_bucket, рядов=42
Проверенные сигналы не содержат контрольных credentials, текста, имени/байтов файла и бизнес-ID.
````
+27
View File
@@ -0,0 +1,27 @@
# Совместимость API при включённой телеметрии
Предпосылки — локальный синтетический стенд после make app-up и доступ к Docker.
Smoke проверяет сессии, сообщения, ACL, идемпотентность и готовность вложения с оригиналом и thumbnail.
Команда `make check`. Код выхода **0**. Время 0.05 с.
[Вывод](runs/20261113T155722.910201Z/grade3-smoke-1.txt)
````text
make[1]: Entering directory '/home/TAskMAster339/Projects/highload-systems/mtusi2026lab6-fork'
python3 scripts/check_contract.py
PASS: offline skeleton structure, local refs and Python syntax; application NOT tested.
make[1]: Leaving directory '/home/TAskMAster339/Projects/highload-systems/mtusi2026lab6-fork'
````
Команда `make test BASE_URL=http://127.0.0.1:8080`. Код выхода **0**. Время 3.51 с.
[Вывод](runs/20261113T155722.910201Z/grade3-smoke-2.txt)
````text
make[1]: Entering directory '/home/TAskMAster339/Projects/highload-systems/mtusi2026lab6-fork'
python3 tests/smoke.py --base-url "http://127.0.0.1:8080"
PASS: lab6 public API scenario; infrastructure and grading evidence remain separate.
make[1]: Leaving directory '/home/TAskMAster339/Projects/highload-systems/mtusi2026lab6-fork'
````
+74
View File
@@ -0,0 +1,74 @@
# Стенд, тома и provisioning
Предпосылки — локальный синтетический стенд после make app-up и доступ к Docker.
Prometheus хранит временные ряды, Loki — журналы, Tempo — трассы. Collector принимает и маршрутизирует OTLP. Grafana читает данные и загружает dashboard из JSON.
Команда `docker compose config --quiet`. Код выхода **0**. Время 0.08 с.
[Вывод](runs/20261113T155722.910201Z/grade3-stand-1.txt)
````text
(пусто)
````
Команда `docker compose ps --all`. Код выхода **0**. Время 0.11 с.
[Вывод](runs/20261113T155722.910201Z/grade3-stand-2.txt)
````text
NAME IMAGE COMMAND SERVICE CREATED STATUS PORTS
highload-lab6-api-1 highload-lab6-api "./messenger" api 31 minutes ago Up 31 minutes (healthy) 8080/tcp
highload-lab6-api-2 highload-lab6-api "./messenger" api 31 minutes ago Up 31 minutes (healthy) 8080/tcp
highload-lab6-broker-1 rabbitmq:4.2.0-management "docker-entrypoint.s…" broker About an hour ago Up About an hour (healthy) 4369/tcp, 5671-5672/tcp, 15671-15672/tcp, 15691-15692/tcp, 25672/tcp
highload-lab6-db-1 postgres:16.10-bookworm "docker-entrypoint.s…" db About an hour ago Up About an hour (healthy) 5432/tcp
highload-lab6-dispatcher-1 highload-lab6-dispatcher "./messenger dispatc…" dispatcher 31 minutes ago Up 31 minutes 8080/tcp
highload-lab6-frontend-1 sha256:6f2bacde48d02aca251e04c4707e11d6707c797af56bf6623a671b2e0c20da30 "docker-entrypoint.s…" frontend About an hour ago Up About an hour (healthy) 127.0.0.1:5173->5173/tcp
highload-lab6-grafana-1 grafana/grafana:11.5.2 "/run.sh" grafana About an hour ago Up About an hour 127.0.0.1:3000->3000/tcp
highload-lab6-haproxy-1 haproxy:3.2.25-alpine "docker-entrypoint.s…" haproxy About an hour ago Up About an hour (healthy) 127.0.0.1:8080->8080/tcp, 127.0.0.1:8404->8404/tcp
highload-lab6-loki-1 grafana/loki:3.4.2 "/usr/bin/loki -conf…" loki About an hour ago Up About an hour 3100/tcp
highload-lab6-migrate-1 highload-lab6-migrate "./messenger migrate…" migrate 31 minutes ago Exited (0) 3 minutes ago
highload-lab6-otel-collector-1 otel/opentelemetry-collector-contrib:0.120.0 "/otelcol-contrib --…" otel-collector About an hour ago Up About an hour 4317-4318/tcp, 55678-55679/tcp
highload-lab6-prometheus-1 prom/prometheus:v3.2.1 "/bin/prometheus --c…" prometheus 31 minutes ago Up 31 minutes 9090/tcp
highload-lab6-redis-1 redis:7.4.11-bookworm "docker-entrypoint.s…" redis About an hour ago Up About an hour (healthy) 6379/tcp
highload-lab6-s3-1 sha256:b891ef2bb2e30a5a240ee0d267c8938ab43f2ce5e5c89347e580e7c1b1cf4e5e "minio server /data …" s3 About an hour ago Up 3 minutes (healthy) 127.0.0.1:9000->9000/tcp
highload-lab6-s3-bootstrap-1 highload-lab6-s3-bootstrap "./messenger s3-boot…" s3-bootstrap 31 minutes ago Exited (0) 3 minutes ago
highload-lab6-tempo-1 grafana/tempo:2.7.1 "/tempo -config.file…" tempo About an hour ago Up 34 seconds
highload-lab6-upload-cleanup-1 highload-lab6-upload-cleanup "./messenger attachm…" upload-cleanup 31 minutes ago Up 31 minutes 8080/tcp
highload-lab6-worker-1 highload-lab6-worker "./messenger worker" worker 31 minutes ago Up 3 minutes 8080/tcp
````
Команда `docker compose config --volumes`. Код выхода **0**. Время 0.08 с.
[Вывод](runs/20261113T155722.910201Z/grade3-stand-3.txt)
````text
s3_data
loki_data
postgres_data
prometheus_data
redis_data
tempo_data
grafana_data
rabbitmq_data
````
Команда `docker compose run --rm --no-deps otel-collector validate --config=/etc/otelcol-contrib/config.yaml`. Код выхода **0**. Время 1.28 с.
[Вывод](runs/20261113T155722.910201Z/grade3-stand-4.txt)
````text
Container highload-lab6-otel-collector-run-0fb806dd4ede Creating
Container highload-lab6-otel-collector-run-0fb806dd4ede Created
````
Команда `/usr/bin/python3 scripts/check_observability.py --base-url http://127.0.0.1:8080 --grafana-url http://127.0.0.1:3000 provisioning`. Код выхода **0**. Время 0.13 с.
[Вывод](runs/20261113T155722.910201Z/grade3-stand-5.txt)
````text
Источник Grafana: prometheus
Источник Grafana: loki
Источник Grafana: tempo
Загружен dashboard messenger-lab6, панелей: 17
````
+38
View File
@@ -0,0 +1,38 @@
# Метрики диагностики и SLO
Предпосылки — локальный синтетический стенд после make app-up и доступ к Docker.
Проверяются запросы панелей, SLI за 30 минут и синтаксис двух правил.
Команда `/usr/bin/python3 scripts/check_observability.py --base-url http://127.0.0.1:8080 --grafana-url http://127.0.0.1:3000 dashboard`. Код выхода **0**. Время 0.16 с.
[Вывод](runs/20261113T155722.910201Z/grade4-dashboard-1.txt)
````text
API · запросы в секунду — sum(rate(messenger_http_requests_total[1m])) — рядов: 1
API · 5xx в секунду — sum(rate(messenger_http_requests_total{http_status_class="5xx"}[1m])) or 0 * sum(rate(messenger_http_requests_total[1m])) — рядов: 1
API · p95 длительности — histogram_quantile(0.95, sum by (le) (rate(messenger_http_duration_seconds_bucket[1m]))) — рядов: 1
Worker · задания в минуту — 60 * sum by (job_outcome) (rate(messenger_worker_jobs_total[1m])) — рядов: 3
Worker · p95 длительности — histogram_quantile(0.95, sum by (le,job_outcome) (rate(messenger_worker_duration_seconds_bucket[1m]))) — рядов: 3
API · p50 длительности — histogram_quantile(0.5, sum by (le) (rate(messenger_http_duration_seconds_bucket[1m]))) — рядов: 1
API · p99 длительности — histogram_quantile(0.99, sum by (le) (rate(messenger_http_duration_seconds_bucket[1m]))) — рядов: 1
API · доля 5xx — (sum(rate(messenger_http_requests_total{http_status_class="5xx"}[1m])) or 0 * sum(rate(messenger_http_requests_total[1m]))) / sum(rate(messenger_http_requests_total[1m])) — рядов: 1
Очередь attachments.v1 · незавершённые задания — max(messenger_queue_depth) — рядов: 1
Очередь attachments.v1 · возраст старейшего задания — max(messenger_queue_oldest_seconds) — рядов: 1
PostgreSQL · занятые соединения — sum by (service_name) (messenger_db_pool_used) — рядов: 3
PostgreSQL · запросы к пулу, ожидавшие соединение, в секунду — sum by (service_name) (rate(messenger_db_pool_waited_total[1m])) — рядов: 3
Worker · загрузка — sum(messenger_worker_busy) / sum(messenger_worker_capacity) — рядов: 1
Вложения · p95 до ready — histogram_quantile(0.95, sum by (le) (rate(messenger_attachment_ready_seconds_bucket[1m]))) — рядов: 1
Процессы · загрузка CPU — sum by (service_name) (rate(messenger_process_cpu_seconds_total[1m])) — рядов: 3
Процессы · резидентная память — sum by (service_name) (messenger_process_rss_bytes) — рядов: 3
SLI за 30 минут: 0.9992789095149922 цель: >= 0.99
````
Команда `docker compose exec -T prometheus promtool check rules /etc/prometheus/alerts.yaml`. Код выхода **0**. Время 0.23 с.
[Вывод](runs/20261113T155722.910201Z/grade4-dashboard-2.txt)
````text
Checking /etc/prometheus/alerts.yaml
SUCCESS: 2 rules found
````
+25
View File
@@ -0,0 +1,25 @@
# Задержка PostgreSQL и восстановление
Предпосылки — локальный синтетический стенд после make app-up и доступ к Docker.
При блокировке таблицы растёт доля 5xx и алерт срабатывает. Задержку показывает дочерний спан PostgreSQL. После снятия блокировки алерт переходит в resolved.
Команда `/usr/bin/python3 scripts/check_observability_incidents.py --base-url http://127.0.0.1:8080 --grafana-url http://127.0.0.1:3000 database`. Код выхода **0**. Время 104.65 с.
[Вывод](runs/20261113T155722.910201Z/grade4-database-1.txt)
````text
MessengerHighErrorRate firing
pg_terminate_backend
----------------------
t
(1 row)
FATAL: terminating connection due to administrator command
server closed the connection unexpectedly
This probably means the server terminated abnormally
before or while processing the request.
connection to server was lost
Медленный запрос PostgreSQL подтверждён в trace: 624d2df384e6bb8e27ad11ca29a41d0b
MessengerHighErrorRate resolved
````
+125
View File
@@ -0,0 +1,125 @@
# Короткая нагрузка на API
Предпосылки — локальный синтетический стенд после make app-up и доступ к Docker.
Один closed-loop прогон POST сообщений с четырьмя клиентами, отдельно от инцидентов. Снимок ресурсов сделан сразу после прогона.
Команда `lscpu`. Код выхода **0**. Время 0.01 с.
[Вывод](runs/20261113T155722.910201Z/grade4-load-1.txt)
````text
Architecture: x86_64
CPU op-mode(s): 32-bit, 64-bit
Address sizes: 48 bits physical, 48 bits virtual
Byte Order: Little Endian
CPU(s): 16
On-line CPU(s) list: 0-15
Vendor ID: AuthenticAMD
Model name: AMD Ryzen 9 PRO 7940HS w/ Radeon 780M Graphics
CPU family: 25
Model: 116
Thread(s) per core: 2
Core(s) per socket: 8
Socket(s): 1
Stepping: 1
Microcode version: 0xa70410a
Frequency boost: enabled
CPU(s) scaling MHz: 90%
CPU max MHz: 5263,0610
CPU min MHz: 402,7860
BogoMIPS: 7985,14
Flags: fpu vme de pse tsc msr pae mce cx8 apic sep mtrr pge mca cmov pat pse36 clflush mmx fxsr sse sse2 ht syscall nx mmxext fxsr_opt pdpe1gb rdtscp lm constant_tsc rep_good amd_lbr_v2 nopl xtopology nonstop_tsc cpuid extd_apicid aperfmperf rapl pni pclmulqdq monitor ssse3 fma cx16 sse4_1 sse4_2 x2apic movbe popcnt aes xsave avx f16c rdrand lahf_lm cmp_legacy svm extapic cr8_legacy abm sse4a misalignsse 3dnowprefetch osvw ibs skinit wdt tce topoext perfctr_core perfctr_nb bpext perfctr_llc mwaitx cpuid_fault cpb cat_l3 cdp_l3 hw_pstate ssbd mba perfmon_v2 ibrs ibpb stibp ibrs_enhanced vmmcall fsgsbase bmi1 avx2 smep bmi2 erms invpcid cqm rdt_a avx512f avx512dq rdseed adx smap avx512ifma clflushopt clwb avx512cd sha_ni avx512bw avx512vl xsaveopt xsavec xgetbv1 xsaves cqm_llc cqm_occup_llc cqm_mbm_total cqm_mbm_local user_shstk avx512_bf16 clzero irperf xsaveerptr rdpru wbnoinvd cppc arat npt lbrv svm_lock nrip_save tsc_scale vmcb_clean flushbyasid decodeassists pausefilter pfthreshold vgif x2avic v_spec_ctrl vnmi avx512vbmi umip pku ospke avx512_vbmi2 gfni vaes vpclmulqdq avx512_vnni avx512_bitalg avx512_vpopcntdq rdpid overflow_recov succor smca fsrm flush_l1d amd_lbr_pmc_freeze
Virtualization: AMD-V
L1d cache: 256 KiB (8 instances)
L1i cache: 256 KiB (8 instances)
L2 cache: 8 MiB (8 instances)
L3 cache: 16 MiB (1 instance)
NUMA node(s): 1
NUMA node0 CPU(s): 0-15
Vulnerability Gather data sampling: Not affected
Vulnerability Ghostwrite: Not affected
Vulnerability Indirect target selection: Not affected
Vulnerability Itlb multihit: Not affected
Vulnerability L1tf: Not affected
Vulnerability Mds: Not affected
Vulnerability Meltdown: Not affected
Vulnerability Mmio stale data: Not affected
Vulnerability Old microcode: Not affected
Vulnerability Reg file data sampling: Not affected
Vulnerability Retbleed: Not affected
Vulnerability Spec rstack overflow: Mitigation; Safe RET
Vulnerability Spec store bypass: Mitigation; Speculative Store Bypass disabled via prctl
Vulnerability Spectre v1: Mitigation; usercopy/swapgs barriers and __user pointer sanitization
Vulnerability Spectre v2: Mitigation; Enhanced / Automatic IBRS; IBPB conditional; STIBP always-on; PBRSB-eIBRS Not affected; BHI Not affected
Vulnerability Srbds: Not affected
Vulnerability Tsa: Mitigation; Clear CPU buffers
Vulnerability Tsx async abort: Not affected
Vulnerability Vmscape: Mitigation; IBPB before exit to userspace
````
Команда `free -h`. Код выхода **0**. Время 0.0 с.
[Вывод](runs/20261113T155722.910201Z/grade4-load-2.txt)
````text
total used free shared buff/cache available
Mem: 14Gi 11Gi 1,3Gi 139Mi 2,3Gi 3,1Gi
Swap: 8,0Gi 8,0Gi 548Ki
````
Команда `docker compose version`. Код выхода **0**. Время 0.04 с.
[Вывод](runs/20261113T155722.910201Z/grade4-load-3.txt)
````text
Docker Compose version v5.7.0
````
Команда `/usr/bin/python3 tests/load.py --base-url http://127.0.0.1:8080 --duration 30 --concurrency 4`. Код выхода **0**. Время 31.48 с.
[Вывод](runs/20261113T155722.910201Z/grade4-load-4.txt)
````text
{
"lab": 6,
"workload": "closed-loop POST messages; no automatic retries",
"requested_duration_seconds": 30.0,
"elapsed_seconds": 30.004,
"concurrency": 4,
"successful_requests": 37708,
"failed_requests": 0,
"error_ratio": 0.0,
"successful_rps": 1256.75,
"successful_latency_ms": {
"p50": 2.828,
"p95": 4.327,
"p99": 7.211
},
"note": "Latency percentiles cover successes only. Timeouts/errors are counted separately; closed-loop has coordinated omission and client overhead."
}
````
Команда `docker compose stats --no-stream`. Код выхода **0**. Время 2.17 с.
[Вывод](runs/20261113T155722.910201Z/grade4-load-5.txt)
````text
CONTAINER ID NAME CPU % MEM USAGE / LIMIT MEM % NET I/O BLOCK I/O PIDS
2ee09eab650d highload-lab6-worker-1 0.01% 10.86MiB / 512MiB 2.12% 274kB / 393kB 4.58MB / 0B 7
7fdc55311297 highload-lab6-dispatcher-1 0.03% 10.59MiB / 128MiB 8.27% 1.05MB / 1.41MB 1.33MB / 422kB 7
188cf5f1391d highload-lab6-api-2 2.56% 22.67MiB / 512MiB 4.43% 85.5MB / 161MB 8.96MB / 406kB 7
93535c5e7b67 highload-lab6-api-1 0.06% 21.67MiB / 512MiB 4.23% 86.4MB / 163MB 8.18MB / 389kB 7
ae279d3a717c highload-lab6-upload-cleanup-1 0.00% 4.543MiB / 128MiB 3.55% 35.6kB / 31.2kB 32.8kB / 532kB 12
db0e2da28fb1 highload-lab6-prometheus-1 0.23% 35.93MiB / 14.89GiB 0.24% 3.86MB / 1.91MB 426MB / 6.98MB 22
66b201cac5eb highload-lab6-grafana-1 0.68% 89.27MiB / 14.89GiB 0.59% 59.5MB / 116MB 1.32GB / 242MB 25
0d0412e6fe25 highload-lab6-tempo-1 0.02% 307.1MiB / 14.89GiB 2.01% 9.75MB / 202kB 58.6MB / 55.3MB 21
a8fc40b42323 highload-lab6-loki-1 0.92% 161.8MiB / 14.89GiB 1.06% 5.45MB / 32.4MB 534MB / 24.9MB 21
a2048ea9933c highload-lab6-otel-collector-1 0.19% 60.13MiB / 192MiB 31.32% 123MB / 28.3MB 489MB / 20.9MB 21
efeed09a36ec highload-lab6-frontend-1 0.27% 24.01MiB / 512MiB 4.69% 52.3kB / 7.76MB 562MB / 161MB 36
2ac44f5d15bb highload-lab6-haproxy-1 2.36% 10.5MiB / 128MiB 8.20% 104MB / 106MB 30.2MB / 14MB 17
3999d26f1e22 highload-lab6-s3-1 9.80% 354.4MiB / 512MiB 69.22% 1.07MB / 760kB 125MB / 10.2MB 21
8837cc38b561 highload-lab6-db-1 0.66% 80.51MiB / 512MiB 15.72% 160MB / 109MB 459MB / 5.37GB 18
3e7d2e507d3d highload-lab6-broker-1 23.55% 89.5MiB / 512MiB 17.48% 374kB / 333kB 267MB / 91.5MB 47
65ad13aee585 highload-lab6-redis-1 2.71% 4.18MiB / 128MiB 3.27% 13.8MB / 8.47MB 163MB / 7.52MB 6
````
+45
View File
@@ -0,0 +1,45 @@
# Сквозная трасса и повторная попытка
Предпосылки — локальный синтетический стенд после make app-up и доступ к Docker.
Tempo подтверждает родительскую связь HTTP, producer и consumer, операции S3 и PostgreSQL и две попытки одной загрузки.
Команда `/usr/bin/python3 scripts/check_observability.py --base-url http://127.0.0.1:8080 --grafana-url http://127.0.0.1:3000 pipeline`. Код выхода **0**. Время 4.92 с.
[Вывод](runs/20261113T155722.910201Z/grade4-pipeline-1.txt)
````text
Upload → producer → consumer → S3/PostgreSQL, trace: a1b887f518133aa40e303527d73f514e
````
Команда `/usr/bin/python3 scripts/check_observability_incidents.py --base-url http://127.0.0.1:8080 --grafana-url http://127.0.0.1:3000 retry`. Код выхода **0**. Время 15.62 с.
[Вывод](runs/20261113T155722.910201Z/grade4-pipeline-2.txt)
````text
Container highload-lab6-worker-1 Stopping
Container highload-lab6-worker-1 Stopped
Container highload-lab6-s3-1 Stopping
Container highload-lab6-s3-1 Stopped
Container highload-lab6-worker-1 Starting
Container highload-lab6-worker-1 Started
Container highload-lab6-s3-1 Starting
Container highload-lab6-s3-1 Started
Container highload-lab6-s3-1 Waiting
Container highload-lab6-s3-1 Healthy
Исходное вложение перешло в ready, обе попытки в trace: 762071e58a275355660808c10b605df8
Container highload-lab6-broker-1 Waiting
Container highload-lab6-db-1 Waiting
Container highload-lab6-s3-1 Waiting
Container highload-lab6-db-1 Healthy
Container highload-lab6-migrate-1 Starting
Container highload-lab6-broker-1 Healthy
Container highload-lab6-s3-1 Healthy
Container highload-lab6-s3-bootstrap-1 Starting
Container highload-lab6-migrate-1 Started
Container highload-lab6-migrate-1 Waiting
Container highload-lab6-s3-bootstrap-1 Started
Container highload-lab6-s3-bootstrap-1 Waiting
Container highload-lab6-migrate-1 Exited
Container highload-lab6-s3-bootstrap-1 Exited
````
+32
View File
@@ -0,0 +1,32 @@
# Остановка и восстановление worker
Предпосылки — локальный синтетический стенд после make app-up и доступ к Docker.
Возраст незавершённой работы вызывает firing. Вложение достигает ready после восстановления worker, алерт переходит в resolved.
Команда `/usr/bin/python3 scripts/check_observability_incidents.py --base-url http://127.0.0.1:8080 --grafana-url http://127.0.0.1:3000 worker`. Код выхода **0**. Время 55.56 с.
[Вывод](runs/20261113T155722.910201Z/grade4-queue-1.txt)
````text
Container highload-lab6-worker-1 Stopping
Container highload-lab6-worker-1 Stopped
MessengerQueueLag firing
Container highload-lab6-broker-1 Waiting
Container highload-lab6-db-1 Waiting
Container highload-lab6-s3-1 Waiting
Container highload-lab6-db-1 Healthy
Container highload-lab6-migrate-1 Starting
Container highload-lab6-s3-1 Healthy
Container highload-lab6-s3-bootstrap-1 Starting
Container highload-lab6-broker-1 Healthy
Container highload-lab6-migrate-1 Started
Container highload-lab6-migrate-1 Waiting
Container highload-lab6-s3-bootstrap-1 Started
Container highload-lab6-s3-bootstrap-1 Waiting
Container highload-lab6-migrate-1 Exited
Container highload-lab6-s3-bootstrap-1 Exited
Container highload-lab6-worker-1 Starting
Container highload-lab6-worker-1 Started
MessengerQueueLag resolved
````
+20
View File
@@ -0,0 +1,20 @@
# Недоступность Tempo
Предпосылки — локальный синтетический стенд после make app-up и доступ к Docker.
Проверяются сообщения и готовность вложения при остановленном Tempo, снимок памяти Collector и число отброшенных спанов по его журналу.
Команда `/usr/bin/python3 scripts/check_observability_incidents.py --base-url http://127.0.0.1:8080 --grafana-url http://127.0.0.1:3000 telemetry`. Код выхода **0**. Время 46.39 с.
[Вывод](runs/20261113T155722.910201Z/grade4-telemetry-1.txt)
````text
Container highload-lab6-tempo-1 Stopping
Container highload-lab6-tempo-1 Stopped
CONTAINER ID NAME CPU % MEM USAGE / LIMIT MEM % NET I/O BLOCK I/O PIDS
a2048ea9933c highload-lab6-otel-collector-1 0.42% 56.43MiB / 192MiB 29.39% 69.6MB / 15.8MB 466MB / 20.8MB 21
API и worker работали при остановленном Tempo.
Container highload-lab6-tempo-1 Starting
Container highload-lab6-tempo-1 Started
Спанов отброшено Collector за период проверки: 54
````
@@ -0,0 +1,10 @@
Worker: изображение 3000×3000 завершилось в состоянии failed.
messenger-api: http.request.completed, trace=91735be6f8944614b886c2a34bfc95a8, span=7aca4e9abb3620f6
messenger-worker: job.processing.completed, trace=8f05225357fb027e222f890074249eed, span=49632776d49e21fe
messenger-worker: job.processing.completed, trace=c958e0f21140e39dddb4192b5982442e, span=f459a5c48084c984
Prometheus: messenger_http_requests_total, рядов=40
Prometheus: messenger_http_duration_seconds_bucket, рядов=560
Prometheus: messenger_worker_jobs_total{job_outcome="success"}, рядов=1
Prometheus: messenger_worker_jobs_total{job_outcome="error"}, рядов=1
Prometheus: messenger_worker_duration_seconds_bucket, рядов=42
Проверенные сигналы не содержат контрольных credentials, текста, имени/байтов файла и бизнес-ID.
@@ -0,0 +1,4 @@
make[1]: Entering directory '/home/TAskMAster339/Projects/highload-systems/mtusi2026lab6-fork'
python3 scripts/check_contract.py
PASS: offline skeleton structure, local refs and Python syntax; application NOT tested.
make[1]: Leaving directory '/home/TAskMAster339/Projects/highload-systems/mtusi2026lab6-fork'
@@ -0,0 +1,4 @@
make[1]: Entering directory '/home/TAskMAster339/Projects/highload-systems/mtusi2026lab6-fork'
python3 tests/smoke.py --base-url "http://127.0.0.1:8080"
PASS: lab6 public API scenario; infrastructure and grading evidence remain separate.
make[1]: Leaving directory '/home/TAskMAster339/Projects/highload-systems/mtusi2026lab6-fork'
@@ -0,0 +1,19 @@
NAME IMAGE COMMAND SERVICE CREATED STATUS PORTS
highload-lab6-api-1 highload-lab6-api "./messenger" api 31 minutes ago Up 31 minutes (healthy) 8080/tcp
highload-lab6-api-2 highload-lab6-api "./messenger" api 31 minutes ago Up 31 minutes (healthy) 8080/tcp
highload-lab6-broker-1 rabbitmq:4.2.0-management "docker-entrypoint.s…" broker About an hour ago Up About an hour (healthy) 4369/tcp, 5671-5672/tcp, 15671-15672/tcp, 15691-15692/tcp, 25672/tcp
highload-lab6-db-1 postgres:16.10-bookworm "docker-entrypoint.s…" db About an hour ago Up About an hour (healthy) 5432/tcp
highload-lab6-dispatcher-1 highload-lab6-dispatcher "./messenger dispatc…" dispatcher 31 minutes ago Up 31 minutes 8080/tcp
highload-lab6-frontend-1 sha256:6f2bacde48d02aca251e04c4707e11d6707c797af56bf6623a671b2e0c20da30 "docker-entrypoint.s…" frontend About an hour ago Up About an hour (healthy) 127.0.0.1:5173->5173/tcp
highload-lab6-grafana-1 grafana/grafana:11.5.2 "/run.sh" grafana About an hour ago Up About an hour 127.0.0.1:3000->3000/tcp
highload-lab6-haproxy-1 haproxy:3.2.25-alpine "docker-entrypoint.s…" haproxy About an hour ago Up About an hour (healthy) 127.0.0.1:8080->8080/tcp, 127.0.0.1:8404->8404/tcp
highload-lab6-loki-1 grafana/loki:3.4.2 "/usr/bin/loki -conf…" loki About an hour ago Up About an hour 3100/tcp
highload-lab6-migrate-1 highload-lab6-migrate "./messenger migrate…" migrate 31 minutes ago Exited (0) 3 minutes ago
highload-lab6-otel-collector-1 otel/opentelemetry-collector-contrib:0.120.0 "/otelcol-contrib --…" otel-collector About an hour ago Up About an hour 4317-4318/tcp, 55678-55679/tcp
highload-lab6-prometheus-1 prom/prometheus:v3.2.1 "/bin/prometheus --c…" prometheus 31 minutes ago Up 31 minutes 9090/tcp
highload-lab6-redis-1 redis:7.4.11-bookworm "docker-entrypoint.s…" redis About an hour ago Up About an hour (healthy) 6379/tcp
highload-lab6-s3-1 sha256:b891ef2bb2e30a5a240ee0d267c8938ab43f2ce5e5c89347e580e7c1b1cf4e5e "minio server /data …" s3 About an hour ago Up 3 minutes (healthy) 127.0.0.1:9000->9000/tcp
highload-lab6-s3-bootstrap-1 highload-lab6-s3-bootstrap "./messenger s3-boot…" s3-bootstrap 31 minutes ago Exited (0) 3 minutes ago
highload-lab6-tempo-1 grafana/tempo:2.7.1 "/tempo -config.file…" tempo About an hour ago Up 34 seconds
highload-lab6-upload-cleanup-1 highload-lab6-upload-cleanup "./messenger attachm…" upload-cleanup 31 minutes ago Up 31 minutes 8080/tcp
highload-lab6-worker-1 highload-lab6-worker "./messenger worker" worker 31 minutes ago Up 3 minutes 8080/tcp
@@ -0,0 +1,8 @@
s3_data
loki_data
postgres_data
prometheus_data
redis_data
tempo_data
grafana_data
rabbitmq_data
@@ -0,0 +1,2 @@
Container highload-lab6-otel-collector-run-0fb806dd4ede Creating
Container highload-lab6-otel-collector-run-0fb806dd4ede Created
@@ -0,0 +1,4 @@
Источник Grafana: prometheus
Источник Grafana: loki
Источник Grafana: tempo
Загружен dashboard messenger-lab6, панелей: 17
@@ -0,0 +1,17 @@
API · запросы в секунду — sum(rate(messenger_http_requests_total[1m])) — рядов: 1
API · 5xx в секунду — sum(rate(messenger_http_requests_total{http_status_class="5xx"}[1m])) or 0 * sum(rate(messenger_http_requests_total[1m])) — рядов: 1
API · p95 длительности — histogram_quantile(0.95, sum by (le) (rate(messenger_http_duration_seconds_bucket[1m]))) — рядов: 1
Worker · задания в минуту — 60 * sum by (job_outcome) (rate(messenger_worker_jobs_total[1m])) — рядов: 3
Worker · p95 длительности — histogram_quantile(0.95, sum by (le,job_outcome) (rate(messenger_worker_duration_seconds_bucket[1m]))) — рядов: 3
API · p50 длительности — histogram_quantile(0.5, sum by (le) (rate(messenger_http_duration_seconds_bucket[1m]))) — рядов: 1
API · p99 длительности — histogram_quantile(0.99, sum by (le) (rate(messenger_http_duration_seconds_bucket[1m]))) — рядов: 1
API · доля 5xx — (sum(rate(messenger_http_requests_total{http_status_class="5xx"}[1m])) or 0 * sum(rate(messenger_http_requests_total[1m]))) / sum(rate(messenger_http_requests_total[1m])) — рядов: 1
Очередь attachments.v1 · незавершённые задания — max(messenger_queue_depth) — рядов: 1
Очередь attachments.v1 · возраст старейшего задания — max(messenger_queue_oldest_seconds) — рядов: 1
PostgreSQL · занятые соединения — sum by (service_name) (messenger_db_pool_used) — рядов: 3
PostgreSQL · запросы к пулу, ожидавшие соединение, в секунду — sum by (service_name) (rate(messenger_db_pool_waited_total[1m])) — рядов: 3
Worker · загрузка — sum(messenger_worker_busy) / sum(messenger_worker_capacity) — рядов: 1
Вложения · p95 до ready — histogram_quantile(0.95, sum by (le) (rate(messenger_attachment_ready_seconds_bucket[1m]))) — рядов: 1
Процессы · загрузка CPU — sum by (service_name) (rate(messenger_process_cpu_seconds_total[1m])) — рядов: 3
Процессы · резидентная память — sum by (service_name) (messenger_process_rss_bytes) — рядов: 3
SLI за 30 минут: 0.9992789095149922 цель: >= 0.99
@@ -0,0 +1,2 @@
Checking /etc/prometheus/alerts.yaml
SUCCESS: 2 rules found
@@ -0,0 +1,13 @@
MessengerHighErrorRate firing
pg_terminate_backend
----------------------
t
(1 row)
FATAL: terminating connection due to administrator command
server closed the connection unexpectedly
This probably means the server terminated abnormally
before or while processing the request.
connection to server was lost
Медленный запрос PostgreSQL подтверждён в trace: 624d2df384e6bb8e27ad11ca29a41d0b
MessengerHighErrorRate resolved
@@ -0,0 +1,47 @@
Architecture: x86_64
CPU op-mode(s): 32-bit, 64-bit
Address sizes: 48 bits physical, 48 bits virtual
Byte Order: Little Endian
CPU(s): 16
On-line CPU(s) list: 0-15
Vendor ID: AuthenticAMD
Model name: AMD Ryzen 9 PRO 7940HS w/ Radeon 780M Graphics
CPU family: 25
Model: 116
Thread(s) per core: 2
Core(s) per socket: 8
Socket(s): 1
Stepping: 1
Microcode version: 0xa70410a
Frequency boost: enabled
CPU(s) scaling MHz: 90%
CPU max MHz: 5263,0610
CPU min MHz: 402,7860
BogoMIPS: 7985,14
Flags: fpu vme de pse tsc msr pae mce cx8 apic sep mtrr pge mca cmov pat pse36 clflush mmx fxsr sse sse2 ht syscall nx mmxext fxsr_opt pdpe1gb rdtscp lm constant_tsc rep_good amd_lbr_v2 nopl xtopology nonstop_tsc cpuid extd_apicid aperfmperf rapl pni pclmulqdq monitor ssse3 fma cx16 sse4_1 sse4_2 x2apic movbe popcnt aes xsave avx f16c rdrand lahf_lm cmp_legacy svm extapic cr8_legacy abm sse4a misalignsse 3dnowprefetch osvw ibs skinit wdt tce topoext perfctr_core perfctr_nb bpext perfctr_llc mwaitx cpuid_fault cpb cat_l3 cdp_l3 hw_pstate ssbd mba perfmon_v2 ibrs ibpb stibp ibrs_enhanced vmmcall fsgsbase bmi1 avx2 smep bmi2 erms invpcid cqm rdt_a avx512f avx512dq rdseed adx smap avx512ifma clflushopt clwb avx512cd sha_ni avx512bw avx512vl xsaveopt xsavec xgetbv1 xsaves cqm_llc cqm_occup_llc cqm_mbm_total cqm_mbm_local user_shstk avx512_bf16 clzero irperf xsaveerptr rdpru wbnoinvd cppc arat npt lbrv svm_lock nrip_save tsc_scale vmcb_clean flushbyasid decodeassists pausefilter pfthreshold vgif x2avic v_spec_ctrl vnmi avx512vbmi umip pku ospke avx512_vbmi2 gfni vaes vpclmulqdq avx512_vnni avx512_bitalg avx512_vpopcntdq rdpid overflow_recov succor smca fsrm flush_l1d amd_lbr_pmc_freeze
Virtualization: AMD-V
L1d cache: 256 KiB (8 instances)
L1i cache: 256 KiB (8 instances)
L2 cache: 8 MiB (8 instances)
L3 cache: 16 MiB (1 instance)
NUMA node(s): 1
NUMA node0 CPU(s): 0-15
Vulnerability Gather data sampling: Not affected
Vulnerability Ghostwrite: Not affected
Vulnerability Indirect target selection: Not affected
Vulnerability Itlb multihit: Not affected
Vulnerability L1tf: Not affected
Vulnerability Mds: Not affected
Vulnerability Meltdown: Not affected
Vulnerability Mmio stale data: Not affected
Vulnerability Old microcode: Not affected
Vulnerability Reg file data sampling: Not affected
Vulnerability Retbleed: Not affected
Vulnerability Spec rstack overflow: Mitigation; Safe RET
Vulnerability Spec store bypass: Mitigation; Speculative Store Bypass disabled via prctl
Vulnerability Spectre v1: Mitigation; usercopy/swapgs barriers and __user pointer sanitization
Vulnerability Spectre v2: Mitigation; Enhanced / Automatic IBRS; IBPB conditional; STIBP always-on; PBRSB-eIBRS Not affected; BHI Not affected
Vulnerability Srbds: Not affected
Vulnerability Tsa: Mitigation; Clear CPU buffers
Vulnerability Tsx async abort: Not affected
Vulnerability Vmscape: Mitigation; IBPB before exit to userspace
@@ -0,0 +1,3 @@
total used free shared buff/cache available
Mem: 14Gi 11Gi 1,3Gi 139Mi 2,3Gi 3,1Gi
Swap: 8,0Gi 8,0Gi 548Ki
@@ -0,0 +1 @@
Docker Compose version v5.7.0
@@ -0,0 +1,17 @@
{
"lab": 6,
"workload": "closed-loop POST messages; no automatic retries",
"requested_duration_seconds": 30.0,
"elapsed_seconds": 30.004,
"concurrency": 4,
"successful_requests": 37708,
"failed_requests": 0,
"error_ratio": 0.0,
"successful_rps": 1256.75,
"successful_latency_ms": {
"p50": 2.828,
"p95": 4.327,
"p99": 7.211
},
"note": "Latency percentiles cover successes only. Timeouts/errors are counted separately; closed-loop has coordinated omission and client overhead."
}
@@ -0,0 +1,17 @@
CONTAINER ID NAME CPU % MEM USAGE / LIMIT MEM % NET I/O BLOCK I/O PIDS
2ee09eab650d highload-lab6-worker-1 0.01% 10.86MiB / 512MiB 2.12% 274kB / 393kB 4.58MB / 0B 7
7fdc55311297 highload-lab6-dispatcher-1 0.03% 10.59MiB / 128MiB 8.27% 1.05MB / 1.41MB 1.33MB / 422kB 7
188cf5f1391d highload-lab6-api-2 2.56% 22.67MiB / 512MiB 4.43% 85.5MB / 161MB 8.96MB / 406kB 7
93535c5e7b67 highload-lab6-api-1 0.06% 21.67MiB / 512MiB 4.23% 86.4MB / 163MB 8.18MB / 389kB 7
ae279d3a717c highload-lab6-upload-cleanup-1 0.00% 4.543MiB / 128MiB 3.55% 35.6kB / 31.2kB 32.8kB / 532kB 12
db0e2da28fb1 highload-lab6-prometheus-1 0.23% 35.93MiB / 14.89GiB 0.24% 3.86MB / 1.91MB 426MB / 6.98MB 22
66b201cac5eb highload-lab6-grafana-1 0.68% 89.27MiB / 14.89GiB 0.59% 59.5MB / 116MB 1.32GB / 242MB 25
0d0412e6fe25 highload-lab6-tempo-1 0.02% 307.1MiB / 14.89GiB 2.01% 9.75MB / 202kB 58.6MB / 55.3MB 21
a8fc40b42323 highload-lab6-loki-1 0.92% 161.8MiB / 14.89GiB 1.06% 5.45MB / 32.4MB 534MB / 24.9MB 21
a2048ea9933c highload-lab6-otel-collector-1 0.19% 60.13MiB / 192MiB 31.32% 123MB / 28.3MB 489MB / 20.9MB 21
efeed09a36ec highload-lab6-frontend-1 0.27% 24.01MiB / 512MiB 4.69% 52.3kB / 7.76MB 562MB / 161MB 36
2ac44f5d15bb highload-lab6-haproxy-1 2.36% 10.5MiB / 128MiB 8.20% 104MB / 106MB 30.2MB / 14MB 17
3999d26f1e22 highload-lab6-s3-1 9.80% 354.4MiB / 512MiB 69.22% 1.07MB / 760kB 125MB / 10.2MB 21
8837cc38b561 highload-lab6-db-1 0.66% 80.51MiB / 512MiB 15.72% 160MB / 109MB 459MB / 5.37GB 18
3e7d2e507d3d highload-lab6-broker-1 23.55% 89.5MiB / 512MiB 17.48% 374kB / 333kB 267MB / 91.5MB 47
65ad13aee585 highload-lab6-redis-1 2.71% 4.18MiB / 128MiB 3.27% 13.8MB / 8.47MB 163MB / 7.52MB 6
@@ -0,0 +1 @@
Upload → producer → consumer → S3/PostgreSQL, trace: a1b887f518133aa40e303527d73f514e
@@ -0,0 +1,25 @@
Container highload-lab6-worker-1 Stopping
Container highload-lab6-worker-1 Stopped
Container highload-lab6-s3-1 Stopping
Container highload-lab6-s3-1 Stopped
Container highload-lab6-worker-1 Starting
Container highload-lab6-worker-1 Started
Container highload-lab6-s3-1 Starting
Container highload-lab6-s3-1 Started
Container highload-lab6-s3-1 Waiting
Container highload-lab6-s3-1 Healthy
Исходное вложение перешло в ready, обе попытки в trace: 762071e58a275355660808c10b605df8
Container highload-lab6-broker-1 Waiting
Container highload-lab6-db-1 Waiting
Container highload-lab6-s3-1 Waiting
Container highload-lab6-db-1 Healthy
Container highload-lab6-migrate-1 Starting
Container highload-lab6-broker-1 Healthy
Container highload-lab6-s3-1 Healthy
Container highload-lab6-s3-bootstrap-1 Starting
Container highload-lab6-migrate-1 Started
Container highload-lab6-migrate-1 Waiting
Container highload-lab6-s3-bootstrap-1 Started
Container highload-lab6-s3-bootstrap-1 Waiting
Container highload-lab6-migrate-1 Exited
Container highload-lab6-s3-bootstrap-1 Exited
@@ -0,0 +1,20 @@
Container highload-lab6-worker-1 Stopping
Container highload-lab6-worker-1 Stopped
MessengerQueueLag firing
Container highload-lab6-broker-1 Waiting
Container highload-lab6-db-1 Waiting
Container highload-lab6-s3-1 Waiting
Container highload-lab6-db-1 Healthy
Container highload-lab6-migrate-1 Starting
Container highload-lab6-s3-1 Healthy
Container highload-lab6-s3-bootstrap-1 Starting
Container highload-lab6-broker-1 Healthy
Container highload-lab6-migrate-1 Started
Container highload-lab6-migrate-1 Waiting
Container highload-lab6-s3-bootstrap-1 Started
Container highload-lab6-s3-bootstrap-1 Waiting
Container highload-lab6-migrate-1 Exited
Container highload-lab6-s3-bootstrap-1 Exited
Container highload-lab6-worker-1 Starting
Container highload-lab6-worker-1 Started
MessengerQueueLag resolved
@@ -0,0 +1,8 @@
Container highload-lab6-tempo-1 Stopping
Container highload-lab6-tempo-1 Stopped
CONTAINER ID NAME CPU % MEM USAGE / LIMIT MEM % NET I/O BLOCK I/O PIDS
a2048ea9933c highload-lab6-otel-collector-1 0.42% 56.43MiB / 192MiB 29.39% 69.6MB / 15.8MB 466MB / 20.8MB 21
API и worker работали при остановленном Tempo.
Container highload-lab6-tempo-1 Starting
Container highload-lab6-tempo-1 Started
Спанов отброшено Collector за период проверки: 54
@@ -0,0 +1,140 @@
{
"grade3-stand": [
{
"command": "docker compose config --quiet",
"exit_code": 0,
"seconds": 0.08,
"output": "grade3-stand-1.txt"
},
{
"command": "docker compose ps --all",
"exit_code": 0,
"seconds": 0.11,
"output": "grade3-stand-2.txt"
},
{
"command": "docker compose config --volumes",
"exit_code": 0,
"seconds": 0.08,
"output": "grade3-stand-3.txt"
},
{
"command": "docker compose run --rm --no-deps otel-collector validate --config=/etc/otelcol-contrib/config.yaml",
"exit_code": 0,
"seconds": 1.28,
"output": "grade3-stand-4.txt"
},
{
"command": "/usr/bin/python3 scripts/check_observability.py --base-url http://127.0.0.1:8080 --grafana-url http://127.0.0.1:3000 provisioning",
"exit_code": 0,
"seconds": 0.13,
"output": "grade3-stand-5.txt"
}
],
"grade3-smoke": [
{
"command": "make check",
"exit_code": 0,
"seconds": 0.05,
"output": "grade3-smoke-1.txt"
},
{
"command": "make test BASE_URL=http://127.0.0.1:8080",
"exit_code": 0,
"seconds": 3.51,
"output": "grade3-smoke-2.txt"
}
],
"grade3-signals": [
{
"command": "/usr/bin/python3 scripts/check_observability.py --base-url http://127.0.0.1:8080 --grafana-url http://127.0.0.1:3000 signals",
"exit_code": 0,
"seconds": 7.2,
"output": "grade3-signals-1.txt"
}
],
"grade4-pipeline": [
{
"command": "/usr/bin/python3 scripts/check_observability.py --base-url http://127.0.0.1:8080 --grafana-url http://127.0.0.1:3000 pipeline",
"exit_code": 0,
"seconds": 4.92,
"output": "grade4-pipeline-1.txt"
},
{
"command": "/usr/bin/python3 scripts/check_observability_incidents.py --base-url http://127.0.0.1:8080 --grafana-url http://127.0.0.1:3000 retry",
"exit_code": 0,
"seconds": 15.62,
"output": "grade4-pipeline-2.txt"
}
],
"grade4-dashboard": [
{
"command": "/usr/bin/python3 scripts/check_observability.py --base-url http://127.0.0.1:8080 --grafana-url http://127.0.0.1:3000 dashboard",
"exit_code": 0,
"seconds": 0.16,
"output": "grade4-dashboard-1.txt"
},
{
"command": "docker compose exec -T prometheus promtool check rules /etc/prometheus/alerts.yaml",
"exit_code": 0,
"seconds": 0.23,
"output": "grade4-dashboard-2.txt"
}
],
"grade4-queue": [
{
"command": "/usr/bin/python3 scripts/check_observability_incidents.py --base-url http://127.0.0.1:8080 --grafana-url http://127.0.0.1:3000 worker",
"exit_code": 0,
"seconds": 55.56,
"output": "grade4-queue-1.txt"
}
],
"grade4-database": [
{
"command": "/usr/bin/python3 scripts/check_observability_incidents.py --base-url http://127.0.0.1:8080 --grafana-url http://127.0.0.1:3000 database",
"exit_code": 0,
"seconds": 104.65,
"output": "grade4-database-1.txt"
}
],
"grade4-telemetry": [
{
"command": "/usr/bin/python3 scripts/check_observability_incidents.py --base-url http://127.0.0.1:8080 --grafana-url http://127.0.0.1:3000 telemetry",
"exit_code": 0,
"seconds": 46.39,
"output": "grade4-telemetry-1.txt"
}
],
"grade4-load": [
{
"command": "lscpu",
"exit_code": 0,
"seconds": 0.01,
"output": "grade4-load-1.txt"
},
{
"command": "free -h",
"exit_code": 0,
"seconds": 0.0,
"output": "grade4-load-2.txt"
},
{
"command": "docker compose version",
"exit_code": 0,
"seconds": 0.04,
"output": "grade4-load-3.txt"
},
{
"command": "/usr/bin/python3 tests/load.py --base-url http://127.0.0.1:8080 --duration 30 --concurrency 4",
"exit_code": 0,
"seconds": 31.48,
"output": "grade4-load-4.txt"
},
{
"command": "docker compose stats --no-stream",
"exit_code": 0,
"seconds": 2.17,
"output": "grade4-load-5.txt"
}
]
}
+37 -13
View File
@@ -31,7 +31,7 @@ def main():
parser = argparse.ArgumentParser(description=__doc__)
parser.add_argument("--base-url", default="http://127.0.0.1:8080")
parser.add_argument("--grafana-url", default="http://127.0.0.1:3000")
parser.add_argument("criterion", choices=["provisioning", "signals", "pipeline"])
parser.add_argument("criterion", choices=["provisioning", "signals", "pipeline", "dashboard"])
args = parser.parse_args()
def query(path, **params):
@@ -51,6 +51,24 @@ def main():
print("Загружен dashboard messenger-lab6, панелей:", len(dashboard["panels"]))
return
if args.criterion == "dashboard":
dashboard = query("/api/dashboards/uid/messenger-lab6")["dashboard"]
check(len(dashboard["panels"]) >= 17, "grade 4 dashboard panels missing")
for panel in dashboard["panels"]:
if panel["datasource"]["type"] != "prometheus":
continue
for target in panel["targets"]:
result = source("prometheus", "/api/v1/query", query=target["expr"])
check(result["status"] == "success", "PromQL query failed")
print(panel["title"], "—", target["expr"], "— рядов:", len(result["data"]["result"]))
expression = ('1 - (sum(increase(messenger_http_requests_total{http_status_class="5xx"}[30m])) '
'or 0 * sum(increase(messenger_http_requests_total[30m]))) '
'/ sum(increase(messenger_http_requests_total[30m]))')
result = source("prometheus", "/api/v1/query", query=expression)["data"]["result"]
check(bool(result), "SLI series missing")
print("SLI за 30 минут:", result[0]["value"][1], "цель: >= 0.99")
return
client = Client(args.base_url)
start = time.time_ns()
alice, bob, _, chat = client.bootstrap()
@@ -67,19 +85,23 @@ def main():
start=start, end=time.time_ns())["data"]["result"]
if logs:
trace_id = logs[0]["stream"]["trace_id"]
trace = source("tempo", "/api/traces/" + trace_id)
try:
trace = source("tempo", "/api/traces/" + trace_id)
except urllib.error.HTTPError as error:
if error.code != 404:
raise
time.sleep(2)
continue
spans = [span for batch in trace["batches"] for scope in batch["scopeSpans"] for span in scope["spans"]]
producer = next((span for span in spans if span["kind"] == "SPAN_KIND_PRODUCER"), None)
consumer = next((span for span in spans if span["kind"] == "SPAN_KIND_CONSUMER"), None)
if producer and consumer:
api = next(span for span in spans if span["kind"] == "SPAN_KIND_SERVER")
check(producer["parentSpanId"] == api["spanId"], "producer parent mismatch")
check(consumer["parentSpanId"] == producer["spanId"], "consumer parent mismatch")
by_id = {span["spanId"]: span for span in spans}
for consumer in (span for span in spans if span["kind"] == "SPAN_KIND_CONSUMER"):
producer = by_id.get(consumer.get("parentSpanId"), {})
api = by_id.get(producer.get("parentSpanId"), {})
children = {span["name"] for span in spans if span.get("parentSpanId") == consumer["spanId"]}
check({"postgresql finalize attachment", "s3 read staging and write variants"} <= children,
"worker S3 and PostgreSQL spans missing")
print("Upload → producer → consumer → S3/PostgreSQL, trace:", trace_id)
return
if (producer.get("kind") == "SPAN_KIND_PRODUCER" and api.get("kind") == "SPAN_KIND_SERVER"
and {"postgresql finalize attachment", "s3 read staging and write variants"} <= children):
print("Upload → producer → consumer → S3/PostgreSQL, trace:", trace_id)
return
time.sleep(2)
raise Failure("upload trace did not include the worker pipeline")
@@ -132,7 +154,9 @@ def main():
spans = [span for batch in trace["batches"] for scope in batch["scopeSpans"] for span in scope["spans"]]
span_id_base64 = base64.b64encode(bytes.fromhex(span_id)).decode()
matched = [span for span in spans if span["spanId"] in (span_id, span_id_base64)]
check(len(matched) == 1, "span ID from log missing in trace")
if not matched:
continue
check(len(matched) == 1, "duplicate span ID in trace")
span = matched[0]
check(span["kind"] in (span_kind, "SPAN_KIND_SERVER" if span_kind == 2 else "SPAN_KIND_CONSUMER"), "wrong span kind")
check(int(span["endTimeUnixNano"]) > int(span["startTimeUnixNano"]), "span duration missing")
+3 -55
View File
@@ -1,58 +1,6 @@
#!/usr/bin/env python3
"""Сбор воспроизводимых доказательств уровня 3."""
import argparse
from pathlib import Path
import re
import shlex
import subprocess
import sys
ROOT = Path(__file__).resolve().parents[1]
def main():
parser = argparse.ArgumentParser(description=__doc__)
parser.add_argument("--base-url", default="http://127.0.0.1:8080")
parser.add_argument("--grafana-url", default="http://127.0.0.1:3000")
args = parser.parse_args()
probe = [sys.executable, "scripts/check_observability.py", "--base-url", args.base_url,
"--grafana-url", args.grafana_url]
checks = [
("grade3-stand", "Стенд, тома и provisioning",
[["docker", "compose", "config", "--quiet"],
["docker", "compose", "ps", "--all"],
["docker", "compose", "config", "--volumes"],
["docker", "compose", "run", "--rm", "--no-deps", "otel-collector", "validate", "--config=/etc/otelcol-contrib/config.yaml"],
probe + ["provisioning"]],
"Prometheus хранит временные ряды, Loki — журналы, Tempo — трассы. Collector принимает и маршрутизирует OTLP. Grafana читает данные и загружает dashboard из JSON."),
("grade3-smoke", "Совместимость API при включённой телеметрии",
[["make", "check"], ["make", "test", "BASE_URL=" + args.base_url]],
"Smoke проверяет сессии, сообщения, ACL, идемпотентность и готовность вложения с оригиналом и thumbnail."),
("grade3-signals", "Метрики, структурные логи и трассы API и worker",
[probe + ["signals"]],
"Контрольный POST сопоставляется с логом по X-Request-Id. Оба сервиса сопоставляются с Tempo по trace_id и span_id. Prometheus возвращает счётчики и histogram buckets. Проверка ищет утечки синтетических значений в полученных сигналах."),
]
failed = False
for name, title, commands, explanation in checks:
lines = [f"# {title}", "", "Предпосылки — локальный синтетический стенд после make app-up и доступ к Docker.",
"", explanation, ""]
for command in commands:
try:
result = subprocess.run(command, cwd=ROOT, stdout=subprocess.PIPE, stderr=subprocess.STDOUT,
text=True, timeout=180)
code, output = result.returncode, result.stdout
except subprocess.TimeoutExpired:
code, output = 124, "Истёк лимит времени."
except OSError:
code, output = 127, "Команда недоступна."
failed |= code != 0
output = re.sub(r"(https?://[^\s?]+)\?[^\s]+", r"\1?[redacted]", output).strip()
lines.extend([f"Команда `{shlex.join(command)}`. Код выхода **{code}**.", "", "```text", output or "(пусто)", "```", ""])
path = ROOT / "evidence" / (name + ".md")
path.write_text("\n".join(lines), encoding="utf-8")
print(path.relative_to(ROOT))
return int(failed)
"""Совместимая точка входа для итогового генератора."""
from generate_evidence import main
if __name__ == "__main__":
sys.exit(main())
raise SystemExit(main())
+103
View File
@@ -0,0 +1,103 @@
#!/usr/bin/env python3
"""Сбор воспроизводимых доказательств уровней 3–4."""
import argparse
from datetime import datetime, timezone
import json
from pathlib import Path
import re
import shlex
import subprocess
import sys
import time
ROOT = Path(__file__).resolve().parents[1]
def main():
parser = argparse.ArgumentParser(description=__doc__)
parser.add_argument("--base-url", default="http://127.0.0.1:8080")
parser.add_argument("--grafana-url", default="http://127.0.0.1:3000")
args = parser.parse_args()
probe = [sys.executable, "scripts/check_observability.py", "--base-url", args.base_url,
"--grafana-url", args.grafana_url]
incident = [sys.executable, "scripts/check_observability_incidents.py", "--base-url", args.base_url,
"--grafana-url", args.grafana_url]
checks = [
("grade3-stand", "Стенд, тома и provisioning",
[["docker", "compose", "config", "--quiet"],
["docker", "compose", "ps", "--all"],
["docker", "compose", "config", "--volumes"],
["docker", "compose", "run", "--rm", "--no-deps", "otel-collector", "validate", "--config=/etc/otelcol-contrib/config.yaml"],
probe + ["provisioning"]],
"Prometheus хранит временные ряды, Loki — журналы, Tempo — трассы. Collector принимает и маршрутизирует OTLP. Grafana читает данные и загружает dashboard из JSON."),
("grade3-smoke", "Совместимость API при включённой телеметрии",
[["make", "check"], ["make", "test", "BASE_URL=" + args.base_url]],
"Smoke проверяет сессии, сообщения, ACL, идемпотентность и готовность вложения с оригиналом и thumbnail."),
("grade3-signals", "Метрики, структурные логи и трассы API и worker",
[probe + ["signals"]],
"Контрольный POST сопоставляется с логом по X-Request-Id. Оба сервиса сопоставляются с Tempo по trace_id и span_id. Prometheus возвращает счётчики и histogram buckets. Проверка ищет утечки синтетических значений в полученных сигналах."),
("grade4-pipeline", "Сквозная трасса и повторная попытка",
[probe + ["pipeline"], incident + ["retry"]],
"Tempo подтверждает родительскую связь HTTP, producer и consumer, операции S3 и PostgreSQL и две попытки одной загрузки."),
("grade4-dashboard", "Метрики диагностики и SLO",
[probe + ["dashboard"], ["docker", "compose", "exec", "-T", "prometheus", "promtool", "check", "rules", "/etc/prometheus/alerts.yaml"]],
"Проверяются запросы панелей, SLI за 30 минут и синтаксис двух правил."),
("grade4-queue", "Остановка и восстановление worker",
[incident + ["worker"]],
"Возраст незавершённой работы вызывает firing. Вложение достигает ready после восстановления worker, алерт переходит в resolved."),
("grade4-database", "Задержка PostgreSQL и восстановление",
[incident + ["database"]],
"При блокировке таблицы растёт доля 5xx и алерт срабатывает. Задержку показывает дочерний спан PostgreSQL. После снятия блокировки алерт переходит в resolved."),
("grade4-telemetry", "Недоступность Tempo",
[incident + ["telemetry"]],
"Проверяются сообщения и готовность вложения при остановленном Tempo, снимок памяти Collector и число отброшенных спанов по его журналу."),
("grade4-load", "Короткая нагрузка на API",
[["lscpu"], ["free", "-h"], ["docker", "compose", "version"],
[sys.executable, "tests/load.py", "--base-url", args.base_url, "--duration", "30", "--concurrency", "4"],
["docker", "compose", "stats", "--no-stream"]],
"Один closed-loop прогон POST сообщений с четырьмя клиентами, отдельно от инцидентов. Снимок ресурсов сделан сразу после прогона."),
]
output_root = ROOT / "evidence/criteria"
stamp = datetime.now(timezone.utc).strftime("%Y%m%dT%H%M%S.%fZ")
run = output_root / "runs" / stamp
run.mkdir(parents=True)
summary = {}
failed = False
for name, title, commands, explanation in checks:
lines = [f"# {title}", "", "Предпосылки — локальный синтетический стенд после make app-up и доступ к Docker.",
"", explanation, ""]
results = []
summary[name] = results
for index, command in enumerate(commands, 1):
started = time.monotonic()
try:
result = subprocess.run(command, cwd=ROOT, stdout=subprocess.PIPE, stderr=subprocess.STDOUT,
text=True, timeout=240)
code, output = result.returncode, result.stdout
except subprocess.TimeoutExpired:
code, output = 124, "Истёк лимит времени."
except OSError:
code, output = 127, "Команда недоступна."
failed |= code != 0
output = re.sub(r"(https?://[^\s?]+)\?[^\s]+", r"\1?[redacted]", output).strip()
output = "\n".join(line.rstrip() for line in output.splitlines())
raw = f"{name}-{index}.txt"
(run / raw).write_text(output + "\n", encoding="utf-8")
seconds = round(time.monotonic() - started, 2)
results.append(dict(command=shlex.join(command), exit_code=code, seconds=seconds, output=raw))
lines.extend([f"Команда `{shlex.join(command)}`. Код выхода **{code}**. Время {seconds} с.",
"", f"[Вывод](runs/{stamp}/{raw})", "", "````text", output or "(пусто)", "````", ""])
path = output_root / (name + ".md")
path.write_text("\n".join(lines), encoding="utf-8")
print(path.relative_to(ROOT), flush=True)
index = ["# Доказательства критериев", "", f"[Сводка прогона {stamp}](runs/{stamp}/summary.json)", ""]
for name, results in summary.items():
state = "PASS" if all(result["exit_code"] == 0 for result in results) else "FAIL"
index.append(f"- [{name}]({name}.md) — {state}")
(output_root / "README.md").write_text("\n".join(index) + "\n", encoding="utf-8")
(run / "summary.json").write_text(json.dumps(summary, ensure_ascii=False, indent=2) + "\n", encoding="utf-8")
return int(failed)
if __name__ == "__main__":
sys.exit(main())