From 1b9c6eefae17c6e83c040ad21ed00a25f0abfd86 Mon Sep 17 00:00:00 2001 From: Dmitrii Grishko Date: Fri, 13 Nov 2026 19:02:30 +0300 Subject: [PATCH] docs: finish lab 6 report and reproducible evidence --- Makefile | 5 + REPORT.md | 77 +++++++--- evidence/criteria/README.md | 13 ++ evidence/criteria/grade3-signals.md | 22 +++ evidence/criteria/grade3-smoke.md | 27 ++++ evidence/criteria/grade3-stand.md | 74 +++++++++ evidence/criteria/grade4-dashboard.md | 38 +++++ evidence/criteria/grade4-database.md | 25 ++++ evidence/criteria/grade4-load.md | 125 ++++++++++++++++ evidence/criteria/grade4-pipeline.md | 45 ++++++ evidence/criteria/grade4-queue.md | 32 ++++ evidence/criteria/grade4-telemetry.md | 20 +++ .../grade3-signals-1.txt | 10 ++ .../grade3-smoke-1.txt | 4 + .../grade3-smoke-2.txt | 4 + .../grade3-stand-1.txt | 1 + .../grade3-stand-2.txt | 19 +++ .../grade3-stand-3.txt | 8 + .../grade3-stand-4.txt | 2 + .../grade3-stand-5.txt | 4 + .../grade4-dashboard-1.txt | 17 +++ .../grade4-dashboard-2.txt | 2 + .../grade4-database-1.txt | 13 ++ .../20261113T155722.910201Z/grade4-load-1.txt | 47 ++++++ .../20261113T155722.910201Z/grade4-load-2.txt | 3 + .../20261113T155722.910201Z/grade4-load-3.txt | 1 + .../20261113T155722.910201Z/grade4-load-4.txt | 17 +++ .../20261113T155722.910201Z/grade4-load-5.txt | 17 +++ .../grade4-pipeline-1.txt | 1 + .../grade4-pipeline-2.txt | 25 ++++ .../grade4-queue-1.txt | 20 +++ .../grade4-telemetry-1.txt | 8 + .../runs/20261113T155722.910201Z/summary.json | 140 ++++++++++++++++++ scripts/check_observability.py | 50 +++++-- scripts/collect_observability_evidence.py | 58 +------- scripts/generate_evidence.py | 103 +++++++++++++ 36 files changed, 991 insertions(+), 86 deletions(-) create mode 100644 evidence/criteria/README.md create mode 100644 evidence/criteria/grade3-signals.md create mode 100644 evidence/criteria/grade3-smoke.md create mode 100644 evidence/criteria/grade3-stand.md create mode 100644 evidence/criteria/grade4-dashboard.md create mode 100644 evidence/criteria/grade4-database.md create mode 100644 evidence/criteria/grade4-load.md create mode 100644 evidence/criteria/grade4-pipeline.md create mode 100644 evidence/criteria/grade4-queue.md create mode 100644 evidence/criteria/grade4-telemetry.md create mode 100644 evidence/criteria/runs/20261113T155722.910201Z/grade3-signals-1.txt create mode 100644 evidence/criteria/runs/20261113T155722.910201Z/grade3-smoke-1.txt create mode 100644 evidence/criteria/runs/20261113T155722.910201Z/grade3-smoke-2.txt create mode 100644 evidence/criteria/runs/20261113T155722.910201Z/grade3-stand-1.txt create mode 100644 evidence/criteria/runs/20261113T155722.910201Z/grade3-stand-2.txt create mode 100644 evidence/criteria/runs/20261113T155722.910201Z/grade3-stand-3.txt create mode 100644 evidence/criteria/runs/20261113T155722.910201Z/grade3-stand-4.txt create mode 100644 evidence/criteria/runs/20261113T155722.910201Z/grade3-stand-5.txt create mode 100644 evidence/criteria/runs/20261113T155722.910201Z/grade4-dashboard-1.txt create mode 100644 evidence/criteria/runs/20261113T155722.910201Z/grade4-dashboard-2.txt create mode 100644 evidence/criteria/runs/20261113T155722.910201Z/grade4-database-1.txt create mode 100644 evidence/criteria/runs/20261113T155722.910201Z/grade4-load-1.txt create mode 100644 evidence/criteria/runs/20261113T155722.910201Z/grade4-load-2.txt create mode 100644 evidence/criteria/runs/20261113T155722.910201Z/grade4-load-3.txt create mode 100644 evidence/criteria/runs/20261113T155722.910201Z/grade4-load-4.txt create mode 100644 evidence/criteria/runs/20261113T155722.910201Z/grade4-load-5.txt create mode 100644 evidence/criteria/runs/20261113T155722.910201Z/grade4-pipeline-1.txt create mode 100644 evidence/criteria/runs/20261113T155722.910201Z/grade4-pipeline-2.txt create mode 100644 evidence/criteria/runs/20261113T155722.910201Z/grade4-queue-1.txt create mode 100644 evidence/criteria/runs/20261113T155722.910201Z/grade4-telemetry-1.txt create mode 100644 evidence/criteria/runs/20261113T155722.910201Z/summary.json create mode 100644 scripts/generate_evidence.py diff --git a/Makefile b/Makefile index 1ecdae2..cac7d46 100644 --- a/Makefile +++ b/Makefile @@ -114,3 +114,8 @@ test-pipeline: app-init frontend-build: $(COMPOSE) exec -T frontend npm run build + + +.PHONY: evidence +evidence: + $(PYTHON) scripts/generate_evidence.py --base-url "$(BASE_URL)" diff --git a/REPORT.md b/REPORT.md index b97ae42..6dc25ff 100644 --- a/REPORT.md +++ b/REPORT.md @@ -1,37 +1,78 @@ # Отчёт — лабораторная 6 -- Автор, группа: TODO -- Целевая оценка; выбранный трек 5, если нужен: TODO -- Commit/PR: TODO после публикации -- Использованные источники, библиотеки и помощь ИИ: TODO +- Автор — Гришко Дмитрий Михайлович, БВТ2303. +- Целевая оценка — 4. +- Ветка — `solution/Grishko-BVT2303`. Перенос — `d993866`, базовая наблюдаемость — `549edc8`, сквозная трассировка и алерты — `d753e34`. +- Источники — [задание](README.md), [контракт наблюдаемости](contracts/observability.md), [OpenAPI](contracts/openapi.json), [OpenTelemetry Go](https://opentelemetry.io/docs/languages/go/instrumentation/), [OTLP в Loki](https://grafana.com/docs/loki/latest/send-data/otel/). Зависимости закреплены в [go.mod](src/go.mod). Помощь ИИ — OpenAI Codex, реализация, проверки и оформление. -## Запуск из чистого clone +## Запуск из чистого клона -TODO: версии runtime/образов, prerequisites, команды создания локальных secrets/.env, build, миграций, запуска, ожидания готовности, тестов и остановки. Указать необходимые действия оператора. Не вставлять секреты. Отдельно указать безопасную остановку и команду намеренного удаления учебных данных. +Нужны Linux, Git, Make, Python 3.9+, Docker Engine с Compose и доступ к реестрам образов и зависимостей при первой сборке. Из каталога репозитория на ветке решения: + +```sh +make app-init +docker compose config --quiet +make app-up +curl --fail http://127.0.0.1:8080/health/ready +make check +make test BASE_URL=http://127.0.0.1:8080 +make evidence BASE_URL=http://127.0.0.1:8080 +``` + +`app-init` создаёт локальные `.env` и `secrets/`. Compose применяет миграции и создаёт приватный S3 bucket до запуска API и worker. По умолчанию API доступен на 8080, Grafana на 3000, UI на 5173, S3 на 9000 и статистика HAProxy на 8404. Dashboard открывается в гостевом режиме. Для Explore при первом входе используются стандартные локальные данные Grafana с последующей сменой пароля. + +`make app-down` останавливает стенд с сохранением томов. Для намеренного удаления учебных данных используется `docker compose down --volumes`. + +Приложение собирается Go 1.22.2 в Debian 12.15. Frontend использует Node 22. В Compose закреплены PostgreSQL 16.10, Redis 7.4.11, RabbitMQ 4.2.0, HAProxy 3.2.25, Collector Contrib 0.120.0, Prometheus 3.2.1, Loki 3.4.2, Tempo 2.7.1 и Grafana 11.5.2. MinIO собирается из закреплённого коммита [Dockerfile](infra/minio.Dockerfile). OpenTelemetry Go использует 1.34.0 для трасс и метрик и 0.10.0 для логов. ## Архитектура и решения -TODO: схема процессов/хранилищ, источник истины, транзакционные границы, ограничения. Что перенесено из lab5, что изменено в этой работе. Соответствие переменных из .env.example реальной конфигурации. +```text +Клиент → HAProxy → API ×2 → PostgreSQL / Redis / S3 staging + PostgreSQL outbox → dispatcher → RabbitMQ → worker → S3 / PostgreSQL + API / dispatcher / worker → OTLP HTTP → Collector + ├→ Prometheus (scrape) + ├→ Loki (OTLP) + └→ Tempo (OTLP) + Grafana → Prometheus / Loki / Tempo +``` + +Из №5 перенесены сессии Redis, балансировка, идемпотентность сообщений, приватный S3 и фоновая обработка. API отвечает 202 после записи оригинала в устойчивый staging и фиксации метаданных и задания в PostgreSQL. Dispatcher подтверждает публикацию через RabbitMQ. Worker завершает обработку и фиксирует результат или намерение повторной попытки перед ACK. PostgreSQL хранит бизнес-данные и состояние задания. Готовность API зависит от PostgreSQL, Redis и S3. + +Миграция 10 добавляет W3C `traceparent` и `tracestate` в outbox. Dispatcher восстанавливает контекст, создаёт producer span и переносит его в заголовки AMQP. Worker создаёт дочерний consumer span с номером попытки. Повторная публикация восстанавливает тот же контекст upload. В Tempo доступны спаны S3 и PostgreSQL, а Loki хранит trace ID, span ID, исход операции и технические поля корреляции. SQL, параметры запросов, заголовки авторизации, тексты и содержимое файлов не включаются в события. В метриках маршруты представлены шаблонами. + +Prometheus хранит временные ряды, Loki — журналы, Tempo — трассы. У хранилищ отдельные тома. Grafana загружает источники и dashboard из [provisioning](infra/otel/grafana/provisioning). Collector использует batch, memory limiter 128 МиБ, лимит контейнера 192 МиБ и очереди экспорта Loki/Tempo по 64 пакета с retry до 30 секунд. Экспорт выполняется асинхронно. + +Compose использует `APP_*`, `API_REPLICAS`, `SESSION_TTL_SECONDS`, `IDEMPOTENCY_TTL_SECONDS`, параметры S3, файлы подключения и `JOB_MAX_ATTEMPTS` / `JOB_TIMEOUT_SECONDS`. Сессии используют Redis. Конкурентность задаётся количеством процессов worker, по одному слоту на экземпляр. Пределы API — 10 МиБ и 40 млн пикселей, worker — 8 млн по умолчанию через `WORKER_MAX_PIXELS`. Failed staging хранится 24 часа. Код задаёт ресурсные атрибуты и имя сервиса по роли процесса, использует OTLP HTTP/protobuf. Endpoint задаётся через `OTEL_EXPORTER_OTLP_ENDPOINT`. ## Доказательства критериев -| Критерий README | Команда/сценарий | Наблюдаемый результат | Файл доказательства | +| Критерий | Команда или сценарий | Наблюдение | Доказательство | | --- | --- | --- | --- | -| Публичный smoke | make test | TODO | TODO | -| Остальные пункты уровня 3 | TODO | TODO | TODO | -| Все пункты уровня 4, если заявлен | TODO | TODO | TODO | -| Выбранный трек 5, если заявлен | TODO | TODO | TODO | +| 3. Минимум №5 | `make test` | Сессии, ACL, сообщения, идемпотентность, 202 → ready, оригинал и thumbnail | [Smoke](evidence/criteria/grade3-smoke.md) | +| 3. Единый стенд, хранилища, provisioning | Compose, Collector validate, Grafana API | Тома и три источника данных, импортированный dashboard | [Стенд](evidence/criteria/grade3-stand.md) | +| 3. OTLP и корреляция сигналов | `check_observability.py signals` | Метрики API и worker, совпадение trace/span ID в Loki и Tempo, проверка контрольных чувствительных значений | [Сигналы](evidence/criteria/grade3-signals.md) | +| 4. Контекст через брокер и retry | `pipeline`, затем временная остановка S3 | Родительская цепочка до worker и операции S3/DB, обе попытки в одной трассе | [Трассировка](evidence/criteria/grade4-pipeline.md) | +| 4. Диагностические метрики и SLO | `check_observability.py dashboard`, `promtool check rules` | PromQL для панелей, SLI за 30 минут, два валидных правила | [Dashboard и SLO](evidence/criteria/grade4-dashboard.md) | +| 4. Алерт возраста очереди | Остановка worker | `MessengerQueueLag` firing → resolved, принятое вложение стало ready | [Очередь](evidence/criteria/grade4-queue.md) | +| 4. Алерт доли 5xx | Временная блокировка таблицы чатов | `MessengerHighErrorRate` firing → resolved, задержка видна в дочернем спане PostgreSQL | [PostgreSQL](evidence/criteria/grade4-database.md) | +| 4. Недоступность хранилища сигналов | Остановка Tempo | API принимает сообщения, worker обрабатывает вложение, Collector ограничивает буфер и регистрирует потерю спанов | [Tempo](evidence/criteria/grade4-telemetry.md) | -TODO: добавить отдельную строку для каждого заявленного критерия. PASS без команды и наблюдения не является доказательством. Проверка инфраструктурного hook требует подтверждения, какие реальные процессы/хранилища перезапущены. +SLI — доля бизнес-запросов без 5xx, SLO ≥99% за 30 минут при наличии трафика. Health исключён. Перед итоговыми инцидентами SLI составил 99,93%. p50/p95/p99 вычисляются из агрегированных histogram buckets в секундах. Глубина очереди включает все незавершённые задания, в том числе ожидающие retry. Подробные запросы находятся в [dashboard JSON](infra/otel/grafana/dashboards/messenger.json), порядок диагностики — в [runbook](infra/otel/runbook.md). ## Эксперименты и отказы -TODO: гипотеза, hardware/лимиты, версии, объём данных, профиль нагрузки, concurrency/arrival rate, длительность/прогрев, повторы, успешные RPS, ошибки, p50/p95/p99, CPU/RAM. Сохранить raw summary без tokens и объяснить ограничения измерения. +Сценарии запускаются последовательно на локальном стенде. Проверяется, можно ли по сохранённым сигналам различить остановку обработчика и задержку в БД, а также сохраняется ли бизнес-путь при недоступности хранилища трасс. -| Воздействие | Что ожидаем | Что наблюдали | Время восстановления / потеря данных | -| --- | --- | --- | --- | -| TODO | TODO | TODO | TODO | +| Воздействие | Наблюдение | Восстановление | +| --- | --- | --- | +| Остановка worker | Возраст заданий растёт, alert firing после превышения 20 секунд в течение 15 секунд | Запуск worker, то же вложение ready, alert resolved | +| Блокировка таблицы чатов | 5xx и долгий дочерний спан PostgreSQL. Правило проверяет порог 5% за минуту с выдержкой 15 секунд | Снятие блокировки, успешное чтение чата, alert resolved после выхода ошибок из окна | +| Остановка S3 | Первая попытка обработки откладывается. Следующая видна в той же трассе | Запуск S3, исходное вложение ready | +| Остановка Tempo | Сообщения приняты, вложение достигло ready. Collector отбросил 54 спана. Память по снимку — 56,43 МиБ из 192 МиБ | Tempo запущен после проверки | + +Один короткий профиль нагрузки выполнен на AMD Ryzen 9 PRO 7940HS с 16 логическими CPU и 14 ГиБ RAM. Две API-реплики ограничены 0,5 CPU и 512 МиБ каждая. Worker ограничен 1 CPU и 512 МиБ. Профиль — 30 секунд, четыре параллельных клиента, closed-loop POST сообщений, один прогон без отдельного прогрева. В итоговом прогоне подтверждено 37 708 запросов, ошибок 0, пропускная способность 1256,75 RPS. Задержки p50/p95/p99 составили 2,828 / 4,327 / 7,211 мс. Полный вывод и снимок ресурсов после прогона сохранены в [результатах нагрузки](evidence/criteria/grade4-load.md). ## Ограничения и следующие шаги -TODO: какие отказы выдерживаются и какие нет; что не реализовано; где учебное упрощение; какое улучшение подтверждено, а какое пока гипотеза. +Стенд локальный, PostgreSQL, S3, RabbitMQ и балансировщик развёрнуты в одном экземпляре. Отказы этих компонентов могут прерывать соответствующие бизнес-операции. Снимок памяти Collector относится к короткому отказу. При переполнении очереди или исчерпании повторов возможна потеря телеметрии. Результат closed-loop прогона зависит от клиента и не оценивает предел пропускной способности. Заявленная оценка — 4. diff --git a/evidence/criteria/README.md b/evidence/criteria/README.md new file mode 100644 index 0000000..79a24fa --- /dev/null +++ b/evidence/criteria/README.md @@ -0,0 +1,13 @@ +# Доказательства критериев + +[Сводка прогона 20261113T155722.910201Z](runs/20261113T155722.910201Z/summary.json) + +- [grade3-stand](grade3-stand.md) — PASS +- [grade3-smoke](grade3-smoke.md) — PASS +- [grade3-signals](grade3-signals.md) — PASS +- [grade4-pipeline](grade4-pipeline.md) — PASS +- [grade4-dashboard](grade4-dashboard.md) — PASS +- [grade4-queue](grade4-queue.md) — PASS +- [grade4-database](grade4-database.md) — PASS +- [grade4-telemetry](grade4-telemetry.md) — PASS +- [grade4-load](grade4-load.md) — PASS diff --git a/evidence/criteria/grade3-signals.md b/evidence/criteria/grade3-signals.md new file mode 100644 index 0000000..93b60b2 --- /dev/null +++ b/evidence/criteria/grade3-signals.md @@ -0,0 +1,22 @@ +# Метрики, структурные логи и трассы API и worker + +Предпосылки — локальный синтетический стенд после make app-up и доступ к Docker. + +Контрольный POST сопоставляется с логом по X-Request-Id. Оба сервиса сопоставляются с Tempo по trace_id и span_id. Prometheus возвращает счётчики и histogram buckets. Проверка ищет утечки синтетических значений в полученных сигналах. + +Команда `/usr/bin/python3 scripts/check_observability.py --base-url http://127.0.0.1:8080 --grafana-url http://127.0.0.1:3000 signals`. Код выхода **0**. Время 7.2 с. + +[Вывод](runs/20261113T155722.910201Z/grade3-signals-1.txt) + +````text +Worker: изображение 3000×3000 завершилось в состоянии failed. +messenger-api: http.request.completed, trace=91735be6f8944614b886c2a34bfc95a8, span=7aca4e9abb3620f6 +messenger-worker: job.processing.completed, trace=8f05225357fb027e222f890074249eed, span=49632776d49e21fe +messenger-worker: job.processing.completed, trace=c958e0f21140e39dddb4192b5982442e, span=f459a5c48084c984 +Prometheus: messenger_http_requests_total, рядов=40 +Prometheus: messenger_http_duration_seconds_bucket, рядов=560 +Prometheus: messenger_worker_jobs_total{job_outcome="success"}, рядов=1 +Prometheus: messenger_worker_jobs_total{job_outcome="error"}, рядов=1 +Prometheus: messenger_worker_duration_seconds_bucket, рядов=42 +Проверенные сигналы не содержат контрольных credentials, текста, имени/байтов файла и бизнес-ID. +```` diff --git a/evidence/criteria/grade3-smoke.md b/evidence/criteria/grade3-smoke.md new file mode 100644 index 0000000..02b1e6a --- /dev/null +++ b/evidence/criteria/grade3-smoke.md @@ -0,0 +1,27 @@ +# Совместимость API при включённой телеметрии + +Предпосылки — локальный синтетический стенд после make app-up и доступ к Docker. + +Smoke проверяет сессии, сообщения, ACL, идемпотентность и готовность вложения с оригиналом и thumbnail. + +Команда `make check`. Код выхода **0**. Время 0.05 с. + +[Вывод](runs/20261113T155722.910201Z/grade3-smoke-1.txt) + +````text +make[1]: Entering directory '/home/TAskMAster339/Projects/highload-systems/mtusi2026lab6-fork' +python3 scripts/check_contract.py +PASS: offline skeleton structure, local refs and Python syntax; application NOT tested. +make[1]: Leaving directory '/home/TAskMAster339/Projects/highload-systems/mtusi2026lab6-fork' +```` + +Команда `make test BASE_URL=http://127.0.0.1:8080`. Код выхода **0**. Время 3.51 с. + +[Вывод](runs/20261113T155722.910201Z/grade3-smoke-2.txt) + +````text +make[1]: Entering directory '/home/TAskMAster339/Projects/highload-systems/mtusi2026lab6-fork' +python3 tests/smoke.py --base-url "http://127.0.0.1:8080" +PASS: lab6 public API scenario; infrastructure and grading evidence remain separate. +make[1]: Leaving directory '/home/TAskMAster339/Projects/highload-systems/mtusi2026lab6-fork' +```` diff --git a/evidence/criteria/grade3-stand.md b/evidence/criteria/grade3-stand.md new file mode 100644 index 0000000..1ce369c --- /dev/null +++ b/evidence/criteria/grade3-stand.md @@ -0,0 +1,74 @@ +# Стенд, тома и provisioning + +Предпосылки — локальный синтетический стенд после make app-up и доступ к Docker. + +Prometheus хранит временные ряды, Loki — журналы, Tempo — трассы. Collector принимает и маршрутизирует OTLP. Grafana читает данные и загружает dashboard из JSON. + +Команда `docker compose config --quiet`. Код выхода **0**. Время 0.08 с. + +[Вывод](runs/20261113T155722.910201Z/grade3-stand-1.txt) + +````text +(пусто) +```` + +Команда `docker compose ps --all`. Код выхода **0**. Время 0.11 с. + +[Вывод](runs/20261113T155722.910201Z/grade3-stand-2.txt) + +````text +NAME IMAGE COMMAND SERVICE CREATED STATUS PORTS +highload-lab6-api-1 highload-lab6-api "./messenger" api 31 minutes ago Up 31 minutes (healthy) 8080/tcp +highload-lab6-api-2 highload-lab6-api "./messenger" api 31 minutes ago Up 31 minutes (healthy) 8080/tcp +highload-lab6-broker-1 rabbitmq:4.2.0-management "docker-entrypoint.s…" broker About an hour ago Up About an hour (healthy) 4369/tcp, 5671-5672/tcp, 15671-15672/tcp, 15691-15692/tcp, 25672/tcp +highload-lab6-db-1 postgres:16.10-bookworm "docker-entrypoint.s…" db About an hour ago Up About an hour (healthy) 5432/tcp +highload-lab6-dispatcher-1 highload-lab6-dispatcher "./messenger dispatc…" dispatcher 31 minutes ago Up 31 minutes 8080/tcp +highload-lab6-frontend-1 sha256:6f2bacde48d02aca251e04c4707e11d6707c797af56bf6623a671b2e0c20da30 "docker-entrypoint.s…" frontend About an hour ago Up About an hour (healthy) 127.0.0.1:5173->5173/tcp +highload-lab6-grafana-1 grafana/grafana:11.5.2 "/run.sh" grafana About an hour ago Up About an hour 127.0.0.1:3000->3000/tcp +highload-lab6-haproxy-1 haproxy:3.2.25-alpine "docker-entrypoint.s…" haproxy About an hour ago Up About an hour (healthy) 127.0.0.1:8080->8080/tcp, 127.0.0.1:8404->8404/tcp +highload-lab6-loki-1 grafana/loki:3.4.2 "/usr/bin/loki -conf…" loki About an hour ago Up About an hour 3100/tcp +highload-lab6-migrate-1 highload-lab6-migrate "./messenger migrate…" migrate 31 minutes ago Exited (0) 3 minutes ago +highload-lab6-otel-collector-1 otel/opentelemetry-collector-contrib:0.120.0 "/otelcol-contrib --…" otel-collector About an hour ago Up About an hour 4317-4318/tcp, 55678-55679/tcp +highload-lab6-prometheus-1 prom/prometheus:v3.2.1 "/bin/prometheus --c…" prometheus 31 minutes ago Up 31 minutes 9090/tcp +highload-lab6-redis-1 redis:7.4.11-bookworm "docker-entrypoint.s…" redis About an hour ago Up About an hour (healthy) 6379/tcp +highload-lab6-s3-1 sha256:b891ef2bb2e30a5a240ee0d267c8938ab43f2ce5e5c89347e580e7c1b1cf4e5e "minio server /data …" s3 About an hour ago Up 3 minutes (healthy) 127.0.0.1:9000->9000/tcp +highload-lab6-s3-bootstrap-1 highload-lab6-s3-bootstrap "./messenger s3-boot…" s3-bootstrap 31 minutes ago Exited (0) 3 minutes ago +highload-lab6-tempo-1 grafana/tempo:2.7.1 "/tempo -config.file…" tempo About an hour ago Up 34 seconds +highload-lab6-upload-cleanup-1 highload-lab6-upload-cleanup "./messenger attachm…" upload-cleanup 31 minutes ago Up 31 minutes 8080/tcp +highload-lab6-worker-1 highload-lab6-worker "./messenger worker" worker 31 minutes ago Up 3 minutes 8080/tcp +```` + +Команда `docker compose config --volumes`. Код выхода **0**. Время 0.08 с. + +[Вывод](runs/20261113T155722.910201Z/grade3-stand-3.txt) + +````text +s3_data +loki_data +postgres_data +prometheus_data +redis_data +tempo_data +grafana_data +rabbitmq_data +```` + +Команда `docker compose run --rm --no-deps otel-collector validate --config=/etc/otelcol-contrib/config.yaml`. Код выхода **0**. Время 1.28 с. + +[Вывод](runs/20261113T155722.910201Z/grade3-stand-4.txt) + +````text +Container highload-lab6-otel-collector-run-0fb806dd4ede Creating + Container highload-lab6-otel-collector-run-0fb806dd4ede Created +```` + +Команда `/usr/bin/python3 scripts/check_observability.py --base-url http://127.0.0.1:8080 --grafana-url http://127.0.0.1:3000 provisioning`. Код выхода **0**. Время 0.13 с. + +[Вывод](runs/20261113T155722.910201Z/grade3-stand-5.txt) + +````text +Источник Grafana: prometheus +Источник Grafana: loki +Источник Grafana: tempo +Загружен dashboard messenger-lab6, панелей: 17 +```` diff --git a/evidence/criteria/grade4-dashboard.md b/evidence/criteria/grade4-dashboard.md new file mode 100644 index 0000000..e11d6a7 --- /dev/null +++ b/evidence/criteria/grade4-dashboard.md @@ -0,0 +1,38 @@ +# Метрики диагностики и SLO + +Предпосылки — локальный синтетический стенд после make app-up и доступ к Docker. + +Проверяются запросы панелей, SLI за 30 минут и синтаксис двух правил. + +Команда `/usr/bin/python3 scripts/check_observability.py --base-url http://127.0.0.1:8080 --grafana-url http://127.0.0.1:3000 dashboard`. Код выхода **0**. Время 0.16 с. + +[Вывод](runs/20261113T155722.910201Z/grade4-dashboard-1.txt) + +````text +API · запросы в секунду — sum(rate(messenger_http_requests_total[1m])) — рядов: 1 +API · 5xx в секунду — sum(rate(messenger_http_requests_total{http_status_class="5xx"}[1m])) or 0 * sum(rate(messenger_http_requests_total[1m])) — рядов: 1 +API · p95 длительности — histogram_quantile(0.95, sum by (le) (rate(messenger_http_duration_seconds_bucket[1m]))) — рядов: 1 +Worker · задания в минуту — 60 * sum by (job_outcome) (rate(messenger_worker_jobs_total[1m])) — рядов: 3 +Worker · p95 длительности — histogram_quantile(0.95, sum by (le,job_outcome) (rate(messenger_worker_duration_seconds_bucket[1m]))) — рядов: 3 +API · p50 длительности — histogram_quantile(0.5, sum by (le) (rate(messenger_http_duration_seconds_bucket[1m]))) — рядов: 1 +API · p99 длительности — histogram_quantile(0.99, sum by (le) (rate(messenger_http_duration_seconds_bucket[1m]))) — рядов: 1 +API · доля 5xx — (sum(rate(messenger_http_requests_total{http_status_class="5xx"}[1m])) or 0 * sum(rate(messenger_http_requests_total[1m]))) / sum(rate(messenger_http_requests_total[1m])) — рядов: 1 +Очередь attachments.v1 · незавершённые задания — max(messenger_queue_depth) — рядов: 1 +Очередь attachments.v1 · возраст старейшего задания — max(messenger_queue_oldest_seconds) — рядов: 1 +PostgreSQL · занятые соединения — sum by (service_name) (messenger_db_pool_used) — рядов: 3 +PostgreSQL · запросы к пулу, ожидавшие соединение, в секунду — sum by (service_name) (rate(messenger_db_pool_waited_total[1m])) — рядов: 3 +Worker · загрузка — sum(messenger_worker_busy) / sum(messenger_worker_capacity) — рядов: 1 +Вложения · p95 до ready — histogram_quantile(0.95, sum by (le) (rate(messenger_attachment_ready_seconds_bucket[1m]))) — рядов: 1 +Процессы · загрузка CPU — sum by (service_name) (rate(messenger_process_cpu_seconds_total[1m])) — рядов: 3 +Процессы · резидентная память — sum by (service_name) (messenger_process_rss_bytes) — рядов: 3 +SLI за 30 минут: 0.9992789095149922 цель: >= 0.99 +```` + +Команда `docker compose exec -T prometheus promtool check rules /etc/prometheus/alerts.yaml`. Код выхода **0**. Время 0.23 с. + +[Вывод](runs/20261113T155722.910201Z/grade4-dashboard-2.txt) + +````text +Checking /etc/prometheus/alerts.yaml + SUCCESS: 2 rules found +```` diff --git a/evidence/criteria/grade4-database.md b/evidence/criteria/grade4-database.md new file mode 100644 index 0000000..f395c83 --- /dev/null +++ b/evidence/criteria/grade4-database.md @@ -0,0 +1,25 @@ +# Задержка PostgreSQL и восстановление + +Предпосылки — локальный синтетический стенд после make app-up и доступ к Docker. + +При блокировке таблицы растёт доля 5xx и алерт срабатывает. Задержку показывает дочерний спан PostgreSQL. После снятия блокировки алерт переходит в resolved. + +Команда `/usr/bin/python3 scripts/check_observability_incidents.py --base-url http://127.0.0.1:8080 --grafana-url http://127.0.0.1:3000 database`. Код выхода **0**. Время 104.65 с. + +[Вывод](runs/20261113T155722.910201Z/grade4-database-1.txt) + +````text +MessengerHighErrorRate firing + pg_terminate_backend +---------------------- + t +(1 row) + +FATAL: terminating connection due to administrator command +server closed the connection unexpectedly + This probably means the server terminated abnormally + before or while processing the request. +connection to server was lost +Медленный запрос PostgreSQL подтверждён в trace: 624d2df384e6bb8e27ad11ca29a41d0b +MessengerHighErrorRate resolved +```` diff --git a/evidence/criteria/grade4-load.md b/evidence/criteria/grade4-load.md new file mode 100644 index 0000000..514f548 --- /dev/null +++ b/evidence/criteria/grade4-load.md @@ -0,0 +1,125 @@ +# Короткая нагрузка на API + +Предпосылки — локальный синтетический стенд после make app-up и доступ к Docker. + +Один closed-loop прогон POST сообщений с четырьмя клиентами, отдельно от инцидентов. Снимок ресурсов сделан сразу после прогона. + +Команда `lscpu`. Код выхода **0**. Время 0.01 с. + +[Вывод](runs/20261113T155722.910201Z/grade4-load-1.txt) + +````text +Architecture: x86_64 +CPU op-mode(s): 32-bit, 64-bit +Address sizes: 48 bits physical, 48 bits virtual +Byte Order: Little Endian +CPU(s): 16 +On-line CPU(s) list: 0-15 +Vendor ID: AuthenticAMD +Model name: AMD Ryzen 9 PRO 7940HS w/ Radeon 780M Graphics +CPU family: 25 +Model: 116 +Thread(s) per core: 2 +Core(s) per socket: 8 +Socket(s): 1 +Stepping: 1 +Microcode version: 0xa70410a +Frequency boost: enabled +CPU(s) scaling MHz: 90% +CPU max MHz: 5263,0610 +CPU min MHz: 402,7860 +BogoMIPS: 7985,14 +Flags: fpu vme de pse tsc msr pae mce cx8 apic sep mtrr pge mca cmov pat pse36 clflush mmx fxsr sse sse2 ht syscall nx mmxext fxsr_opt pdpe1gb rdtscp lm constant_tsc rep_good amd_lbr_v2 nopl xtopology nonstop_tsc cpuid extd_apicid aperfmperf rapl pni pclmulqdq monitor ssse3 fma cx16 sse4_1 sse4_2 x2apic movbe popcnt aes xsave avx f16c rdrand lahf_lm cmp_legacy svm extapic cr8_legacy abm sse4a misalignsse 3dnowprefetch osvw ibs skinit wdt tce topoext perfctr_core perfctr_nb bpext perfctr_llc mwaitx cpuid_fault cpb cat_l3 cdp_l3 hw_pstate ssbd mba perfmon_v2 ibrs ibpb stibp ibrs_enhanced vmmcall fsgsbase bmi1 avx2 smep bmi2 erms invpcid cqm rdt_a avx512f avx512dq rdseed adx smap avx512ifma clflushopt clwb avx512cd sha_ni avx512bw avx512vl xsaveopt xsavec xgetbv1 xsaves cqm_llc cqm_occup_llc cqm_mbm_total cqm_mbm_local user_shstk avx512_bf16 clzero irperf xsaveerptr rdpru wbnoinvd cppc arat npt lbrv svm_lock nrip_save tsc_scale vmcb_clean flushbyasid decodeassists pausefilter pfthreshold vgif x2avic v_spec_ctrl vnmi avx512vbmi umip pku ospke avx512_vbmi2 gfni vaes vpclmulqdq avx512_vnni avx512_bitalg avx512_vpopcntdq rdpid overflow_recov succor smca fsrm flush_l1d amd_lbr_pmc_freeze +Virtualization: AMD-V +L1d cache: 256 KiB (8 instances) +L1i cache: 256 KiB (8 instances) +L2 cache: 8 MiB (8 instances) +L3 cache: 16 MiB (1 instance) +NUMA node(s): 1 +NUMA node0 CPU(s): 0-15 +Vulnerability Gather data sampling: Not affected +Vulnerability Ghostwrite: Not affected +Vulnerability Indirect target selection: Not affected +Vulnerability Itlb multihit: Not affected +Vulnerability L1tf: Not affected +Vulnerability Mds: Not affected +Vulnerability Meltdown: Not affected +Vulnerability Mmio stale data: Not affected +Vulnerability Old microcode: Not affected +Vulnerability Reg file data sampling: Not affected +Vulnerability Retbleed: Not affected +Vulnerability Spec rstack overflow: Mitigation; Safe RET +Vulnerability Spec store bypass: Mitigation; Speculative Store Bypass disabled via prctl +Vulnerability Spectre v1: Mitigation; usercopy/swapgs barriers and __user pointer sanitization +Vulnerability Spectre v2: Mitigation; Enhanced / Automatic IBRS; IBPB conditional; STIBP always-on; PBRSB-eIBRS Not affected; BHI Not affected +Vulnerability Srbds: Not affected +Vulnerability Tsa: Mitigation; Clear CPU buffers +Vulnerability Tsx async abort: Not affected +Vulnerability Vmscape: Mitigation; IBPB before exit to userspace +```` + +Команда `free -h`. Код выхода **0**. Время 0.0 с. + +[Вывод](runs/20261113T155722.910201Z/grade4-load-2.txt) + +````text +total used free shared buff/cache available +Mem: 14Gi 11Gi 1,3Gi 139Mi 2,3Gi 3,1Gi +Swap: 8,0Gi 8,0Gi 548Ki +```` + +Команда `docker compose version`. Код выхода **0**. Время 0.04 с. + +[Вывод](runs/20261113T155722.910201Z/grade4-load-3.txt) + +````text +Docker Compose version v5.7.0 +```` + +Команда `/usr/bin/python3 tests/load.py --base-url http://127.0.0.1:8080 --duration 30 --concurrency 4`. Код выхода **0**. Время 31.48 с. + +[Вывод](runs/20261113T155722.910201Z/grade4-load-4.txt) + +````text +{ + "lab": 6, + "workload": "closed-loop POST messages; no automatic retries", + "requested_duration_seconds": 30.0, + "elapsed_seconds": 30.004, + "concurrency": 4, + "successful_requests": 37708, + "failed_requests": 0, + "error_ratio": 0.0, + "successful_rps": 1256.75, + "successful_latency_ms": { + "p50": 2.828, + "p95": 4.327, + "p99": 7.211 + }, + "note": "Latency percentiles cover successes only. Timeouts/errors are counted separately; closed-loop has coordinated omission and client overhead." +} +```` + +Команда `docker compose stats --no-stream`. Код выхода **0**. Время 2.17 с. + +[Вывод](runs/20261113T155722.910201Z/grade4-load-5.txt) + +````text +CONTAINER ID NAME CPU % MEM USAGE / LIMIT MEM % NET I/O BLOCK I/O PIDS +2ee09eab650d highload-lab6-worker-1 0.01% 10.86MiB / 512MiB 2.12% 274kB / 393kB 4.58MB / 0B 7 +7fdc55311297 highload-lab6-dispatcher-1 0.03% 10.59MiB / 128MiB 8.27% 1.05MB / 1.41MB 1.33MB / 422kB 7 +188cf5f1391d highload-lab6-api-2 2.56% 22.67MiB / 512MiB 4.43% 85.5MB / 161MB 8.96MB / 406kB 7 +93535c5e7b67 highload-lab6-api-1 0.06% 21.67MiB / 512MiB 4.23% 86.4MB / 163MB 8.18MB / 389kB 7 +ae279d3a717c highload-lab6-upload-cleanup-1 0.00% 4.543MiB / 128MiB 3.55% 35.6kB / 31.2kB 32.8kB / 532kB 12 +db0e2da28fb1 highload-lab6-prometheus-1 0.23% 35.93MiB / 14.89GiB 0.24% 3.86MB / 1.91MB 426MB / 6.98MB 22 +66b201cac5eb highload-lab6-grafana-1 0.68% 89.27MiB / 14.89GiB 0.59% 59.5MB / 116MB 1.32GB / 242MB 25 +0d0412e6fe25 highload-lab6-tempo-1 0.02% 307.1MiB / 14.89GiB 2.01% 9.75MB / 202kB 58.6MB / 55.3MB 21 +a8fc40b42323 highload-lab6-loki-1 0.92% 161.8MiB / 14.89GiB 1.06% 5.45MB / 32.4MB 534MB / 24.9MB 21 +a2048ea9933c highload-lab6-otel-collector-1 0.19% 60.13MiB / 192MiB 31.32% 123MB / 28.3MB 489MB / 20.9MB 21 +efeed09a36ec highload-lab6-frontend-1 0.27% 24.01MiB / 512MiB 4.69% 52.3kB / 7.76MB 562MB / 161MB 36 +2ac44f5d15bb highload-lab6-haproxy-1 2.36% 10.5MiB / 128MiB 8.20% 104MB / 106MB 30.2MB / 14MB 17 +3999d26f1e22 highload-lab6-s3-1 9.80% 354.4MiB / 512MiB 69.22% 1.07MB / 760kB 125MB / 10.2MB 21 +8837cc38b561 highload-lab6-db-1 0.66% 80.51MiB / 512MiB 15.72% 160MB / 109MB 459MB / 5.37GB 18 +3e7d2e507d3d highload-lab6-broker-1 23.55% 89.5MiB / 512MiB 17.48% 374kB / 333kB 267MB / 91.5MB 47 +65ad13aee585 highload-lab6-redis-1 2.71% 4.18MiB / 128MiB 3.27% 13.8MB / 8.47MB 163MB / 7.52MB 6 +```` diff --git a/evidence/criteria/grade4-pipeline.md b/evidence/criteria/grade4-pipeline.md new file mode 100644 index 0000000..a1de672 --- /dev/null +++ b/evidence/criteria/grade4-pipeline.md @@ -0,0 +1,45 @@ +# Сквозная трасса и повторная попытка + +Предпосылки — локальный синтетический стенд после make app-up и доступ к Docker. + +Tempo подтверждает родительскую связь HTTP, producer и consumer, операции S3 и PostgreSQL и две попытки одной загрузки. + +Команда `/usr/bin/python3 scripts/check_observability.py --base-url http://127.0.0.1:8080 --grafana-url http://127.0.0.1:3000 pipeline`. Код выхода **0**. Время 4.92 с. + +[Вывод](runs/20261113T155722.910201Z/grade4-pipeline-1.txt) + +````text +Upload → producer → consumer → S3/PostgreSQL, trace: a1b887f518133aa40e303527d73f514e +```` + +Команда `/usr/bin/python3 scripts/check_observability_incidents.py --base-url http://127.0.0.1:8080 --grafana-url http://127.0.0.1:3000 retry`. Код выхода **0**. Время 15.62 с. + +[Вывод](runs/20261113T155722.910201Z/grade4-pipeline-2.txt) + +````text +Container highload-lab6-worker-1 Stopping + Container highload-lab6-worker-1 Stopped + Container highload-lab6-s3-1 Stopping + Container highload-lab6-s3-1 Stopped + Container highload-lab6-worker-1 Starting + Container highload-lab6-worker-1 Started + Container highload-lab6-s3-1 Starting + Container highload-lab6-s3-1 Started + Container highload-lab6-s3-1 Waiting + Container highload-lab6-s3-1 Healthy +Исходное вложение перешло в ready, обе попытки в trace: 762071e58a275355660808c10b605df8 + Container highload-lab6-broker-1 Waiting + Container highload-lab6-db-1 Waiting + Container highload-lab6-s3-1 Waiting + Container highload-lab6-db-1 Healthy + Container highload-lab6-migrate-1 Starting + Container highload-lab6-broker-1 Healthy + Container highload-lab6-s3-1 Healthy + Container highload-lab6-s3-bootstrap-1 Starting + Container highload-lab6-migrate-1 Started + Container highload-lab6-migrate-1 Waiting + Container highload-lab6-s3-bootstrap-1 Started + Container highload-lab6-s3-bootstrap-1 Waiting + Container highload-lab6-migrate-1 Exited + Container highload-lab6-s3-bootstrap-1 Exited +```` diff --git a/evidence/criteria/grade4-queue.md b/evidence/criteria/grade4-queue.md new file mode 100644 index 0000000..ab34fcd --- /dev/null +++ b/evidence/criteria/grade4-queue.md @@ -0,0 +1,32 @@ +# Остановка и восстановление worker + +Предпосылки — локальный синтетический стенд после make app-up и доступ к Docker. + +Возраст незавершённой работы вызывает firing. Вложение достигает ready после восстановления worker, алерт переходит в resolved. + +Команда `/usr/bin/python3 scripts/check_observability_incidents.py --base-url http://127.0.0.1:8080 --grafana-url http://127.0.0.1:3000 worker`. Код выхода **0**. Время 55.56 с. + +[Вывод](runs/20261113T155722.910201Z/grade4-queue-1.txt) + +````text +Container highload-lab6-worker-1 Stopping + Container highload-lab6-worker-1 Stopped +MessengerQueueLag firing + Container highload-lab6-broker-1 Waiting + Container highload-lab6-db-1 Waiting + Container highload-lab6-s3-1 Waiting + Container highload-lab6-db-1 Healthy + Container highload-lab6-migrate-1 Starting + Container highload-lab6-s3-1 Healthy + Container highload-lab6-s3-bootstrap-1 Starting + Container highload-lab6-broker-1 Healthy + Container highload-lab6-migrate-1 Started + Container highload-lab6-migrate-1 Waiting + Container highload-lab6-s3-bootstrap-1 Started + Container highload-lab6-s3-bootstrap-1 Waiting + Container highload-lab6-migrate-1 Exited + Container highload-lab6-s3-bootstrap-1 Exited + Container highload-lab6-worker-1 Starting + Container highload-lab6-worker-1 Started +MessengerQueueLag resolved +```` diff --git a/evidence/criteria/grade4-telemetry.md b/evidence/criteria/grade4-telemetry.md new file mode 100644 index 0000000..b32fe51 --- /dev/null +++ b/evidence/criteria/grade4-telemetry.md @@ -0,0 +1,20 @@ +# Недоступность Tempo + +Предпосылки — локальный синтетический стенд после make app-up и доступ к Docker. + +Проверяются сообщения и готовность вложения при остановленном Tempo, снимок памяти Collector и число отброшенных спанов по его журналу. + +Команда `/usr/bin/python3 scripts/check_observability_incidents.py --base-url http://127.0.0.1:8080 --grafana-url http://127.0.0.1:3000 telemetry`. Код выхода **0**. Время 46.39 с. + +[Вывод](runs/20261113T155722.910201Z/grade4-telemetry-1.txt) + +````text +Container highload-lab6-tempo-1 Stopping + Container highload-lab6-tempo-1 Stopped +CONTAINER ID NAME CPU % MEM USAGE / LIMIT MEM % NET I/O BLOCK I/O PIDS +a2048ea9933c highload-lab6-otel-collector-1 0.42% 56.43MiB / 192MiB 29.39% 69.6MB / 15.8MB 466MB / 20.8MB 21 +API и worker работали при остановленном Tempo. + Container highload-lab6-tempo-1 Starting + Container highload-lab6-tempo-1 Started +Спанов отброшено Collector за период проверки: 54 +```` diff --git a/evidence/criteria/runs/20261113T155722.910201Z/grade3-signals-1.txt b/evidence/criteria/runs/20261113T155722.910201Z/grade3-signals-1.txt new file mode 100644 index 0000000..29bc7cd --- /dev/null +++ b/evidence/criteria/runs/20261113T155722.910201Z/grade3-signals-1.txt @@ -0,0 +1,10 @@ +Worker: изображение 3000×3000 завершилось в состоянии failed. +messenger-api: http.request.completed, trace=91735be6f8944614b886c2a34bfc95a8, span=7aca4e9abb3620f6 +messenger-worker: job.processing.completed, trace=8f05225357fb027e222f890074249eed, span=49632776d49e21fe +messenger-worker: job.processing.completed, trace=c958e0f21140e39dddb4192b5982442e, span=f459a5c48084c984 +Prometheus: messenger_http_requests_total, рядов=40 +Prometheus: messenger_http_duration_seconds_bucket, рядов=560 +Prometheus: messenger_worker_jobs_total{job_outcome="success"}, рядов=1 +Prometheus: messenger_worker_jobs_total{job_outcome="error"}, рядов=1 +Prometheus: messenger_worker_duration_seconds_bucket, рядов=42 +Проверенные сигналы не содержат контрольных credentials, текста, имени/байтов файла и бизнес-ID. diff --git a/evidence/criteria/runs/20261113T155722.910201Z/grade3-smoke-1.txt b/evidence/criteria/runs/20261113T155722.910201Z/grade3-smoke-1.txt new file mode 100644 index 0000000..1733c32 --- /dev/null +++ b/evidence/criteria/runs/20261113T155722.910201Z/grade3-smoke-1.txt @@ -0,0 +1,4 @@ +make[1]: Entering directory '/home/TAskMAster339/Projects/highload-systems/mtusi2026lab6-fork' +python3 scripts/check_contract.py +PASS: offline skeleton structure, local refs and Python syntax; application NOT tested. +make[1]: Leaving directory '/home/TAskMAster339/Projects/highload-systems/mtusi2026lab6-fork' diff --git a/evidence/criteria/runs/20261113T155722.910201Z/grade3-smoke-2.txt b/evidence/criteria/runs/20261113T155722.910201Z/grade3-smoke-2.txt new file mode 100644 index 0000000..6019617 --- /dev/null +++ b/evidence/criteria/runs/20261113T155722.910201Z/grade3-smoke-2.txt @@ -0,0 +1,4 @@ +make[1]: Entering directory '/home/TAskMAster339/Projects/highload-systems/mtusi2026lab6-fork' +python3 tests/smoke.py --base-url "http://127.0.0.1:8080" +PASS: lab6 public API scenario; infrastructure and grading evidence remain separate. +make[1]: Leaving directory '/home/TAskMAster339/Projects/highload-systems/mtusi2026lab6-fork' diff --git a/evidence/criteria/runs/20261113T155722.910201Z/grade3-stand-1.txt b/evidence/criteria/runs/20261113T155722.910201Z/grade3-stand-1.txt new file mode 100644 index 0000000..8b13789 --- /dev/null +++ b/evidence/criteria/runs/20261113T155722.910201Z/grade3-stand-1.txt @@ -0,0 +1 @@ + diff --git a/evidence/criteria/runs/20261113T155722.910201Z/grade3-stand-2.txt b/evidence/criteria/runs/20261113T155722.910201Z/grade3-stand-2.txt new file mode 100644 index 0000000..070a2e2 --- /dev/null +++ b/evidence/criteria/runs/20261113T155722.910201Z/grade3-stand-2.txt @@ -0,0 +1,19 @@ +NAME IMAGE COMMAND SERVICE CREATED STATUS PORTS +highload-lab6-api-1 highload-lab6-api "./messenger" api 31 minutes ago Up 31 minutes (healthy) 8080/tcp +highload-lab6-api-2 highload-lab6-api "./messenger" api 31 minutes ago Up 31 minutes (healthy) 8080/tcp +highload-lab6-broker-1 rabbitmq:4.2.0-management "docker-entrypoint.s…" broker About an hour ago Up About an hour (healthy) 4369/tcp, 5671-5672/tcp, 15671-15672/tcp, 15691-15692/tcp, 25672/tcp +highload-lab6-db-1 postgres:16.10-bookworm "docker-entrypoint.s…" db About an hour ago Up About an hour (healthy) 5432/tcp +highload-lab6-dispatcher-1 highload-lab6-dispatcher "./messenger dispatc…" dispatcher 31 minutes ago Up 31 minutes 8080/tcp +highload-lab6-frontend-1 sha256:6f2bacde48d02aca251e04c4707e11d6707c797af56bf6623a671b2e0c20da30 "docker-entrypoint.s…" frontend About an hour ago Up About an hour (healthy) 127.0.0.1:5173->5173/tcp +highload-lab6-grafana-1 grafana/grafana:11.5.2 "/run.sh" grafana About an hour ago Up About an hour 127.0.0.1:3000->3000/tcp +highload-lab6-haproxy-1 haproxy:3.2.25-alpine "docker-entrypoint.s…" haproxy About an hour ago Up About an hour (healthy) 127.0.0.1:8080->8080/tcp, 127.0.0.1:8404->8404/tcp +highload-lab6-loki-1 grafana/loki:3.4.2 "/usr/bin/loki -conf…" loki About an hour ago Up About an hour 3100/tcp +highload-lab6-migrate-1 highload-lab6-migrate "./messenger migrate…" migrate 31 minutes ago Exited (0) 3 minutes ago +highload-lab6-otel-collector-1 otel/opentelemetry-collector-contrib:0.120.0 "/otelcol-contrib --…" otel-collector About an hour ago Up About an hour 4317-4318/tcp, 55678-55679/tcp +highload-lab6-prometheus-1 prom/prometheus:v3.2.1 "/bin/prometheus --c…" prometheus 31 minutes ago Up 31 minutes 9090/tcp +highload-lab6-redis-1 redis:7.4.11-bookworm "docker-entrypoint.s…" redis About an hour ago Up About an hour (healthy) 6379/tcp +highload-lab6-s3-1 sha256:b891ef2bb2e30a5a240ee0d267c8938ab43f2ce5e5c89347e580e7c1b1cf4e5e "minio server /data …" s3 About an hour ago Up 3 minutes (healthy) 127.0.0.1:9000->9000/tcp +highload-lab6-s3-bootstrap-1 highload-lab6-s3-bootstrap "./messenger s3-boot…" s3-bootstrap 31 minutes ago Exited (0) 3 minutes ago +highload-lab6-tempo-1 grafana/tempo:2.7.1 "/tempo -config.file…" tempo About an hour ago Up 34 seconds +highload-lab6-upload-cleanup-1 highload-lab6-upload-cleanup "./messenger attachm…" upload-cleanup 31 minutes ago Up 31 minutes 8080/tcp +highload-lab6-worker-1 highload-lab6-worker "./messenger worker" worker 31 minutes ago Up 3 minutes 8080/tcp diff --git a/evidence/criteria/runs/20261113T155722.910201Z/grade3-stand-3.txt b/evidence/criteria/runs/20261113T155722.910201Z/grade3-stand-3.txt new file mode 100644 index 0000000..1bee4be --- /dev/null +++ b/evidence/criteria/runs/20261113T155722.910201Z/grade3-stand-3.txt @@ -0,0 +1,8 @@ +s3_data +loki_data +postgres_data +prometheus_data +redis_data +tempo_data +grafana_data +rabbitmq_data diff --git a/evidence/criteria/runs/20261113T155722.910201Z/grade3-stand-4.txt b/evidence/criteria/runs/20261113T155722.910201Z/grade3-stand-4.txt new file mode 100644 index 0000000..6a79d9e --- /dev/null +++ b/evidence/criteria/runs/20261113T155722.910201Z/grade3-stand-4.txt @@ -0,0 +1,2 @@ +Container highload-lab6-otel-collector-run-0fb806dd4ede Creating + Container highload-lab6-otel-collector-run-0fb806dd4ede Created diff --git a/evidence/criteria/runs/20261113T155722.910201Z/grade3-stand-5.txt b/evidence/criteria/runs/20261113T155722.910201Z/grade3-stand-5.txt new file mode 100644 index 0000000..6f84a9c --- /dev/null +++ b/evidence/criteria/runs/20261113T155722.910201Z/grade3-stand-5.txt @@ -0,0 +1,4 @@ +Источник Grafana: prometheus +Источник Grafana: loki +Источник Grafana: tempo +Загружен dashboard messenger-lab6, панелей: 17 diff --git a/evidence/criteria/runs/20261113T155722.910201Z/grade4-dashboard-1.txt b/evidence/criteria/runs/20261113T155722.910201Z/grade4-dashboard-1.txt new file mode 100644 index 0000000..506b554 --- /dev/null +++ b/evidence/criteria/runs/20261113T155722.910201Z/grade4-dashboard-1.txt @@ -0,0 +1,17 @@ +API · запросы в секунду — sum(rate(messenger_http_requests_total[1m])) — рядов: 1 +API · 5xx в секунду — sum(rate(messenger_http_requests_total{http_status_class="5xx"}[1m])) or 0 * sum(rate(messenger_http_requests_total[1m])) — рядов: 1 +API · p95 длительности — histogram_quantile(0.95, sum by (le) (rate(messenger_http_duration_seconds_bucket[1m]))) — рядов: 1 +Worker · задания в минуту — 60 * sum by (job_outcome) (rate(messenger_worker_jobs_total[1m])) — рядов: 3 +Worker · p95 длительности — histogram_quantile(0.95, sum by (le,job_outcome) (rate(messenger_worker_duration_seconds_bucket[1m]))) — рядов: 3 +API · p50 длительности — histogram_quantile(0.5, sum by (le) (rate(messenger_http_duration_seconds_bucket[1m]))) — рядов: 1 +API · p99 длительности — histogram_quantile(0.99, sum by (le) (rate(messenger_http_duration_seconds_bucket[1m]))) — рядов: 1 +API · доля 5xx — (sum(rate(messenger_http_requests_total{http_status_class="5xx"}[1m])) or 0 * sum(rate(messenger_http_requests_total[1m]))) / sum(rate(messenger_http_requests_total[1m])) — рядов: 1 +Очередь attachments.v1 · незавершённые задания — max(messenger_queue_depth) — рядов: 1 +Очередь attachments.v1 · возраст старейшего задания — max(messenger_queue_oldest_seconds) — рядов: 1 +PostgreSQL · занятые соединения — sum by (service_name) (messenger_db_pool_used) — рядов: 3 +PostgreSQL · запросы к пулу, ожидавшие соединение, в секунду — sum by (service_name) (rate(messenger_db_pool_waited_total[1m])) — рядов: 3 +Worker · загрузка — sum(messenger_worker_busy) / sum(messenger_worker_capacity) — рядов: 1 +Вложения · p95 до ready — histogram_quantile(0.95, sum by (le) (rate(messenger_attachment_ready_seconds_bucket[1m]))) — рядов: 1 +Процессы · загрузка CPU — sum by (service_name) (rate(messenger_process_cpu_seconds_total[1m])) — рядов: 3 +Процессы · резидентная память — sum by (service_name) (messenger_process_rss_bytes) — рядов: 3 +SLI за 30 минут: 0.9992789095149922 цель: >= 0.99 diff --git a/evidence/criteria/runs/20261113T155722.910201Z/grade4-dashboard-2.txt b/evidence/criteria/runs/20261113T155722.910201Z/grade4-dashboard-2.txt new file mode 100644 index 0000000..f62b652 --- /dev/null +++ b/evidence/criteria/runs/20261113T155722.910201Z/grade4-dashboard-2.txt @@ -0,0 +1,2 @@ +Checking /etc/prometheus/alerts.yaml + SUCCESS: 2 rules found diff --git a/evidence/criteria/runs/20261113T155722.910201Z/grade4-database-1.txt b/evidence/criteria/runs/20261113T155722.910201Z/grade4-database-1.txt new file mode 100644 index 0000000..0caba06 --- /dev/null +++ b/evidence/criteria/runs/20261113T155722.910201Z/grade4-database-1.txt @@ -0,0 +1,13 @@ +MessengerHighErrorRate firing + pg_terminate_backend +---------------------- + t +(1 row) + +FATAL: terminating connection due to administrator command +server closed the connection unexpectedly + This probably means the server terminated abnormally + before or while processing the request. +connection to server was lost +Медленный запрос PostgreSQL подтверждён в trace: 624d2df384e6bb8e27ad11ca29a41d0b +MessengerHighErrorRate resolved diff --git a/evidence/criteria/runs/20261113T155722.910201Z/grade4-load-1.txt b/evidence/criteria/runs/20261113T155722.910201Z/grade4-load-1.txt new file mode 100644 index 0000000..bed32bd --- /dev/null +++ b/evidence/criteria/runs/20261113T155722.910201Z/grade4-load-1.txt @@ -0,0 +1,47 @@ +Architecture: x86_64 +CPU op-mode(s): 32-bit, 64-bit +Address sizes: 48 bits physical, 48 bits virtual +Byte Order: Little Endian +CPU(s): 16 +On-line CPU(s) list: 0-15 +Vendor ID: AuthenticAMD +Model name: AMD Ryzen 9 PRO 7940HS w/ Radeon 780M Graphics +CPU family: 25 +Model: 116 +Thread(s) per core: 2 +Core(s) per socket: 8 +Socket(s): 1 +Stepping: 1 +Microcode version: 0xa70410a +Frequency boost: enabled +CPU(s) scaling MHz: 90% +CPU max MHz: 5263,0610 +CPU min MHz: 402,7860 +BogoMIPS: 7985,14 +Flags: fpu vme de pse tsc msr pae mce cx8 apic sep mtrr pge mca cmov pat pse36 clflush mmx fxsr sse sse2 ht syscall nx mmxext fxsr_opt pdpe1gb rdtscp lm constant_tsc rep_good amd_lbr_v2 nopl xtopology nonstop_tsc cpuid extd_apicid aperfmperf rapl pni pclmulqdq monitor ssse3 fma cx16 sse4_1 sse4_2 x2apic movbe popcnt aes xsave avx f16c rdrand lahf_lm cmp_legacy svm extapic cr8_legacy abm sse4a misalignsse 3dnowprefetch osvw ibs skinit wdt tce topoext perfctr_core perfctr_nb bpext perfctr_llc mwaitx cpuid_fault cpb cat_l3 cdp_l3 hw_pstate ssbd mba perfmon_v2 ibrs ibpb stibp ibrs_enhanced vmmcall fsgsbase bmi1 avx2 smep bmi2 erms invpcid cqm rdt_a avx512f avx512dq rdseed adx smap avx512ifma clflushopt clwb avx512cd sha_ni avx512bw avx512vl xsaveopt xsavec xgetbv1 xsaves cqm_llc cqm_occup_llc cqm_mbm_total cqm_mbm_local user_shstk avx512_bf16 clzero irperf xsaveerptr rdpru wbnoinvd cppc arat npt lbrv svm_lock nrip_save tsc_scale vmcb_clean flushbyasid decodeassists pausefilter pfthreshold vgif x2avic v_spec_ctrl vnmi avx512vbmi umip pku ospke avx512_vbmi2 gfni vaes vpclmulqdq avx512_vnni avx512_bitalg avx512_vpopcntdq rdpid overflow_recov succor smca fsrm flush_l1d amd_lbr_pmc_freeze +Virtualization: AMD-V +L1d cache: 256 KiB (8 instances) +L1i cache: 256 KiB (8 instances) +L2 cache: 8 MiB (8 instances) +L3 cache: 16 MiB (1 instance) +NUMA node(s): 1 +NUMA node0 CPU(s): 0-15 +Vulnerability Gather data sampling: Not affected +Vulnerability Ghostwrite: Not affected +Vulnerability Indirect target selection: Not affected +Vulnerability Itlb multihit: Not affected +Vulnerability L1tf: Not affected +Vulnerability Mds: Not affected +Vulnerability Meltdown: Not affected +Vulnerability Mmio stale data: Not affected +Vulnerability Old microcode: Not affected +Vulnerability Reg file data sampling: Not affected +Vulnerability Retbleed: Not affected +Vulnerability Spec rstack overflow: Mitigation; Safe RET +Vulnerability Spec store bypass: Mitigation; Speculative Store Bypass disabled via prctl +Vulnerability Spectre v1: Mitigation; usercopy/swapgs barriers and __user pointer sanitization +Vulnerability Spectre v2: Mitigation; Enhanced / Automatic IBRS; IBPB conditional; STIBP always-on; PBRSB-eIBRS Not affected; BHI Not affected +Vulnerability Srbds: Not affected +Vulnerability Tsa: Mitigation; Clear CPU buffers +Vulnerability Tsx async abort: Not affected +Vulnerability Vmscape: Mitigation; IBPB before exit to userspace diff --git a/evidence/criteria/runs/20261113T155722.910201Z/grade4-load-2.txt b/evidence/criteria/runs/20261113T155722.910201Z/grade4-load-2.txt new file mode 100644 index 0000000..67a1ad2 --- /dev/null +++ b/evidence/criteria/runs/20261113T155722.910201Z/grade4-load-2.txt @@ -0,0 +1,3 @@ +total used free shared buff/cache available +Mem: 14Gi 11Gi 1,3Gi 139Mi 2,3Gi 3,1Gi +Swap: 8,0Gi 8,0Gi 548Ki diff --git a/evidence/criteria/runs/20261113T155722.910201Z/grade4-load-3.txt b/evidence/criteria/runs/20261113T155722.910201Z/grade4-load-3.txt new file mode 100644 index 0000000..19122d0 --- /dev/null +++ b/evidence/criteria/runs/20261113T155722.910201Z/grade4-load-3.txt @@ -0,0 +1 @@ +Docker Compose version v5.7.0 diff --git a/evidence/criteria/runs/20261113T155722.910201Z/grade4-load-4.txt b/evidence/criteria/runs/20261113T155722.910201Z/grade4-load-4.txt new file mode 100644 index 0000000..432c45c --- /dev/null +++ b/evidence/criteria/runs/20261113T155722.910201Z/grade4-load-4.txt @@ -0,0 +1,17 @@ +{ + "lab": 6, + "workload": "closed-loop POST messages; no automatic retries", + "requested_duration_seconds": 30.0, + "elapsed_seconds": 30.004, + "concurrency": 4, + "successful_requests": 37708, + "failed_requests": 0, + "error_ratio": 0.0, + "successful_rps": 1256.75, + "successful_latency_ms": { + "p50": 2.828, + "p95": 4.327, + "p99": 7.211 + }, + "note": "Latency percentiles cover successes only. Timeouts/errors are counted separately; closed-loop has coordinated omission and client overhead." +} diff --git a/evidence/criteria/runs/20261113T155722.910201Z/grade4-load-5.txt b/evidence/criteria/runs/20261113T155722.910201Z/grade4-load-5.txt new file mode 100644 index 0000000..3ab111a --- /dev/null +++ b/evidence/criteria/runs/20261113T155722.910201Z/grade4-load-5.txt @@ -0,0 +1,17 @@ +CONTAINER ID NAME CPU % MEM USAGE / LIMIT MEM % NET I/O BLOCK I/O PIDS +2ee09eab650d highload-lab6-worker-1 0.01% 10.86MiB / 512MiB 2.12% 274kB / 393kB 4.58MB / 0B 7 +7fdc55311297 highload-lab6-dispatcher-1 0.03% 10.59MiB / 128MiB 8.27% 1.05MB / 1.41MB 1.33MB / 422kB 7 +188cf5f1391d highload-lab6-api-2 2.56% 22.67MiB / 512MiB 4.43% 85.5MB / 161MB 8.96MB / 406kB 7 +93535c5e7b67 highload-lab6-api-1 0.06% 21.67MiB / 512MiB 4.23% 86.4MB / 163MB 8.18MB / 389kB 7 +ae279d3a717c highload-lab6-upload-cleanup-1 0.00% 4.543MiB / 128MiB 3.55% 35.6kB / 31.2kB 32.8kB / 532kB 12 +db0e2da28fb1 highload-lab6-prometheus-1 0.23% 35.93MiB / 14.89GiB 0.24% 3.86MB / 1.91MB 426MB / 6.98MB 22 +66b201cac5eb highload-lab6-grafana-1 0.68% 89.27MiB / 14.89GiB 0.59% 59.5MB / 116MB 1.32GB / 242MB 25 +0d0412e6fe25 highload-lab6-tempo-1 0.02% 307.1MiB / 14.89GiB 2.01% 9.75MB / 202kB 58.6MB / 55.3MB 21 +a8fc40b42323 highload-lab6-loki-1 0.92% 161.8MiB / 14.89GiB 1.06% 5.45MB / 32.4MB 534MB / 24.9MB 21 +a2048ea9933c highload-lab6-otel-collector-1 0.19% 60.13MiB / 192MiB 31.32% 123MB / 28.3MB 489MB / 20.9MB 21 +efeed09a36ec highload-lab6-frontend-1 0.27% 24.01MiB / 512MiB 4.69% 52.3kB / 7.76MB 562MB / 161MB 36 +2ac44f5d15bb highload-lab6-haproxy-1 2.36% 10.5MiB / 128MiB 8.20% 104MB / 106MB 30.2MB / 14MB 17 +3999d26f1e22 highload-lab6-s3-1 9.80% 354.4MiB / 512MiB 69.22% 1.07MB / 760kB 125MB / 10.2MB 21 +8837cc38b561 highload-lab6-db-1 0.66% 80.51MiB / 512MiB 15.72% 160MB / 109MB 459MB / 5.37GB 18 +3e7d2e507d3d highload-lab6-broker-1 23.55% 89.5MiB / 512MiB 17.48% 374kB / 333kB 267MB / 91.5MB 47 +65ad13aee585 highload-lab6-redis-1 2.71% 4.18MiB / 128MiB 3.27% 13.8MB / 8.47MB 163MB / 7.52MB 6 diff --git a/evidence/criteria/runs/20261113T155722.910201Z/grade4-pipeline-1.txt b/evidence/criteria/runs/20261113T155722.910201Z/grade4-pipeline-1.txt new file mode 100644 index 0000000..e134637 --- /dev/null +++ b/evidence/criteria/runs/20261113T155722.910201Z/grade4-pipeline-1.txt @@ -0,0 +1 @@ +Upload → producer → consumer → S3/PostgreSQL, trace: a1b887f518133aa40e303527d73f514e diff --git a/evidence/criteria/runs/20261113T155722.910201Z/grade4-pipeline-2.txt b/evidence/criteria/runs/20261113T155722.910201Z/grade4-pipeline-2.txt new file mode 100644 index 0000000..09f86d7 --- /dev/null +++ b/evidence/criteria/runs/20261113T155722.910201Z/grade4-pipeline-2.txt @@ -0,0 +1,25 @@ +Container highload-lab6-worker-1 Stopping + Container highload-lab6-worker-1 Stopped + Container highload-lab6-s3-1 Stopping + Container highload-lab6-s3-1 Stopped + Container highload-lab6-worker-1 Starting + Container highload-lab6-worker-1 Started + Container highload-lab6-s3-1 Starting + Container highload-lab6-s3-1 Started + Container highload-lab6-s3-1 Waiting + Container highload-lab6-s3-1 Healthy +Исходное вложение перешло в ready, обе попытки в trace: 762071e58a275355660808c10b605df8 + Container highload-lab6-broker-1 Waiting + Container highload-lab6-db-1 Waiting + Container highload-lab6-s3-1 Waiting + Container highload-lab6-db-1 Healthy + Container highload-lab6-migrate-1 Starting + Container highload-lab6-broker-1 Healthy + Container highload-lab6-s3-1 Healthy + Container highload-lab6-s3-bootstrap-1 Starting + Container highload-lab6-migrate-1 Started + Container highload-lab6-migrate-1 Waiting + Container highload-lab6-s3-bootstrap-1 Started + Container highload-lab6-s3-bootstrap-1 Waiting + Container highload-lab6-migrate-1 Exited + Container highload-lab6-s3-bootstrap-1 Exited diff --git a/evidence/criteria/runs/20261113T155722.910201Z/grade4-queue-1.txt b/evidence/criteria/runs/20261113T155722.910201Z/grade4-queue-1.txt new file mode 100644 index 0000000..0d42003 --- /dev/null +++ b/evidence/criteria/runs/20261113T155722.910201Z/grade4-queue-1.txt @@ -0,0 +1,20 @@ +Container highload-lab6-worker-1 Stopping + Container highload-lab6-worker-1 Stopped +MessengerQueueLag firing + Container highload-lab6-broker-1 Waiting + Container highload-lab6-db-1 Waiting + Container highload-lab6-s3-1 Waiting + Container highload-lab6-db-1 Healthy + Container highload-lab6-migrate-1 Starting + Container highload-lab6-s3-1 Healthy + Container highload-lab6-s3-bootstrap-1 Starting + Container highload-lab6-broker-1 Healthy + Container highload-lab6-migrate-1 Started + Container highload-lab6-migrate-1 Waiting + Container highload-lab6-s3-bootstrap-1 Started + Container highload-lab6-s3-bootstrap-1 Waiting + Container highload-lab6-migrate-1 Exited + Container highload-lab6-s3-bootstrap-1 Exited + Container highload-lab6-worker-1 Starting + Container highload-lab6-worker-1 Started +MessengerQueueLag resolved diff --git a/evidence/criteria/runs/20261113T155722.910201Z/grade4-telemetry-1.txt b/evidence/criteria/runs/20261113T155722.910201Z/grade4-telemetry-1.txt new file mode 100644 index 0000000..93e37b3 --- /dev/null +++ b/evidence/criteria/runs/20261113T155722.910201Z/grade4-telemetry-1.txt @@ -0,0 +1,8 @@ +Container highload-lab6-tempo-1 Stopping + Container highload-lab6-tempo-1 Stopped +CONTAINER ID NAME CPU % MEM USAGE / LIMIT MEM % NET I/O BLOCK I/O PIDS +a2048ea9933c highload-lab6-otel-collector-1 0.42% 56.43MiB / 192MiB 29.39% 69.6MB / 15.8MB 466MB / 20.8MB 21 +API и worker работали при остановленном Tempo. + Container highload-lab6-tempo-1 Starting + Container highload-lab6-tempo-1 Started +Спанов отброшено Collector за период проверки: 54 diff --git a/evidence/criteria/runs/20261113T155722.910201Z/summary.json b/evidence/criteria/runs/20261113T155722.910201Z/summary.json new file mode 100644 index 0000000..4c94f02 --- /dev/null +++ b/evidence/criteria/runs/20261113T155722.910201Z/summary.json @@ -0,0 +1,140 @@ +{ + "grade3-stand": [ + { + "command": "docker compose config --quiet", + "exit_code": 0, + "seconds": 0.08, + "output": "grade3-stand-1.txt" + }, + { + "command": "docker compose ps --all", + "exit_code": 0, + "seconds": 0.11, + "output": "grade3-stand-2.txt" + }, + { + "command": "docker compose config --volumes", + "exit_code": 0, + "seconds": 0.08, + "output": "grade3-stand-3.txt" + }, + { + "command": "docker compose run --rm --no-deps otel-collector validate --config=/etc/otelcol-contrib/config.yaml", + "exit_code": 0, + "seconds": 1.28, + "output": "grade3-stand-4.txt" + }, + { + "command": "/usr/bin/python3 scripts/check_observability.py --base-url http://127.0.0.1:8080 --grafana-url http://127.0.0.1:3000 provisioning", + "exit_code": 0, + "seconds": 0.13, + "output": "grade3-stand-5.txt" + } + ], + "grade3-smoke": [ + { + "command": "make check", + "exit_code": 0, + "seconds": 0.05, + "output": "grade3-smoke-1.txt" + }, + { + "command": "make test BASE_URL=http://127.0.0.1:8080", + "exit_code": 0, + "seconds": 3.51, + "output": "grade3-smoke-2.txt" + } + ], + "grade3-signals": [ + { + "command": "/usr/bin/python3 scripts/check_observability.py --base-url http://127.0.0.1:8080 --grafana-url http://127.0.0.1:3000 signals", + "exit_code": 0, + "seconds": 7.2, + "output": "grade3-signals-1.txt" + } + ], + "grade4-pipeline": [ + { + "command": "/usr/bin/python3 scripts/check_observability.py --base-url http://127.0.0.1:8080 --grafana-url http://127.0.0.1:3000 pipeline", + "exit_code": 0, + "seconds": 4.92, + "output": "grade4-pipeline-1.txt" + }, + { + "command": "/usr/bin/python3 scripts/check_observability_incidents.py --base-url http://127.0.0.1:8080 --grafana-url http://127.0.0.1:3000 retry", + "exit_code": 0, + "seconds": 15.62, + "output": "grade4-pipeline-2.txt" + } + ], + "grade4-dashboard": [ + { + "command": "/usr/bin/python3 scripts/check_observability.py --base-url http://127.0.0.1:8080 --grafana-url http://127.0.0.1:3000 dashboard", + "exit_code": 0, + "seconds": 0.16, + "output": "grade4-dashboard-1.txt" + }, + { + "command": "docker compose exec -T prometheus promtool check rules /etc/prometheus/alerts.yaml", + "exit_code": 0, + "seconds": 0.23, + "output": "grade4-dashboard-2.txt" + } + ], + "grade4-queue": [ + { + "command": "/usr/bin/python3 scripts/check_observability_incidents.py --base-url http://127.0.0.1:8080 --grafana-url http://127.0.0.1:3000 worker", + "exit_code": 0, + "seconds": 55.56, + "output": "grade4-queue-1.txt" + } + ], + "grade4-database": [ + { + "command": "/usr/bin/python3 scripts/check_observability_incidents.py --base-url http://127.0.0.1:8080 --grafana-url http://127.0.0.1:3000 database", + "exit_code": 0, + "seconds": 104.65, + "output": "grade4-database-1.txt" + } + ], + "grade4-telemetry": [ + { + "command": "/usr/bin/python3 scripts/check_observability_incidents.py --base-url http://127.0.0.1:8080 --grafana-url http://127.0.0.1:3000 telemetry", + "exit_code": 0, + "seconds": 46.39, + "output": "grade4-telemetry-1.txt" + } + ], + "grade4-load": [ + { + "command": "lscpu", + "exit_code": 0, + "seconds": 0.01, + "output": "grade4-load-1.txt" + }, + { + "command": "free -h", + "exit_code": 0, + "seconds": 0.0, + "output": "grade4-load-2.txt" + }, + { + "command": "docker compose version", + "exit_code": 0, + "seconds": 0.04, + "output": "grade4-load-3.txt" + }, + { + "command": "/usr/bin/python3 tests/load.py --base-url http://127.0.0.1:8080 --duration 30 --concurrency 4", + "exit_code": 0, + "seconds": 31.48, + "output": "grade4-load-4.txt" + }, + { + "command": "docker compose stats --no-stream", + "exit_code": 0, + "seconds": 2.17, + "output": "grade4-load-5.txt" + } + ] +} diff --git a/scripts/check_observability.py b/scripts/check_observability.py index be33a72..7064e42 100644 --- a/scripts/check_observability.py +++ b/scripts/check_observability.py @@ -31,7 +31,7 @@ def main(): parser = argparse.ArgumentParser(description=__doc__) parser.add_argument("--base-url", default="http://127.0.0.1:8080") parser.add_argument("--grafana-url", default="http://127.0.0.1:3000") - parser.add_argument("criterion", choices=["provisioning", "signals", "pipeline"]) + parser.add_argument("criterion", choices=["provisioning", "signals", "pipeline", "dashboard"]) args = parser.parse_args() def query(path, **params): @@ -51,6 +51,24 @@ def main(): print("Загружен dashboard messenger-lab6, панелей:", len(dashboard["panels"])) return + if args.criterion == "dashboard": + dashboard = query("/api/dashboards/uid/messenger-lab6")["dashboard"] + check(len(dashboard["panels"]) >= 17, "grade 4 dashboard panels missing") + for panel in dashboard["panels"]: + if panel["datasource"]["type"] != "prometheus": + continue + for target in panel["targets"]: + result = source("prometheus", "/api/v1/query", query=target["expr"]) + check(result["status"] == "success", "PromQL query failed") + print(panel["title"], "—", target["expr"], "— рядов:", len(result["data"]["result"])) + expression = ('1 - (sum(increase(messenger_http_requests_total{http_status_class="5xx"}[30m])) ' + 'or 0 * sum(increase(messenger_http_requests_total[30m]))) ' + '/ sum(increase(messenger_http_requests_total[30m]))') + result = source("prometheus", "/api/v1/query", query=expression)["data"]["result"] + check(bool(result), "SLI series missing") + print("SLI за 30 минут:", result[0]["value"][1], "цель: >= 0.99") + return + client = Client(args.base_url) start = time.time_ns() alice, bob, _, chat = client.bootstrap() @@ -67,19 +85,23 @@ def main(): start=start, end=time.time_ns())["data"]["result"] if logs: trace_id = logs[0]["stream"]["trace_id"] - trace = source("tempo", "/api/traces/" + trace_id) + try: + trace = source("tempo", "/api/traces/" + trace_id) + except urllib.error.HTTPError as error: + if error.code != 404: + raise + time.sleep(2) + continue spans = [span for batch in trace["batches"] for scope in batch["scopeSpans"] for span in scope["spans"]] - producer = next((span for span in spans if span["kind"] == "SPAN_KIND_PRODUCER"), None) - consumer = next((span for span in spans if span["kind"] == "SPAN_KIND_CONSUMER"), None) - if producer and consumer: - api = next(span for span in spans if span["kind"] == "SPAN_KIND_SERVER") - check(producer["parentSpanId"] == api["spanId"], "producer parent mismatch") - check(consumer["parentSpanId"] == producer["spanId"], "consumer parent mismatch") + by_id = {span["spanId"]: span for span in spans} + for consumer in (span for span in spans if span["kind"] == "SPAN_KIND_CONSUMER"): + producer = by_id.get(consumer.get("parentSpanId"), {}) + api = by_id.get(producer.get("parentSpanId"), {}) children = {span["name"] for span in spans if span.get("parentSpanId") == consumer["spanId"]} - check({"postgresql finalize attachment", "s3 read staging and write variants"} <= children, - "worker S3 and PostgreSQL spans missing") - print("Upload → producer → consumer → S3/PostgreSQL, trace:", trace_id) - return + if (producer.get("kind") == "SPAN_KIND_PRODUCER" and api.get("kind") == "SPAN_KIND_SERVER" + and {"postgresql finalize attachment", "s3 read staging and write variants"} <= children): + print("Upload → producer → consumer → S3/PostgreSQL, trace:", trace_id) + return time.sleep(2) raise Failure("upload trace did not include the worker pipeline") @@ -132,7 +154,9 @@ def main(): spans = [span for batch in trace["batches"] for scope in batch["scopeSpans"] for span in scope["spans"]] span_id_base64 = base64.b64encode(bytes.fromhex(span_id)).decode() matched = [span for span in spans if span["spanId"] in (span_id, span_id_base64)] - check(len(matched) == 1, "span ID from log missing in trace") + if not matched: + continue + check(len(matched) == 1, "duplicate span ID in trace") span = matched[0] check(span["kind"] in (span_kind, "SPAN_KIND_SERVER" if span_kind == 2 else "SPAN_KIND_CONSUMER"), "wrong span kind") check(int(span["endTimeUnixNano"]) > int(span["startTimeUnixNano"]), "span duration missing") diff --git a/scripts/collect_observability_evidence.py b/scripts/collect_observability_evidence.py index a9b3c11..6844919 100644 --- a/scripts/collect_observability_evidence.py +++ b/scripts/collect_observability_evidence.py @@ -1,58 +1,6 @@ #!/usr/bin/env python3 -"""Сбор воспроизводимых доказательств уровня 3.""" -import argparse -from pathlib import Path -import re -import shlex -import subprocess -import sys - -ROOT = Path(__file__).resolve().parents[1] - - -def main(): - parser = argparse.ArgumentParser(description=__doc__) - parser.add_argument("--base-url", default="http://127.0.0.1:8080") - parser.add_argument("--grafana-url", default="http://127.0.0.1:3000") - args = parser.parse_args() - probe = [sys.executable, "scripts/check_observability.py", "--base-url", args.base_url, - "--grafana-url", args.grafana_url] - checks = [ - ("grade3-stand", "Стенд, тома и provisioning", - [["docker", "compose", "config", "--quiet"], - ["docker", "compose", "ps", "--all"], - ["docker", "compose", "config", "--volumes"], - ["docker", "compose", "run", "--rm", "--no-deps", "otel-collector", "validate", "--config=/etc/otelcol-contrib/config.yaml"], - probe + ["provisioning"]], - "Prometheus хранит временные ряды, Loki — журналы, Tempo — трассы. Collector принимает и маршрутизирует OTLP. Grafana читает данные и загружает dashboard из JSON."), - ("grade3-smoke", "Совместимость API при включённой телеметрии", - [["make", "check"], ["make", "test", "BASE_URL=" + args.base_url]], - "Smoke проверяет сессии, сообщения, ACL, идемпотентность и готовность вложения с оригиналом и thumbnail."), - ("grade3-signals", "Метрики, структурные логи и трассы API и worker", - [probe + ["signals"]], - "Контрольный POST сопоставляется с логом по X-Request-Id. Оба сервиса сопоставляются с Tempo по trace_id и span_id. Prometheus возвращает счётчики и histogram buckets. Проверка ищет утечки синтетических значений в полученных сигналах."), - ] - failed = False - for name, title, commands, explanation in checks: - lines = [f"# {title}", "", "Предпосылки — локальный синтетический стенд после make app-up и доступ к Docker.", - "", explanation, ""] - for command in commands: - try: - result = subprocess.run(command, cwd=ROOT, stdout=subprocess.PIPE, stderr=subprocess.STDOUT, - text=True, timeout=180) - code, output = result.returncode, result.stdout - except subprocess.TimeoutExpired: - code, output = 124, "Истёк лимит времени." - except OSError: - code, output = 127, "Команда недоступна." - failed |= code != 0 - output = re.sub(r"(https?://[^\s?]+)\?[^\s]+", r"\1?[redacted]", output).strip() - lines.extend([f"Команда `{shlex.join(command)}`. Код выхода **{code}**.", "", "```text", output or "(пусто)", "```", ""]) - path = ROOT / "evidence" / (name + ".md") - path.write_text("\n".join(lines), encoding="utf-8") - print(path.relative_to(ROOT)) - return int(failed) - +"""Совместимая точка входа для итогового генератора.""" +from generate_evidence import main if __name__ == "__main__": - sys.exit(main()) + raise SystemExit(main()) diff --git a/scripts/generate_evidence.py b/scripts/generate_evidence.py new file mode 100644 index 0000000..9209a36 --- /dev/null +++ b/scripts/generate_evidence.py @@ -0,0 +1,103 @@ +#!/usr/bin/env python3 +"""Сбор воспроизводимых доказательств уровней 3–4.""" +import argparse +from datetime import datetime, timezone +import json +from pathlib import Path +import re +import shlex +import subprocess +import sys +import time + +ROOT = Path(__file__).resolve().parents[1] + + +def main(): + parser = argparse.ArgumentParser(description=__doc__) + parser.add_argument("--base-url", default="http://127.0.0.1:8080") + parser.add_argument("--grafana-url", default="http://127.0.0.1:3000") + args = parser.parse_args() + probe = [sys.executable, "scripts/check_observability.py", "--base-url", args.base_url, + "--grafana-url", args.grafana_url] + incident = [sys.executable, "scripts/check_observability_incidents.py", "--base-url", args.base_url, + "--grafana-url", args.grafana_url] + checks = [ + ("grade3-stand", "Стенд, тома и provisioning", + [["docker", "compose", "config", "--quiet"], + ["docker", "compose", "ps", "--all"], + ["docker", "compose", "config", "--volumes"], + ["docker", "compose", "run", "--rm", "--no-deps", "otel-collector", "validate", "--config=/etc/otelcol-contrib/config.yaml"], + probe + ["provisioning"]], + "Prometheus хранит временные ряды, Loki — журналы, Tempo — трассы. Collector принимает и маршрутизирует OTLP. Grafana читает данные и загружает dashboard из JSON."), + ("grade3-smoke", "Совместимость API при включённой телеметрии", + [["make", "check"], ["make", "test", "BASE_URL=" + args.base_url]], + "Smoke проверяет сессии, сообщения, ACL, идемпотентность и готовность вложения с оригиналом и thumbnail."), + ("grade3-signals", "Метрики, структурные логи и трассы API и worker", + [probe + ["signals"]], + "Контрольный POST сопоставляется с логом по X-Request-Id. Оба сервиса сопоставляются с Tempo по trace_id и span_id. Prometheus возвращает счётчики и histogram buckets. Проверка ищет утечки синтетических значений в полученных сигналах."), + ("grade4-pipeline", "Сквозная трасса и повторная попытка", + [probe + ["pipeline"], incident + ["retry"]], + "Tempo подтверждает родительскую связь HTTP, producer и consumer, операции S3 и PostgreSQL и две попытки одной загрузки."), + ("grade4-dashboard", "Метрики диагностики и SLO", + [probe + ["dashboard"], ["docker", "compose", "exec", "-T", "prometheus", "promtool", "check", "rules", "/etc/prometheus/alerts.yaml"]], + "Проверяются запросы панелей, SLI за 30 минут и синтаксис двух правил."), + ("grade4-queue", "Остановка и восстановление worker", + [incident + ["worker"]], + "Возраст незавершённой работы вызывает firing. Вложение достигает ready после восстановления worker, алерт переходит в resolved."), + ("grade4-database", "Задержка PostgreSQL и восстановление", + [incident + ["database"]], + "При блокировке таблицы растёт доля 5xx и алерт срабатывает. Задержку показывает дочерний спан PostgreSQL. После снятия блокировки алерт переходит в resolved."), + ("grade4-telemetry", "Недоступность Tempo", + [incident + ["telemetry"]], + "Проверяются сообщения и готовность вложения при остановленном Tempo, снимок памяти Collector и число отброшенных спанов по его журналу."), + ("grade4-load", "Короткая нагрузка на API", + [["lscpu"], ["free", "-h"], ["docker", "compose", "version"], + [sys.executable, "tests/load.py", "--base-url", args.base_url, "--duration", "30", "--concurrency", "4"], + ["docker", "compose", "stats", "--no-stream"]], + "Один closed-loop прогон POST сообщений с четырьмя клиентами, отдельно от инцидентов. Снимок ресурсов сделан сразу после прогона."), + ] + output_root = ROOT / "evidence/criteria" + stamp = datetime.now(timezone.utc).strftime("%Y%m%dT%H%M%S.%fZ") + run = output_root / "runs" / stamp + run.mkdir(parents=True) + summary = {} + failed = False + for name, title, commands, explanation in checks: + lines = [f"# {title}", "", "Предпосылки — локальный синтетический стенд после make app-up и доступ к Docker.", + "", explanation, ""] + results = [] + summary[name] = results + for index, command in enumerate(commands, 1): + started = time.monotonic() + try: + result = subprocess.run(command, cwd=ROOT, stdout=subprocess.PIPE, stderr=subprocess.STDOUT, + text=True, timeout=240) + code, output = result.returncode, result.stdout + except subprocess.TimeoutExpired: + code, output = 124, "Истёк лимит времени." + except OSError: + code, output = 127, "Команда недоступна." + failed |= code != 0 + output = re.sub(r"(https?://[^\s?]+)\?[^\s]+", r"\1?[redacted]", output).strip() + output = "\n".join(line.rstrip() for line in output.splitlines()) + raw = f"{name}-{index}.txt" + (run / raw).write_text(output + "\n", encoding="utf-8") + seconds = round(time.monotonic() - started, 2) + results.append(dict(command=shlex.join(command), exit_code=code, seconds=seconds, output=raw)) + lines.extend([f"Команда `{shlex.join(command)}`. Код выхода **{code}**. Время {seconds} с.", + "", f"[Вывод](runs/{stamp}/{raw})", "", "````text", output or "(пусто)", "````", ""]) + path = output_root / (name + ".md") + path.write_text("\n".join(lines), encoding="utf-8") + print(path.relative_to(ROOT), flush=True) + index = ["# Доказательства критериев", "", f"[Сводка прогона {stamp}](runs/{stamp}/summary.json)", ""] + for name, results in summary.items(): + state = "PASS" if all(result["exit_code"] == 0 for result in results) else "FAIL" + index.append(f"- [{name}]({name}.md) — {state}") + (output_root / "README.md").write_text("\n".join(index) + "\n", encoding="utf-8") + (run / "summary.json").write_text(json.dumps(summary, ensure_ascii=False, indent=2) + "\n", encoding="utf-8") + return int(failed) + + +if __name__ == "__main__": + sys.exit(main())