forked from mtusi2026/mtusi2026lab6
docs: finish lab 6 report and reproducible evidence
This commit is contained in:
@@ -114,3 +114,8 @@ test-pipeline: app-init
|
||||
|
||||
frontend-build:
|
||||
$(COMPOSE) exec -T frontend npm run build
|
||||
|
||||
|
||||
.PHONY: evidence
|
||||
evidence:
|
||||
$(PYTHON) scripts/generate_evidence.py --base-url "$(BASE_URL)"
|
||||
|
||||
@@ -1,37 +1,78 @@
|
||||
# Отчёт — лабораторная 6
|
||||
|
||||
- Автор, группа: TODO
|
||||
- Целевая оценка; выбранный трек 5, если нужен: TODO
|
||||
- Commit/PR: TODO после публикации
|
||||
- Использованные источники, библиотеки и помощь ИИ: TODO
|
||||
- Автор — Гришко Дмитрий Михайлович, БВТ2303.
|
||||
- Целевая оценка — 4.
|
||||
- Ветка — `solution/Grishko-BVT2303`. Перенос — `d993866`, базовая наблюдаемость — `549edc8`, сквозная трассировка и алерты — `d753e34`.
|
||||
- Источники — [задание](README.md), [контракт наблюдаемости](contracts/observability.md), [OpenAPI](contracts/openapi.json), [OpenTelemetry Go](https://opentelemetry.io/docs/languages/go/instrumentation/), [OTLP в Loki](https://grafana.com/docs/loki/latest/send-data/otel/). Зависимости закреплены в [go.mod](src/go.mod). Помощь ИИ — OpenAI Codex, реализация, проверки и оформление.
|
||||
|
||||
## Запуск из чистого clone
|
||||
## Запуск из чистого клона
|
||||
|
||||
TODO: версии runtime/образов, prerequisites, команды создания локальных secrets/.env, build, миграций, запуска, ожидания готовности, тестов и остановки. Указать необходимые действия оператора. Не вставлять секреты. Отдельно указать безопасную остановку и команду намеренного удаления учебных данных.
|
||||
Нужны Linux, Git, Make, Python 3.9+, Docker Engine с Compose и доступ к реестрам образов и зависимостей при первой сборке. Из каталога репозитория на ветке решения:
|
||||
|
||||
```sh
|
||||
make app-init
|
||||
docker compose config --quiet
|
||||
make app-up
|
||||
curl --fail http://127.0.0.1:8080/health/ready
|
||||
make check
|
||||
make test BASE_URL=http://127.0.0.1:8080
|
||||
make evidence BASE_URL=http://127.0.0.1:8080
|
||||
```
|
||||
|
||||
`app-init` создаёт локальные `.env` и `secrets/`. Compose применяет миграции и создаёт приватный S3 bucket до запуска API и worker. По умолчанию API доступен на 8080, Grafana на 3000, UI на 5173, S3 на 9000 и статистика HAProxy на 8404. Dashboard открывается в гостевом режиме. Для Explore при первом входе используются стандартные локальные данные Grafana с последующей сменой пароля.
|
||||
|
||||
`make app-down` останавливает стенд с сохранением томов. Для намеренного удаления учебных данных используется `docker compose down --volumes`.
|
||||
|
||||
Приложение собирается Go 1.22.2 в Debian 12.15. Frontend использует Node 22. В Compose закреплены PostgreSQL 16.10, Redis 7.4.11, RabbitMQ 4.2.0, HAProxy 3.2.25, Collector Contrib 0.120.0, Prometheus 3.2.1, Loki 3.4.2, Tempo 2.7.1 и Grafana 11.5.2. MinIO собирается из закреплённого коммита [Dockerfile](infra/minio.Dockerfile). OpenTelemetry Go использует 1.34.0 для трасс и метрик и 0.10.0 для логов.
|
||||
|
||||
## Архитектура и решения
|
||||
|
||||
TODO: схема процессов/хранилищ, источник истины, транзакционные границы, ограничения. Что перенесено из lab5, что изменено в этой работе. Соответствие переменных из .env.example реальной конфигурации.
|
||||
```text
|
||||
Клиент → HAProxy → API ×2 → PostgreSQL / Redis / S3 staging
|
||||
PostgreSQL outbox → dispatcher → RabbitMQ → worker → S3 / PostgreSQL
|
||||
API / dispatcher / worker → OTLP HTTP → Collector
|
||||
├→ Prometheus (scrape)
|
||||
├→ Loki (OTLP)
|
||||
└→ Tempo (OTLP)
|
||||
Grafana → Prometheus / Loki / Tempo
|
||||
```
|
||||
|
||||
Из №5 перенесены сессии Redis, балансировка, идемпотентность сообщений, приватный S3 и фоновая обработка. API отвечает 202 после записи оригинала в устойчивый staging и фиксации метаданных и задания в PostgreSQL. Dispatcher подтверждает публикацию через RabbitMQ. Worker завершает обработку и фиксирует результат или намерение повторной попытки перед ACK. PostgreSQL хранит бизнес-данные и состояние задания. Готовность API зависит от PostgreSQL, Redis и S3.
|
||||
|
||||
Миграция 10 добавляет W3C `traceparent` и `tracestate` в outbox. Dispatcher восстанавливает контекст, создаёт producer span и переносит его в заголовки AMQP. Worker создаёт дочерний consumer span с номером попытки. Повторная публикация восстанавливает тот же контекст upload. В Tempo доступны спаны S3 и PostgreSQL, а Loki хранит trace ID, span ID, исход операции и технические поля корреляции. SQL, параметры запросов, заголовки авторизации, тексты и содержимое файлов не включаются в события. В метриках маршруты представлены шаблонами.
|
||||
|
||||
Prometheus хранит временные ряды, Loki — журналы, Tempo — трассы. У хранилищ отдельные тома. Grafana загружает источники и dashboard из [provisioning](infra/otel/grafana/provisioning). Collector использует batch, memory limiter 128 МиБ, лимит контейнера 192 МиБ и очереди экспорта Loki/Tempo по 64 пакета с retry до 30 секунд. Экспорт выполняется асинхронно.
|
||||
|
||||
Compose использует `APP_*`, `API_REPLICAS`, `SESSION_TTL_SECONDS`, `IDEMPOTENCY_TTL_SECONDS`, параметры S3, файлы подключения и `JOB_MAX_ATTEMPTS` / `JOB_TIMEOUT_SECONDS`. Сессии используют Redis. Конкурентность задаётся количеством процессов worker, по одному слоту на экземпляр. Пределы API — 10 МиБ и 40 млн пикселей, worker — 8 млн по умолчанию через `WORKER_MAX_PIXELS`. Failed staging хранится 24 часа. Код задаёт ресурсные атрибуты и имя сервиса по роли процесса, использует OTLP HTTP/protobuf. Endpoint задаётся через `OTEL_EXPORTER_OTLP_ENDPOINT`.
|
||||
|
||||
## Доказательства критериев
|
||||
|
||||
| Критерий README | Команда/сценарий | Наблюдаемый результат | Файл доказательства |
|
||||
| Критерий | Команда или сценарий | Наблюдение | Доказательство |
|
||||
| --- | --- | --- | --- |
|
||||
| Публичный smoke | make test | TODO | TODO |
|
||||
| Остальные пункты уровня 3 | TODO | TODO | TODO |
|
||||
| Все пункты уровня 4, если заявлен | TODO | TODO | TODO |
|
||||
| Выбранный трек 5, если заявлен | TODO | TODO | TODO |
|
||||
| 3. Минимум №5 | `make test` | Сессии, ACL, сообщения, идемпотентность, 202 → ready, оригинал и thumbnail | [Smoke](evidence/criteria/grade3-smoke.md) |
|
||||
| 3. Единый стенд, хранилища, provisioning | Compose, Collector validate, Grafana API | Тома и три источника данных, импортированный dashboard | [Стенд](evidence/criteria/grade3-stand.md) |
|
||||
| 3. OTLP и корреляция сигналов | `check_observability.py signals` | Метрики API и worker, совпадение trace/span ID в Loki и Tempo, проверка контрольных чувствительных значений | [Сигналы](evidence/criteria/grade3-signals.md) |
|
||||
| 4. Контекст через брокер и retry | `pipeline`, затем временная остановка S3 | Родительская цепочка до worker и операции S3/DB, обе попытки в одной трассе | [Трассировка](evidence/criteria/grade4-pipeline.md) |
|
||||
| 4. Диагностические метрики и SLO | `check_observability.py dashboard`, `promtool check rules` | PromQL для панелей, SLI за 30 минут, два валидных правила | [Dashboard и SLO](evidence/criteria/grade4-dashboard.md) |
|
||||
| 4. Алерт возраста очереди | Остановка worker | `MessengerQueueLag` firing → resolved, принятое вложение стало ready | [Очередь](evidence/criteria/grade4-queue.md) |
|
||||
| 4. Алерт доли 5xx | Временная блокировка таблицы чатов | `MessengerHighErrorRate` firing → resolved, задержка видна в дочернем спане PostgreSQL | [PostgreSQL](evidence/criteria/grade4-database.md) |
|
||||
| 4. Недоступность хранилища сигналов | Остановка Tempo | API принимает сообщения, worker обрабатывает вложение, Collector ограничивает буфер и регистрирует потерю спанов | [Tempo](evidence/criteria/grade4-telemetry.md) |
|
||||
|
||||
TODO: добавить отдельную строку для каждого заявленного критерия. PASS без команды и наблюдения не является доказательством. Проверка инфраструктурного hook требует подтверждения, какие реальные процессы/хранилища перезапущены.
|
||||
SLI — доля бизнес-запросов без 5xx, SLO ≥99% за 30 минут при наличии трафика. Health исключён. Перед итоговыми инцидентами SLI составил 99,93%. p50/p95/p99 вычисляются из агрегированных histogram buckets в секундах. Глубина очереди включает все незавершённые задания, в том числе ожидающие retry. Подробные запросы находятся в [dashboard JSON](infra/otel/grafana/dashboards/messenger.json), порядок диагностики — в [runbook](infra/otel/runbook.md).
|
||||
|
||||
## Эксперименты и отказы
|
||||
|
||||
TODO: гипотеза, hardware/лимиты, версии, объём данных, профиль нагрузки, concurrency/arrival rate, длительность/прогрев, повторы, успешные RPS, ошибки, p50/p95/p99, CPU/RAM. Сохранить raw summary без tokens и объяснить ограничения измерения.
|
||||
Сценарии запускаются последовательно на локальном стенде. Проверяется, можно ли по сохранённым сигналам различить остановку обработчика и задержку в БД, а также сохраняется ли бизнес-путь при недоступности хранилища трасс.
|
||||
|
||||
| Воздействие | Что ожидаем | Что наблюдали | Время восстановления / потеря данных |
|
||||
| --- | --- | --- | --- |
|
||||
| TODO | TODO | TODO | TODO |
|
||||
| Воздействие | Наблюдение | Восстановление |
|
||||
| --- | --- | --- |
|
||||
| Остановка worker | Возраст заданий растёт, alert firing после превышения 20 секунд в течение 15 секунд | Запуск worker, то же вложение ready, alert resolved |
|
||||
| Блокировка таблицы чатов | 5xx и долгий дочерний спан PostgreSQL. Правило проверяет порог 5% за минуту с выдержкой 15 секунд | Снятие блокировки, успешное чтение чата, alert resolved после выхода ошибок из окна |
|
||||
| Остановка S3 | Первая попытка обработки откладывается. Следующая видна в той же трассе | Запуск S3, исходное вложение ready |
|
||||
| Остановка Tempo | Сообщения приняты, вложение достигло ready. Collector отбросил 54 спана. Память по снимку — 56,43 МиБ из 192 МиБ | Tempo запущен после проверки |
|
||||
|
||||
Один короткий профиль нагрузки выполнен на AMD Ryzen 9 PRO 7940HS с 16 логическими CPU и 14 ГиБ RAM. Две API-реплики ограничены 0,5 CPU и 512 МиБ каждая. Worker ограничен 1 CPU и 512 МиБ. Профиль — 30 секунд, четыре параллельных клиента, closed-loop POST сообщений, один прогон без отдельного прогрева. В итоговом прогоне подтверждено 37 708 запросов, ошибок 0, пропускная способность 1256,75 RPS. Задержки p50/p95/p99 составили 2,828 / 4,327 / 7,211 мс. Полный вывод и снимок ресурсов после прогона сохранены в [результатах нагрузки](evidence/criteria/grade4-load.md).
|
||||
|
||||
## Ограничения и следующие шаги
|
||||
|
||||
TODO: какие отказы выдерживаются и какие нет; что не реализовано; где учебное упрощение; какое улучшение подтверждено, а какое пока гипотеза.
|
||||
Стенд локальный, PostgreSQL, S3, RabbitMQ и балансировщик развёрнуты в одном экземпляре. Отказы этих компонентов могут прерывать соответствующие бизнес-операции. Снимок памяти Collector относится к короткому отказу. При переполнении очереди или исчерпании повторов возможна потеря телеметрии. Результат closed-loop прогона зависит от клиента и не оценивает предел пропускной способности. Заявленная оценка — 4.
|
||||
|
||||
@@ -0,0 +1,13 @@
|
||||
# Доказательства критериев
|
||||
|
||||
[Сводка прогона 20261113T155722.910201Z](runs/20261113T155722.910201Z/summary.json)
|
||||
|
||||
- [grade3-stand](grade3-stand.md) — PASS
|
||||
- [grade3-smoke](grade3-smoke.md) — PASS
|
||||
- [grade3-signals](grade3-signals.md) — PASS
|
||||
- [grade4-pipeline](grade4-pipeline.md) — PASS
|
||||
- [grade4-dashboard](grade4-dashboard.md) — PASS
|
||||
- [grade4-queue](grade4-queue.md) — PASS
|
||||
- [grade4-database](grade4-database.md) — PASS
|
||||
- [grade4-telemetry](grade4-telemetry.md) — PASS
|
||||
- [grade4-load](grade4-load.md) — PASS
|
||||
@@ -0,0 +1,22 @@
|
||||
# Метрики, структурные логи и трассы API и worker
|
||||
|
||||
Предпосылки — локальный синтетический стенд после make app-up и доступ к Docker.
|
||||
|
||||
Контрольный POST сопоставляется с логом по X-Request-Id. Оба сервиса сопоставляются с Tempo по trace_id и span_id. Prometheus возвращает счётчики и histogram buckets. Проверка ищет утечки синтетических значений в полученных сигналах.
|
||||
|
||||
Команда `/usr/bin/python3 scripts/check_observability.py --base-url http://127.0.0.1:8080 --grafana-url http://127.0.0.1:3000 signals`. Код выхода **0**. Время 7.2 с.
|
||||
|
||||
[Вывод](runs/20261113T155722.910201Z/grade3-signals-1.txt)
|
||||
|
||||
````text
|
||||
Worker: изображение 3000×3000 завершилось в состоянии failed.
|
||||
messenger-api: http.request.completed, trace=91735be6f8944614b886c2a34bfc95a8, span=7aca4e9abb3620f6
|
||||
messenger-worker: job.processing.completed, trace=8f05225357fb027e222f890074249eed, span=49632776d49e21fe
|
||||
messenger-worker: job.processing.completed, trace=c958e0f21140e39dddb4192b5982442e, span=f459a5c48084c984
|
||||
Prometheus: messenger_http_requests_total, рядов=40
|
||||
Prometheus: messenger_http_duration_seconds_bucket, рядов=560
|
||||
Prometheus: messenger_worker_jobs_total{job_outcome="success"}, рядов=1
|
||||
Prometheus: messenger_worker_jobs_total{job_outcome="error"}, рядов=1
|
||||
Prometheus: messenger_worker_duration_seconds_bucket, рядов=42
|
||||
Проверенные сигналы не содержат контрольных credentials, текста, имени/байтов файла и бизнес-ID.
|
||||
````
|
||||
@@ -0,0 +1,27 @@
|
||||
# Совместимость API при включённой телеметрии
|
||||
|
||||
Предпосылки — локальный синтетический стенд после make app-up и доступ к Docker.
|
||||
|
||||
Smoke проверяет сессии, сообщения, ACL, идемпотентность и готовность вложения с оригиналом и thumbnail.
|
||||
|
||||
Команда `make check`. Код выхода **0**. Время 0.05 с.
|
||||
|
||||
[Вывод](runs/20261113T155722.910201Z/grade3-smoke-1.txt)
|
||||
|
||||
````text
|
||||
make[1]: Entering directory '/home/TAskMAster339/Projects/highload-systems/mtusi2026lab6-fork'
|
||||
python3 scripts/check_contract.py
|
||||
PASS: offline skeleton structure, local refs and Python syntax; application NOT tested.
|
||||
make[1]: Leaving directory '/home/TAskMAster339/Projects/highload-systems/mtusi2026lab6-fork'
|
||||
````
|
||||
|
||||
Команда `make test BASE_URL=http://127.0.0.1:8080`. Код выхода **0**. Время 3.51 с.
|
||||
|
||||
[Вывод](runs/20261113T155722.910201Z/grade3-smoke-2.txt)
|
||||
|
||||
````text
|
||||
make[1]: Entering directory '/home/TAskMAster339/Projects/highload-systems/mtusi2026lab6-fork'
|
||||
python3 tests/smoke.py --base-url "http://127.0.0.1:8080"
|
||||
PASS: lab6 public API scenario; infrastructure and grading evidence remain separate.
|
||||
make[1]: Leaving directory '/home/TAskMAster339/Projects/highload-systems/mtusi2026lab6-fork'
|
||||
````
|
||||
@@ -0,0 +1,74 @@
|
||||
# Стенд, тома и provisioning
|
||||
|
||||
Предпосылки — локальный синтетический стенд после make app-up и доступ к Docker.
|
||||
|
||||
Prometheus хранит временные ряды, Loki — журналы, Tempo — трассы. Collector принимает и маршрутизирует OTLP. Grafana читает данные и загружает dashboard из JSON.
|
||||
|
||||
Команда `docker compose config --quiet`. Код выхода **0**. Время 0.08 с.
|
||||
|
||||
[Вывод](runs/20261113T155722.910201Z/grade3-stand-1.txt)
|
||||
|
||||
````text
|
||||
(пусто)
|
||||
````
|
||||
|
||||
Команда `docker compose ps --all`. Код выхода **0**. Время 0.11 с.
|
||||
|
||||
[Вывод](runs/20261113T155722.910201Z/grade3-stand-2.txt)
|
||||
|
||||
````text
|
||||
NAME IMAGE COMMAND SERVICE CREATED STATUS PORTS
|
||||
highload-lab6-api-1 highload-lab6-api "./messenger" api 31 minutes ago Up 31 minutes (healthy) 8080/tcp
|
||||
highload-lab6-api-2 highload-lab6-api "./messenger" api 31 minutes ago Up 31 minutes (healthy) 8080/tcp
|
||||
highload-lab6-broker-1 rabbitmq:4.2.0-management "docker-entrypoint.s…" broker About an hour ago Up About an hour (healthy) 4369/tcp, 5671-5672/tcp, 15671-15672/tcp, 15691-15692/tcp, 25672/tcp
|
||||
highload-lab6-db-1 postgres:16.10-bookworm "docker-entrypoint.s…" db About an hour ago Up About an hour (healthy) 5432/tcp
|
||||
highload-lab6-dispatcher-1 highload-lab6-dispatcher "./messenger dispatc…" dispatcher 31 minutes ago Up 31 minutes 8080/tcp
|
||||
highload-lab6-frontend-1 sha256:6f2bacde48d02aca251e04c4707e11d6707c797af56bf6623a671b2e0c20da30 "docker-entrypoint.s…" frontend About an hour ago Up About an hour (healthy) 127.0.0.1:5173->5173/tcp
|
||||
highload-lab6-grafana-1 grafana/grafana:11.5.2 "/run.sh" grafana About an hour ago Up About an hour 127.0.0.1:3000->3000/tcp
|
||||
highload-lab6-haproxy-1 haproxy:3.2.25-alpine "docker-entrypoint.s…" haproxy About an hour ago Up About an hour (healthy) 127.0.0.1:8080->8080/tcp, 127.0.0.1:8404->8404/tcp
|
||||
highload-lab6-loki-1 grafana/loki:3.4.2 "/usr/bin/loki -conf…" loki About an hour ago Up About an hour 3100/tcp
|
||||
highload-lab6-migrate-1 highload-lab6-migrate "./messenger migrate…" migrate 31 minutes ago Exited (0) 3 minutes ago
|
||||
highload-lab6-otel-collector-1 otel/opentelemetry-collector-contrib:0.120.0 "/otelcol-contrib --…" otel-collector About an hour ago Up About an hour 4317-4318/tcp, 55678-55679/tcp
|
||||
highload-lab6-prometheus-1 prom/prometheus:v3.2.1 "/bin/prometheus --c…" prometheus 31 minutes ago Up 31 minutes 9090/tcp
|
||||
highload-lab6-redis-1 redis:7.4.11-bookworm "docker-entrypoint.s…" redis About an hour ago Up About an hour (healthy) 6379/tcp
|
||||
highload-lab6-s3-1 sha256:b891ef2bb2e30a5a240ee0d267c8938ab43f2ce5e5c89347e580e7c1b1cf4e5e "minio server /data …" s3 About an hour ago Up 3 minutes (healthy) 127.0.0.1:9000->9000/tcp
|
||||
highload-lab6-s3-bootstrap-1 highload-lab6-s3-bootstrap "./messenger s3-boot…" s3-bootstrap 31 minutes ago Exited (0) 3 minutes ago
|
||||
highload-lab6-tempo-1 grafana/tempo:2.7.1 "/tempo -config.file…" tempo About an hour ago Up 34 seconds
|
||||
highload-lab6-upload-cleanup-1 highload-lab6-upload-cleanup "./messenger attachm…" upload-cleanup 31 minutes ago Up 31 minutes 8080/tcp
|
||||
highload-lab6-worker-1 highload-lab6-worker "./messenger worker" worker 31 minutes ago Up 3 minutes 8080/tcp
|
||||
````
|
||||
|
||||
Команда `docker compose config --volumes`. Код выхода **0**. Время 0.08 с.
|
||||
|
||||
[Вывод](runs/20261113T155722.910201Z/grade3-stand-3.txt)
|
||||
|
||||
````text
|
||||
s3_data
|
||||
loki_data
|
||||
postgres_data
|
||||
prometheus_data
|
||||
redis_data
|
||||
tempo_data
|
||||
grafana_data
|
||||
rabbitmq_data
|
||||
````
|
||||
|
||||
Команда `docker compose run --rm --no-deps otel-collector validate --config=/etc/otelcol-contrib/config.yaml`. Код выхода **0**. Время 1.28 с.
|
||||
|
||||
[Вывод](runs/20261113T155722.910201Z/grade3-stand-4.txt)
|
||||
|
||||
````text
|
||||
Container highload-lab6-otel-collector-run-0fb806dd4ede Creating
|
||||
Container highload-lab6-otel-collector-run-0fb806dd4ede Created
|
||||
````
|
||||
|
||||
Команда `/usr/bin/python3 scripts/check_observability.py --base-url http://127.0.0.1:8080 --grafana-url http://127.0.0.1:3000 provisioning`. Код выхода **0**. Время 0.13 с.
|
||||
|
||||
[Вывод](runs/20261113T155722.910201Z/grade3-stand-5.txt)
|
||||
|
||||
````text
|
||||
Источник Grafana: prometheus
|
||||
Источник Grafana: loki
|
||||
Источник Grafana: tempo
|
||||
Загружен dashboard messenger-lab6, панелей: 17
|
||||
````
|
||||
@@ -0,0 +1,38 @@
|
||||
# Метрики диагностики и SLO
|
||||
|
||||
Предпосылки — локальный синтетический стенд после make app-up и доступ к Docker.
|
||||
|
||||
Проверяются запросы панелей, SLI за 30 минут и синтаксис двух правил.
|
||||
|
||||
Команда `/usr/bin/python3 scripts/check_observability.py --base-url http://127.0.0.1:8080 --grafana-url http://127.0.0.1:3000 dashboard`. Код выхода **0**. Время 0.16 с.
|
||||
|
||||
[Вывод](runs/20261113T155722.910201Z/grade4-dashboard-1.txt)
|
||||
|
||||
````text
|
||||
API · запросы в секунду — sum(rate(messenger_http_requests_total[1m])) — рядов: 1
|
||||
API · 5xx в секунду — sum(rate(messenger_http_requests_total{http_status_class="5xx"}[1m])) or 0 * sum(rate(messenger_http_requests_total[1m])) — рядов: 1
|
||||
API · p95 длительности — histogram_quantile(0.95, sum by (le) (rate(messenger_http_duration_seconds_bucket[1m]))) — рядов: 1
|
||||
Worker · задания в минуту — 60 * sum by (job_outcome) (rate(messenger_worker_jobs_total[1m])) — рядов: 3
|
||||
Worker · p95 длительности — histogram_quantile(0.95, sum by (le,job_outcome) (rate(messenger_worker_duration_seconds_bucket[1m]))) — рядов: 3
|
||||
API · p50 длительности — histogram_quantile(0.5, sum by (le) (rate(messenger_http_duration_seconds_bucket[1m]))) — рядов: 1
|
||||
API · p99 длительности — histogram_quantile(0.99, sum by (le) (rate(messenger_http_duration_seconds_bucket[1m]))) — рядов: 1
|
||||
API · доля 5xx — (sum(rate(messenger_http_requests_total{http_status_class="5xx"}[1m])) or 0 * sum(rate(messenger_http_requests_total[1m]))) / sum(rate(messenger_http_requests_total[1m])) — рядов: 1
|
||||
Очередь attachments.v1 · незавершённые задания — max(messenger_queue_depth) — рядов: 1
|
||||
Очередь attachments.v1 · возраст старейшего задания — max(messenger_queue_oldest_seconds) — рядов: 1
|
||||
PostgreSQL · занятые соединения — sum by (service_name) (messenger_db_pool_used) — рядов: 3
|
||||
PostgreSQL · запросы к пулу, ожидавшие соединение, в секунду — sum by (service_name) (rate(messenger_db_pool_waited_total[1m])) — рядов: 3
|
||||
Worker · загрузка — sum(messenger_worker_busy) / sum(messenger_worker_capacity) — рядов: 1
|
||||
Вложения · p95 до ready — histogram_quantile(0.95, sum by (le) (rate(messenger_attachment_ready_seconds_bucket[1m]))) — рядов: 1
|
||||
Процессы · загрузка CPU — sum by (service_name) (rate(messenger_process_cpu_seconds_total[1m])) — рядов: 3
|
||||
Процессы · резидентная память — sum by (service_name) (messenger_process_rss_bytes) — рядов: 3
|
||||
SLI за 30 минут: 0.9992789095149922 цель: >= 0.99
|
||||
````
|
||||
|
||||
Команда `docker compose exec -T prometheus promtool check rules /etc/prometheus/alerts.yaml`. Код выхода **0**. Время 0.23 с.
|
||||
|
||||
[Вывод](runs/20261113T155722.910201Z/grade4-dashboard-2.txt)
|
||||
|
||||
````text
|
||||
Checking /etc/prometheus/alerts.yaml
|
||||
SUCCESS: 2 rules found
|
||||
````
|
||||
@@ -0,0 +1,25 @@
|
||||
# Задержка PostgreSQL и восстановление
|
||||
|
||||
Предпосылки — локальный синтетический стенд после make app-up и доступ к Docker.
|
||||
|
||||
При блокировке таблицы растёт доля 5xx и алерт срабатывает. Задержку показывает дочерний спан PostgreSQL. После снятия блокировки алерт переходит в resolved.
|
||||
|
||||
Команда `/usr/bin/python3 scripts/check_observability_incidents.py --base-url http://127.0.0.1:8080 --grafana-url http://127.0.0.1:3000 database`. Код выхода **0**. Время 104.65 с.
|
||||
|
||||
[Вывод](runs/20261113T155722.910201Z/grade4-database-1.txt)
|
||||
|
||||
````text
|
||||
MessengerHighErrorRate firing
|
||||
pg_terminate_backend
|
||||
----------------------
|
||||
t
|
||||
(1 row)
|
||||
|
||||
FATAL: terminating connection due to administrator command
|
||||
server closed the connection unexpectedly
|
||||
This probably means the server terminated abnormally
|
||||
before or while processing the request.
|
||||
connection to server was lost
|
||||
Медленный запрос PostgreSQL подтверждён в trace: 624d2df384e6bb8e27ad11ca29a41d0b
|
||||
MessengerHighErrorRate resolved
|
||||
````
|
||||
@@ -0,0 +1,125 @@
|
||||
# Короткая нагрузка на API
|
||||
|
||||
Предпосылки — локальный синтетический стенд после make app-up и доступ к Docker.
|
||||
|
||||
Один closed-loop прогон POST сообщений с четырьмя клиентами, отдельно от инцидентов. Снимок ресурсов сделан сразу после прогона.
|
||||
|
||||
Команда `lscpu`. Код выхода **0**. Время 0.01 с.
|
||||
|
||||
[Вывод](runs/20261113T155722.910201Z/grade4-load-1.txt)
|
||||
|
||||
````text
|
||||
Architecture: x86_64
|
||||
CPU op-mode(s): 32-bit, 64-bit
|
||||
Address sizes: 48 bits physical, 48 bits virtual
|
||||
Byte Order: Little Endian
|
||||
CPU(s): 16
|
||||
On-line CPU(s) list: 0-15
|
||||
Vendor ID: AuthenticAMD
|
||||
Model name: AMD Ryzen 9 PRO 7940HS w/ Radeon 780M Graphics
|
||||
CPU family: 25
|
||||
Model: 116
|
||||
Thread(s) per core: 2
|
||||
Core(s) per socket: 8
|
||||
Socket(s): 1
|
||||
Stepping: 1
|
||||
Microcode version: 0xa70410a
|
||||
Frequency boost: enabled
|
||||
CPU(s) scaling MHz: 90%
|
||||
CPU max MHz: 5263,0610
|
||||
CPU min MHz: 402,7860
|
||||
BogoMIPS: 7985,14
|
||||
Flags: fpu vme de pse tsc msr pae mce cx8 apic sep mtrr pge mca cmov pat pse36 clflush mmx fxsr sse sse2 ht syscall nx mmxext fxsr_opt pdpe1gb rdtscp lm constant_tsc rep_good amd_lbr_v2 nopl xtopology nonstop_tsc cpuid extd_apicid aperfmperf rapl pni pclmulqdq monitor ssse3 fma cx16 sse4_1 sse4_2 x2apic movbe popcnt aes xsave avx f16c rdrand lahf_lm cmp_legacy svm extapic cr8_legacy abm sse4a misalignsse 3dnowprefetch osvw ibs skinit wdt tce topoext perfctr_core perfctr_nb bpext perfctr_llc mwaitx cpuid_fault cpb cat_l3 cdp_l3 hw_pstate ssbd mba perfmon_v2 ibrs ibpb stibp ibrs_enhanced vmmcall fsgsbase bmi1 avx2 smep bmi2 erms invpcid cqm rdt_a avx512f avx512dq rdseed adx smap avx512ifma clflushopt clwb avx512cd sha_ni avx512bw avx512vl xsaveopt xsavec xgetbv1 xsaves cqm_llc cqm_occup_llc cqm_mbm_total cqm_mbm_local user_shstk avx512_bf16 clzero irperf xsaveerptr rdpru wbnoinvd cppc arat npt lbrv svm_lock nrip_save tsc_scale vmcb_clean flushbyasid decodeassists pausefilter pfthreshold vgif x2avic v_spec_ctrl vnmi avx512vbmi umip pku ospke avx512_vbmi2 gfni vaes vpclmulqdq avx512_vnni avx512_bitalg avx512_vpopcntdq rdpid overflow_recov succor smca fsrm flush_l1d amd_lbr_pmc_freeze
|
||||
Virtualization: AMD-V
|
||||
L1d cache: 256 KiB (8 instances)
|
||||
L1i cache: 256 KiB (8 instances)
|
||||
L2 cache: 8 MiB (8 instances)
|
||||
L3 cache: 16 MiB (1 instance)
|
||||
NUMA node(s): 1
|
||||
NUMA node0 CPU(s): 0-15
|
||||
Vulnerability Gather data sampling: Not affected
|
||||
Vulnerability Ghostwrite: Not affected
|
||||
Vulnerability Indirect target selection: Not affected
|
||||
Vulnerability Itlb multihit: Not affected
|
||||
Vulnerability L1tf: Not affected
|
||||
Vulnerability Mds: Not affected
|
||||
Vulnerability Meltdown: Not affected
|
||||
Vulnerability Mmio stale data: Not affected
|
||||
Vulnerability Old microcode: Not affected
|
||||
Vulnerability Reg file data sampling: Not affected
|
||||
Vulnerability Retbleed: Not affected
|
||||
Vulnerability Spec rstack overflow: Mitigation; Safe RET
|
||||
Vulnerability Spec store bypass: Mitigation; Speculative Store Bypass disabled via prctl
|
||||
Vulnerability Spectre v1: Mitigation; usercopy/swapgs barriers and __user pointer sanitization
|
||||
Vulnerability Spectre v2: Mitigation; Enhanced / Automatic IBRS; IBPB conditional; STIBP always-on; PBRSB-eIBRS Not affected; BHI Not affected
|
||||
Vulnerability Srbds: Not affected
|
||||
Vulnerability Tsa: Mitigation; Clear CPU buffers
|
||||
Vulnerability Tsx async abort: Not affected
|
||||
Vulnerability Vmscape: Mitigation; IBPB before exit to userspace
|
||||
````
|
||||
|
||||
Команда `free -h`. Код выхода **0**. Время 0.0 с.
|
||||
|
||||
[Вывод](runs/20261113T155722.910201Z/grade4-load-2.txt)
|
||||
|
||||
````text
|
||||
total used free shared buff/cache available
|
||||
Mem: 14Gi 11Gi 1,3Gi 139Mi 2,3Gi 3,1Gi
|
||||
Swap: 8,0Gi 8,0Gi 548Ki
|
||||
````
|
||||
|
||||
Команда `docker compose version`. Код выхода **0**. Время 0.04 с.
|
||||
|
||||
[Вывод](runs/20261113T155722.910201Z/grade4-load-3.txt)
|
||||
|
||||
````text
|
||||
Docker Compose version v5.7.0
|
||||
````
|
||||
|
||||
Команда `/usr/bin/python3 tests/load.py --base-url http://127.0.0.1:8080 --duration 30 --concurrency 4`. Код выхода **0**. Время 31.48 с.
|
||||
|
||||
[Вывод](runs/20261113T155722.910201Z/grade4-load-4.txt)
|
||||
|
||||
````text
|
||||
{
|
||||
"lab": 6,
|
||||
"workload": "closed-loop POST messages; no automatic retries",
|
||||
"requested_duration_seconds": 30.0,
|
||||
"elapsed_seconds": 30.004,
|
||||
"concurrency": 4,
|
||||
"successful_requests": 37708,
|
||||
"failed_requests": 0,
|
||||
"error_ratio": 0.0,
|
||||
"successful_rps": 1256.75,
|
||||
"successful_latency_ms": {
|
||||
"p50": 2.828,
|
||||
"p95": 4.327,
|
||||
"p99": 7.211
|
||||
},
|
||||
"note": "Latency percentiles cover successes only. Timeouts/errors are counted separately; closed-loop has coordinated omission and client overhead."
|
||||
}
|
||||
````
|
||||
|
||||
Команда `docker compose stats --no-stream`. Код выхода **0**. Время 2.17 с.
|
||||
|
||||
[Вывод](runs/20261113T155722.910201Z/grade4-load-5.txt)
|
||||
|
||||
````text
|
||||
CONTAINER ID NAME CPU % MEM USAGE / LIMIT MEM % NET I/O BLOCK I/O PIDS
|
||||
2ee09eab650d highload-lab6-worker-1 0.01% 10.86MiB / 512MiB 2.12% 274kB / 393kB 4.58MB / 0B 7
|
||||
7fdc55311297 highload-lab6-dispatcher-1 0.03% 10.59MiB / 128MiB 8.27% 1.05MB / 1.41MB 1.33MB / 422kB 7
|
||||
188cf5f1391d highload-lab6-api-2 2.56% 22.67MiB / 512MiB 4.43% 85.5MB / 161MB 8.96MB / 406kB 7
|
||||
93535c5e7b67 highload-lab6-api-1 0.06% 21.67MiB / 512MiB 4.23% 86.4MB / 163MB 8.18MB / 389kB 7
|
||||
ae279d3a717c highload-lab6-upload-cleanup-1 0.00% 4.543MiB / 128MiB 3.55% 35.6kB / 31.2kB 32.8kB / 532kB 12
|
||||
db0e2da28fb1 highload-lab6-prometheus-1 0.23% 35.93MiB / 14.89GiB 0.24% 3.86MB / 1.91MB 426MB / 6.98MB 22
|
||||
66b201cac5eb highload-lab6-grafana-1 0.68% 89.27MiB / 14.89GiB 0.59% 59.5MB / 116MB 1.32GB / 242MB 25
|
||||
0d0412e6fe25 highload-lab6-tempo-1 0.02% 307.1MiB / 14.89GiB 2.01% 9.75MB / 202kB 58.6MB / 55.3MB 21
|
||||
a8fc40b42323 highload-lab6-loki-1 0.92% 161.8MiB / 14.89GiB 1.06% 5.45MB / 32.4MB 534MB / 24.9MB 21
|
||||
a2048ea9933c highload-lab6-otel-collector-1 0.19% 60.13MiB / 192MiB 31.32% 123MB / 28.3MB 489MB / 20.9MB 21
|
||||
efeed09a36ec highload-lab6-frontend-1 0.27% 24.01MiB / 512MiB 4.69% 52.3kB / 7.76MB 562MB / 161MB 36
|
||||
2ac44f5d15bb highload-lab6-haproxy-1 2.36% 10.5MiB / 128MiB 8.20% 104MB / 106MB 30.2MB / 14MB 17
|
||||
3999d26f1e22 highload-lab6-s3-1 9.80% 354.4MiB / 512MiB 69.22% 1.07MB / 760kB 125MB / 10.2MB 21
|
||||
8837cc38b561 highload-lab6-db-1 0.66% 80.51MiB / 512MiB 15.72% 160MB / 109MB 459MB / 5.37GB 18
|
||||
3e7d2e507d3d highload-lab6-broker-1 23.55% 89.5MiB / 512MiB 17.48% 374kB / 333kB 267MB / 91.5MB 47
|
||||
65ad13aee585 highload-lab6-redis-1 2.71% 4.18MiB / 128MiB 3.27% 13.8MB / 8.47MB 163MB / 7.52MB 6
|
||||
````
|
||||
@@ -0,0 +1,45 @@
|
||||
# Сквозная трасса и повторная попытка
|
||||
|
||||
Предпосылки — локальный синтетический стенд после make app-up и доступ к Docker.
|
||||
|
||||
Tempo подтверждает родительскую связь HTTP, producer и consumer, операции S3 и PostgreSQL и две попытки одной загрузки.
|
||||
|
||||
Команда `/usr/bin/python3 scripts/check_observability.py --base-url http://127.0.0.1:8080 --grafana-url http://127.0.0.1:3000 pipeline`. Код выхода **0**. Время 4.92 с.
|
||||
|
||||
[Вывод](runs/20261113T155722.910201Z/grade4-pipeline-1.txt)
|
||||
|
||||
````text
|
||||
Upload → producer → consumer → S3/PostgreSQL, trace: a1b887f518133aa40e303527d73f514e
|
||||
````
|
||||
|
||||
Команда `/usr/bin/python3 scripts/check_observability_incidents.py --base-url http://127.0.0.1:8080 --grafana-url http://127.0.0.1:3000 retry`. Код выхода **0**. Время 15.62 с.
|
||||
|
||||
[Вывод](runs/20261113T155722.910201Z/grade4-pipeline-2.txt)
|
||||
|
||||
````text
|
||||
Container highload-lab6-worker-1 Stopping
|
||||
Container highload-lab6-worker-1 Stopped
|
||||
Container highload-lab6-s3-1 Stopping
|
||||
Container highload-lab6-s3-1 Stopped
|
||||
Container highload-lab6-worker-1 Starting
|
||||
Container highload-lab6-worker-1 Started
|
||||
Container highload-lab6-s3-1 Starting
|
||||
Container highload-lab6-s3-1 Started
|
||||
Container highload-lab6-s3-1 Waiting
|
||||
Container highload-lab6-s3-1 Healthy
|
||||
Исходное вложение перешло в ready, обе попытки в trace: 762071e58a275355660808c10b605df8
|
||||
Container highload-lab6-broker-1 Waiting
|
||||
Container highload-lab6-db-1 Waiting
|
||||
Container highload-lab6-s3-1 Waiting
|
||||
Container highload-lab6-db-1 Healthy
|
||||
Container highload-lab6-migrate-1 Starting
|
||||
Container highload-lab6-broker-1 Healthy
|
||||
Container highload-lab6-s3-1 Healthy
|
||||
Container highload-lab6-s3-bootstrap-1 Starting
|
||||
Container highload-lab6-migrate-1 Started
|
||||
Container highload-lab6-migrate-1 Waiting
|
||||
Container highload-lab6-s3-bootstrap-1 Started
|
||||
Container highload-lab6-s3-bootstrap-1 Waiting
|
||||
Container highload-lab6-migrate-1 Exited
|
||||
Container highload-lab6-s3-bootstrap-1 Exited
|
||||
````
|
||||
@@ -0,0 +1,32 @@
|
||||
# Остановка и восстановление worker
|
||||
|
||||
Предпосылки — локальный синтетический стенд после make app-up и доступ к Docker.
|
||||
|
||||
Возраст незавершённой работы вызывает firing. Вложение достигает ready после восстановления worker, алерт переходит в resolved.
|
||||
|
||||
Команда `/usr/bin/python3 scripts/check_observability_incidents.py --base-url http://127.0.0.1:8080 --grafana-url http://127.0.0.1:3000 worker`. Код выхода **0**. Время 55.56 с.
|
||||
|
||||
[Вывод](runs/20261113T155722.910201Z/grade4-queue-1.txt)
|
||||
|
||||
````text
|
||||
Container highload-lab6-worker-1 Stopping
|
||||
Container highload-lab6-worker-1 Stopped
|
||||
MessengerQueueLag firing
|
||||
Container highload-lab6-broker-1 Waiting
|
||||
Container highload-lab6-db-1 Waiting
|
||||
Container highload-lab6-s3-1 Waiting
|
||||
Container highload-lab6-db-1 Healthy
|
||||
Container highload-lab6-migrate-1 Starting
|
||||
Container highload-lab6-s3-1 Healthy
|
||||
Container highload-lab6-s3-bootstrap-1 Starting
|
||||
Container highload-lab6-broker-1 Healthy
|
||||
Container highload-lab6-migrate-1 Started
|
||||
Container highload-lab6-migrate-1 Waiting
|
||||
Container highload-lab6-s3-bootstrap-1 Started
|
||||
Container highload-lab6-s3-bootstrap-1 Waiting
|
||||
Container highload-lab6-migrate-1 Exited
|
||||
Container highload-lab6-s3-bootstrap-1 Exited
|
||||
Container highload-lab6-worker-1 Starting
|
||||
Container highload-lab6-worker-1 Started
|
||||
MessengerQueueLag resolved
|
||||
````
|
||||
@@ -0,0 +1,20 @@
|
||||
# Недоступность Tempo
|
||||
|
||||
Предпосылки — локальный синтетический стенд после make app-up и доступ к Docker.
|
||||
|
||||
Проверяются сообщения и готовность вложения при остановленном Tempo, снимок памяти Collector и число отброшенных спанов по его журналу.
|
||||
|
||||
Команда `/usr/bin/python3 scripts/check_observability_incidents.py --base-url http://127.0.0.1:8080 --grafana-url http://127.0.0.1:3000 telemetry`. Код выхода **0**. Время 46.39 с.
|
||||
|
||||
[Вывод](runs/20261113T155722.910201Z/grade4-telemetry-1.txt)
|
||||
|
||||
````text
|
||||
Container highload-lab6-tempo-1 Stopping
|
||||
Container highload-lab6-tempo-1 Stopped
|
||||
CONTAINER ID NAME CPU % MEM USAGE / LIMIT MEM % NET I/O BLOCK I/O PIDS
|
||||
a2048ea9933c highload-lab6-otel-collector-1 0.42% 56.43MiB / 192MiB 29.39% 69.6MB / 15.8MB 466MB / 20.8MB 21
|
||||
API и worker работали при остановленном Tempo.
|
||||
Container highload-lab6-tempo-1 Starting
|
||||
Container highload-lab6-tempo-1 Started
|
||||
Спанов отброшено Collector за период проверки: 54
|
||||
````
|
||||
@@ -0,0 +1,10 @@
|
||||
Worker: изображение 3000×3000 завершилось в состоянии failed.
|
||||
messenger-api: http.request.completed, trace=91735be6f8944614b886c2a34bfc95a8, span=7aca4e9abb3620f6
|
||||
messenger-worker: job.processing.completed, trace=8f05225357fb027e222f890074249eed, span=49632776d49e21fe
|
||||
messenger-worker: job.processing.completed, trace=c958e0f21140e39dddb4192b5982442e, span=f459a5c48084c984
|
||||
Prometheus: messenger_http_requests_total, рядов=40
|
||||
Prometheus: messenger_http_duration_seconds_bucket, рядов=560
|
||||
Prometheus: messenger_worker_jobs_total{job_outcome="success"}, рядов=1
|
||||
Prometheus: messenger_worker_jobs_total{job_outcome="error"}, рядов=1
|
||||
Prometheus: messenger_worker_duration_seconds_bucket, рядов=42
|
||||
Проверенные сигналы не содержат контрольных credentials, текста, имени/байтов файла и бизнес-ID.
|
||||
@@ -0,0 +1,4 @@
|
||||
make[1]: Entering directory '/home/TAskMAster339/Projects/highload-systems/mtusi2026lab6-fork'
|
||||
python3 scripts/check_contract.py
|
||||
PASS: offline skeleton structure, local refs and Python syntax; application NOT tested.
|
||||
make[1]: Leaving directory '/home/TAskMAster339/Projects/highload-systems/mtusi2026lab6-fork'
|
||||
@@ -0,0 +1,4 @@
|
||||
make[1]: Entering directory '/home/TAskMAster339/Projects/highload-systems/mtusi2026lab6-fork'
|
||||
python3 tests/smoke.py --base-url "http://127.0.0.1:8080"
|
||||
PASS: lab6 public API scenario; infrastructure and grading evidence remain separate.
|
||||
make[1]: Leaving directory '/home/TAskMAster339/Projects/highload-systems/mtusi2026lab6-fork'
|
||||
@@ -0,0 +1,19 @@
|
||||
NAME IMAGE COMMAND SERVICE CREATED STATUS PORTS
|
||||
highload-lab6-api-1 highload-lab6-api "./messenger" api 31 minutes ago Up 31 minutes (healthy) 8080/tcp
|
||||
highload-lab6-api-2 highload-lab6-api "./messenger" api 31 minutes ago Up 31 minutes (healthy) 8080/tcp
|
||||
highload-lab6-broker-1 rabbitmq:4.2.0-management "docker-entrypoint.s…" broker About an hour ago Up About an hour (healthy) 4369/tcp, 5671-5672/tcp, 15671-15672/tcp, 15691-15692/tcp, 25672/tcp
|
||||
highload-lab6-db-1 postgres:16.10-bookworm "docker-entrypoint.s…" db About an hour ago Up About an hour (healthy) 5432/tcp
|
||||
highload-lab6-dispatcher-1 highload-lab6-dispatcher "./messenger dispatc…" dispatcher 31 minutes ago Up 31 minutes 8080/tcp
|
||||
highload-lab6-frontend-1 sha256:6f2bacde48d02aca251e04c4707e11d6707c797af56bf6623a671b2e0c20da30 "docker-entrypoint.s…" frontend About an hour ago Up About an hour (healthy) 127.0.0.1:5173->5173/tcp
|
||||
highload-lab6-grafana-1 grafana/grafana:11.5.2 "/run.sh" grafana About an hour ago Up About an hour 127.0.0.1:3000->3000/tcp
|
||||
highload-lab6-haproxy-1 haproxy:3.2.25-alpine "docker-entrypoint.s…" haproxy About an hour ago Up About an hour (healthy) 127.0.0.1:8080->8080/tcp, 127.0.0.1:8404->8404/tcp
|
||||
highload-lab6-loki-1 grafana/loki:3.4.2 "/usr/bin/loki -conf…" loki About an hour ago Up About an hour 3100/tcp
|
||||
highload-lab6-migrate-1 highload-lab6-migrate "./messenger migrate…" migrate 31 minutes ago Exited (0) 3 minutes ago
|
||||
highload-lab6-otel-collector-1 otel/opentelemetry-collector-contrib:0.120.0 "/otelcol-contrib --…" otel-collector About an hour ago Up About an hour 4317-4318/tcp, 55678-55679/tcp
|
||||
highload-lab6-prometheus-1 prom/prometheus:v3.2.1 "/bin/prometheus --c…" prometheus 31 minutes ago Up 31 minutes 9090/tcp
|
||||
highload-lab6-redis-1 redis:7.4.11-bookworm "docker-entrypoint.s…" redis About an hour ago Up About an hour (healthy) 6379/tcp
|
||||
highload-lab6-s3-1 sha256:b891ef2bb2e30a5a240ee0d267c8938ab43f2ce5e5c89347e580e7c1b1cf4e5e "minio server /data …" s3 About an hour ago Up 3 minutes (healthy) 127.0.0.1:9000->9000/tcp
|
||||
highload-lab6-s3-bootstrap-1 highload-lab6-s3-bootstrap "./messenger s3-boot…" s3-bootstrap 31 minutes ago Exited (0) 3 minutes ago
|
||||
highload-lab6-tempo-1 grafana/tempo:2.7.1 "/tempo -config.file…" tempo About an hour ago Up 34 seconds
|
||||
highload-lab6-upload-cleanup-1 highload-lab6-upload-cleanup "./messenger attachm…" upload-cleanup 31 minutes ago Up 31 minutes 8080/tcp
|
||||
highload-lab6-worker-1 highload-lab6-worker "./messenger worker" worker 31 minutes ago Up 3 minutes 8080/tcp
|
||||
@@ -0,0 +1,8 @@
|
||||
s3_data
|
||||
loki_data
|
||||
postgres_data
|
||||
prometheus_data
|
||||
redis_data
|
||||
tempo_data
|
||||
grafana_data
|
||||
rabbitmq_data
|
||||
@@ -0,0 +1,2 @@
|
||||
Container highload-lab6-otel-collector-run-0fb806dd4ede Creating
|
||||
Container highload-lab6-otel-collector-run-0fb806dd4ede Created
|
||||
@@ -0,0 +1,4 @@
|
||||
Источник Grafana: prometheus
|
||||
Источник Grafana: loki
|
||||
Источник Grafana: tempo
|
||||
Загружен dashboard messenger-lab6, панелей: 17
|
||||
@@ -0,0 +1,17 @@
|
||||
API · запросы в секунду — sum(rate(messenger_http_requests_total[1m])) — рядов: 1
|
||||
API · 5xx в секунду — sum(rate(messenger_http_requests_total{http_status_class="5xx"}[1m])) or 0 * sum(rate(messenger_http_requests_total[1m])) — рядов: 1
|
||||
API · p95 длительности — histogram_quantile(0.95, sum by (le) (rate(messenger_http_duration_seconds_bucket[1m]))) — рядов: 1
|
||||
Worker · задания в минуту — 60 * sum by (job_outcome) (rate(messenger_worker_jobs_total[1m])) — рядов: 3
|
||||
Worker · p95 длительности — histogram_quantile(0.95, sum by (le,job_outcome) (rate(messenger_worker_duration_seconds_bucket[1m]))) — рядов: 3
|
||||
API · p50 длительности — histogram_quantile(0.5, sum by (le) (rate(messenger_http_duration_seconds_bucket[1m]))) — рядов: 1
|
||||
API · p99 длительности — histogram_quantile(0.99, sum by (le) (rate(messenger_http_duration_seconds_bucket[1m]))) — рядов: 1
|
||||
API · доля 5xx — (sum(rate(messenger_http_requests_total{http_status_class="5xx"}[1m])) or 0 * sum(rate(messenger_http_requests_total[1m]))) / sum(rate(messenger_http_requests_total[1m])) — рядов: 1
|
||||
Очередь attachments.v1 · незавершённые задания — max(messenger_queue_depth) — рядов: 1
|
||||
Очередь attachments.v1 · возраст старейшего задания — max(messenger_queue_oldest_seconds) — рядов: 1
|
||||
PostgreSQL · занятые соединения — sum by (service_name) (messenger_db_pool_used) — рядов: 3
|
||||
PostgreSQL · запросы к пулу, ожидавшие соединение, в секунду — sum by (service_name) (rate(messenger_db_pool_waited_total[1m])) — рядов: 3
|
||||
Worker · загрузка — sum(messenger_worker_busy) / sum(messenger_worker_capacity) — рядов: 1
|
||||
Вложения · p95 до ready — histogram_quantile(0.95, sum by (le) (rate(messenger_attachment_ready_seconds_bucket[1m]))) — рядов: 1
|
||||
Процессы · загрузка CPU — sum by (service_name) (rate(messenger_process_cpu_seconds_total[1m])) — рядов: 3
|
||||
Процессы · резидентная память — sum by (service_name) (messenger_process_rss_bytes) — рядов: 3
|
||||
SLI за 30 минут: 0.9992789095149922 цель: >= 0.99
|
||||
@@ -0,0 +1,2 @@
|
||||
Checking /etc/prometheus/alerts.yaml
|
||||
SUCCESS: 2 rules found
|
||||
@@ -0,0 +1,13 @@
|
||||
MessengerHighErrorRate firing
|
||||
pg_terminate_backend
|
||||
----------------------
|
||||
t
|
||||
(1 row)
|
||||
|
||||
FATAL: terminating connection due to administrator command
|
||||
server closed the connection unexpectedly
|
||||
This probably means the server terminated abnormally
|
||||
before or while processing the request.
|
||||
connection to server was lost
|
||||
Медленный запрос PostgreSQL подтверждён в trace: 624d2df384e6bb8e27ad11ca29a41d0b
|
||||
MessengerHighErrorRate resolved
|
||||
@@ -0,0 +1,47 @@
|
||||
Architecture: x86_64
|
||||
CPU op-mode(s): 32-bit, 64-bit
|
||||
Address sizes: 48 bits physical, 48 bits virtual
|
||||
Byte Order: Little Endian
|
||||
CPU(s): 16
|
||||
On-line CPU(s) list: 0-15
|
||||
Vendor ID: AuthenticAMD
|
||||
Model name: AMD Ryzen 9 PRO 7940HS w/ Radeon 780M Graphics
|
||||
CPU family: 25
|
||||
Model: 116
|
||||
Thread(s) per core: 2
|
||||
Core(s) per socket: 8
|
||||
Socket(s): 1
|
||||
Stepping: 1
|
||||
Microcode version: 0xa70410a
|
||||
Frequency boost: enabled
|
||||
CPU(s) scaling MHz: 90%
|
||||
CPU max MHz: 5263,0610
|
||||
CPU min MHz: 402,7860
|
||||
BogoMIPS: 7985,14
|
||||
Flags: fpu vme de pse tsc msr pae mce cx8 apic sep mtrr pge mca cmov pat pse36 clflush mmx fxsr sse sse2 ht syscall nx mmxext fxsr_opt pdpe1gb rdtscp lm constant_tsc rep_good amd_lbr_v2 nopl xtopology nonstop_tsc cpuid extd_apicid aperfmperf rapl pni pclmulqdq monitor ssse3 fma cx16 sse4_1 sse4_2 x2apic movbe popcnt aes xsave avx f16c rdrand lahf_lm cmp_legacy svm extapic cr8_legacy abm sse4a misalignsse 3dnowprefetch osvw ibs skinit wdt tce topoext perfctr_core perfctr_nb bpext perfctr_llc mwaitx cpuid_fault cpb cat_l3 cdp_l3 hw_pstate ssbd mba perfmon_v2 ibrs ibpb stibp ibrs_enhanced vmmcall fsgsbase bmi1 avx2 smep bmi2 erms invpcid cqm rdt_a avx512f avx512dq rdseed adx smap avx512ifma clflushopt clwb avx512cd sha_ni avx512bw avx512vl xsaveopt xsavec xgetbv1 xsaves cqm_llc cqm_occup_llc cqm_mbm_total cqm_mbm_local user_shstk avx512_bf16 clzero irperf xsaveerptr rdpru wbnoinvd cppc arat npt lbrv svm_lock nrip_save tsc_scale vmcb_clean flushbyasid decodeassists pausefilter pfthreshold vgif x2avic v_spec_ctrl vnmi avx512vbmi umip pku ospke avx512_vbmi2 gfni vaes vpclmulqdq avx512_vnni avx512_bitalg avx512_vpopcntdq rdpid overflow_recov succor smca fsrm flush_l1d amd_lbr_pmc_freeze
|
||||
Virtualization: AMD-V
|
||||
L1d cache: 256 KiB (8 instances)
|
||||
L1i cache: 256 KiB (8 instances)
|
||||
L2 cache: 8 MiB (8 instances)
|
||||
L3 cache: 16 MiB (1 instance)
|
||||
NUMA node(s): 1
|
||||
NUMA node0 CPU(s): 0-15
|
||||
Vulnerability Gather data sampling: Not affected
|
||||
Vulnerability Ghostwrite: Not affected
|
||||
Vulnerability Indirect target selection: Not affected
|
||||
Vulnerability Itlb multihit: Not affected
|
||||
Vulnerability L1tf: Not affected
|
||||
Vulnerability Mds: Not affected
|
||||
Vulnerability Meltdown: Not affected
|
||||
Vulnerability Mmio stale data: Not affected
|
||||
Vulnerability Old microcode: Not affected
|
||||
Vulnerability Reg file data sampling: Not affected
|
||||
Vulnerability Retbleed: Not affected
|
||||
Vulnerability Spec rstack overflow: Mitigation; Safe RET
|
||||
Vulnerability Spec store bypass: Mitigation; Speculative Store Bypass disabled via prctl
|
||||
Vulnerability Spectre v1: Mitigation; usercopy/swapgs barriers and __user pointer sanitization
|
||||
Vulnerability Spectre v2: Mitigation; Enhanced / Automatic IBRS; IBPB conditional; STIBP always-on; PBRSB-eIBRS Not affected; BHI Not affected
|
||||
Vulnerability Srbds: Not affected
|
||||
Vulnerability Tsa: Mitigation; Clear CPU buffers
|
||||
Vulnerability Tsx async abort: Not affected
|
||||
Vulnerability Vmscape: Mitigation; IBPB before exit to userspace
|
||||
@@ -0,0 +1,3 @@
|
||||
total used free shared buff/cache available
|
||||
Mem: 14Gi 11Gi 1,3Gi 139Mi 2,3Gi 3,1Gi
|
||||
Swap: 8,0Gi 8,0Gi 548Ki
|
||||
@@ -0,0 +1 @@
|
||||
Docker Compose version v5.7.0
|
||||
@@ -0,0 +1,17 @@
|
||||
{
|
||||
"lab": 6,
|
||||
"workload": "closed-loop POST messages; no automatic retries",
|
||||
"requested_duration_seconds": 30.0,
|
||||
"elapsed_seconds": 30.004,
|
||||
"concurrency": 4,
|
||||
"successful_requests": 37708,
|
||||
"failed_requests": 0,
|
||||
"error_ratio": 0.0,
|
||||
"successful_rps": 1256.75,
|
||||
"successful_latency_ms": {
|
||||
"p50": 2.828,
|
||||
"p95": 4.327,
|
||||
"p99": 7.211
|
||||
},
|
||||
"note": "Latency percentiles cover successes only. Timeouts/errors are counted separately; closed-loop has coordinated omission and client overhead."
|
||||
}
|
||||
@@ -0,0 +1,17 @@
|
||||
CONTAINER ID NAME CPU % MEM USAGE / LIMIT MEM % NET I/O BLOCK I/O PIDS
|
||||
2ee09eab650d highload-lab6-worker-1 0.01% 10.86MiB / 512MiB 2.12% 274kB / 393kB 4.58MB / 0B 7
|
||||
7fdc55311297 highload-lab6-dispatcher-1 0.03% 10.59MiB / 128MiB 8.27% 1.05MB / 1.41MB 1.33MB / 422kB 7
|
||||
188cf5f1391d highload-lab6-api-2 2.56% 22.67MiB / 512MiB 4.43% 85.5MB / 161MB 8.96MB / 406kB 7
|
||||
93535c5e7b67 highload-lab6-api-1 0.06% 21.67MiB / 512MiB 4.23% 86.4MB / 163MB 8.18MB / 389kB 7
|
||||
ae279d3a717c highload-lab6-upload-cleanup-1 0.00% 4.543MiB / 128MiB 3.55% 35.6kB / 31.2kB 32.8kB / 532kB 12
|
||||
db0e2da28fb1 highload-lab6-prometheus-1 0.23% 35.93MiB / 14.89GiB 0.24% 3.86MB / 1.91MB 426MB / 6.98MB 22
|
||||
66b201cac5eb highload-lab6-grafana-1 0.68% 89.27MiB / 14.89GiB 0.59% 59.5MB / 116MB 1.32GB / 242MB 25
|
||||
0d0412e6fe25 highload-lab6-tempo-1 0.02% 307.1MiB / 14.89GiB 2.01% 9.75MB / 202kB 58.6MB / 55.3MB 21
|
||||
a8fc40b42323 highload-lab6-loki-1 0.92% 161.8MiB / 14.89GiB 1.06% 5.45MB / 32.4MB 534MB / 24.9MB 21
|
||||
a2048ea9933c highload-lab6-otel-collector-1 0.19% 60.13MiB / 192MiB 31.32% 123MB / 28.3MB 489MB / 20.9MB 21
|
||||
efeed09a36ec highload-lab6-frontend-1 0.27% 24.01MiB / 512MiB 4.69% 52.3kB / 7.76MB 562MB / 161MB 36
|
||||
2ac44f5d15bb highload-lab6-haproxy-1 2.36% 10.5MiB / 128MiB 8.20% 104MB / 106MB 30.2MB / 14MB 17
|
||||
3999d26f1e22 highload-lab6-s3-1 9.80% 354.4MiB / 512MiB 69.22% 1.07MB / 760kB 125MB / 10.2MB 21
|
||||
8837cc38b561 highload-lab6-db-1 0.66% 80.51MiB / 512MiB 15.72% 160MB / 109MB 459MB / 5.37GB 18
|
||||
3e7d2e507d3d highload-lab6-broker-1 23.55% 89.5MiB / 512MiB 17.48% 374kB / 333kB 267MB / 91.5MB 47
|
||||
65ad13aee585 highload-lab6-redis-1 2.71% 4.18MiB / 128MiB 3.27% 13.8MB / 8.47MB 163MB / 7.52MB 6
|
||||
@@ -0,0 +1 @@
|
||||
Upload → producer → consumer → S3/PostgreSQL, trace: a1b887f518133aa40e303527d73f514e
|
||||
@@ -0,0 +1,25 @@
|
||||
Container highload-lab6-worker-1 Stopping
|
||||
Container highload-lab6-worker-1 Stopped
|
||||
Container highload-lab6-s3-1 Stopping
|
||||
Container highload-lab6-s3-1 Stopped
|
||||
Container highload-lab6-worker-1 Starting
|
||||
Container highload-lab6-worker-1 Started
|
||||
Container highload-lab6-s3-1 Starting
|
||||
Container highload-lab6-s3-1 Started
|
||||
Container highload-lab6-s3-1 Waiting
|
||||
Container highload-lab6-s3-1 Healthy
|
||||
Исходное вложение перешло в ready, обе попытки в trace: 762071e58a275355660808c10b605df8
|
||||
Container highload-lab6-broker-1 Waiting
|
||||
Container highload-lab6-db-1 Waiting
|
||||
Container highload-lab6-s3-1 Waiting
|
||||
Container highload-lab6-db-1 Healthy
|
||||
Container highload-lab6-migrate-1 Starting
|
||||
Container highload-lab6-broker-1 Healthy
|
||||
Container highload-lab6-s3-1 Healthy
|
||||
Container highload-lab6-s3-bootstrap-1 Starting
|
||||
Container highload-lab6-migrate-1 Started
|
||||
Container highload-lab6-migrate-1 Waiting
|
||||
Container highload-lab6-s3-bootstrap-1 Started
|
||||
Container highload-lab6-s3-bootstrap-1 Waiting
|
||||
Container highload-lab6-migrate-1 Exited
|
||||
Container highload-lab6-s3-bootstrap-1 Exited
|
||||
@@ -0,0 +1,20 @@
|
||||
Container highload-lab6-worker-1 Stopping
|
||||
Container highload-lab6-worker-1 Stopped
|
||||
MessengerQueueLag firing
|
||||
Container highload-lab6-broker-1 Waiting
|
||||
Container highload-lab6-db-1 Waiting
|
||||
Container highload-lab6-s3-1 Waiting
|
||||
Container highload-lab6-db-1 Healthy
|
||||
Container highload-lab6-migrate-1 Starting
|
||||
Container highload-lab6-s3-1 Healthy
|
||||
Container highload-lab6-s3-bootstrap-1 Starting
|
||||
Container highload-lab6-broker-1 Healthy
|
||||
Container highload-lab6-migrate-1 Started
|
||||
Container highload-lab6-migrate-1 Waiting
|
||||
Container highload-lab6-s3-bootstrap-1 Started
|
||||
Container highload-lab6-s3-bootstrap-1 Waiting
|
||||
Container highload-lab6-migrate-1 Exited
|
||||
Container highload-lab6-s3-bootstrap-1 Exited
|
||||
Container highload-lab6-worker-1 Starting
|
||||
Container highload-lab6-worker-1 Started
|
||||
MessengerQueueLag resolved
|
||||
@@ -0,0 +1,8 @@
|
||||
Container highload-lab6-tempo-1 Stopping
|
||||
Container highload-lab6-tempo-1 Stopped
|
||||
CONTAINER ID NAME CPU % MEM USAGE / LIMIT MEM % NET I/O BLOCK I/O PIDS
|
||||
a2048ea9933c highload-lab6-otel-collector-1 0.42% 56.43MiB / 192MiB 29.39% 69.6MB / 15.8MB 466MB / 20.8MB 21
|
||||
API и worker работали при остановленном Tempo.
|
||||
Container highload-lab6-tempo-1 Starting
|
||||
Container highload-lab6-tempo-1 Started
|
||||
Спанов отброшено Collector за период проверки: 54
|
||||
@@ -0,0 +1,140 @@
|
||||
{
|
||||
"grade3-stand": [
|
||||
{
|
||||
"command": "docker compose config --quiet",
|
||||
"exit_code": 0,
|
||||
"seconds": 0.08,
|
||||
"output": "grade3-stand-1.txt"
|
||||
},
|
||||
{
|
||||
"command": "docker compose ps --all",
|
||||
"exit_code": 0,
|
||||
"seconds": 0.11,
|
||||
"output": "grade3-stand-2.txt"
|
||||
},
|
||||
{
|
||||
"command": "docker compose config --volumes",
|
||||
"exit_code": 0,
|
||||
"seconds": 0.08,
|
||||
"output": "grade3-stand-3.txt"
|
||||
},
|
||||
{
|
||||
"command": "docker compose run --rm --no-deps otel-collector validate --config=/etc/otelcol-contrib/config.yaml",
|
||||
"exit_code": 0,
|
||||
"seconds": 1.28,
|
||||
"output": "grade3-stand-4.txt"
|
||||
},
|
||||
{
|
||||
"command": "/usr/bin/python3 scripts/check_observability.py --base-url http://127.0.0.1:8080 --grafana-url http://127.0.0.1:3000 provisioning",
|
||||
"exit_code": 0,
|
||||
"seconds": 0.13,
|
||||
"output": "grade3-stand-5.txt"
|
||||
}
|
||||
],
|
||||
"grade3-smoke": [
|
||||
{
|
||||
"command": "make check",
|
||||
"exit_code": 0,
|
||||
"seconds": 0.05,
|
||||
"output": "grade3-smoke-1.txt"
|
||||
},
|
||||
{
|
||||
"command": "make test BASE_URL=http://127.0.0.1:8080",
|
||||
"exit_code": 0,
|
||||
"seconds": 3.51,
|
||||
"output": "grade3-smoke-2.txt"
|
||||
}
|
||||
],
|
||||
"grade3-signals": [
|
||||
{
|
||||
"command": "/usr/bin/python3 scripts/check_observability.py --base-url http://127.0.0.1:8080 --grafana-url http://127.0.0.1:3000 signals",
|
||||
"exit_code": 0,
|
||||
"seconds": 7.2,
|
||||
"output": "grade3-signals-1.txt"
|
||||
}
|
||||
],
|
||||
"grade4-pipeline": [
|
||||
{
|
||||
"command": "/usr/bin/python3 scripts/check_observability.py --base-url http://127.0.0.1:8080 --grafana-url http://127.0.0.1:3000 pipeline",
|
||||
"exit_code": 0,
|
||||
"seconds": 4.92,
|
||||
"output": "grade4-pipeline-1.txt"
|
||||
},
|
||||
{
|
||||
"command": "/usr/bin/python3 scripts/check_observability_incidents.py --base-url http://127.0.0.1:8080 --grafana-url http://127.0.0.1:3000 retry",
|
||||
"exit_code": 0,
|
||||
"seconds": 15.62,
|
||||
"output": "grade4-pipeline-2.txt"
|
||||
}
|
||||
],
|
||||
"grade4-dashboard": [
|
||||
{
|
||||
"command": "/usr/bin/python3 scripts/check_observability.py --base-url http://127.0.0.1:8080 --grafana-url http://127.0.0.1:3000 dashboard",
|
||||
"exit_code": 0,
|
||||
"seconds": 0.16,
|
||||
"output": "grade4-dashboard-1.txt"
|
||||
},
|
||||
{
|
||||
"command": "docker compose exec -T prometheus promtool check rules /etc/prometheus/alerts.yaml",
|
||||
"exit_code": 0,
|
||||
"seconds": 0.23,
|
||||
"output": "grade4-dashboard-2.txt"
|
||||
}
|
||||
],
|
||||
"grade4-queue": [
|
||||
{
|
||||
"command": "/usr/bin/python3 scripts/check_observability_incidents.py --base-url http://127.0.0.1:8080 --grafana-url http://127.0.0.1:3000 worker",
|
||||
"exit_code": 0,
|
||||
"seconds": 55.56,
|
||||
"output": "grade4-queue-1.txt"
|
||||
}
|
||||
],
|
||||
"grade4-database": [
|
||||
{
|
||||
"command": "/usr/bin/python3 scripts/check_observability_incidents.py --base-url http://127.0.0.1:8080 --grafana-url http://127.0.0.1:3000 database",
|
||||
"exit_code": 0,
|
||||
"seconds": 104.65,
|
||||
"output": "grade4-database-1.txt"
|
||||
}
|
||||
],
|
||||
"grade4-telemetry": [
|
||||
{
|
||||
"command": "/usr/bin/python3 scripts/check_observability_incidents.py --base-url http://127.0.0.1:8080 --grafana-url http://127.0.0.1:3000 telemetry",
|
||||
"exit_code": 0,
|
||||
"seconds": 46.39,
|
||||
"output": "grade4-telemetry-1.txt"
|
||||
}
|
||||
],
|
||||
"grade4-load": [
|
||||
{
|
||||
"command": "lscpu",
|
||||
"exit_code": 0,
|
||||
"seconds": 0.01,
|
||||
"output": "grade4-load-1.txt"
|
||||
},
|
||||
{
|
||||
"command": "free -h",
|
||||
"exit_code": 0,
|
||||
"seconds": 0.0,
|
||||
"output": "grade4-load-2.txt"
|
||||
},
|
||||
{
|
||||
"command": "docker compose version",
|
||||
"exit_code": 0,
|
||||
"seconds": 0.04,
|
||||
"output": "grade4-load-3.txt"
|
||||
},
|
||||
{
|
||||
"command": "/usr/bin/python3 tests/load.py --base-url http://127.0.0.1:8080 --duration 30 --concurrency 4",
|
||||
"exit_code": 0,
|
||||
"seconds": 31.48,
|
||||
"output": "grade4-load-4.txt"
|
||||
},
|
||||
{
|
||||
"command": "docker compose stats --no-stream",
|
||||
"exit_code": 0,
|
||||
"seconds": 2.17,
|
||||
"output": "grade4-load-5.txt"
|
||||
}
|
||||
]
|
||||
}
|
||||
@@ -31,7 +31,7 @@ def main():
|
||||
parser = argparse.ArgumentParser(description=__doc__)
|
||||
parser.add_argument("--base-url", default="http://127.0.0.1:8080")
|
||||
parser.add_argument("--grafana-url", default="http://127.0.0.1:3000")
|
||||
parser.add_argument("criterion", choices=["provisioning", "signals", "pipeline"])
|
||||
parser.add_argument("criterion", choices=["provisioning", "signals", "pipeline", "dashboard"])
|
||||
args = parser.parse_args()
|
||||
|
||||
def query(path, **params):
|
||||
@@ -51,6 +51,24 @@ def main():
|
||||
print("Загружен dashboard messenger-lab6, панелей:", len(dashboard["panels"]))
|
||||
return
|
||||
|
||||
if args.criterion == "dashboard":
|
||||
dashboard = query("/api/dashboards/uid/messenger-lab6")["dashboard"]
|
||||
check(len(dashboard["panels"]) >= 17, "grade 4 dashboard panels missing")
|
||||
for panel in dashboard["panels"]:
|
||||
if panel["datasource"]["type"] != "prometheus":
|
||||
continue
|
||||
for target in panel["targets"]:
|
||||
result = source("prometheus", "/api/v1/query", query=target["expr"])
|
||||
check(result["status"] == "success", "PromQL query failed")
|
||||
print(panel["title"], "—", target["expr"], "— рядов:", len(result["data"]["result"]))
|
||||
expression = ('1 - (sum(increase(messenger_http_requests_total{http_status_class="5xx"}[30m])) '
|
||||
'or 0 * sum(increase(messenger_http_requests_total[30m]))) '
|
||||
'/ sum(increase(messenger_http_requests_total[30m]))')
|
||||
result = source("prometheus", "/api/v1/query", query=expression)["data"]["result"]
|
||||
check(bool(result), "SLI series missing")
|
||||
print("SLI за 30 минут:", result[0]["value"][1], "цель: >= 0.99")
|
||||
return
|
||||
|
||||
client = Client(args.base_url)
|
||||
start = time.time_ns()
|
||||
alice, bob, _, chat = client.bootstrap()
|
||||
@@ -67,19 +85,23 @@ def main():
|
||||
start=start, end=time.time_ns())["data"]["result"]
|
||||
if logs:
|
||||
trace_id = logs[0]["stream"]["trace_id"]
|
||||
trace = source("tempo", "/api/traces/" + trace_id)
|
||||
try:
|
||||
trace = source("tempo", "/api/traces/" + trace_id)
|
||||
except urllib.error.HTTPError as error:
|
||||
if error.code != 404:
|
||||
raise
|
||||
time.sleep(2)
|
||||
continue
|
||||
spans = [span for batch in trace["batches"] for scope in batch["scopeSpans"] for span in scope["spans"]]
|
||||
producer = next((span for span in spans if span["kind"] == "SPAN_KIND_PRODUCER"), None)
|
||||
consumer = next((span for span in spans if span["kind"] == "SPAN_KIND_CONSUMER"), None)
|
||||
if producer and consumer:
|
||||
api = next(span for span in spans if span["kind"] == "SPAN_KIND_SERVER")
|
||||
check(producer["parentSpanId"] == api["spanId"], "producer parent mismatch")
|
||||
check(consumer["parentSpanId"] == producer["spanId"], "consumer parent mismatch")
|
||||
by_id = {span["spanId"]: span for span in spans}
|
||||
for consumer in (span for span in spans if span["kind"] == "SPAN_KIND_CONSUMER"):
|
||||
producer = by_id.get(consumer.get("parentSpanId"), {})
|
||||
api = by_id.get(producer.get("parentSpanId"), {})
|
||||
children = {span["name"] for span in spans if span.get("parentSpanId") == consumer["spanId"]}
|
||||
check({"postgresql finalize attachment", "s3 read staging and write variants"} <= children,
|
||||
"worker S3 and PostgreSQL spans missing")
|
||||
print("Upload → producer → consumer → S3/PostgreSQL, trace:", trace_id)
|
||||
return
|
||||
if (producer.get("kind") == "SPAN_KIND_PRODUCER" and api.get("kind") == "SPAN_KIND_SERVER"
|
||||
and {"postgresql finalize attachment", "s3 read staging and write variants"} <= children):
|
||||
print("Upload → producer → consumer → S3/PostgreSQL, trace:", trace_id)
|
||||
return
|
||||
time.sleep(2)
|
||||
raise Failure("upload trace did not include the worker pipeline")
|
||||
|
||||
@@ -132,7 +154,9 @@ def main():
|
||||
spans = [span for batch in trace["batches"] for scope in batch["scopeSpans"] for span in scope["spans"]]
|
||||
span_id_base64 = base64.b64encode(bytes.fromhex(span_id)).decode()
|
||||
matched = [span for span in spans if span["spanId"] in (span_id, span_id_base64)]
|
||||
check(len(matched) == 1, "span ID from log missing in trace")
|
||||
if not matched:
|
||||
continue
|
||||
check(len(matched) == 1, "duplicate span ID in trace")
|
||||
span = matched[0]
|
||||
check(span["kind"] in (span_kind, "SPAN_KIND_SERVER" if span_kind == 2 else "SPAN_KIND_CONSUMER"), "wrong span kind")
|
||||
check(int(span["endTimeUnixNano"]) > int(span["startTimeUnixNano"]), "span duration missing")
|
||||
|
||||
@@ -1,58 +1,6 @@
|
||||
#!/usr/bin/env python3
|
||||
"""Сбор воспроизводимых доказательств уровня 3."""
|
||||
import argparse
|
||||
from pathlib import Path
|
||||
import re
|
||||
import shlex
|
||||
import subprocess
|
||||
import sys
|
||||
|
||||
ROOT = Path(__file__).resolve().parents[1]
|
||||
|
||||
|
||||
def main():
|
||||
parser = argparse.ArgumentParser(description=__doc__)
|
||||
parser.add_argument("--base-url", default="http://127.0.0.1:8080")
|
||||
parser.add_argument("--grafana-url", default="http://127.0.0.1:3000")
|
||||
args = parser.parse_args()
|
||||
probe = [sys.executable, "scripts/check_observability.py", "--base-url", args.base_url,
|
||||
"--grafana-url", args.grafana_url]
|
||||
checks = [
|
||||
("grade3-stand", "Стенд, тома и provisioning",
|
||||
[["docker", "compose", "config", "--quiet"],
|
||||
["docker", "compose", "ps", "--all"],
|
||||
["docker", "compose", "config", "--volumes"],
|
||||
["docker", "compose", "run", "--rm", "--no-deps", "otel-collector", "validate", "--config=/etc/otelcol-contrib/config.yaml"],
|
||||
probe + ["provisioning"]],
|
||||
"Prometheus хранит временные ряды, Loki — журналы, Tempo — трассы. Collector принимает и маршрутизирует OTLP. Grafana читает данные и загружает dashboard из JSON."),
|
||||
("grade3-smoke", "Совместимость API при включённой телеметрии",
|
||||
[["make", "check"], ["make", "test", "BASE_URL=" + args.base_url]],
|
||||
"Smoke проверяет сессии, сообщения, ACL, идемпотентность и готовность вложения с оригиналом и thumbnail."),
|
||||
("grade3-signals", "Метрики, структурные логи и трассы API и worker",
|
||||
[probe + ["signals"]],
|
||||
"Контрольный POST сопоставляется с логом по X-Request-Id. Оба сервиса сопоставляются с Tempo по trace_id и span_id. Prometheus возвращает счётчики и histogram buckets. Проверка ищет утечки синтетических значений в полученных сигналах."),
|
||||
]
|
||||
failed = False
|
||||
for name, title, commands, explanation in checks:
|
||||
lines = [f"# {title}", "", "Предпосылки — локальный синтетический стенд после make app-up и доступ к Docker.",
|
||||
"", explanation, ""]
|
||||
for command in commands:
|
||||
try:
|
||||
result = subprocess.run(command, cwd=ROOT, stdout=subprocess.PIPE, stderr=subprocess.STDOUT,
|
||||
text=True, timeout=180)
|
||||
code, output = result.returncode, result.stdout
|
||||
except subprocess.TimeoutExpired:
|
||||
code, output = 124, "Истёк лимит времени."
|
||||
except OSError:
|
||||
code, output = 127, "Команда недоступна."
|
||||
failed |= code != 0
|
||||
output = re.sub(r"(https?://[^\s?]+)\?[^\s]+", r"\1?[redacted]", output).strip()
|
||||
lines.extend([f"Команда `{shlex.join(command)}`. Код выхода **{code}**.", "", "```text", output or "(пусто)", "```", ""])
|
||||
path = ROOT / "evidence" / (name + ".md")
|
||||
path.write_text("\n".join(lines), encoding="utf-8")
|
||||
print(path.relative_to(ROOT))
|
||||
return int(failed)
|
||||
|
||||
"""Совместимая точка входа для итогового генератора."""
|
||||
from generate_evidence import main
|
||||
|
||||
if __name__ == "__main__":
|
||||
sys.exit(main())
|
||||
raise SystemExit(main())
|
||||
|
||||
@@ -0,0 +1,103 @@
|
||||
#!/usr/bin/env python3
|
||||
"""Сбор воспроизводимых доказательств уровней 3–4."""
|
||||
import argparse
|
||||
from datetime import datetime, timezone
|
||||
import json
|
||||
from pathlib import Path
|
||||
import re
|
||||
import shlex
|
||||
import subprocess
|
||||
import sys
|
||||
import time
|
||||
|
||||
ROOT = Path(__file__).resolve().parents[1]
|
||||
|
||||
|
||||
def main():
|
||||
parser = argparse.ArgumentParser(description=__doc__)
|
||||
parser.add_argument("--base-url", default="http://127.0.0.1:8080")
|
||||
parser.add_argument("--grafana-url", default="http://127.0.0.1:3000")
|
||||
args = parser.parse_args()
|
||||
probe = [sys.executable, "scripts/check_observability.py", "--base-url", args.base_url,
|
||||
"--grafana-url", args.grafana_url]
|
||||
incident = [sys.executable, "scripts/check_observability_incidents.py", "--base-url", args.base_url,
|
||||
"--grafana-url", args.grafana_url]
|
||||
checks = [
|
||||
("grade3-stand", "Стенд, тома и provisioning",
|
||||
[["docker", "compose", "config", "--quiet"],
|
||||
["docker", "compose", "ps", "--all"],
|
||||
["docker", "compose", "config", "--volumes"],
|
||||
["docker", "compose", "run", "--rm", "--no-deps", "otel-collector", "validate", "--config=/etc/otelcol-contrib/config.yaml"],
|
||||
probe + ["provisioning"]],
|
||||
"Prometheus хранит временные ряды, Loki — журналы, Tempo — трассы. Collector принимает и маршрутизирует OTLP. Grafana читает данные и загружает dashboard из JSON."),
|
||||
("grade3-smoke", "Совместимость API при включённой телеметрии",
|
||||
[["make", "check"], ["make", "test", "BASE_URL=" + args.base_url]],
|
||||
"Smoke проверяет сессии, сообщения, ACL, идемпотентность и готовность вложения с оригиналом и thumbnail."),
|
||||
("grade3-signals", "Метрики, структурные логи и трассы API и worker",
|
||||
[probe + ["signals"]],
|
||||
"Контрольный POST сопоставляется с логом по X-Request-Id. Оба сервиса сопоставляются с Tempo по trace_id и span_id. Prometheus возвращает счётчики и histogram buckets. Проверка ищет утечки синтетических значений в полученных сигналах."),
|
||||
("grade4-pipeline", "Сквозная трасса и повторная попытка",
|
||||
[probe + ["pipeline"], incident + ["retry"]],
|
||||
"Tempo подтверждает родительскую связь HTTP, producer и consumer, операции S3 и PostgreSQL и две попытки одной загрузки."),
|
||||
("grade4-dashboard", "Метрики диагностики и SLO",
|
||||
[probe + ["dashboard"], ["docker", "compose", "exec", "-T", "prometheus", "promtool", "check", "rules", "/etc/prometheus/alerts.yaml"]],
|
||||
"Проверяются запросы панелей, SLI за 30 минут и синтаксис двух правил."),
|
||||
("grade4-queue", "Остановка и восстановление worker",
|
||||
[incident + ["worker"]],
|
||||
"Возраст незавершённой работы вызывает firing. Вложение достигает ready после восстановления worker, алерт переходит в resolved."),
|
||||
("grade4-database", "Задержка PostgreSQL и восстановление",
|
||||
[incident + ["database"]],
|
||||
"При блокировке таблицы растёт доля 5xx и алерт срабатывает. Задержку показывает дочерний спан PostgreSQL. После снятия блокировки алерт переходит в resolved."),
|
||||
("grade4-telemetry", "Недоступность Tempo",
|
||||
[incident + ["telemetry"]],
|
||||
"Проверяются сообщения и готовность вложения при остановленном Tempo, снимок памяти Collector и число отброшенных спанов по его журналу."),
|
||||
("grade4-load", "Короткая нагрузка на API",
|
||||
[["lscpu"], ["free", "-h"], ["docker", "compose", "version"],
|
||||
[sys.executable, "tests/load.py", "--base-url", args.base_url, "--duration", "30", "--concurrency", "4"],
|
||||
["docker", "compose", "stats", "--no-stream"]],
|
||||
"Один closed-loop прогон POST сообщений с четырьмя клиентами, отдельно от инцидентов. Снимок ресурсов сделан сразу после прогона."),
|
||||
]
|
||||
output_root = ROOT / "evidence/criteria"
|
||||
stamp = datetime.now(timezone.utc).strftime("%Y%m%dT%H%M%S.%fZ")
|
||||
run = output_root / "runs" / stamp
|
||||
run.mkdir(parents=True)
|
||||
summary = {}
|
||||
failed = False
|
||||
for name, title, commands, explanation in checks:
|
||||
lines = [f"# {title}", "", "Предпосылки — локальный синтетический стенд после make app-up и доступ к Docker.",
|
||||
"", explanation, ""]
|
||||
results = []
|
||||
summary[name] = results
|
||||
for index, command in enumerate(commands, 1):
|
||||
started = time.monotonic()
|
||||
try:
|
||||
result = subprocess.run(command, cwd=ROOT, stdout=subprocess.PIPE, stderr=subprocess.STDOUT,
|
||||
text=True, timeout=240)
|
||||
code, output = result.returncode, result.stdout
|
||||
except subprocess.TimeoutExpired:
|
||||
code, output = 124, "Истёк лимит времени."
|
||||
except OSError:
|
||||
code, output = 127, "Команда недоступна."
|
||||
failed |= code != 0
|
||||
output = re.sub(r"(https?://[^\s?]+)\?[^\s]+", r"\1?[redacted]", output).strip()
|
||||
output = "\n".join(line.rstrip() for line in output.splitlines())
|
||||
raw = f"{name}-{index}.txt"
|
||||
(run / raw).write_text(output + "\n", encoding="utf-8")
|
||||
seconds = round(time.monotonic() - started, 2)
|
||||
results.append(dict(command=shlex.join(command), exit_code=code, seconds=seconds, output=raw))
|
||||
lines.extend([f"Команда `{shlex.join(command)}`. Код выхода **{code}**. Время {seconds} с.",
|
||||
"", f"[Вывод](runs/{stamp}/{raw})", "", "````text", output or "(пусто)", "````", ""])
|
||||
path = output_root / (name + ".md")
|
||||
path.write_text("\n".join(lines), encoding="utf-8")
|
||||
print(path.relative_to(ROOT), flush=True)
|
||||
index = ["# Доказательства критериев", "", f"[Сводка прогона {stamp}](runs/{stamp}/summary.json)", ""]
|
||||
for name, results in summary.items():
|
||||
state = "PASS" if all(result["exit_code"] == 0 for result in results) else "FAIL"
|
||||
index.append(f"- [{name}]({name}.md) — {state}")
|
||||
(output_root / "README.md").write_text("\n".join(index) + "\n", encoding="utf-8")
|
||||
(run / "summary.json").write_text(json.dumps(summary, ensure_ascii=False, indent=2) + "\n", encoding="utf-8")
|
||||
return int(failed)
|
||||
|
||||
|
||||
if __name__ == "__main__":
|
||||
sys.exit(main())
|
||||
Reference in New Issue
Block a user