Files
mtusi2026lab6/REPORT.md
T
2026-11-04 12:18:07 +03:00

12 KiB
Raw Blame History

Отчёт — лабораторная 6

  • Автор, группа: не указаны.
  • Целевая оценка: 5; трек 1 — цена наблюдаемости.
  • Commit/PR: не создан.
  • Источники и инструменты: README и CONTRIBUTING лабораторной 6; документация OpenTelemetry, Prometheus, Grafana, Loki и Tempo; исходники Lab 5; помощь ИИ использовалась для переноса, реализации и проверки.

Запуск из чистого clone

Требуются Docker Compose v2 и Python 3.9+ (проверено на Python 3.12.7). Для локального запуска:

make check
python3 -m venv .venv
.venv/bin/python -m pip install -r requirements-dev.txt
cp .env.example .env
scripts/bootstrap-secrets.sh
docker compose --env-file .env config --quiet
docker compose --env-file .env up -d --build
# Дождаться успешного ответа GET /health/ready.
make test PYTHON=.venv/bin/python BASE_URL=http://localhost:8080
make validate PYTHON=.venv/bin/python
docker compose --env-file .env stop

При занятом порте 8080 задайте APP_PORT в локальном .env и используйте соответствующий BASE_URL; в проверенной среде использовался порт 18080. scripts/bootstrap-secrets.sh создаёт локальные секреты в secrets/; не копируйте их в Git. Обычная остановка сохраняет named volumes. Только для намеренного удаления учебных данных выполните docker compose --env-file .env down -v.

Архитектура и решения

Перенесены API и фоновый pipeline Lab 5 без изменения публичного контракта. API записывает бизнес-состояние и transactional outbox в PostgreSQL; publisher передаёт задания в RabbitMQ, worker обрабатывает вложения и сохраняет оригиналы/варианты в S3-совместимом SeaweedFS. PostgreSQL хранит авторитетное состояние и метаданные; reconciler сверяет их с объектами хранилища. Доставка at-least-once, повторные эффекты ограничены идемпотентностью и fencing.

API, publisher и worker экспортируют traces, metrics и структурные logs через OTLP в Collector. W3C trace context сохраняется в outbox и переносится через broker. Prometheus собирает метрики Collector, Loki хранит логи, Tempo — traces, Grafana загружает datasource и dashboard из provisioning. Метрики используют route templates и другие низкокардинальные атрибуты, не идентификаторы пользователей, чатов или сообщений. В telemetry не включаются тела сообщений, credentials, filenames или signed URLs.

SDK batch queues ограничены 4096 records, batch — 512; Collector ограничен memory limiter 384 MiB (spike 96 MiB), batch до 1024 элементов и очередями exporters по 256 requests с retry не более 30 секунд. Для локального инцидента с недоступным Tempo API smoke продолжил проходить, а измеренная память API и Collector оставалась около 57–76 MiB.

Доказательства критериев

Критерий Команда/сценарий Наблюдаемый результат Доказательство
Публичный smoke и контракты make check, make validate, make test PYTHON=.venv/bin/python BASE_URL=http://localhost:18080 Все проверки прошли; smoke прошёл с включённой телеметрией README и tests/
Уровень 3: pipeline и API make test-attachments, make test-idempotency-race, make test-pipeline-replay Валидация вложений прошла; 12 конкурентных запросов с одним idempotency key дали одно сообщение; replay прошёл student-tests/; evidence/pipeline-faults.json
Уровень 3: Grafana и сигналы Grafana provisioning и Tempo trace Загружен dashboard из 14 панелей и три datasource. Trace 69a718dd0f13278bddb76e719b8b23f1 связал upload/API, publisher, worker, S3 и DB infra/otel/grafana/; Tempo
Уровень 4: восстановление данных make test-outbox-recovery, make test-worker-recovery, make test-reconcile-integration Outbox и worker восстановили вложение до ready; reconcile восстановил отсутствующий объект, удалил сироты и сохранил свежий объект до истечения grace period student-tests/
Уровень 4: dashboard и SLO Prometheus rules API, promtool check rules, Grafana dashboard Доступны latency histogram, ошибки, очередь, DB pool и worker; rolling SLI messenger:api_availability:ratio7d вернул 1 при отсутствии 5xx. Правила прошли проверку; выражения нулевой ошибки и возраста очереди исправлены по результатам проверки infra/otel/alerts.yml; infra/otel/grafana/dashboards/messenger.json
Уровень 4: отказ и alerts Остановить worker с ожидающей вложением; затем восстановить. Отдельно остановить PostgreSQL и отправить 90 последовательных API-запросов MessengerQueueLag перешёл firing и стал inactive после обработки задания. PostgreSQL outage дал 90 ответов 503; MessengerApiErrorBudgetBurn перешёл firing. После запуска PostgreSQL и API readiness восстановилась evidence/incidents.json
Уровень 4: telemetry backend Остановить Tempo на 40 секунд и выполнить make test API smoke прошёл, память API/Collector осталась ограниченной; после возврата Tempo API readiness восстановилась evidence/incidents.json; infra/otel/collector.yaml
Трек 1: цена наблюдаемости .venv/bin/python student-tests/track1_benchmark.py --duration 15 --concurrency 2 --target-rps 20 --warmup-seconds 3 --base-url http://localhost:18080 Четыре режима завершили по 300 запросов без ошибок; результаты приведены ниже evidence/track1-observability-cost.json

Дополнительно прошли make test-reconcile, make test-worker, make test-pipeline-faults, make test-upload-concurrency. Upload concurrency обработал 10 загрузок при 10 параллельных операциях; измеренный пик прироста working set API-контейнеров — около 14 MiB.

Исследовательский трек 1 — цена наблюдаемости

Гипотеза: sampling снижает число сохранённых spans и объём traces при сохранении метрик и логов. Нагрузка одинаковая для режимов: paced synthetic POST, target 20 RPS, concurrency 2, 15 секунд, прогрев 3 секунды; macOS 27 arm64, 10 логических CPU, Compose-контейнеры. Все режимы завершили 300 запросов с нулём ошибок; фактическая пропускная способность была 16.97–17.85 успешных RPS.

Режим Traces / доля запросов Успешный RPS p50 / p95 / p99, ms Средний CPU, сумма контейнеров Пиковая память, MB Tempo volume delta
SDK off 0 / 0% 17.750 7.449 / 12.198 / 14.054 17.18% 331 120 KiB
Sampling 100% 300 / 100% 16.970 8.220 / 14.766 / 37.456 25.32% 340 418 KiB
Sampling 25% 88 / 29.3% 17.845 6.822 / 12.894 / 14.415 26.23% 352 3.90 MiB
Sampling 10% 25 / 8.3% 17.393 7.351 / 13.809 / 17.187 28.82% 340 104 KiB

В sampling-режимах в среднем было около 8 spans на message trace. Поэтому приблизительная оценка не записанных spans составляет 0 при 100%, 1696 при 25% и 2200 при 10%; это экстраполяция по первым 20 traces, а не счётчик доставки Collector. SDK off отключает telemetry SDK целиком, поэтому там ожидалось около 2400 spans, если бы трассировка была включена.

Для дальнейшего использования выбран sampling 25%: в этом прогоне он сохранил около 29% message traces и уменьшил оценочное число spans примерно на 71% относительно 100%, оставляя достаточно трасс для диагностики.

Инциденты и runbooks

Воздействие Причина и наблюдение Восстановление / данные
Worker остановлен при одной queued attachment API принял задание; рост возраста очереди виден в метрике, MessengerQueueLag сработал. Worker запущен, задание обработано до ready, очередь осушена, alert inactive. Потери вложения нет.
PostgreSQL остановлен на время серии запросов API вернул 503 на 90 последовательных запросов; MessengerApiErrorBudgetBurn сработал по метрике 5xx. PostgreSQL запущен, API контейнеры перезапущены для сброса stale pool connections, /health/ready восстановился. Запросы получили 503; частично принятых операций не было.
Tempo недоступен 40 секунд При остановленном trace backend API smoke оставался успешен; память API/Collector не демонстрировала неограниченного роста. Tempo запущен, API readiness осталась healthy.

Для API 5xx: проверить SLI/alert, сгруппировать ошибки по route template, открыть trace и correlated log, проверить DB/S3 spans и состояние соответствующего backend; после восстановления подтвердить health/readiness и возврат error ratio. Для queue lag: проверить depth/age, worker consuming logs и broker; восстановить worker, дождаться ready и inactive alert. Для telemetry outage: проверить Collector exporter failures и backend health; бизнес-операции проверять отдельно от полноты telemetry.