12 KiB
Отчёт — лабораторная 6
- Автор, группа: не указаны.
- Целевая оценка: 5; трек 1 — цена наблюдаемости.
- Commit/PR: не создан.
- Источники и инструменты: README и CONTRIBUTING лабораторной 6; документация OpenTelemetry, Prometheus, Grafana, Loki и Tempo; исходники Lab 5; помощь ИИ использовалась для переноса, реализации и проверки.
Запуск из чистого clone
Требуются Docker Compose v2 и Python 3.9+ (проверено на Python 3.12.7). Для локального запуска:
make check
python3 -m venv .venv
.venv/bin/python -m pip install -r requirements-dev.txt
cp .env.example .env
scripts/bootstrap-secrets.sh
docker compose --env-file .env config --quiet
docker compose --env-file .env up -d --build
# Дождаться успешного ответа GET /health/ready.
make test PYTHON=.venv/bin/python BASE_URL=http://localhost:8080
make validate PYTHON=.venv/bin/python
docker compose --env-file .env stop
При занятом порте 8080 задайте APP_PORT в локальном .env и используйте соответствующий BASE_URL; в проверенной среде использовался порт 18080. scripts/bootstrap-secrets.sh создаёт локальные секреты в secrets/; не копируйте их в Git. Обычная остановка сохраняет named volumes. Только для намеренного удаления учебных данных выполните docker compose --env-file .env down -v.
Архитектура и решения
Перенесены API и фоновый pipeline Lab 5 без изменения публичного контракта. API записывает бизнес-состояние и transactional outbox в PostgreSQL; publisher передаёт задания в RabbitMQ, worker обрабатывает вложения и сохраняет оригиналы/варианты в S3-совместимом SeaweedFS. PostgreSQL хранит авторитетное состояние и метаданные; reconciler сверяет их с объектами хранилища. Доставка at-least-once, повторные эффекты ограничены идемпотентностью и fencing.
API, publisher и worker экспортируют traces, metrics и структурные logs через OTLP в Collector. W3C trace context сохраняется в outbox и переносится через broker. Prometheus собирает метрики Collector, Loki хранит логи, Tempo — traces, Grafana загружает datasource и dashboard из provisioning. Метрики используют route templates и другие низкокардинальные атрибуты, не идентификаторы пользователей, чатов или сообщений. В telemetry не включаются тела сообщений, credentials, filenames или signed URLs.
SDK batch queues ограничены 4096 records, batch — 512; Collector ограничен memory limiter 384 MiB (spike 96 MiB), batch до 1024 элементов и очередями exporters по 256 requests с retry не более 30 секунд. Для локального инцидента с недоступным Tempo API smoke продолжил проходить, а измеренная память API и Collector оставалась около 57–76 MiB.
Доказательства критериев
| Критерий | Команда/сценарий | Наблюдаемый результат | Доказательство |
|---|---|---|---|
| Публичный smoke и контракты | make check, make validate, make test PYTHON=.venv/bin/python BASE_URL=http://localhost:18080 |
Все проверки прошли; smoke прошёл с включённой телеметрией | README и tests/ |
| Уровень 3: pipeline и API | make test-attachments, make test-idempotency-race, make test-pipeline-replay |
Валидация вложений прошла; 12 конкурентных запросов с одним idempotency key дали одно сообщение; replay прошёл | student-tests/; evidence/pipeline-faults.json |
| Уровень 3: Grafana и сигналы | Grafana provisioning и Tempo trace | Загружен dashboard из 14 панелей и три datasource. Trace 69a718dd0f13278bddb76e719b8b23f1 связал upload/API, publisher, worker, S3 и DB |
infra/otel/grafana/; Tempo |
| Уровень 4: восстановление данных | make test-outbox-recovery, make test-worker-recovery, make test-reconcile-integration |
Outbox и worker восстановили вложение до ready; reconcile восстановил отсутствующий объект, удалил сироты и сохранил свежий объект до истечения grace period |
student-tests/ |
| Уровень 4: dashboard и SLO | Prometheus rules API, promtool check rules, Grafana dashboard |
Доступны latency histogram, ошибки, очередь, DB pool и worker; rolling SLI messenger:api_availability:ratio7d вернул 1 при отсутствии 5xx. Правила прошли проверку; выражения нулевой ошибки и возраста очереди исправлены по результатам проверки |
infra/otel/alerts.yml; infra/otel/grafana/dashboards/messenger.json |
| Уровень 4: отказ и alerts | Остановить worker с ожидающей вложением; затем восстановить. Отдельно остановить PostgreSQL и отправить 90 последовательных API-запросов | MessengerQueueLag перешёл firing и стал inactive после обработки задания. PostgreSQL outage дал 90 ответов 503; MessengerApiErrorBudgetBurn перешёл firing. После запуска PostgreSQL и API readiness восстановилась |
evidence/incidents.json |
| Уровень 4: telemetry backend | Остановить Tempo на 40 секунд и выполнить make test |
API smoke прошёл, память API/Collector осталась ограниченной; после возврата Tempo API readiness восстановилась | evidence/incidents.json; infra/otel/collector.yaml |
| Трек 1: цена наблюдаемости | .venv/bin/python student-tests/track1_benchmark.py --duration 15 --concurrency 2 --target-rps 20 --warmup-seconds 3 --base-url http://localhost:18080 |
Четыре режима завершили по 300 запросов без ошибок; результаты приведены ниже | evidence/track1-observability-cost.json |
Дополнительно прошли make test-reconcile, make test-worker, make test-pipeline-faults, make test-upload-concurrency. Upload concurrency обработал 10 загрузок при 10 параллельных операциях; измеренный пик прироста working set API-контейнеров — около 14 MiB.
Исследовательский трек 1 — цена наблюдаемости
Гипотеза: sampling снижает число сохранённых spans и объём traces при сохранении метрик и логов. Нагрузка одинаковая для режимов: paced synthetic POST, target 20 RPS, concurrency 2, 15 секунд, прогрев 3 секунды; macOS 27 arm64, 10 логических CPU, Compose-контейнеры. Все режимы завершили 300 запросов с нулём ошибок; фактическая пропускная способность была 16.97–17.85 успешных RPS.
| Режим | Traces / доля запросов | Успешный RPS | p50 / p95 / p99, ms | Средний CPU, сумма контейнеров | Пиковая память, MB | Tempo volume delta |
|---|---|---|---|---|---|---|
| SDK off | 0 / 0% | 17.750 | 7.449 / 12.198 / 14.054 | 17.18% | 331 | 120 KiB |
| Sampling 100% | 300 / 100% | 16.970 | 8.220 / 14.766 / 37.456 | 25.32% | 340 | 418 KiB |
| Sampling 25% | 88 / 29.3% | 17.845 | 6.822 / 12.894 / 14.415 | 26.23% | 352 | 3.90 MiB |
| Sampling 10% | 25 / 8.3% | 17.393 | 7.351 / 13.809 / 17.187 | 28.82% | 340 | 104 KiB |
В sampling-режимах в среднем было около 8 spans на message trace. Поэтому приблизительная оценка не записанных spans составляет 0 при 100%, 1696 при 25% и 2200 при 10%; это экстраполяция по первым 20 traces, а не счётчик доставки Collector. SDK off отключает telemetry SDK целиком, поэтому там ожидалось около 2400 spans, если бы трассировка была включена.
Для дальнейшего использования выбран sampling 25%: в этом прогоне он сохранил около 29% message traces и уменьшил оценочное число spans примерно на 71% относительно 100%, оставляя достаточно трасс для диагностики.
Инциденты и runbooks
| Воздействие | Причина и наблюдение | Восстановление / данные |
|---|---|---|
| Worker остановлен при одной queued attachment | API принял задание; рост возраста очереди виден в метрике, MessengerQueueLag сработал. |
Worker запущен, задание обработано до ready, очередь осушена, alert inactive. Потери вложения нет. |
| PostgreSQL остановлен на время серии запросов | API вернул 503 на 90 последовательных запросов; MessengerApiErrorBudgetBurn сработал по метрике 5xx. |
PostgreSQL запущен, API контейнеры перезапущены для сброса stale pool connections, /health/ready восстановился. Запросы получили 503; частично принятых операций не было. |
| Tempo недоступен 40 секунд | При остановленном trace backend API smoke оставался успешен; память API/Collector не демонстрировала неограниченного роста. | Tempo запущен, API readiness осталась healthy. |
Для API 5xx: проверить SLI/alert, сгруппировать ошибки по route template, открыть trace и correlated log, проверить DB/S3 spans и состояние соответствующего backend; после восстановления подтвердить health/readiness и возврат error ratio. Для queue lag: проверить depth/age, worker consuming logs и broker; восстановить worker, дождаться ready и inactive alert. Для telemetry outage: проверить Collector exporter failures и backend health; бизнес-операции проверять отдельно от полноты telemetry.