10 KiB
Отчёт — лабораторная 6
- Автор, группа: Kozyrev, BVT2301
- Целевая оценка: 5, трек 2 — SLO и обнаружение инцидентов
- Commit/PR: TODO после публикации
- Источники: контракт телеметрии, OTel Collector, OTel Python exporters, Loki OTLP, Grafana provisioning, исходники lab5 commit
6bc0712. При реализации использован Codex.
Запуск
Нужны Python 3, Docker Engine и Compose v2. API слушает 127.0.0.1:8080, Grafana — 127.0.0.1:3000. Версии образов закреплены в Dockerfile и compose.yaml.
python3 scripts/init-secrets.py
docker compose config --quiet
docker compose up -d --build
docker compose ps -a
curl --fail http://localhost:8080/health/ready
make check
make test
Миграции и создание S3 bucket выполняют сервисы migrate и s3-init. Секреты создаются в игнорируемом secrets/; .env для значений Compose по умолчанию не обязателен. В Grafana логин admin, пароль — в локальном secrets/grafana_password. docker compose down сохраняет volumes; docker compose down -v намеренно удаляет все именованные volumes этого проекта, включая учебные данные и историю телеметрии.
Архитектура и решения
Клиент обращается через HAProxy к двум API-репликам. PostgreSQL хранит бизнес-данные, задания и outbox; SeaweedFS — байты вложений. Dispatcher публикует события из outbox в RabbitMQ, worker формирует варианты; reconcile выполняет сверку. S3 и PostgreSQL не образуют общую транзакцию. Из lab5 перенесены исходники, миграции, инфраструктура и собственные тесты; контракты и публичные тесты lab6 сохранены.
API, outbox и worker отправляют OTLP через Collector в Prometheus, Loki и Tempo; Grafana использует эти хранилища через provisioned datasources. Dashboard, правила alerts, конфигурации и миграция context находятся в репозитории. Схема сигналов, запросы, SLI/SLO, ограничения и сценарии — в docs/observability.md. .env.example описывает логические настройки; Compose часть значений задаёт явно. OTLP включён в Compose для API, worker и outbox.
Проверки и доказательства
| Критерий | Команда/сценарий | Результат |
|---|---|---|
| Целостность и smoke | make check, make validate PYTHON=.venv/bin/python, make test |
PASS; smoke повторён после восстановления. |
| Конфигурации | docker compose config --quiet; штатные проверки Collector, Loki, Tempo и promtool |
PASS; Grafana API вернул три datasource и dashboard, запросы панелей выполнены. |
| Контекст и конфиденциальность | .venv/bin/python student-tests/telemetry_unit.py |
3 теста PASS: parent/child через AMQP, ограниченные поля логов и шаблон маршрута метрики. |
| Обработка вложений | .venv/bin/python student-tests/pipeline_critical.py |
8 тестов PASS. |
| Данные и реплики | make test-persistence ACTION_SCRIPT=scripts/restart.sh; make test-failover ACTION_SCRIPT=scripts/stop-one.sh |
Оба PASS; две реплики восстановлены. Фактический состав hook описан в скриптах; отдельного снимка состояний до/после для persistence нет. |
| Связь API → worker, включая retry | upload с тестовой инъекцией crash worker | ready на второй попытке; 2 producer и 2 consumer spans в одном trace. |
| Alert очереди и alert ошибок API | остановка worker; блокировка таблицы users при нагрузке; promtool test rules student-tests/alerts.test.yaml в контейнере |
Оба наблюдались в firing и отсутствовали после восстановления; синтетический тест финальных правил PASS. |
| Отказ хранилища telemetry | остановить Tempo, выполнить smoke и отдельную нагрузку 75 с | smoke PASS; очередь ограничена, зафиксировано переполнение и потери traces. |
Идентификаторы трасс, результаты, формулы и границы проверки приведены в evidence/observability.md. Raw summaries нагрузки: инцидент БД, отказ Tempo. Полный набор наблюдений живёт в локальных volumes, а не в Git.
Трек 5: SLO и обнаружение инцидентов
Заданы учебные SLO 99% за 24 часа для API и времени готовности принятых вложений. Для каждого настроены быстрые и медленные multiwindow burn-rate alerts; формулы, допущения и пошаговая диагностика — в runbook. Последние 30 секунд заданий исключены из зрелой когорты; просроченные, failed и неготовые задания входят в ошибки SLO. Моменты начала и окончания приблизительны из-за транзакционных границ. При недоступном outbox счётчики устаревают.
Повторяемые сценарии и наблюдения — в отчёте трека, исходные отсчёты — API, расчёт и вложения. При короткой и длительной блокировке API fast alert обнаружен через 55,088 и 50,278 секунды; slow в первом случае впервые появился после конца инцидента (одна новая тревога в фазе восстановления), во втором — через 90,428 секунды. На коротком baseline из 13 проб не наблюдалось burn alerts; долгосрочная частота ложных срабатываний не измерена. При тесте восьми вложений обнаружение — 40,279 секунды после последнего принятия, после запуска worker все восемь стали ready. Опросный метод, ограничения и заметный скачок UTC-часов описаны в отчёте трека. Проведена собственная проверка runbook по Loki/Tempo; прохождение другим студентом не подтверждено.
Проверка правил: docker run --rm -v "$PWD:/workspace:ro" --entrypoint promtool prom/prometheus:v3.2.1 test rules /workspace/student-tests/burn_rules.test.yaml. Синтетические проверки нормальной нагрузки, всплеска, устойчивой деградации и малого числа событий прошли.
Эксперименты и ограничения
Docker Engine 29.8.0, aarch64; Docker VM сообщил 10 CPU и 10 416 644 096 байт RAM. Лимиты контейнеров указаны в Compose: например, Collector — 256 MiB, каждая API-реплика — 0,5 CPU и 512 MB. Ограниченная нагрузка была closed-loop; прогрев и статистические повторы для сравнения производительности не проводились. Числа не являются оценкой максимальной пропускной способности. В отчёте о первом опыте блокировки БД alert не успел перейти в firing; после изменения выдержки до 10 секунд повторный опыт показал firing и восстановление.
messenger_job_ready_duration_seconds измеряет время от создания DB-записи о вложении до фиксации ready; оно включает время до commit принятия. Репрезентативность 24-часового окна и долгосрочная частота ложных срабатываний не проверены. Данные queue age обновляет outbox: при его остановке gauge устаревает. RSS/CPU worker не включают отдельный render-процесс; pool waiting зависит от внутреннего API закреплённой версии asyncpg. Один Docker-host и единственные экземпляры DB, broker и LB не обеспечивают HA при их потере. Три замера RAM при отказе Tempo не доказывают поведение для произвольной длительности; переполнение очереди приводит к потере spans. При необходимости переносимой защиты следует отдельно сохранить наблюдения и подтвердить состояние alerts и трасс после нового clone.