ЛР 6 — БВТ2301 — Чурилин — на 5 #25

Closed
d1frend wants to merge 1 commits from d1frend/mtusi2026lab6:solution/bvt2301-churilin into main
First-time contributor

Лабораторная работа №6

Автор: Чурилин Данила
Группа: БВТ2301
Целевая оценка: 5
Трек уровня 5: SLO и обнаружение инцидентов

Что реализовано

  • Полный стенд приложения: HAProxy, две реплики API, PostgreSQL, MinIO,
    RabbitMQ, dispatcher, worker, Redis и frontend.
  • Централизованная телеметрия через OpenTelemetry Collector:
    • метрики — Prometheus;
    • логи — Loki;
    • трассировки — Tempo;
    • визуализация — Grafana.
  • W3C trace context передаётся по цепочке
    API → outbox → dispatcher → RabbitMQ → worker.
  • Retry остаётся в одной трассе и содержит отдельные producer/consumer spans.
  • Добавлены дочерние spans для PostgreSQL, S3 и ожидания DB pool.
  • Настроены специализированные histogram buckets для HTTP, worker execution
    и attachment time-to-ready.
  • Добавлены dashboards для уровней 3, 4 и 5.
  • Реализованы alerts для HTTP 5xx, роста очереди и multi-window burn rate.
  • Определены два SLO:
    • API availability ≥ 99%;
    • attachment ready ≤ 10 секунд ≥ 99%.
  • Окно политики SLO — 7 дней, что соответствует retention Prometheus.
  • Добавлены runbooks и воспроизводимые black-box тесты инцидентов.
  • Добавлена безопасная команда make cleanup-lab, удаляющая контейнеры,
    сеть и только локально собранные образы лабораторной.

Проверка

Пройдены:

  • make check
  • make validate
  • make test
  • make test-observability-grade3
  • make test-observability-grade4
  • make test-observability-retry-trace
  • make test-observability-alerts
  • make test-telemetry-backend-outage
  • make test-slo-burn-rate
  • make test-histogram-calibration
  • go test -race -count=1 ./...
  • go vet ./...
  • go build ./...
  • go mod verify
  • govulncheck -show verbose ./...
  • ShellCheck 0.11.0
  • frontend tests и production build
  • Prometheus promtool, 17 правил
  • разбор Compose, CI YAML и dashboard JSON

Histogram calibration:

  • HTTP client/Prometheus p95: 3,570/4,910 мс;
  • attachment ready p95: 1,013/0,946 с;
  • worker p95: 97,5 мс.

Эксперимент уровня 5

Краткий всплеск из четырёх контролируемых 503 не вызвал alert.

При длительной недоступности PostgreSQL сработали Fast и Slow burn-rate
alerts. После восстановления базы и успешного трафика оба alert перешли
в resolved. Root cause подтверждён через span postgresql.acquire.

Для attachment SLO остановка worker создала jobs с ready time более
10 секунд. Оба burn-rate alert сработали и разрешились после восстановления
worker и поступления успешных samples.

Безопасность и устойчивость

  • Локальные credentials хранятся только в игнорируемых файлах secrets/.
  • .env не добавляется в Git.
  • После обновления зависимостей govulncheck не обнаруживает уязвимостей.
  • Экспорт телеметрии не блокирует бизнес-операции.
  • Очереди и память Collector ограничены.
  • CI удаляет временные containers и volumes после выполнения.

Ограничения

  • Стенд проверен на одном Docker-host.
  • Burn-rate окна намеренно сжаты для воспроизводимой лабораторной проверки.
  • Независимый ручной runbook drill не проводился; его шаги повторяет
    автоматизированный black-box сценарий.
  • Обычная очистка сохраняет named volumes, чтобы не удалять учебные данные.
## Лабораторная работа №6 Автор: Чурилин Данила Группа: БВТ2301 Целевая оценка: 5 Трек уровня 5: SLO и обнаружение инцидентов ## Что реализовано - Полный стенд приложения: HAProxy, две реплики API, PostgreSQL, MinIO, RabbitMQ, dispatcher, worker, Redis и frontend. - Централизованная телеметрия через OpenTelemetry Collector: - метрики — Prometheus; - логи — Loki; - трассировки — Tempo; - визуализация — Grafana. - W3C trace context передаётся по цепочке API → outbox → dispatcher → RabbitMQ → worker. - Retry остаётся в одной трассе и содержит отдельные producer/consumer spans. - Добавлены дочерние spans для PostgreSQL, S3 и ожидания DB pool. - Настроены специализированные histogram buckets для HTTP, worker execution и attachment time-to-ready. - Добавлены dashboards для уровней 3, 4 и 5. - Реализованы alerts для HTTP 5xx, роста очереди и multi-window burn rate. - Определены два SLO: - API availability ≥ 99%; - attachment ready ≤ 10 секунд ≥ 99%. - Окно политики SLO — 7 дней, что соответствует retention Prometheus. - Добавлены runbooks и воспроизводимые black-box тесты инцидентов. - Добавлена безопасная команда `make cleanup-lab`, удаляющая контейнеры, сеть и только локально собранные образы лабораторной. ## Проверка Пройдены: - `make check` - `make validate` - `make test` - `make test-observability-grade3` - `make test-observability-grade4` - `make test-observability-retry-trace` - `make test-observability-alerts` - `make test-telemetry-backend-outage` - `make test-slo-burn-rate` - `make test-histogram-calibration` - `go test -race -count=1 ./...` - `go vet ./...` - `go build ./...` - `go mod verify` - `govulncheck -show verbose ./...` - ShellCheck 0.11.0 - frontend tests и production build - Prometheus `promtool`, 17 правил - разбор Compose, CI YAML и dashboard JSON Histogram calibration: - HTTP client/Prometheus p95: 3,570/4,910 мс; - attachment ready p95: 1,013/0,946 с; - worker p95: 97,5 мс. ## Эксперимент уровня 5 Краткий всплеск из четырёх контролируемых 503 не вызвал alert. При длительной недоступности PostgreSQL сработали Fast и Slow burn-rate alerts. После восстановления базы и успешного трафика оба alert перешли в resolved. Root cause подтверждён через span `postgresql.acquire`. Для attachment SLO остановка worker создала jobs с ready time более 10 секунд. Оба burn-rate alert сработали и разрешились после восстановления worker и поступления успешных samples. ## Безопасность и устойчивость - Локальные credentials хранятся только в игнорируемых файлах `secrets/`. - `.env` не добавляется в Git. - После обновления зависимостей `govulncheck` не обнаруживает уязвимостей. - Экспорт телеметрии не блокирует бизнес-операции. - Очереди и память Collector ограничены. - CI удаляет временные containers и volumes после выполнения. ## Ограничения - Стенд проверен на одном Docker-host. - Burn-rate окна намеренно сжаты для воспроизводимой лабораторной проверки. - Независимый ручной runbook drill не проводился; его шаги повторяет автоматизированный black-box сценарий. - Обычная очистка сохраняет named volumes, чтобы не удалять учебные данные.
d1frend added 1 commit 2026-11-15 06:56:03 +03:00
Owner

Принято. Закрываю МР.

Принято. Закрываю МР.
veprickiy closed this pull request 2026-11-17 11:09:42 +03:00

Pull request closed

Please reopen this pull request to perform a merge.
Sign in to join this conversation.
No Reviewers
No labels
2 Participants
Notifications
Due Date
No due date set.
Dependencies

No dependencies set.

Reference: mtusi2026/mtusi2026lab6#25