Автор: Чурилин Данила
Группа: БВТ2301
Целевая оценка: 5
Трек уровня 5: SLO и обнаружение инцидентов
Что реализовано
Полный стенд приложения: HAProxy, две реплики API, PostgreSQL, MinIO,
RabbitMQ, dispatcher, worker, Redis и frontend.
Централизованная телеметрия через OpenTelemetry Collector:
метрики — Prometheus;
логи — Loki;
трассировки — Tempo;
визуализация — Grafana.
W3C trace context передаётся по цепочке
API → outbox → dispatcher → RabbitMQ → worker.
Retry остаётся в одной трассе и содержит отдельные producer/consumer spans.
Добавлены дочерние spans для PostgreSQL, S3 и ожидания DB pool.
Настроены специализированные histogram buckets для HTTP, worker execution
и attachment time-to-ready.
Добавлены dashboards для уровней 3, 4 и 5.
Реализованы alerts для HTTP 5xx, роста очереди и multi-window burn rate.
Определены два SLO:
API availability ≥ 99%;
attachment ready ≤ 10 секунд ≥ 99%.
Окно политики SLO — 7 дней, что соответствует retention Prometheus.
Добавлены runbooks и воспроизводимые black-box тесты инцидентов.
Добавлена безопасная команда make cleanup-lab, удаляющая контейнеры,
сеть и только локально собранные образы лабораторной.
Проверка
Пройдены:
make check
make validate
make test
make test-observability-grade3
make test-observability-grade4
make test-observability-retry-trace
make test-observability-alerts
make test-telemetry-backend-outage
make test-slo-burn-rate
make test-histogram-calibration
go test -race -count=1 ./...
go vet ./...
go build ./...
go mod verify
govulncheck -show verbose ./...
ShellCheck 0.11.0
frontend tests и production build
Prometheus promtool, 17 правил
разбор Compose, CI YAML и dashboard JSON
Histogram calibration:
HTTP client/Prometheus p95: 3,570/4,910 мс;
attachment ready p95: 1,013/0,946 с;
worker p95: 97,5 мс.
Эксперимент уровня 5
Краткий всплеск из четырёх контролируемых 503 не вызвал alert.
При длительной недоступности PostgreSQL сработали Fast и Slow burn-rate
alerts. После восстановления базы и успешного трафика оба alert перешли
в resolved. Root cause подтверждён через span postgresql.acquire.
Для attachment SLO остановка worker создала jobs с ready time более
10 секунд. Оба burn-rate alert сработали и разрешились после восстановления
worker и поступления успешных samples.
Безопасность и устойчивость
Локальные credentials хранятся только в игнорируемых файлах secrets/.
.env не добавляется в Git.
После обновления зависимостей govulncheck не обнаруживает уязвимостей.
Экспорт телеметрии не блокирует бизнес-операции.
Очереди и память Collector ограничены.
CI удаляет временные containers и volumes после выполнения.
Ограничения
Стенд проверен на одном Docker-host.
Burn-rate окна намеренно сжаты для воспроизводимой лабораторной проверки.
Независимый ручной runbook drill не проводился; его шаги повторяет
автоматизированный black-box сценарий.
Обычная очистка сохраняет named volumes, чтобы не удалять учебные данные.
## Лабораторная работа №6
Автор: Чурилин Данила
Группа: БВТ2301
Целевая оценка: 5
Трек уровня 5: SLO и обнаружение инцидентов
## Что реализовано
- Полный стенд приложения: HAProxy, две реплики API, PostgreSQL, MinIO,
RabbitMQ, dispatcher, worker, Redis и frontend.
- Централизованная телеметрия через OpenTelemetry Collector:
- метрики — Prometheus;
- логи — Loki;
- трассировки — Tempo;
- визуализация — Grafana.
- W3C trace context передаётся по цепочке
API → outbox → dispatcher → RabbitMQ → worker.
- Retry остаётся в одной трассе и содержит отдельные producer/consumer spans.
- Добавлены дочерние spans для PostgreSQL, S3 и ожидания DB pool.
- Настроены специализированные histogram buckets для HTTP, worker execution
и attachment time-to-ready.
- Добавлены dashboards для уровней 3, 4 и 5.
- Реализованы alerts для HTTP 5xx, роста очереди и multi-window burn rate.
- Определены два SLO:
- API availability ≥ 99%;
- attachment ready ≤ 10 секунд ≥ 99%.
- Окно политики SLO — 7 дней, что соответствует retention Prometheus.
- Добавлены runbooks и воспроизводимые black-box тесты инцидентов.
- Добавлена безопасная команда `make cleanup-lab`, удаляющая контейнеры,
сеть и только локально собранные образы лабораторной.
## Проверка
Пройдены:
- `make check`
- `make validate`
- `make test`
- `make test-observability-grade3`
- `make test-observability-grade4`
- `make test-observability-retry-trace`
- `make test-observability-alerts`
- `make test-telemetry-backend-outage`
- `make test-slo-burn-rate`
- `make test-histogram-calibration`
- `go test -race -count=1 ./...`
- `go vet ./...`
- `go build ./...`
- `go mod verify`
- `govulncheck -show verbose ./...`
- ShellCheck 0.11.0
- frontend tests и production build
- Prometheus `promtool`, 17 правил
- разбор Compose, CI YAML и dashboard JSON
Histogram calibration:
- HTTP client/Prometheus p95: 3,570/4,910 мс;
- attachment ready p95: 1,013/0,946 с;
- worker p95: 97,5 мс.
## Эксперимент уровня 5
Краткий всплеск из четырёх контролируемых 503 не вызвал alert.
При длительной недоступности PostgreSQL сработали Fast и Slow burn-rate
alerts. После восстановления базы и успешного трафика оба alert перешли
в resolved. Root cause подтверждён через span `postgresql.acquire`.
Для attachment SLO остановка worker создала jobs с ready time более
10 секунд. Оба burn-rate alert сработали и разрешились после восстановления
worker и поступления успешных samples.
## Безопасность и устойчивость
- Локальные credentials хранятся только в игнорируемых файлах `secrets/`.
- `.env` не добавляется в Git.
- После обновления зависимостей `govulncheck` не обнаруживает уязвимостей.
- Экспорт телеметрии не блокирует бизнес-операции.
- Очереди и память Collector ограничены.
- CI удаляет временные containers и volumes после выполнения.
## Ограничения
- Стенд проверен на одном Docker-host.
- Burn-rate окна намеренно сжаты для воспроизводимой лабораторной проверки.
- Независимый ручной runbook drill не проводился; его шаги повторяет
автоматизированный black-box сценарий.
- Обычная очистка сохраняет named volumes, чтобы не удалять учебные данные.
Blocking a user prevents them from interacting with repositories, such as opening or commenting on pull requests or issues. Learn more about blocking a user.
Лабораторная работа №6
Автор: Чурилин Данила
Группа: БВТ2301
Целевая оценка: 5
Трек уровня 5: SLO и обнаружение инцидентов
Что реализовано
RabbitMQ, dispatcher, worker, Redis и frontend.
API → outbox → dispatcher → RabbitMQ → worker.
и attachment time-to-ready.
make cleanup-lab, удаляющая контейнеры,сеть и только локально собранные образы лабораторной.
Проверка
Пройдены:
make checkmake validatemake testmake test-observability-grade3make test-observability-grade4make test-observability-retry-tracemake test-observability-alertsmake test-telemetry-backend-outagemake test-slo-burn-ratemake test-histogram-calibrationgo test -race -count=1 ./...go vet ./...go build ./...go mod verifygovulncheck -show verbose ./...promtool, 17 правилHistogram calibration:
Эксперимент уровня 5
Краткий всплеск из четырёх контролируемых 503 не вызвал alert.
При длительной недоступности PostgreSQL сработали Fast и Slow burn-rate
alerts. После восстановления базы и успешного трафика оба alert перешли
в resolved. Root cause подтверждён через span
postgresql.acquire.Для attachment SLO остановка worker создала jobs с ready time более
10 секунд. Оба burn-rate alert сработали и разрешились после восстановления
worker и поступления успешных samples.
Безопасность и устойчивость
secrets/..envне добавляется в Git.govulncheckне обнаруживает уязвимостей.Ограничения
автоматизированный black-box сценарий.
Принято. Закрываю МР.
Pull request closed