Автор / группа: Kozyrev / BVT2301
Целевая оценка: 5
Трек 5: трек 2 — SLO и обнаружение инцидентов
Что реализовано и перенесено
Из lab5 перенесены API с двумя репликами и балансировщиком, PostgreSQL, S3, RabbitMQ, worker, transactional outbox, миграции и собственные тесты.
Добавлена наблюдаемость:
API, worker и outbox отправляют телеметрию по OTLP в OpenTelemetry Collector.
Prometheus хранит метрики, Loki — логи, Tempo — трассы.
Grafana автоматически получает datasources и dashboard через provisioning.
W3C trace context связывает upload, публикацию в broker, обработку worker и операции S3/DB, включая retry.
Dashboard показывает RPS, ошибки, p50/p95/p99, состояние очереди, DB pool и загрузку worker.
Настроены alerts ошибок API, задержки очереди и неполноты данных мониторинга.
Для трека 2 заданы учебные SLO: 99% запросов API без 5xx и 99% вложений ready за ≤30 секунд, окно — 24 часа. Реализованы multiwindow burn-rate alerts, проведены краткая и длительная деградации, измерены обнаружение и снятие alerts. Подготовлен runbook диагностики.
SDK-тесты телеметрии и проверки обработки вложений;
проверки alert rules через promtool и запросов dashboard;
публичные persistence/failover;
аварийный рестарт worker с выполнением задания на второй попытке;
инциденты остановки worker, блокировки БД и недоступности Tempo.
При отказе Tempo API сохранил работоспособность; зафиксированы заполнение ограниченной очереди Collector, ошибки экспорта и последующее восстановление.
Короткие эксперименты не доказывают выполнение SLO за репрезентативные 24 часа и не оценивают долгосрочную частоту ложных тревог.
При переполнении очереди Collector возможна потеря телеметрии.
Снятие burn alert при недостатке новых событий не означает восстановления суточного SLO.
Один Docker-host не обеспечивает отказоустойчивость при потере всего узла.
Runbook проверен в ходе собственных экспериментов; прохождение другим студентом отдельно не зафиксировано.
Источники и использование ИИ
Использованы собственное решение lab5, контракт лабораторной и официальная документация OpenTelemetry, PostgreSQL, Prometheus, Grafana, W3C Trace Context и Google SRE Workbook. Ссылки приведены в REPORT.md.
При реализации, проверке и подготовке документации использован Codex.
Чек-лист
Обязательный минимум текущей и предыдущей работы сохранён.
Контракт и публичные тесты не ослаблены.
make check и make test выполнены; реальный вывод приложен.
Сценарии отказов воспроизведены, результаты сохранены.
Секреты создаются локально вне Git; отчёт не содержит tokens.
README задания сохранён; REPORT.md содержит инструкцию запуска решения.
## Лабораторная 6
Автор / группа: Kozyrev / BVT2301
Целевая оценка: 5
Трек 5: трек 2 — SLO и обнаружение инцидентов
### Что реализовано и перенесено
Из lab5 перенесены API с двумя репликами и балансировщиком, PostgreSQL, S3, RabbitMQ, worker, transactional outbox, миграции и собственные тесты.
Добавлена наблюдаемость:
- API, worker и outbox отправляют телеметрию по OTLP в OpenTelemetry Collector.
- Prometheus хранит метрики, Loki — логи, Tempo — трассы.
- Grafana автоматически получает datasources и dashboard через provisioning.
- W3C trace context связывает upload, публикацию в broker, обработку worker и операции S3/DB, включая retry.
- Dashboard показывает RPS, ошибки, p50/p95/p99, состояние очереди, DB pool и загрузку worker.
- Настроены alerts ошибок API, задержки очереди и неполноты данных мониторинга.
Для трека 2 заданы учебные SLO: 99% запросов API без 5xx и 99% вложений ready за ≤30 секунд, окно — 24 часа. Реализованы multiwindow burn-rate alerts, проведены краткая и длительная деградации, измерены обнаружение и снятие alerts. Подготовлен runbook диагностики.
### Запуск из чистого clone
Требуются Docker Engine с Compose v2 и Python 3.
```sh
python3 scripts/init-secrets.py
docker compose config --quiet
docker compose up -d --build
```
Дождаться успешного ответа:
```sh
curl --fail http://localhost:8080/health/ready
```
Затем выполнить:
```sh
make check
make test
```
API: http://localhost:8080
Grafana: http://localhost:3000
Логин Grafana: `admin`; пароль создаётся локально в `secrets/grafana_password`.
Полная инструкция: [REPORT.md](REPORT.md).
### Результаты проверок
Успешно выполнены:
- `make check`, валидация OpenAPI и `make test`;
- SDK-тесты телеметрии и проверки обработки вложений;
- проверки alert rules через promtool и запросов dashboard;
- публичные persistence/failover;
- аварийный рестарт worker с выполнением задания на второй попытке;
- инциденты остановки worker, блокировки БД и недоступности Tempo.
При отказе Tempo API сохранил работоспособность; зафиксированы заполнение ограниченной очереди Collector, ошибки экспорта и последующее восстановление.
Вывод проверок и доказательства:
- [Короткие проверки](evidence/review-checks.json)
- [Persistence/failover](evidence/review-resilience.json)
- [Разбор наблюдаемости](evidence/review-observability.md)
- [Результаты SLO-экспериментов](evidence/slo-track.md)
- [Runbook](docs/slo-runbook.md)
### Ограничения
- Короткие эксперименты не доказывают выполнение SLO за репрезентативные 24 часа и не оценивают долгосрочную частоту ложных тревог.
- При переполнении очереди Collector возможна потеря телеметрии.
- Снятие burn alert при недостатке новых событий не означает восстановления суточного SLO.
- Один Docker-host не обеспечивает отказоустойчивость при потере всего узла.
- Runbook проверен в ходе собственных экспериментов; прохождение другим студентом отдельно не зафиксировано.
### Источники и использование ИИ
Использованы собственное решение lab5, контракт лабораторной и официальная документация OpenTelemetry, PostgreSQL, Prometheus, Grafana, W3C Trace Context и Google SRE Workbook. Ссылки приведены в REPORT.md.
При реализации, проверке и подготовке документации использован Codex.
### Чек-лист
- [x] Обязательный минимум текущей и предыдущей работы сохранён.
- [x] Контракт и публичные тесты не ослаблены.
- [x] `make check` и `make test` выполнены; реальный вывод приложен.
- [x] Сценарии отказов воспроизведены, результаты сохранены.
- [x] Секреты создаются локально вне Git; отчёт не содержит tokens.
- [x] README задания сохранён; REPORT.md содержит инструкцию запуска решения.
Blocking a user prevents them from interacting with repositories, such as opening or commenting on pull requests or issues. Learn more about blocking a user.
Лабораторная 6
Автор / группа: Kozyrev / BVT2301
Целевая оценка: 5
Трек 5: трек 2 — SLO и обнаружение инцидентов
Что реализовано и перенесено
Из lab5 перенесены API с двумя репликами и балансировщиком, PostgreSQL, S3, RabbitMQ, worker, transactional outbox, миграции и собственные тесты.
Добавлена наблюдаемость:
Для трека 2 заданы учебные SLO: 99% запросов API без 5xx и 99% вложений ready за ≤30 секунд, окно — 24 часа. Реализованы multiwindow burn-rate alerts, проведены краткая и длительная деградации, измерены обнаружение и снятие alerts. Подготовлен runbook диагностики.
Запуск из чистого clone
Требуются Docker Engine с Compose v2 и Python 3.
Дождаться успешного ответа:
Затем выполнить:
API: http://localhost:8080
Grafana: http://localhost:3000
Логин Grafana:
admin; пароль создаётся локально вsecrets/grafana_password.Полная инструкция: REPORT.md.
Результаты проверок
Успешно выполнены:
make check, валидация OpenAPI иmake test;При отказе Tempo API сохранил работоспособность; зафиксированы заполнение ограниченной очереди Collector, ошибки экспорта и последующее восстановление.
Вывод проверок и доказательства:
Ограничения
Источники и использование ИИ
Использованы собственное решение lab5, контракт лабораторной и официальная документация OpenTelemetry, PostgreSQL, Prometheus, Grafana, W3C Trace Context и Google SRE Workbook. Ссылки приведены в REPORT.md.
При реализации, проверке и подготовке документации использован Codex.
Чек-лист
make checkиmake testвыполнены; реальный вывод приложен.Принято. Закрываю МР.
Pull request closed