ЛР 6 — БВТ2301 — Козырев — на 5 #13

Closed
kozyrev_matvey wants to merge 4 commits from kozyrev_matvey/mtusi2026lab6:solution/BVT2301-Kozyrev into main
First-time contributor

Лабораторная 6

Автор / группа: Kozyrev / BVT2301
Целевая оценка: 5
Трек 5: трек 2 — SLO и обнаружение инцидентов

Что реализовано и перенесено

Из lab5 перенесены API с двумя репликами и балансировщиком, PostgreSQL, S3, RabbitMQ, worker, transactional outbox, миграции и собственные тесты.

Добавлена наблюдаемость:

  • API, worker и outbox отправляют телеметрию по OTLP в OpenTelemetry Collector.
  • Prometheus хранит метрики, Loki — логи, Tempo — трассы.
  • Grafana автоматически получает datasources и dashboard через provisioning.
  • W3C trace context связывает upload, публикацию в broker, обработку worker и операции S3/DB, включая retry.
  • Dashboard показывает RPS, ошибки, p50/p95/p99, состояние очереди, DB pool и загрузку worker.
  • Настроены alerts ошибок API, задержки очереди и неполноты данных мониторинга.

Для трека 2 заданы учебные SLO: 99% запросов API без 5xx и 99% вложений ready за ≤30 секунд, окно — 24 часа. Реализованы multiwindow burn-rate alerts, проведены краткая и длительная деградации, измерены обнаружение и снятие alerts. Подготовлен runbook диагностики.

Запуск из чистого clone

Требуются Docker Engine с Compose v2 и Python 3.

python3 scripts/init-secrets.py
docker compose config --quiet
docker compose up -d --build

Дождаться успешного ответа:

curl --fail http://localhost:8080/health/ready

Затем выполнить:

make check
make test

API: http://localhost:8080
Grafana: http://localhost:3000
Логин Grafana: admin; пароль создаётся локально в secrets/grafana_password.

Полная инструкция: REPORT.md.

Результаты проверок

Успешно выполнены:

  • make check, валидация OpenAPI и make test;
  • SDK-тесты телеметрии и проверки обработки вложений;
  • проверки alert rules через promtool и запросов dashboard;
  • публичные persistence/failover;
  • аварийный рестарт worker с выполнением задания на второй попытке;
  • инциденты остановки worker, блокировки БД и недоступности Tempo.

При отказе Tempo API сохранил работоспособность; зафиксированы заполнение ограниченной очереди Collector, ошибки экспорта и последующее восстановление.

Вывод проверок и доказательства:

Ограничения

  • Короткие эксперименты не доказывают выполнение SLO за репрезентативные 24 часа и не оценивают долгосрочную частоту ложных тревог.
  • При переполнении очереди Collector возможна потеря телеметрии.
  • Снятие burn alert при недостатке новых событий не означает восстановления суточного SLO.
  • Один Docker-host не обеспечивает отказоустойчивость при потере всего узла.
  • Runbook проверен в ходе собственных экспериментов; прохождение другим студентом отдельно не зафиксировано.

Источники и использование ИИ

Использованы собственное решение lab5, контракт лабораторной и официальная документация OpenTelemetry, PostgreSQL, Prometheus, Grafana, W3C Trace Context и Google SRE Workbook. Ссылки приведены в REPORT.md.

При реализации, проверке и подготовке документации использован Codex.

Чек-лист

  • Обязательный минимум текущей и предыдущей работы сохранён.
  • Контракт и публичные тесты не ослаблены.
  • make check и make test выполнены; реальный вывод приложен.
  • Сценарии отказов воспроизведены, результаты сохранены.
  • Секреты создаются локально вне Git; отчёт не содержит tokens.
  • README задания сохранён; REPORT.md содержит инструкцию запуска решения.
## Лабораторная 6 Автор / группа: Kozyrev / BVT2301 Целевая оценка: 5 Трек 5: трек 2 — SLO и обнаружение инцидентов ### Что реализовано и перенесено Из lab5 перенесены API с двумя репликами и балансировщиком, PostgreSQL, S3, RabbitMQ, worker, transactional outbox, миграции и собственные тесты. Добавлена наблюдаемость: - API, worker и outbox отправляют телеметрию по OTLP в OpenTelemetry Collector. - Prometheus хранит метрики, Loki — логи, Tempo — трассы. - Grafana автоматически получает datasources и dashboard через provisioning. - W3C trace context связывает upload, публикацию в broker, обработку worker и операции S3/DB, включая retry. - Dashboard показывает RPS, ошибки, p50/p95/p99, состояние очереди, DB pool и загрузку worker. - Настроены alerts ошибок API, задержки очереди и неполноты данных мониторинга. Для трека 2 заданы учебные SLO: 99% запросов API без 5xx и 99% вложений ready за ≤30 секунд, окно — 24 часа. Реализованы multiwindow burn-rate alerts, проведены краткая и длительная деградации, измерены обнаружение и снятие alerts. Подготовлен runbook диагностики. ### Запуск из чистого clone Требуются Docker Engine с Compose v2 и Python 3. ```sh python3 scripts/init-secrets.py docker compose config --quiet docker compose up -d --build ``` Дождаться успешного ответа: ```sh curl --fail http://localhost:8080/health/ready ``` Затем выполнить: ```sh make check make test ``` API: http://localhost:8080 Grafana: http://localhost:3000 Логин Grafana: `admin`; пароль создаётся локально в `secrets/grafana_password`. Полная инструкция: [REPORT.md](REPORT.md). ### Результаты проверок Успешно выполнены: - `make check`, валидация OpenAPI и `make test`; - SDK-тесты телеметрии и проверки обработки вложений; - проверки alert rules через promtool и запросов dashboard; - публичные persistence/failover; - аварийный рестарт worker с выполнением задания на второй попытке; - инциденты остановки worker, блокировки БД и недоступности Tempo. При отказе Tempo API сохранил работоспособность; зафиксированы заполнение ограниченной очереди Collector, ошибки экспорта и последующее восстановление. Вывод проверок и доказательства: - [Короткие проверки](evidence/review-checks.json) - [Persistence/failover](evidence/review-resilience.json) - [Разбор наблюдаемости](evidence/review-observability.md) - [Результаты SLO-экспериментов](evidence/slo-track.md) - [Runbook](docs/slo-runbook.md) ### Ограничения - Короткие эксперименты не доказывают выполнение SLO за репрезентативные 24 часа и не оценивают долгосрочную частоту ложных тревог. - При переполнении очереди Collector возможна потеря телеметрии. - Снятие burn alert при недостатке новых событий не означает восстановления суточного SLO. - Один Docker-host не обеспечивает отказоустойчивость при потере всего узла. - Runbook проверен в ходе собственных экспериментов; прохождение другим студентом отдельно не зафиксировано. ### Источники и использование ИИ Использованы собственное решение lab5, контракт лабораторной и официальная документация OpenTelemetry, PostgreSQL, Prometheus, Grafana, W3C Trace Context и Google SRE Workbook. Ссылки приведены в REPORT.md. При реализации, проверке и подготовке документации использован Codex. ### Чек-лист - [x] Обязательный минимум текущей и предыдущей работы сохранён. - [x] Контракт и публичные тесты не ослаблены. - [x] `make check` и `make test` выполнены; реальный вывод приложен. - [x] Сценарии отказов воспроизведены, результаты сохранены. - [x] Секреты создаются локально вне Git; отчёт не содержит tokens. - [x] README задания сохранён; REPORT.md содержит инструкцию запуска решения.
kozyrev_matvey added 4 commits 2026-11-06 16:03:05 +03:00
Owner

Принято. Закрываю МР.

Принято. Закрываю МР.
veprickiy closed this pull request 2026-11-07 17:46:54 +03:00

Pull request closed

Please reopen this pull request to perform a merge.
Sign in to join this conversation.
No Reviewers
No labels
2 Participants
Notifications
Due Date
No due date set.
Dependencies

No dependencies set.

Reference: mtusi2026/mtusi2026lab6#13