docs(observability): record completed SLO study and incident diagnostics

This commit is contained in:
2026-11-20 18:14:38 +03:00
parent 7282aa8b18
commit 2c7b89bb8e
10 changed files with 16748 additions and 73 deletions
+17 -14
View File
@@ -1,18 +1,21 @@
## Лабораторная 6
Автор / группа: TODO
Целевая оценка (3/4/5): TODO
Трек 5, если заявлен: TODO
Автор / группа: Маслов, БВТ2301.
Целевая оценка:5. Трек2 — SLO и обнаружение инцидентов.
Что реализовано и что перенесено: TODO
Команды запуска из чистого clone: TODO
Результаты проверок и ссылка на REPORT.md: TODO
Ограничения / известные ошибки: TODO
Источники и использование ИИ: TODO
Собственная ЛР5: устойчивые jobs/outbox/relay/worker, четыре варианта, retry/replay/версии/cleanup. Добавлены OTel instrumentation API/relay/consumer/isolated child/DB/S3, persistent Prometheus/Loki/Tempo, Grafana provisioning18панелей, low-cardinality/privacy, конечные буферы Collector и multi-window burn-rate alerts.
- [ ] Весь обязательный минимум текущей и предыдущих работ сохранён с объявленными переходами.
- [ ] Контракт и публичные тесты не ослаблены.
- [ ] make check и make test выполнены; приложен реальный вывод.
- [ ] Сценарии отказов/безопасности своего уровня воспроизведены.
- [ ] Все секреты и приватные ключи находятся вне Git; отчёт не содержит tokens.
- [ ] README задания сохранён, REPORT.md содержит инструкцию именно моего решения.
Запуск: `uv sync --locked`, `make bootstrap`, `VCS_REF=$(git rev-parse HEAD) docker compose up -d --build --wait`; API localhost8086/Grafana3006. Команды/определения/источники: [REPORT](../REPORT.md).
Реальные проверки:112HTTP/26unit; normal/retry causal traces и связанные logs; privacy canaries; реальные запросы Grafana. Полный SLO опыт1823.238с:6370подтверждённых сообщений и359файлов сохранены; краткие сбои0critical paging, warning API был; длинные инциденты firing/resolved измерены;90с отказ Loki/Tempo, queue≤64/RSS<384MiB и360успешных writes. Сводки/CSV/график в evidence. Проверка полного свежего clone ещё выполняется отдельно и не заявляется завершённой.
Ограничения: один host/одиночные stateful сервисы, учебные30mокна, цель99% намеренно нарушена контролируемыми сбоями; в конце опыта4неплановых503 сохранены в raw данных. Возможна потеря telemetry при отказе backend. HTTP только локальный; TLS/mTLS — ЛР7.
Источники: собственная ЛР5, задание, официальная документация OTel/Grafana/Prometheus. Использована помощь ИИ при проектировании, реализации, проверках и подготовке отчёта; чужие студенческие решения не использовались.
- [ ] Весь обязательный минимум подтверждён повторной полной регрессией из чистого клона.
- [x] Контракт и публичные тесты не ослаблены.
- [x] make check и make test выполнены; реальные receipts приложены.
- [x] Отказы observability/SLO своего уровня воспроизведены.
- [x] Секреты и приватные ключи вне Git; значения не включены в отчёт.
- [x] README задания сохранён, REPORT описывает своё решение.