ЛР6: наблюдаемость, SLO и диагностика отказов

This commit is contained in:
2026-11-16 21:07:01 +03:00
parent 470d9d6f1e
commit 8a96df4a74
217 changed files with 15534 additions and 34 deletions
+28 -14
View File
@@ -1,18 +1,32 @@
## Лабораторная 6
Автор / группа: TODO
Целевая оценка (3/4/5): TODO
Трек 5, если заявлен: TODO
**Автор и группа** — Иванов Данил, БВТ2301
**Целевая оценка** — 5
**Трек** — 2, SLO и обнаружение инцидентов
Что реализовано и что перенесено: TODO
Команды запуска из чистого clone: TODO
Результаты проверок и ссылка на REPORT.md: TODO
Ограничения / известные ошибки: TODO
Источники и использование ИИ: TODO
Перенёс API и защищённую фоновую обработку вложений из своей ЛР5. Две API и два worker передают телеметрию через OpenTelemetry Collector в Prometheus, Loki и Tempo. Grafana загружает dashboard и три источника данных из provisioning. W3C trace context проходит через outbox и Redis Streams, поэтому в Tempo видны запрос, dispatcher, попытки worker, S3 и PostgreSQL. Правила Prometheus проверяют 5xx, queue age и burn rate двух SLO.
- [ ] Весь обязательный минимум текущей и предыдущих работ сохранён с объявленными переходами.
- [ ] Контракт и публичные тесты не ослаблены.
- [ ] make check и make test выполнены; приложен реальный вывод.
- [ ] Сценарии отказов/безопасности своего уровня воспроизведены.
- [ ] Все секреты и приватные ключи находятся вне Git; отчёт не содержит tokens.
- [ ] README задания сохранён, REPORT.md содержит инструкцию именно моего решения.
Запуск из чистого клона на Windows при работающем Docker Desktop.
```powershell
pwsh -File scripts/bootstrap.ps1
docker compose -f docker-compose.yml -f compose.local.yaml up -d --build
$env:BASE_URL='http://127.0.0.1:18085'
py scripts/check_contract.py
py tests/smoke.py
```
Запускать smoke после готовности двух API. Grafana открывается на `http://127.0.0.1:13006/d/messenger-lab6`. Полный набор проверок запускается через `pwsh -File scripts/run_tests.ps1`, зависимости описаны в отчёте.
В опыте с БД единичный 503 не вызвал алерты. Продолжительная блокировка вызвала обычный 5xx и оба API burn rate, причина подтверждена дочерним span PostgreSQL. Остановка воркеров накопила 16 задач. После восстановления все дошли до READY, queue lag и оба READY burn rate вернулись в inactive. Во время остановки Loki 30 сообщений подтвердились и были прочитаны обратно. Collector зарегистрировал потери части логов, после старта Loki получен свежий лог. Детальные команды, результаты, замеры и ограничения находятся в [REPORT.md](../REPORT.md).
Ограничения — один Docker-хост, отдельные одиночные хранилища, ускоренные окна оповещений. При длительной недоступности backend возможна потеря телеметрии. Результаты SLI относятся к наблюдённым событиям.
Источники — собственная ЛР5 `ef7e8c3`, контракт курса, официальная документация OpenTelemetry, Grafana, Prometheus и Google SRE Workbook. Codex использован для переноса, инструментирования, экспериментов и подготовки отчёта.
- [x] Обязательный минимум текущей и предыдущих работ сохранён с объявленными переходами.
- [x] Контракт и публичные тесты не ослаблены.
- [x] Python-команды из make check и make test выполнены, вывод приложен.
- [x] Сценарии отказов уровня и трека воспроизведены.
- [x] Секреты и приватные ключи вне Git, отчёт не содержит токены.
- [x] README задания сохранён, REPORT.md описывает запуск и проверки решения.