ЛР6: наблюдаемость, SLO и диагностика отказов
This commit is contained in:
@@ -1,18 +1,32 @@
|
||||
## Лабораторная 6
|
||||
|
||||
Автор / группа: TODO
|
||||
Целевая оценка (3/4/5): TODO
|
||||
Трек 5, если заявлен: TODO
|
||||
**Автор и группа** — Иванов Данил, БВТ2301
|
||||
**Целевая оценка** — 5
|
||||
**Трек** — 2, SLO и обнаружение инцидентов
|
||||
|
||||
Что реализовано и что перенесено: TODO
|
||||
Команды запуска из чистого clone: TODO
|
||||
Результаты проверок и ссылка на REPORT.md: TODO
|
||||
Ограничения / известные ошибки: TODO
|
||||
Источники и использование ИИ: TODO
|
||||
Перенёс API и защищённую фоновую обработку вложений из своей ЛР5. Две API и два worker передают телеметрию через OpenTelemetry Collector в Prometheus, Loki и Tempo. Grafana загружает dashboard и три источника данных из provisioning. W3C trace context проходит через outbox и Redis Streams, поэтому в Tempo видны запрос, dispatcher, попытки worker, S3 и PostgreSQL. Правила Prometheus проверяют 5xx, queue age и burn rate двух SLO.
|
||||
|
||||
- [ ] Весь обязательный минимум текущей и предыдущих работ сохранён с объявленными переходами.
|
||||
- [ ] Контракт и публичные тесты не ослаблены.
|
||||
- [ ] make check и make test выполнены; приложен реальный вывод.
|
||||
- [ ] Сценарии отказов/безопасности своего уровня воспроизведены.
|
||||
- [ ] Все секреты и приватные ключи находятся вне Git; отчёт не содержит tokens.
|
||||
- [ ] README задания сохранён, REPORT.md содержит инструкцию именно моего решения.
|
||||
Запуск из чистого клона на Windows при работающем Docker Desktop.
|
||||
|
||||
```powershell
|
||||
pwsh -File scripts/bootstrap.ps1
|
||||
docker compose -f docker-compose.yml -f compose.local.yaml up -d --build
|
||||
$env:BASE_URL='http://127.0.0.1:18085'
|
||||
py scripts/check_contract.py
|
||||
py tests/smoke.py
|
||||
```
|
||||
|
||||
Запускать smoke после готовности двух API. Grafana открывается на `http://127.0.0.1:13006/d/messenger-lab6`. Полный набор проверок запускается через `pwsh -File scripts/run_tests.ps1`, зависимости описаны в отчёте.
|
||||
|
||||
В опыте с БД единичный 503 не вызвал алерты. Продолжительная блокировка вызвала обычный 5xx и оба API burn rate, причина подтверждена дочерним span PostgreSQL. Остановка воркеров накопила 16 задач. После восстановления все дошли до READY, queue lag и оба READY burn rate вернулись в inactive. Во время остановки Loki 30 сообщений подтвердились и были прочитаны обратно. Collector зарегистрировал потери части логов, после старта Loki получен свежий лог. Детальные команды, результаты, замеры и ограничения находятся в [REPORT.md](../REPORT.md).
|
||||
|
||||
Ограничения — один Docker-хост, отдельные одиночные хранилища, ускоренные окна оповещений. При длительной недоступности backend возможна потеря телеметрии. Результаты SLI относятся к наблюдённым событиям.
|
||||
|
||||
Источники — собственная ЛР5 `ef7e8c3`, контракт курса, официальная документация OpenTelemetry, Grafana, Prometheus и Google SRE Workbook. Codex использован для переноса, инструментирования, экспериментов и подготовки отчёта.
|
||||
|
||||
- [x] Обязательный минимум текущей и предыдущих работ сохранён с объявленными переходами.
|
||||
- [x] Контракт и публичные тесты не ослаблены.
|
||||
- [x] Python-команды из make check и make test выполнены, вывод приложен.
|
||||
- [x] Сценарии отказов уровня и трека воспроизведены.
|
||||
- [x] Секреты и приватные ключи вне Git, отчёт не содержит токены.
|
||||
- [x] README задания сохранён, REPORT.md описывает запуск и проверки решения.
|
||||
|
||||
Reference in New Issue
Block a user