33 lines
3.7 KiB
Markdown
33 lines
3.7 KiB
Markdown
## Лабораторная 6
|
|
|
|
**Автор и группа** — Иванов Данил, БВТ2301
|
|
**Целевая оценка** — 5
|
|
**Трек** — 2, SLO и обнаружение инцидентов
|
|
|
|
Перенёс API и защищённую фоновую обработку вложений из своей ЛР5. Две API и два worker передают телеметрию через OpenTelemetry Collector в Prometheus, Loki и Tempo. Grafana загружает dashboard и три источника данных из provisioning. W3C trace context проходит через outbox и Redis Streams, поэтому в Tempo видны запрос, dispatcher, попытки worker, S3 и PostgreSQL. Правила Prometheus проверяют 5xx, queue age и burn rate двух SLO.
|
|
|
|
Запуск из чистого клона на Windows при работающем Docker Desktop.
|
|
|
|
```powershell
|
|
pwsh -File scripts/bootstrap.ps1
|
|
docker compose -f docker-compose.yml -f compose.local.yaml up -d --build
|
|
$env:BASE_URL='http://127.0.0.1:18085'
|
|
py scripts/check_contract.py
|
|
py tests/smoke.py
|
|
```
|
|
|
|
Запускать smoke после готовности двух API. Grafana открывается на `http://127.0.0.1:13006/d/messenger-lab6`. Полный набор проверок запускается через `pwsh -File scripts/run_tests.ps1`, зависимости описаны в отчёте.
|
|
|
|
В опыте с БД единичный 503 не вызвал алерты. Продолжительная блокировка вызвала обычный 5xx и оба API burn rate, причина подтверждена дочерним span PostgreSQL. Остановка воркеров накопила 16 задач. После восстановления все дошли до READY, queue lag и оба READY burn rate вернулись в inactive. Во время остановки Loki 30 сообщений подтвердились и были прочитаны обратно. Collector зарегистрировал потери части логов, после старта Loki получен свежий лог. Детальные команды, результаты, замеры и ограничения находятся в [REPORT.md](../REPORT.md).
|
|
|
|
Ограничения — один Docker-хост, отдельные одиночные хранилища, ускоренные окна оповещений. При длительной недоступности backend возможна потеря телеметрии. Результаты SLI относятся к наблюдённым событиям.
|
|
|
|
Источники — собственная ЛР5 `ef7e8c3`, контракт курса, официальная документация OpenTelemetry, Grafana, Prometheus и Google SRE Workbook. Codex использован для переноса, инструментирования, экспериментов и подготовки отчёта.
|
|
|
|
- [x] Обязательный минимум текущей и предыдущих работ сохранён с объявленными переходами.
|
|
- [x] Контракт и публичные тесты не ослаблены.
|
|
- [x] Python-команды из make check и make test выполнены, вывод приложен.
|
|
- [x] Сценарии отказов уровня и трека воспроизведены.
|
|
- [x] Секреты и приватные ключи вне Git, отчёт не содержит токены.
|
|
- [x] README задания сохранён, REPORT.md описывает запуск и проверки решения.
|