ЛР6 - БПИ2301 - Антонов - на 4 #58

Open
aegor wants to merge 8 commits from aegor/mtusi2026lab6:solution/БПИ2301-Antonov into main
First-time contributor

Лабораторная 6

Автор / группа: Антонов Егор, БПИ2301
Целевая оценка (3/4/5): 4
Трек 5, если заявлен: не заявлен

Что реализовано и что перенесено: перенесено решение lab5 без изменения поведения (API, outbox, relay, worker, lease, retry, DLQ, replay, reconciler). Добавлено:

  • OpenTelemetry SDK в API, worker и relay; OTLP → OTel Collector (memory_limiter, batch, ограниченная sending_queue) → Prometheus (метрики, SLO и alert rules), Loki (логи), Tempo (трассы) → Grafana (datasources с явными UID, dashboard из provisioning).
  • Сквозная трасса W3C: клиентский traceparent → SERVER span API → traceparent в payload outbox → PRODUCER span relay → AMQP headers → CONSUMER span worker → S3/SQL; повторы задания в той же трассе.
  • Метрики: HTTP по шаблону маршрута (counter и histogram с бакетами от 1 мс), задания по исходу и их длительность, глубина очереди и возраст старейшего задания (по attachment_jobs), пул БД, busy/capacity worker, CPU/RAM, время от upload до ready.
  • Структурные JSON-логи с trace_id и span_id.
  • 3 SLO и 5 alerts с runbooks (docs/runbooks.md).
  • Скрипты проверок и инцидентов.

Команды запуска из чистого clone (на хосте нужен только Docker):
docker compose up -d --build --wait
docker compose run --rm --build tools make check
docker compose run --rm tools make test
docker compose run --rm tools python3 scripts/trace-check.py
docker compose run --rm tools python3 scripts/incidents.py worker-stop # также: db, telemetry, retry-trace
docker compose run --rm tools sh scripts/collect-evidence.sh # все evidence, ~50 мин
Grafana: http://localhost:3000 (анонимный Viewer), dashboard «Messenger overview».

Результаты проверок и ссылка на REPORT.md: REPORT.md, raw-вывод в evidence/.

  • make check, make test (с телеметрией), test-persistence и test-failover — PASS; собственные тесты 201/201.
  • Контрольная загрузка: трасса API → relay → worker из 79 spans, логи API и worker находятся в Loki по trace_id.
  • Пароль, токен, Authorization, текст сообщения и filename не найдены ни в трассах, ни в Loki; ID в метках метрик нет.
  • p95 клиента и dashboard: 89 / 92 мс.
  • Инцидент 1 (остановлен worker): MessengerJobQueueLag firing → resolved, 12 из 12 вложений ready.
  • Инцидент 2 (медленная БД): в трассе 781 мс SQL из 790; медленный обработчик для сравнения — SQL 22 мс.
  • Инцидент 2 (недоступная БД): MessengerApiNotReady firing → resolved.
  • Инцидент 3 (остановлены Loki/Tempo, затем Collector): 0 ошибок API, очередь Collector упирается в лимит, TelemetryExportFailing firing → resolved.

Ограничения / известные ошибки: окна SLO по 1 ч (учебный масштаб); перцентили — интерполяция внутри бакета; когда все реплики выведены из LB, 503 от HAProxy не видны в метриках API — для этого есть отдельный alert MessengerApiNotReady; у Collector небольшой запас памяти; при недоступном хранилище телеметрия отбрасывается (потери посчитаны). Подробно — в REPORT.md.

Источники и использование ИИ: документация OpenTelemetry, Prometheus, Loki, Tempo, Grafana, Prisma; до начала работы просмотрены замечания к чужим PR этой лабы, учтены (таблица в REPORT.md); код из чужих решений не использовался. ИИ-ассистент — парный программист (код, конфиги, сценарии, текст отчёта по моим решениям с ревью); проверки воспроизведены на своём стенде.

  • Весь обязательный минимум текущей и предыдущих работ сохранён с объявленными переходами.
  • Контракт и публичные тесты не ослаблены.
  • make check и make test выполнены; приложен реальный вывод.
  • Сценарии отказов/безопасности своего уровня воспроизведены.
  • Все секреты и приватные ключи находятся вне Git; отчёт не содержит tokens.
  • README задания сохранён, REPORT.md содержит инструкцию именно моего решения.
## Лабораторная 6 Автор / группа: Антонов Егор, БПИ2301 Целевая оценка (3/4/5): 4 Трек 5, если заявлен: не заявлен Что реализовано и что перенесено: перенесено решение lab5 без изменения поведения (API, outbox, relay, worker, lease, retry, DLQ, replay, reconciler). Добавлено: - OpenTelemetry SDK в API, worker и relay; OTLP → OTel Collector (memory_limiter, batch, ограниченная sending_queue) → Prometheus (метрики, SLO и alert rules), Loki (логи), Tempo (трассы) → Grafana (datasources с явными UID, dashboard из provisioning). - Сквозная трасса W3C: клиентский traceparent → SERVER span API → traceparent в payload outbox → PRODUCER span relay → AMQP headers → CONSUMER span worker → S3/SQL; повторы задания в той же трассе. - Метрики: HTTP по шаблону маршрута (counter и histogram с бакетами от 1 мс), задания по исходу и их длительность, глубина очереди и возраст старейшего задания (по attachment_jobs), пул БД, busy/capacity worker, CPU/RAM, время от upload до ready. - Структурные JSON-логи с trace_id и span_id. - 3 SLO и 5 alerts с runbooks (docs/runbooks.md). - Скрипты проверок и инцидентов. Команды запуска из чистого clone (на хосте нужен только Docker): docker compose up -d --build --wait docker compose run --rm --build tools make check docker compose run --rm tools make test docker compose run --rm tools python3 scripts/trace-check.py docker compose run --rm tools python3 scripts/incidents.py worker-stop # также: db, telemetry, retry-trace docker compose run --rm tools sh scripts/collect-evidence.sh # все evidence, ~50 мин Grafana: http://localhost:3000 (анонимный Viewer), dashboard «Messenger overview». Результаты проверок и ссылка на REPORT.md: [REPORT.md](REPORT.md), raw-вывод в evidence/. - make check, make test (с телеметрией), test-persistence и test-failover — PASS; собственные тесты 201/201. - Контрольная загрузка: трасса API → relay → worker из 79 spans, логи API и worker находятся в Loki по trace_id. - Пароль, токен, Authorization, текст сообщения и filename не найдены ни в трассах, ни в Loki; ID в метках метрик нет. - p95 клиента и dashboard: 89 / 92 мс. - Инцидент 1 (остановлен worker): MessengerJobQueueLag firing → resolved, 12 из 12 вложений ready. - Инцидент 2 (медленная БД): в трассе 781 мс SQL из 790; медленный обработчик для сравнения — SQL 22 мс. - Инцидент 2 (недоступная БД): MessengerApiNotReady firing → resolved. - Инцидент 3 (остановлены Loki/Tempo, затем Collector): 0 ошибок API, очередь Collector упирается в лимит, TelemetryExportFailing firing → resolved. Ограничения / известные ошибки: окна SLO по 1 ч (учебный масштаб); перцентили — интерполяция внутри бакета; когда все реплики выведены из LB, 503 от HAProxy не видны в метриках API — для этого есть отдельный alert MessengerApiNotReady; у Collector небольшой запас памяти; при недоступном хранилище телеметрия отбрасывается (потери посчитаны). Подробно — в REPORT.md. Источники и использование ИИ: документация OpenTelemetry, Prometheus, Loki, Tempo, Grafana, Prisma; до начала работы просмотрены замечания к чужим PR этой лабы, учтены (таблица в REPORT.md); код из чужих решений не использовался. ИИ-ассистент — парный программист (код, конфиги, сценарии, текст отчёта по моим решениям с ревью); проверки воспроизведены на своём стенде. - [x] Весь обязательный минимум текущей и предыдущих работ сохранён с объявленными переходами. - [x] Контракт и публичные тесты не ослаблены. - [x] make check и make test выполнены; приложен реальный вывод. - [x] Сценарии отказов/безопасности своего уровня воспроизведены. - [x] Все секреты и приватные ключи находятся вне Git; отчёт не содержит tokens. - [x] README задания сохранён, REPORT.md содержит инструкцию именно моего решения.
aegor added 8 commits 2026-11-20 18:32:48 +03:00
You are not authorized to merge this pull request.
This pull request can be merged automatically.
View command line instructions

Checkout

From your project repository, check out a new branch and test the changes.
git fetch -u https://gitea.privcloud.tech/aegor/mtusi2026lab6 solution/БПИ2301-Antonov:aegor-solution/БПИ2301-Antonov
git checkout aegor-solution/БПИ2301-Antonov
Sign in to join this conversation.
No Reviewers
No labels
1 Participants
Notifications
Due Date
No due date set.
Dependencies

No dependencies set.

Reference: mtusi2026/mtusi2026lab6#58