ЛР 6 - БВТ2303 - Ситосенко - на 5 #47

Open
Roflyan wants to merge 2 commits from Roflyan/mtusi2026lab6-fork:solution/bvt2303-sitosenko into main
First-time contributor

Лабораторная 6

  • Автор и группа — Ситосенко, БВТ2303.
  • Целевая оценка — 5, трек 2 «SLO и обнаружение инцидентов».

Что реализовано

  • Перенесена основа Lab5. HAProxy, две API-реплики, PostgreSQL, Valkey для сессий и брокера, приватный MinIO, транзакционный outbox и отдельный worker сохраняют бизнес-API.
  • API, dispatcher и worker отправляют метрики, логи и трассы по OTLP. Добавлены Collector, Prometheus, Loki, Tempo, Grafana provisioning и дашборд с 18 панелями.
  • W3C Trace Context проходит через PostgreSQL и Valkey Stream. По одному trace ID видны upload, публикация, ошибка обработки, retry, запись в S3 и PostgreSQL.
  • Для API и ready заданы SLO с окном 30 минут, две пары окон burn rate и отдельный alert по возрасту очереди. В runbook описана диагностика.

Запуск из чистого clone

python3 scripts/bootstrap.py
docker compose --env-file .env config --quiet
docker compose --env-file .env up -d --build --wait --wait-timeout 180
make check
make test BASE_URL=http://127.0.0.1:8080

Grafana доступна на порту 3000, правила Prometheus — на 9090. Команды прогонов и исходные замеры приведены в REPORT.md.

Результаты

  • Публичные make check, make validate и make test прошли. Проверены форматы изображений, правила Prometheus, три источника Grafana и связь логов и трасс.
  • Persistence и failover прошли для обеих API-реплик. Задание очереди и сообщение с queued-вложением сохранились после рестарта API и брокера.
  • Короткая блокировка таблицы сообщений дала 6 ответов 503. Firing отсутствовал. При длительной блокировке сработали два API-алерта. В trace найден ошибочный SQL span длительностью около 1 с.
  • При остановке worker backlog достиг 60 заданий. После восстановления все 77 загрузок из окна отказа и запуска дошли до ready. Очередь опустела, алерты вернулись в inactive.
  • При отключении Tempo проверены запись сообщений, появление ready для вложения, конечные потери spans и восстановление экспорта. Замеры и ограничения приведены в отчёте.

Ограничения и источники

Один учебный хост и синтетический профиль. API SLI покрывает ответы самого приложения на известных маршрутах. Буферы telemetry в памяти ограничены, поэтому во время длительного отказа backend возможна потеря сигналов.

Для реализации и проверки использованы документация OpenTelemetry, Prometheus, Grafana и Google SRE Workbook. Codex использован для переноса, инструментирования, подготовки сценариев, проверки и оформления отчета.

  • Обязательный минимум текущей и предыдущих работ сохранён.
  • Публичные тесты и контракт сохранены.
  • Вывод make check и make test приложен.
  • Воспроизведены сценарии отказов для заявленного уровня.
  • Секреты локальные и исключены из Git. В отчёте нет токенов.
  • README задания сохранён. Инструкция запуска и результаты находятся в REPORT.md.
Лабораторная 6 - Автор и группа — Ситосенко, БВТ2303. - Целевая оценка — **5**, трек 2 «SLO и обнаружение инцидентов». ### Что реализовано - Перенесена основа Lab5. HAProxy, две API-реплики, PostgreSQL, Valkey для сессий и брокера, приватный MinIO, транзакционный outbox и отдельный worker сохраняют бизнес-API. - API, dispatcher и worker отправляют метрики, логи и трассы по OTLP. Добавлены Collector, Prometheus, Loki, Tempo, Grafana provisioning и дашборд с 18 панелями. - W3C Trace Context проходит через PostgreSQL и Valkey Stream. По одному trace ID видны upload, публикация, ошибка обработки, retry, запись в S3 и PostgreSQL. - Для API и ready заданы SLO с окном 30 минут, две пары окон burn rate и отдельный alert по возрасту очереди. В [runbook](https://gitea.privcloud.tech/Roflyan/mtusi2026lab6-fork/src/branch/solution/bvt2303-sitosenko/RUNBOOK.md) описана диагностика. ### Запуск из чистого clone ```sh python3 scripts/bootstrap.py docker compose --env-file .env config --quiet docker compose --env-file .env up -d --build --wait --wait-timeout 180 make check make test BASE_URL=http://127.0.0.1:8080 ``` Grafana доступна на порту 3000, правила Prometheus — на 9090. Команды прогонов и исходные замеры приведены в [REPORT.md](https://gitea.privcloud.tech/Roflyan/mtusi2026lab6-fork/src/branch/solution/bvt2303-sitosenko/REPORT.md). ### Результаты - Публичные `make check`, `make validate` и `make test` прошли. Проверены форматы изображений, правила Prometheus, три источника Grafana и связь логов и трасс. - Persistence и failover прошли для обеих API-реплик. Задание очереди и сообщение с queued-вложением сохранились после рестарта API и брокера. - Короткая блокировка таблицы сообщений дала 6 ответов 503. Firing отсутствовал. При длительной блокировке сработали два API-алерта. В trace найден ошибочный SQL span длительностью около 1 с. - При остановке worker backlog достиг 60 заданий. После восстановления все 77 загрузок из окна отказа и запуска дошли до ready. Очередь опустела, алерты вернулись в inactive. - При отключении Tempo проверены запись сообщений, появление ready для вложения, конечные потери spans и восстановление экспорта. Замеры и ограничения приведены в отчёте. ### Ограничения и источники Один учебный хост и синтетический профиль. API SLI покрывает ответы самого приложения на известных маршрутах. Буферы telemetry в памяти ограничены, поэтому во время длительного отказа backend возможна потеря сигналов. Для реализации и проверки использованы документация [OpenTelemetry](https://opentelemetry.io/docs/), [Prometheus](https://prometheus.io/docs/), [Grafana](https://grafana.com/docs/) и [Google SRE Workbook](https://sre.google/workbook/alerting-on-slos/). Codex использован для переноса, инструментирования, подготовки сценариев, проверки и оформления отчета. - [x] Обязательный минимум текущей и предыдущих работ сохранён. - [x] Публичные тесты и контракт сохранены. - [x] Вывод `make check` и `make test` приложен. - [x] Воспроизведены сценарии отказов для заявленного уровня. - [x] Секреты локальные и исключены из Git. В отчёте нет токенов. - [x] README задания сохранён. Инструкция запуска и результаты находятся в REPORT.md.
Roflyan added 1 commit 2026-11-19 19:28:49 +03:00
Roflyan added 1 commit 2026-11-19 19:30:02 +03:00
You are not authorized to merge this pull request.
This pull request can be merged automatically.
View command line instructions

Checkout

From your project repository, check out a new branch and test the changes.
git fetch -u https://gitea.privcloud.tech/Roflyan/mtusi2026lab6-fork solution/bvt2303-sitosenko:Roflyan-solution/bvt2303-sitosenko
git checkout Roflyan-solution/bvt2303-sitosenko
Sign in to join this conversation.
No Reviewers
No labels
1 Participants
Notifications
Due Date
No due date set.
Dependencies

No dependencies set.

Reference: mtusi2026/mtusi2026lab6#47