Лабораторная 6
Автор / группа: Самохвалов Андрей Ремович / БПИ-2302
Целевая оценка (3/4/5): 5
Трек 5, если заявлен: 2 «SLO и обнаружение инцидентов»
Что реализовано и что перенесено: Стек lab5 без смены контрактов: HAProxy, 2 API, PostgreSQL, MinIO, RabbitMQ, publisher/worker/cleanup, 202 queued и идемпотентный pipeline. Добавлен свой telemetry overlay: OTel Collector 0.128.0, Prometheus 3.5.0, Loki 3.5.0, Tempo 2.9.5, Grafana 12.0.2. Метрики HTTP, jobs, backlog, pool, worker, CPU/RSS и времени до ready; логи с trace_id; один trace API → publisher → worker → S3/render/DB. W3C traceparent пишется в job/outbox (миграция 008). Тела, изображения, токены и URL в telemetry не попадают. Отказ хранилищ наблюдаемости не входит в business readiness. SLO зафиксированы до инъекций: API 99% без 5xx за 10 мин; 95% image jobs до ready за ≤5 с. Burn-rate short/long и alert Lab6QueueLag. Runbook: infra/runbooks/incident.md.
make check
make testBASE_URL=http://127.0.0.1:8080
make test-persistence ACTION_SCRIPT=scripts/restart.sh
make test-failover ACTION_SCRIPT=scripts/stop-one.sh
Результаты проверок и ссылка на REPORT.md: smoke PASS; 6 fault-сценариев pipeline PASS; один логический ready после повторной публикации. student-tests/test_telemetry.py: общий trace ID в API, publisher, worker, Loki и Tempo. Dashboard lab6-telemetry, 16 панелей, PromQL по существующим рядам. Worker stop: 8/8 ready, queue age 34,47 с, Lab6QueueLag firing через 35 с, inactive через 12 с. Короткий/длинный отказ PostgreSQL: API short/long burn firing→inactive, данные целы. Остановка Prometheus/Loki/Tempo: smoke PASS, 17 876 POST без ошибки; часть spans потеряна, API не блокировался. Persistence и failover (113 записей, первая успешная через 3,685 с) PASS. Пороги и тайминги — evidence/slo-thresholds-2026-10-02.md и JSON в evidence/, подробно в REPORT.md. Commit: 4384098.
Ограничения / известные ошибки: SLI считает 5xx самого API; 503 от HAProxy после потери readiness SDK не видит. Ещё не завершённая job не входит в histogram ready, поэтому queue age — отдельный alert. Длинное окно может сработать уже после снятия нагрузки. Один PostgreSQL/MinIO/RabbitMQ/host. Serial worker. Потеря telemetry не равна нулю ошибок. Удалённый CI ещё не запускался; локальный workflow описан в .github/workflows/application.yml. Слепой разбор runbook другим агентом нашёл симптомы, но не доказал причину остановки worker без trace.
Источники и использование ИИ: стек lab5; OTel SDK 1.45.0, Collector contrib 0.128.0, Prometheus, Loki, Tempo, Grafana; contracts/observability.md. Помощь ИИ: Codex; результаты на синтетических данных.
[+] Весь обязательный минимум текущей и предыдущих работ сохранён с объявленными переходами.
[+] Контракт и публичные тесты не ослаблены.
[+] make check и make test выполнены; приложен реальный вывод.
[+] Сценарии отказов/безопасности своего уровня воспроизведены.
[+] Все секреты и приватные ключи находятся вне Git; отчёт не содержит tokens.
[+] README задания сохранён, REPORT.md содержит инструкцию именно моего решения.
Лабораторная 6
Автор / группа: Самохвалов Андрей Ремович / БПИ-2302
Целевая оценка (3/4/5): 5
Трек 5, если заявлен: 2 «SLO и обнаружение инцидентов»
Что реализовано и что перенесено: Стек lab5 без смены контрактов: HAProxy, 2 API, PostgreSQL, MinIO, RabbitMQ, publisher/worker/cleanup, `202 queued` и идемпотентный pipeline. Добавлен свой telemetry overlay: OTel Collector 0.128.0, Prometheus 3.5.0, Loki 3.5.0, Tempo 2.9.5, Grafana 12.0.2. Метрики HTTP, jobs, backlog, pool, worker, CPU/RSS и времени до ready; логи с `trace_id`; один trace API → publisher → worker → S3/render/DB. W3C `traceparent` пишется в job/outbox (миграция 008). Тела, изображения, токены и URL в telemetry не попадают. Отказ хранилищ наблюдаемости не входит в business readiness. SLO зафиксированы до инъекций: API 99% без 5xx за 10 мин; 95% image jobs до ready за ≤5 с. Burn-rate short/long и alert `Lab6QueueLag`. Runbook: `infra/runbooks/incident.md`.
Команды запуска из чистого clone:
```sh
cp .env.example .env
python3 scripts/setup-local-secrets.py
python3 scripts/init_local_broker.py
docker compose -f compose.yaml -f compose.telemetry.yaml --env-file .env config --quiet
docker compose -f compose.yaml -f compose.telemetry.yaml --env-file .env up -d --build --wait --scale api=2
```
ready: GET http://127.0.0.1:8080/health/ready
Grafana: http://127.0.0.1:3000 · Prometheus: http://127.0.0.1:9090
```sh
make check
make test BASE_URL=http://127.0.0.1:8080
make test-persistence ACTION_SCRIPT=scripts/restart.sh
make test-failover ACTION_SCRIPT=scripts/stop-one.sh
```
Результаты проверок и ссылка на REPORT.md: smoke PASS; 6 fault-сценариев pipeline PASS; один логический ready после повторной публикации. `student-tests/test_telemetry.py`: общий trace ID в API, publisher, worker, Loki и Tempo. Dashboard `lab6-telemetry`, 16 панелей, PromQL по существующим рядам. Worker stop: 8/8 ready, queue age 34,47 с, `Lab6QueueLag` firing через 35 с, inactive через 12 с. Короткий/длинный отказ PostgreSQL: API short/long burn firing→inactive, данные целы. Остановка Prometheus/Loki/Tempo: smoke PASS, 17 876 POST без ошибки; часть spans потеряна, API не блокировался. Persistence и failover (113 записей, первая успешная через 3,685 с) PASS. Пороги и тайминги — `evidence/slo-thresholds-2026-10-02.md` и JSON в `evidence/`, подробно в REPORT.md. Commit: 4384098.
Ограничения / известные ошибки: SLI считает 5xx самого API; 503 от HAProxy после потери readiness SDK не видит. Ещё не завершённая job не входит в histogram ready, поэтому queue age — отдельный alert. Длинное окно может сработать уже после снятия нагрузки. Один PostgreSQL/MinIO/RabbitMQ/host. Serial worker. Потеря telemetry не равна нулю ошибок. Удалённый CI ещё не запускался; локальный workflow описан в `.github/workflows/application.yml`. Слепой разбор runbook другим агентом нашёл симптомы, но не доказал причину остановки worker без trace.
Источники и использование ИИ: стек lab5; OTel SDK 1.45.0, Collector contrib 0.128.0, Prometheus, Loki, Tempo, Grafana; `contracts/observability.md`. Помощь ИИ: Codex; результаты на синтетических данных.
[+] Весь обязательный минимум текущей и предыдущих работ сохранён с объявленными переходами.
[+] Контракт и публичные тесты не ослаблены.
[+] make check и make test выполнены; приложен реальный вывод.
[+] Сценарии отказов/безопасности своего уровня воспроизведены.
[+] Все секреты и приватные ключи находятся вне Git; отчёт не содержит tokens.
[+] README задания сохранён, REPORT.md содержит инструкцию именно моего решения.
Wire OTLP metrics, logs, and traces to Prometheus, Loki, and Tempo with
bounded Collector queues. Provision Grafana sources and a dashboard based on
the stores' and Collector's documented metrics. Runtime integration awaits
the application Compose stack; static syntax and wiring checks pass.
Store message text as UTF-8 bytes and migrate existing rows without loss.
Cover HTTP round trips, restart persistence, Unicode limits and idempotent retries.
Adapt direct database tools to the binary storage format.
(cherry picked from commit 386276532730b8758298080b49db63738ca300a4)
You are not authorized to merge this pull request.
This pull request can be merged automatically.
View command line instructions
Checkout
From your project repository, check out a new branch and test the changes.
Blocking a user prevents them from interacting with repositories, such as opening or commenting on pull requests or issues. Learn more about blocking a user.
Лабораторная 6
Автор / группа: Самохвалов Андрей Ремович / БПИ-2302
Целевая оценка (3/4/5): 5
Трек 5, если заявлен: 2 «SLO и обнаружение инцидентов»
Что реализовано и что перенесено: Стек lab5 без смены контрактов: HAProxy, 2 API, PostgreSQL, MinIO, RabbitMQ, publisher/worker/cleanup,
202 queuedи идемпотентный pipeline. Добавлен свой telemetry overlay: OTel Collector 0.128.0, Prometheus 3.5.0, Loki 3.5.0, Tempo 2.9.5, Grafana 12.0.2. Метрики HTTP, jobs, backlog, pool, worker, CPU/RSS и времени до ready; логи сtrace_id; один trace API → publisher → worker → S3/render/DB. W3Ctraceparentпишется в job/outbox (миграция 008). Тела, изображения, токены и URL в telemetry не попадают. Отказ хранилищ наблюдаемости не входит в business readiness. SLO зафиксированы до инъекций: API 99% без 5xx за 10 мин; 95% image jobs до ready за ≤5 с. Burn-rate short/long и alertLab6QueueLag. Runbook:infra/runbooks/incident.md.Команды запуска из чистого clone:
ready: GET http://127.0.0.1:8080/health/ready
Grafana: http://127.0.0.1:3000 · Prometheus: http://127.0.0.1:9090
Результаты проверок и ссылка на REPORT.md: smoke PASS; 6 fault-сценариев pipeline PASS; один логический ready после повторной публикации.
student-tests/test_telemetry.py: общий trace ID в API, publisher, worker, Loki и Tempo. Dashboardlab6-telemetry, 16 панелей, PromQL по существующим рядам. Worker stop: 8/8 ready, queue age 34,47 с,Lab6QueueLagfiring через 35 с, inactive через 12 с. Короткий/длинный отказ PostgreSQL: API short/long burn firing→inactive, данные целы. Остановка Prometheus/Loki/Tempo: smoke PASS, 17 876 POST без ошибки; часть spans потеряна, API не блокировался. Persistence и failover (113 записей, первая успешная через 3,685 с) PASS. Пороги и тайминги —evidence/slo-thresholds-2026-10-02.mdи JSON вevidence/, подробно в REPORT.md. Commit:4384098.Ограничения / известные ошибки: SLI считает 5xx самого API; 503 от HAProxy после потери readiness SDK не видит. Ещё не завершённая job не входит в histogram ready, поэтому queue age — отдельный alert. Длинное окно может сработать уже после снятия нагрузки. Один PostgreSQL/MinIO/RabbitMQ/host. Serial worker. Потеря telemetry не равна нулю ошибок. Удалённый CI ещё не запускался; локальный workflow описан в
.github/workflows/application.yml. Слепой разбор runbook другим агентом нашёл симптомы, но не доказал причину остановки worker без trace.Источники и использование ИИ: стек lab5; OTel SDK 1.45.0, Collector contrib 0.128.0, Prometheus, Loki, Tempo, Grafana;
contracts/observability.md. Помощь ИИ: Codex; результаты на синтетических данных.[+] Весь обязательный минимум текущей и предыдущих работ сохранён с объявленными переходами.
[+] Контракт и публичные тесты не ослаблены.
[+] make check и make test выполнены; приложен реальный вывод.
[+] Сценарии отказов/безопасности своего уровня воспроизведены.
[+] Все секреты и приватные ключи находятся вне Git; отчёт не содержит tokens.
[+] README задания сохранён, REPORT.md содержит инструкцию именно моего решения.
View command line instructions
Checkout
From your project repository, check out a new branch and test the changes.