ЛР 6 - БПИ2302 - Самохвалов - на 5 #2

Open
SamohvalovAndreyBPI2302 wants to merge 13 commits from SamohvalovAndreyBPI2302/mtusi2026lab6:solution/bpi2302-samohvalov into main
First-time contributor

Лабораторная 6
Автор / группа: Самохвалов Андрей Ремович / БПИ-2302
Целевая оценка (3/4/5): 5
Трек 5, если заявлен: 2 «SLO и обнаружение инцидентов»

Что реализовано и что перенесено: Стек lab5 без смены контрактов: HAProxy, 2 API, PostgreSQL, MinIO, RabbitMQ, publisher/worker/cleanup, 202 queued и идемпотентный pipeline. Добавлен свой telemetry overlay: OTel Collector 0.128.0, Prometheus 3.5.0, Loki 3.5.0, Tempo 2.9.5, Grafana 12.0.2. Метрики HTTP, jobs, backlog, pool, worker, CPU/RSS и времени до ready; логи с trace_id; один trace API → publisher → worker → S3/render/DB. W3C traceparent пишется в job/outbox (миграция 008). Тела, изображения, токены и URL в telemetry не попадают. Отказ хранилищ наблюдаемости не входит в business readiness. SLO зафиксированы до инъекций: API 99% без 5xx за 10 мин; 95% image jobs до ready за ≤5 с. Burn-rate short/long и alert Lab6QueueLag. Runbook: infra/runbooks/incident.md.

Команды запуска из чистого clone:

cp .env.example .env
python3 scripts/setup-local-secrets.py
python3 scripts/init_local_broker.py
docker compose -f compose.yaml -f compose.telemetry.yaml --env-file .env config --quiet
docker compose -f compose.yaml -f compose.telemetry.yaml --env-file .env up -d --build --wait --scale api=2

ready: GET http://127.0.0.1:8080/health/ready
Grafana: http://127.0.0.1:3000 · Prometheus: http://127.0.0.1:9090

make check
make test BASE_URL=http://127.0.0.1:8080
make test-persistence ACTION_SCRIPT=scripts/restart.sh
make test-failover ACTION_SCRIPT=scripts/stop-one.sh

Результаты проверок и ссылка на REPORT.md: smoke PASS; 6 fault-сценариев pipeline PASS; один логический ready после повторной публикации. student-tests/test_telemetry.py: общий trace ID в API, publisher, worker, Loki и Tempo. Dashboard lab6-telemetry, 16 панелей, PromQL по существующим рядам. Worker stop: 8/8 ready, queue age 34,47 с, Lab6QueueLag firing через 35 с, inactive через 12 с. Короткий/длинный отказ PostgreSQL: API short/long burn firing→inactive, данные целы. Остановка Prometheus/Loki/Tempo: smoke PASS, 17 876 POST без ошибки; часть spans потеряна, API не блокировался. Persistence и failover (113 записей, первая успешная через 3,685 с) PASS. Пороги и тайминги — evidence/slo-thresholds-2026-10-02.md и JSON в evidence/, подробно в REPORT.md. Commit: 4384098.

Ограничения / известные ошибки: SLI считает 5xx самого API; 503 от HAProxy после потери readiness SDK не видит. Ещё не завершённая job не входит в histogram ready, поэтому queue age — отдельный alert. Длинное окно может сработать уже после снятия нагрузки. Один PostgreSQL/MinIO/RabbitMQ/host. Serial worker. Потеря telemetry не равна нулю ошибок. Удалённый CI ещё не запускался; локальный workflow описан в .github/workflows/application.yml. Слепой разбор runbook другим агентом нашёл симптомы, но не доказал причину остановки worker без trace.

Источники и использование ИИ: стек lab5; OTel SDK 1.45.0, Collector contrib 0.128.0, Prometheus, Loki, Tempo, Grafana; contracts/observability.md. Помощь ИИ: Codex; результаты на синтетических данных.

[+] Весь обязательный минимум текущей и предыдущих работ сохранён с объявленными переходами.
[+] Контракт и публичные тесты не ослаблены.
[+] make check и make test выполнены; приложен реальный вывод.
[+] Сценарии отказов/безопасности своего уровня воспроизведены.
[+] Все секреты и приватные ключи находятся вне Git; отчёт не содержит tokens.
[+] README задания сохранён, REPORT.md содержит инструкцию именно моего решения.

Лабораторная 6 Автор / группа: Самохвалов Андрей Ремович / БПИ-2302 Целевая оценка (3/4/5): 5 Трек 5, если заявлен: 2 «SLO и обнаружение инцидентов» Что реализовано и что перенесено: Стек lab5 без смены контрактов: HAProxy, 2 API, PostgreSQL, MinIO, RabbitMQ, publisher/worker/cleanup, `202 queued` и идемпотентный pipeline. Добавлен свой telemetry overlay: OTel Collector 0.128.0, Prometheus 3.5.0, Loki 3.5.0, Tempo 2.9.5, Grafana 12.0.2. Метрики HTTP, jobs, backlog, pool, worker, CPU/RSS и времени до ready; логи с `trace_id`; один trace API → publisher → worker → S3/render/DB. W3C `traceparent` пишется в job/outbox (миграция 008). Тела, изображения, токены и URL в telemetry не попадают. Отказ хранилищ наблюдаемости не входит в business readiness. SLO зафиксированы до инъекций: API 99% без 5xx за 10 мин; 95% image jobs до ready за ≤5 с. Burn-rate short/long и alert `Lab6QueueLag`. Runbook: `infra/runbooks/incident.md`. Команды запуска из чистого clone: ```sh cp .env.example .env python3 scripts/setup-local-secrets.py python3 scripts/init_local_broker.py docker compose -f compose.yaml -f compose.telemetry.yaml --env-file .env config --quiet docker compose -f compose.yaml -f compose.telemetry.yaml --env-file .env up -d --build --wait --scale api=2 ``` ready: GET http://127.0.0.1:8080/health/ready Grafana: http://127.0.0.1:3000 · Prometheus: http://127.0.0.1:9090 ```sh make check make test BASE_URL=http://127.0.0.1:8080 make test-persistence ACTION_SCRIPT=scripts/restart.sh make test-failover ACTION_SCRIPT=scripts/stop-one.sh ``` Результаты проверок и ссылка на REPORT.md: smoke PASS; 6 fault-сценариев pipeline PASS; один логический ready после повторной публикации. `student-tests/test_telemetry.py`: общий trace ID в API, publisher, worker, Loki и Tempo. Dashboard `lab6-telemetry`, 16 панелей, PromQL по существующим рядам. Worker stop: 8/8 ready, queue age 34,47 с, `Lab6QueueLag` firing через 35 с, inactive через 12 с. Короткий/длинный отказ PostgreSQL: API short/long burn firing→inactive, данные целы. Остановка Prometheus/Loki/Tempo: smoke PASS, 17 876 POST без ошибки; часть spans потеряна, API не блокировался. Persistence и failover (113 записей, первая успешная через 3,685 с) PASS. Пороги и тайминги — `evidence/slo-thresholds-2026-10-02.md` и JSON в `evidence/`, подробно в REPORT.md. Commit: 4384098. Ограничения / известные ошибки: SLI считает 5xx самого API; 503 от HAProxy после потери readiness SDK не видит. Ещё не завершённая job не входит в histogram ready, поэтому queue age — отдельный alert. Длинное окно может сработать уже после снятия нагрузки. Один PostgreSQL/MinIO/RabbitMQ/host. Serial worker. Потеря telemetry не равна нулю ошибок. Удалённый CI ещё не запускался; локальный workflow описан в `.github/workflows/application.yml`. Слепой разбор runbook другим агентом нашёл симптомы, но не доказал причину остановки worker без trace. Источники и использование ИИ: стек lab5; OTel SDK 1.45.0, Collector contrib 0.128.0, Prometheus, Loki, Tempo, Grafana; `contracts/observability.md`. Помощь ИИ: Codex; результаты на синтетических данных. [+] Весь обязательный минимум текущей и предыдущих работ сохранён с объявленными переходами. [+] Контракт и публичные тесты не ослаблены. [+] make check и make test выполнены; приложен реальный вывод. [+] Сценарии отказов/безопасности своего уровня воспроизведены. [+] Все секреты и приватные ключи находятся вне Git; отчёт не содержит tokens. [+] README задания сохранён, REPORT.md содержит инструкцию именно моего решения.
SamohvalovAndreyBPI2302 added 12 commits 2026-10-30 11:11:38 +03:00
Wire OTLP metrics, logs, and traces to Prometheus, Loki, and Tempo with
bounded Collector queues. Provision Grafana sources and a dashboard based on
the stores' and Collector's documented metrics. Runtime integration awaits
the application Compose stack; static syntax and wiring checks pass.
Import committed lab5 baseline 03899d7 via git archive: API replicas,
PostgreSQL, private S3, RabbitMQ, publisher, worker, migrations, and hooks.
Preserve lab6 contracts and the separate telemetry stack. Static checks pass;
Docker runtime integration remains pending.
SamohvalovAndreyBPI2302 added 1 commit 2026-11-07 09:54:24 +03:00
Store message text as UTF-8 bytes and migrate existing rows without loss.
Cover HTTP round trips, restart persistence, Unicode limits and idempotent retries.
Adapt direct database tools to the binary storage format.

(cherry picked from commit 386276532730b8758298080b49db63738ca300a4)
You are not authorized to merge this pull request.
This pull request can be merged automatically.
View command line instructions

Checkout

From your project repository, check out a new branch and test the changes.
git fetch -u https://gitea.privcloud.tech/SamohvalovAndreyBPI2302/mtusi2026lab6 solution/bpi2302-samohvalov:SamohvalovAndreyBPI2302-solution/bpi2302-samohvalov
git checkout SamohvalovAndreyBPI2302-solution/bpi2302-samohvalov
Sign in to join this conversation.
No Reviewers
No labels
1 Participants
Notifications
Due Date
No due date set.
Dependencies

No dependencies set.

Reference: mtusi2026/mtusi2026lab6#2