ЛР 6 - БПИ2303 - Морару - на 5 #6

Closed
s.s.moraru wants to merge 2 commits from s.s.moraru/mtusi2026lab6:solution/bpi2303-moraru into main
First-time contributor

Лабораторная 6

Автор / группа: Морару С. С., БПИ2303
Целевая оценка (3/4/5): 5
Трек 5, если заявлен: трек 2 «SLO и обнаружение инцидентов»

Что реализовано и что перенесено

Из lab5 перенёс без изменений: весь API lab1–5, HAProxy, PostgreSQL, SeaweedFS, RabbitMQ, outbox, worker, reconciler.

Добавил:

  • OpenTelemetry в api и worker: трассы, метрики, структурные JSON-логи с trace_id;
  • trace context через outbox и брокер: путь upload → publish → consume → S3/DB, включая retry, собирается в один trace;
  • OTel Collector с memory_limiter, redaction, batch и ограниченной очередью с retry;
  • Prometheus, Loki и Tempo во внутренней сети. Grafana: datasources и dashboard загружаются через provisioning;
  • в telemetry не попадают пароли, токены, текст сообщений и имена файлов. Labels низкой кардинальности;
  • SLO: доступность 99.5 % по HAProxy и 99 % вложений ready за 30 с;
  • multiwindow burn-rate alerts (fast 1h/5m, slow 6h/30m) и дополнительные alerts на ошибки, отставание очереди и экспорт telemetry. Runbook — infra/runbooks.md;
  • трек 2: нагрузка k6 и кампания из 6 отказов с автоматическим разбором.

Команды запуска из чистого clone

scripts/init-secrets.sh
docker compose --env-file .env up -d --build --wait
make check && make test
python3 student-tests/telemetry_check.py --base-url http://localhost:8080 --grafana http://localhost:3000
make test-persistence ACTION_SCRIPT=scripts/restart.sh
make test-failover ACTION_SCRIPT=scripts/stop-one.sh && docker compose start api
python3 research/campaign.py run --out evidence/track2

Результаты проверок — REPORT.md, вывод лежит в evidence/

  • make check, make validate, make test — PASS.
  • Persistence и failover — PASS. Telemetry после перезапуска читается.
  • telemetry_check.py — PASS: trace из 39 spans от upload до ready, лог с тем же trace_id, секретов в telemetry нет.
  • promtool test rules — SUCCESS.
  • Alerts проверил отказами:
    • остановка worker → JobQueueLagGrowing через 3:10;
    • заморозка БД → ApiAvailabilityFastBurn через 2:50;
    • остановка Tempo и Loki → API работает без ошибок, TelemetryExportFailing через 1:20.
  • Трек 2: подтвердил все 4 гипотезы.
    • Простой порог шумит на коротком всплеске, а burn-rate alert на нём молчит.
    • SLI на HAProxy видит отказы, которых не видят метрики API.

Ограничения / известные ошибки

  • Эксперимент короткий, история в окнах 1h/6h неполная, поэтому slow burn дал ложное срабатывание.
  • Стек наблюдаемости в одном экземпляре, без Alertmanager.
  • Очередь Collector хранится в памяти.

Источники: OpenTelemetry JS и Collector, Prometheus, Loki, Tempo, Grafana, k6; Google SRE Workbook, гл. 5 (Alerting on SLOs).

  • Весь обязательный минимум текущей и предыдущих работ сохранён с объявленными переходами.
  • Контракт и публичные тесты не ослаблены.
  • make check и make test выполнены; приложен реальный вывод.
  • Сценарии отказов/безопасности своего уровня воспроизведены.
  • Все секреты и приватные ключи находятся вне Git; отчёт не содержит tokens.
  • README задания сохранён, REPORT.md содержит инструкцию именно моего решения.
## Лабораторная 6 Автор / группа: Морару С. С., БПИ2303 Целевая оценка (3/4/5): 5 Трек 5, если заявлен: трек 2 «SLO и обнаружение инцидентов» **Что реализовано и что перенесено** Из lab5 перенёс без изменений: весь API lab1–5, HAProxy, PostgreSQL, SeaweedFS, RabbitMQ, outbox, worker, reconciler. Добавил: - OpenTelemetry в api и worker: трассы, метрики, структурные JSON-логи с `trace_id`; - trace context через outbox и брокер: путь upload → publish → consume → S3/DB, включая retry, собирается в один trace; - OTel Collector с memory_limiter, redaction, batch и ограниченной очередью с retry; - Prometheus, Loki и Tempo во внутренней сети. Grafana: datasources и dashboard загружаются через provisioning; - в telemetry не попадают пароли, токены, текст сообщений и имена файлов. Labels низкой кардинальности; - SLO: доступность 99.5 % по HAProxy и 99 % вложений ready за 30 с; - multiwindow burn-rate alerts (fast 1h/5m, slow 6h/30m) и дополнительные alerts на ошибки, отставание очереди и экспорт telemetry. Runbook — `infra/runbooks.md`; - трек 2: нагрузка k6 и кампания из 6 отказов с автоматическим разбором. **Команды запуска из чистого clone** ```sh scripts/init-secrets.sh docker compose --env-file .env up -d --build --wait make check && make test python3 student-tests/telemetry_check.py --base-url http://localhost:8080 --grafana http://localhost:3000 make test-persistence ACTION_SCRIPT=scripts/restart.sh make test-failover ACTION_SCRIPT=scripts/stop-one.sh && docker compose start api python3 research/campaign.py run --out evidence/track2 ``` **Результаты проверок** — [REPORT.md](https://gitea.privcloud.tech/s.s.moraru/mtusi2026lab6/src/branch/solution/bpi2303-moraru/REPORT.md), вывод лежит в `evidence/` - `make check`, `make validate`, `make test` — PASS. - Persistence и failover — PASS. Telemetry после перезапуска читается. - `telemetry_check.py` — PASS: trace из 39 spans от upload до ready, лог с тем же `trace_id`, секретов в telemetry нет. - `promtool test rules` — SUCCESS. - Alerts проверил отказами: - остановка worker → `JobQueueLagGrowing` через 3:10; - заморозка БД → `ApiAvailabilityFastBurn` через 2:50; - остановка Tempo и Loki → API работает без ошибок, `TelemetryExportFailing` через 1:20. - Трек 2: подтвердил все 4 гипотезы. - Простой порог шумит на коротком всплеске, а burn-rate alert на нём молчит. - SLI на HAProxy видит отказы, которых не видят метрики API. **Ограничения / известные ошибки** - Эксперимент короткий, история в окнах 1h/6h неполная, поэтому slow burn дал ложное срабатывание. - Стек наблюдаемости в одном экземпляре, без Alertmanager. - Очередь Collector хранится в памяти. **Источники:** OpenTelemetry JS и Collector, Prometheus, Loki, Tempo, Grafana, k6; Google SRE Workbook, гл. 5 (Alerting on SLOs). - [x] Весь обязательный минимум текущей и предыдущих работ сохранён с объявленными переходами. - [x] Контракт и публичные тесты не ослаблены. - [x] make check и make test выполнены; приложен реальный вывод. - [x] Сценарии отказов/безопасности своего уровня воспроизведены. - [x] Все секреты и приватные ключи находятся вне Git; отчёт не содержит tokens. - [x] README задания сохранён, REPORT.md содержит инструкцию именно моего решения.
s.s.moraru added 1 commit 2026-10-31 01:56:08 +03:00
- api и worker отдают traces, metrics и logs по OTLP в Collector
  (memory_limiter, redaction, batch, ограниченная очередь и retry);
  хранилища: Prometheus (OTLP receiver), Loki, Tempo; Grafana с
  provisioning datasources и dashboard «Messenger lab6»
- W3C trace context через outbox и RabbitMQ: producer/consumer spans
  связывают upload, публикации и попытки worker в одном trace
- SLO доступности API (SLI на HAProxy) и времени до ready, multiwindow
  burn-rate alerts, ApiHighErrorRate, JobQueueLagGrowing,
  DbPoolSaturated, TelemetryExportFailing; unit-тесты promtool, runbooks
- кампания трека 2 (k6, 6 отказов по расписанию), разбор и графики;
  проверки сигналов и истории telemetry, evidence и REPORT.md
s.s.moraru added 1 commit 2026-10-31 10:31:08 +03:00
PNG: тип фильтра каждой строки (с учётом Adam7) только 0–4, длина PLTE
кратна 3 и не больше 256 цветов. JPEG: заголовки и таблицы проверяются
так же, как в libjpeg-turbo — вид SOF, 8 бит, 1/3/4 компонента,
прореживание, DQT/DHT для каждого скана, параметры SOS, непустой скан.
Файлы из замечаний (PNG 1x1 с фильтром 5, JPEG 27 байт без таблиц и
данных скана) теперь получают 415; добавлены тесты.
Owner

Принято. Закрываю МР.

Принято. Закрываю МР.
veprickiy closed this pull request 2026-10-31 16:00:21 +03:00

Pull request closed

Please reopen this pull request to perform a merge.
Sign in to join this conversation.
No Reviewers
No labels
2 Participants
Notifications
Due Date
No due date set.
Dependencies

No dependencies set.

Reference: mtusi2026/mtusi2026lab6#6