ЛР 6 — БВТ2303 — Бабиченко — на 4 #9

Closed
Kalibr wants to merge 1 commits from Kalibr/mtusi2026lab6:solution/bvt2303-babichenko into main
First-time contributor

Лабораторная 6

Автор / группа: Бабиченко Максим, БВТ2303
Целевая оценка (3/4/5): 4
Трек 5, если заявлен: не заявлен

Что реализовано и что перенесено

Перенесено всё решение lab5 без изменения бизнес-API: API ×2 за HAProxy, PostgreSQL, Redis, SeaweedFS (S3), RabbitMQ, transactional outbox, dispatcher, worker, janitor, тесты lab1–5.

Добавлено в lab6:

  • OpenTelemetry SDK 1.45.2 во всех процессах (telemetry.py): traces, metrics и logs по OTLP/HTTP в Collector; структурные JSON-логи с event, trace_id, span_id.
  • Сквозная трасса через очередь (W3C Trace Context): API (server) → create (producer, outbox) → dispatcher publish (producer, AMQP header) → worker process (consumer) → S3 PutObject ×4 и COMMIT в PostgreSQL. Retry идёт в той же трассе, ops.py replay создаёт новую трассу с link на исходную.
  • Стенд в compose.yaml: OTel Collector 0.164.0 (memory_limiter, batch, ограниченные очереди exporter, retry), Prometheus 3.15.1 (OTLP receiver, recording и alert rules), Loki 3.7.9, Tempo 3.1.1, Grafana 12.4.14. Provisioning источников данных и dashboard (34 панели) лежит в Git, данные хранятся в persistent volumes.
  • Метрики: RPS, доля ошибок и p50/p95/p99 API (из histogram), задания по исходу и их длительность, глубина очереди и возраст старейшего задания, outbox lag, пул БД, занятость worker, CPU/RAM процессов и контейнеров, время до ready. Метки низкой кардинальности: user_id, chat_id и другие ID в них не попадают.
  • SLO (окно 1 ч): 99% бизнес-запросов без 5xx; 95% POST messages быстрее 250 мс; 95% вложений ready не позже 30 с.
  • 6 алертов (высокая доля ошибок, растущий queue lag, нет consumers, насыщение пула БД, потеря телеметрии, недоступен Collector) с unit-тестами promtool и runbooks в docs/runbooks.md.

Команды запуска из чистого clone

$env:PYTHONUTF8 = "1"
Copy-Item .env.example .env
python scripts/init_secrets.py
docker compose up -d --build --wait
python tests/smoke.py --base-url http://127.0.0.1:8080
python student-tests/collect_evidence.py

Grafana: http://127.0.0.1:3000 (admin / secrets/grafana_admin_password), алерты: http://127.0.0.1:9090/alerts. Подробности — в REPORT.md, раздел «Запуск из чистого clone».

Результаты проверок

Docker Desktop (Windows, 16 CPU / 15,2 GiB): все 35 шагов PASS — 13 шагов lab6 и 22 шага регрессии lab1–5, включая публичные smoke, failover и persistence. Сводка — evidence/summary.md, подробности — REPORT.md, раздел «Доказательства критериев».

Инциденты (firing → resolved):

Воздействие Алерт firing resolved
остановлен worker MessengerWorkerNoConsumers 101,7 с 29,7 с после start
остановлен worker MessengerQueueLagGrowing 131,8 с 29,7 с после start
блокировка таблицы messages (медленная БД) MessengerHighErrorRate 140,8 с 50,1 с после снятия
остановлены Tempo и Loki TelemetryExportFailing 73,1 с 165,6 с после start
  • Медленная БД против медленного обработчика: по трассе видно, что ~5 с из 5 с запроса занимает спан INSERT, а у регистрации пользователя время уходит в argon2id hash.
  • Отказ хранилищ телеметрии и Collector: API ответил 201 на все запросы, heap Collector не превысил 87 MiB при лимите 200, потери телеметрии посчитаны.
  • Нагрузка (tests/load.py, concurrency 4): ~270 POST/с, 0 ошибок, p95 32 мс, p99 47 мс.

Ограничения / известные ошибки

  • Один экземпляр Collector и каждого хранилища, HA телеметрии нет.
  • Буфер Collector хранится в памяти и теряется при его рестарте.
  • Внутренние соединения без TLS (это lab7).

См. REPORT.md, раздел «Ограничения и следующие шаги».

Источники и использование ИИ

Документация OpenTelemetry (SDK, Collector, semantic conventions), W3C Trace Context, Prometheus (OTLP, histograms, promtool), Loki, Tempo, Grafana provisioning. При написании кода, конфигураций и тестов использовался ИИ-ассистент

  • Весь обязательный минимум текущей и предыдущих работ сохранён с объявленными переходами.
  • Контракт и публичные тесты не ослаблены.
  • make check и make test выполнены; приложен реальный вывод.
  • Сценарии отказов/безопасности своего уровня воспроизведены.
  • Все секреты и приватные ключи находятся вне Git; отчёт не содержит tokens.
  • README задания сохранён, REPORT.md содержит инструкцию именно моего решения.
## Лабораторная 6 Автор / группа: Бабиченко Максим, БВТ2303 Целевая оценка (3/4/5): 4 Трек 5, если заявлен: не заявлен ### Что реализовано и что перенесено Перенесено всё решение lab5 без изменения бизнес-API: API ×2 за HAProxy, PostgreSQL, Redis, SeaweedFS (S3), RabbitMQ, transactional outbox, dispatcher, worker, janitor, тесты lab1–5. Добавлено в lab6: - **OpenTelemetry SDK 1.45.2** во всех процессах (`telemetry.py`): traces, metrics и logs по OTLP/HTTP в Collector; структурные JSON-логи с `event`, `trace_id`, `span_id`. - **Сквозная трасса через очередь (W3C Trace Context):** API (server) → `create` (producer, outbox) → dispatcher `publish` (producer, AMQP header) → worker `process` (consumer) → S3 PutObject ×4 и COMMIT в PostgreSQL. Retry идёт в той же трассе, `ops.py replay` создаёт новую трассу с link на исходную. - **Стенд в compose.yaml:** OTel Collector 0.164.0 (memory_limiter, batch, ограниченные очереди exporter, retry), Prometheus 3.15.1 (OTLP receiver, recording и alert rules), Loki 3.7.9, Tempo 3.1.1, Grafana 12.4.14. Provisioning источников данных и dashboard (34 панели) лежит в Git, данные хранятся в persistent volumes. - **Метрики:** RPS, доля ошибок и p50/p95/p99 API (из histogram), задания по исходу и их длительность, глубина очереди и возраст старейшего задания, outbox lag, пул БД, занятость worker, CPU/RAM процессов и контейнеров, время до ready. Метки низкой кардинальности: user_id, chat_id и другие ID в них не попадают. - **SLO (окно 1 ч):** 99% бизнес-запросов без 5xx; 95% POST messages быстрее 250 мс; 95% вложений ready не позже 30 с. - **6 алертов** (высокая доля ошибок, растущий queue lag, нет consumers, насыщение пула БД, потеря телеметрии, недоступен Collector) с unit-тестами promtool и runbooks в `docs/runbooks.md`. ### Команды запуска из чистого clone ```powershell $env:PYTHONUTF8 = "1" Copy-Item .env.example .env python scripts/init_secrets.py docker compose up -d --build --wait python tests/smoke.py --base-url http://127.0.0.1:8080 python student-tests/collect_evidence.py ``` Grafana: http://127.0.0.1:3000 (admin / `secrets/grafana_admin_password`), алерты: http://127.0.0.1:9090/alerts. Подробности — в REPORT.md, раздел «Запуск из чистого clone». ### Результаты проверок Docker Desktop (Windows, 16 CPU / 15,2 GiB): **все 35 шагов PASS** — 13 шагов lab6 и 22 шага регрессии lab1–5, включая публичные smoke, failover и persistence. Сводка — `evidence/summary.md`, подробности — REPORT.md, раздел «Доказательства критериев». Инциденты (firing → resolved): | Воздействие | Алерт | firing | resolved | | --- | --- | --- | --- | | остановлен worker | MessengerWorkerNoConsumers | 101,7 с | 29,7 с после start | | остановлен worker | MessengerQueueLagGrowing | 131,8 с | 29,7 с после start | | блокировка таблицы messages (медленная БД) | MessengerHighErrorRate | 140,8 с | 50,1 с после снятия | | остановлены Tempo и Loki | TelemetryExportFailing | 73,1 с | 165,6 с после start | - **Медленная БД против медленного обработчика:** по трассе видно, что ~5 с из 5 с запроса занимает спан `INSERT`, а у регистрации пользователя время уходит в `argon2id hash`. - **Отказ хранилищ телеметрии и Collector:** API ответил 201 на все запросы, heap Collector не превысил 87 MiB при лимите 200, потери телеметрии посчитаны. - **Нагрузка** (`tests/load.py`, concurrency 4): ~270 POST/с, 0 ошибок, p95 32 мс, p99 47 мс. ### Ограничения / известные ошибки - Один экземпляр Collector и каждого хранилища, HA телеметрии нет. - Буфер Collector хранится в памяти и теряется при его рестарте. - Внутренние соединения без TLS (это lab7). См. REPORT.md, раздел «Ограничения и следующие шаги». ### Источники и использование ИИ Документация OpenTelemetry (SDK, Collector, semantic conventions), W3C Trace Context, Prometheus (OTLP, histograms, promtool), Loki, Tempo, Grafana provisioning. При написании кода, конфигураций и тестов использовался ИИ-ассистент - [x] Весь обязательный минимум текущей и предыдущих работ сохранён с объявленными переходами. - [x] Контракт и публичные тесты не ослаблены. - [x] make check и make test выполнены; приложен реальный вывод. - [x] Сценарии отказов/безопасности своего уровня воспроизведены. - [x] Все секреты и приватные ключи находятся вне Git; отчёт не содержит tokens. - [x] README задания сохранён, REPORT.md содержит инструкцию именно моего решения.
Kalibr added 1 commit 2026-11-01 21:28:57 +03:00
Owner

Принято. Закрываю МР.

Принято. Закрываю МР.
veprickiy closed this pull request 2026-11-07 17:46:53 +03:00

Pull request closed

Please reopen this pull request to perform a merge.
Sign in to join this conversation.
No Reviewers
No labels
2 Participants
Notifications
Due Date
No due date set.
Dependencies

No dependencies set.

Reference: mtusi2026/mtusi2026lab6#9