ЛР 6 — БПИ2301 — Авзалов — на 4 #42

Open
Ferraronp wants to merge 1 commits from Ferraronp/mtusi2026lab6:main into main
First-time contributor

Лабораторная 6

Автор / группа: Авзалов Артур Марсович / БПИ2301

Целевая оценка (3/4/5): 4

Трек 5, если заявлен: не заявлен.

Что реализовано и что перенесено

Из Lab5 перенесены две FastAPI-реплики за HAProxy, PostgreSQL, Redis, приватное S3-хранилище SeaweedFS, RabbitMQ, Transactional Outbox, dispatcher и worker с идемпотентной обработкой изображений.

В Lab6 реализованы:

  • Сбор метрик, логов и трасс через OpenTelemetry Collector.
  • Хранение метрик в Prometheus, логов в Loki, трасс в Tempo.
  • Grafana с автоматически подключаемыми источниками данных и dashboard из 16 панелей.
  • Сквозная трассировка API → dispatcher → RabbitMQ → worker → S3/PostgreSQL, включая повторные попытки обработки.
  • Метрики RPS, доли ошибок, p50/p95/p99, времени обработки и времени до ready.
  • Мониторинг глубины очереди, возраста заданий, DB pool, загрузки worker, CPU и памяти.
  • SLI доступности с целевым SLO 99% за пятиминутное окно.
  • Два алерта: высокая доля ошибок API и задержка обработки очереди.
  • Ограниченная буферизация и повторные попытки экспорта телеметрии при недоступности её хранилищ.

Команды запуска из чистого clone

Copy-Item .env.example .env
notepad .env

Заменить примерные пароли на собственные значения.

docker compose --env-file .env config --quiet
docker compose --env-file .env up -d --build --wait
docker compose --env-file .env ps

make check
make test

Grafana: http://localhost:3000/
Prometheus: http://localhost:9090/
Алерты: http://localhost:9090/alerts

Результаты проверок и ссылка на REPORT.md

Все шесть сценариев наблюдаемости выполнены на Windows/Docker Desktop:

Сценарий Результат
metrics PASS — метрики доступны, запрещённые ID labels отсутствуют
trace-retry PASS — сквозная трассировка, retry и корреляция логов
queue-lag PASS — алерт сработал при возрасте задания 27,57 с и разрешился после восстановления worker
db-error PASS — блокировка БД, HTTP 503, срабатывание и разрешение алерта
backend-down PASS — бизнес-операции продолжились при недоступности Tempo
history PASS — история метрик, логов и трасс сохранена после перезапуска хранилищ

При отказе Tempo выполнено 16 успешных записей, обработка изображений продолжилась. Максимальная наблюдаемая память Collector — 200,43 MiB при лимите 256 MiB, очередь экспорта — 18 из 64.

Регрессионные проверки Lab5: unit, ACL, негативные сценарии, параллельная идемпотентность, остановка worker, падения dispatcher и worker — PASS.

Нагрузочный эксперимент:

  • 10 параллельных загрузок, 10/10 вложений обработаны, 0 ошибок.
  • Скорость приёма — 3,976 RPS.
  • p50 загрузки — 2296,5 мс.
  • Все вложения готовы через 36,406 с.

Реальный вывод обязательных проверок:

make check
PASS: offline skeleton structure, local refs and Python syntax; application NOT tested.

make test
PASS: lab6 public API scenario; infrastructure and grading evidence remain separate.

Подробности и инструкции: [REPORT.md].

Подтверждённые результаты: [verified_results_2026-11-17.md]

Скриншоты Grafana:

  • API и задания (evidence/grafana/01-api-and-jobs.png)
  • Worker и очередь (evidence/grafana/02-worker-and-queue.png)
  • DB pool и ресурсы (evidence/grafana/03-pool-and-resources.png)
  • Collector, алерты и SLO (evidence/grafana/04-collector-alerts-slo.png)

Ограничения / известные ошибки

  • Инфраструктура развёрнута на одном Docker-хосте, хранилища представлены одиночными экземплярами.
  • При длительной недоступности хранилищ возможна потеря части телеметрии. Бизнес-операции не зависят от успешности её экспорта.
  • Нагрузочный эксперимент ограничен десятью параллельными загрузками.
  • Полный повтор persistence/failover и дополнительных сценариев pipeline_extended из Lab5 в текущем стенде не проводился.
  • Отдельное исследование на оценку 5 не заявлено.

Источники и использование ИИ

Использованы материалы курса, официальная документация OpenTelemetry, Prometheus, Grafana, Loki, Tempo и спецификация W3C Trace Context.

ChatGPT применялся для проектирования архитектуры наблюдаемости, реализации инструментации, настройки инфраструктуры, разработки тестов, исправления диагностического теста и подготовки отчёта. Интеграционные проверки выполнены на учебном Windows/Docker Desktop стенде.

  • Весь обязательный минимум текущей и предыдущих работ сохранён с объявленными переходами.
  • Контракт и публичные тесты не ослаблены.
  • make check и make test выполнены; приложен реальный вывод.
  • Сценарии отказов/безопасности своего уровня воспроизведены.
  • Все секреты и приватные ключи находятся вне Git; отчёт не содержит tokens.
  • README задания сохранён, REPORT.md содержит инструкцию именно моего решения.
## Лабораторная 6 **Автор / группа:** Авзалов Артур Марсович / БПИ2301 **Целевая оценка (3/4/5):** 4 **Трек 5, если заявлен:** не заявлен. ### Что реализовано и что перенесено Из Lab5 перенесены две FastAPI-реплики за HAProxy, PostgreSQL, Redis, приватное S3-хранилище SeaweedFS, RabbitMQ, Transactional Outbox, dispatcher и worker с идемпотентной обработкой изображений. В Lab6 реализованы: - Сбор метрик, логов и трасс через OpenTelemetry Collector. - Хранение метрик в Prometheus, логов в Loki, трасс в Tempo. - Grafana с автоматически подключаемыми источниками данных и dashboard из 16 панелей. - Сквозная трассировка API → dispatcher → RabbitMQ → worker → S3/PostgreSQL, включая повторные попытки обработки. - Метрики RPS, доли ошибок, p50/p95/p99, времени обработки и времени до ready. - Мониторинг глубины очереди, возраста заданий, DB pool, загрузки worker, CPU и памяти. - SLI доступности с целевым SLO 99% за пятиминутное окно. - Два алерта: высокая доля ошибок API и задержка обработки очереди. - Ограниченная буферизация и повторные попытки экспорта телеметрии при недоступности её хранилищ. ### Команды запуска из чистого clone ```powershell Copy-Item .env.example .env notepad .env ``` Заменить примерные пароли на собственные значения. ```powershell docker compose --env-file .env config --quiet docker compose --env-file .env up -d --build --wait docker compose --env-file .env ps make check make test ``` Grafana: http://localhost:3000/ Prometheus: http://localhost:9090/ Алерты: http://localhost:9090/alerts ### Результаты проверок и ссылка на REPORT.md Все шесть сценариев наблюдаемости выполнены на Windows/Docker Desktop: | Сценарий | Результат | |---|---| | metrics | PASS — метрики доступны, запрещённые ID labels отсутствуют | | trace-retry | PASS — сквозная трассировка, retry и корреляция логов | | queue-lag | PASS — алерт сработал при возрасте задания 27,57 с и разрешился после восстановления worker | | db-error | PASS — блокировка БД, HTTP 503, срабатывание и разрешение алерта | | backend-down | PASS — бизнес-операции продолжились при недоступности Tempo | | history | PASS — история метрик, логов и трасс сохранена после перезапуска хранилищ | При отказе Tempo выполнено 16 успешных записей, обработка изображений продолжилась. Максимальная наблюдаемая память Collector — 200,43 MiB при лимите 256 MiB, очередь экспорта — 18 из 64. Регрессионные проверки Lab5: unit, ACL, негативные сценарии, параллельная идемпотентность, остановка worker, падения dispatcher и worker — PASS. Нагрузочный эксперимент: - 10 параллельных загрузок, 10/10 вложений обработаны, 0 ошибок. - Скорость приёма — 3,976 RPS. - p50 загрузки — 2296,5 мс. - Все вложения готовы через 36,406 с. Реальный вывод обязательных проверок: ```text make check PASS: offline skeleton structure, local refs and Python syntax; application NOT tested. make test PASS: lab6 public API scenario; infrastructure and grading evidence remain separate. ``` Подробности и инструкции: [REPORT.md]. Подтверждённые результаты: [verified_results_2026-11-17.md] Скриншоты Grafana: - API и задания (evidence/grafana/01-api-and-jobs.png) - Worker и очередь (evidence/grafana/02-worker-and-queue.png) - DB pool и ресурсы (evidence/grafana/03-pool-and-resources.png) - Collector, алерты и SLO (evidence/grafana/04-collector-alerts-slo.png) ### Ограничения / известные ошибки - Инфраструктура развёрнута на одном Docker-хосте, хранилища представлены одиночными экземплярами. - При длительной недоступности хранилищ возможна потеря части телеметрии. Бизнес-операции не зависят от успешности её экспорта. - Нагрузочный эксперимент ограничен десятью параллельными загрузками. - Полный повтор persistence/failover и дополнительных сценариев pipeline_extended из Lab5 в текущем стенде не проводился. - Отдельное исследование на оценку 5 не заявлено. ### Источники и использование ИИ Использованы материалы курса, официальная документация OpenTelemetry, Prometheus, Grafana, Loki, Tempo и спецификация W3C Trace Context. ChatGPT применялся для проектирования архитектуры наблюдаемости, реализации инструментации, настройки инфраструктуры, разработки тестов, исправления диагностического теста и подготовки отчёта. Интеграционные проверки выполнены на учебном Windows/Docker Desktop стенде. - [x] Весь обязательный минимум текущей и предыдущих работ сохранён с объявленными переходами. - [x] Контракт и публичные тесты не ослаблены. - [x] make check и make test выполнены; приложен реальный вывод. - [x] Сценарии отказов/безопасности своего уровня воспроизведены. - [x] Все секреты и приватные ключи находятся вне Git; отчёт не содержит tokens. - [x] README задания сохранён, REPORT.md содержит инструкцию именно моего решения.
Ferraronp added 1 commit 2026-11-17 19:20:43 +03:00
You are not authorized to merge this pull request.
This pull request can be merged automatically.
View command line instructions

Checkout

From your project repository, check out a new branch and test the changes.
git fetch -u https://gitea.privcloud.tech/Ferraronp/mtusi2026lab6 main:Ferraronp-main
git checkout Ferraronp-main
Sign in to join this conversation.
No Reviewers
No labels
1 Participants
Notifications
Due Date
No due date set.
Dependencies

No dependencies set.

Reference: mtusi2026/mtusi2026lab6#42