ЛР 6 — БВТ2303 — Васюкова — на 4 #3

Closed
Vasyukova-Nat wants to merge 19 commits from Vasyukova-Nat/mtusi2026lab6:solution/BVT2303-Vasyukova into main
First-time contributor

Лабораторная 6

Автор / группа: Васюкова Наталья, БВТ2303
Целевая оценка: 4
Трек 5: не заявлен

Что реализовано и что перенесено: перенесён весь минимум lab5 (2 API-реплики за nginx, PostgreSQL, Redis, MinIO, RabbitMQ, worker, outbox, s3_cleanup) без изменения бизнес-API. Добавлено: OTel SDK в API/worker/outbox (OTLP/HTTP → Collector), Collector с memory_limiter/batch и ограниченной буферизацией, хранилища Prometheus/Loki/Tempo, Grafana provisioning (datasources, dashboard messenger-lab6, alert rules), W3C trace context сквозь outbox → RabbitMQ → worker, структурные логи с trace_id/span_id, HTTP- и job-метрики с низкокардинальными labels.

Команды запуска из чистого clone:

git clone https://gitflic.ru/project/vasyukova-nat/mtusi2026lab5.git
git checkout solution/BVT2303-Vasyukova
copy .env.example .env
docker compose --env-file .env up -d --build
curl.exe -s http://localhost:8080/health/ready   # {"status":"ok"}

Grafana: http://localhost:3000 (admin/admin). Подробности — REPORT.md.

Результаты проверок и ссылка на REPORT.md:

  • make check → PASS, make validate → PASS, make test → PASS: lab6 public API scenario.
  • test-persistence и test-failover → PASS (тот же токен и SHA-256 файла; observed_instances_before=2, failed_attempts=0).
  • student-tests/lab6_test_level4.py → PASS: сквозной trace POST …/attachments → job.publish → job.consume; required-метрики в Prometheus с низкой кардинальностью; логи api+worker с ненулевым trace_id; dashboard + ≥2 alert rules в Grafana; alert firing/resolved на остановке PostgreSQL; API работает при недоступных Tempo/Loki/Prometheus, Collector в лимите RAM.
  • Ссылка на отчёт: REPORT.md в этом PR.

Ограничения / известные ошибки:

  • Один Docker-host: HA к потере host не заявляется; 2 реплики + LB защищают только от отказа одной реплики.
  • SLI/SLO учебные, пороговые; burn-rate multi-window alerting (трек 2 на 5) не реализован.
  • Sampling не настроен; при недоступных Tempo/Loki возможна ограниченная потеря telemetry (queue_size=1000, max_elapsed_time=60s), отдельного счётчика потерь нет.
  • Абсолютные RPS/p95 в отчёте не приводятся (closed-loop на ноутбуке); для 4 это не требуется.

Источники и использование ИИ:

  • Контракт и методичка: contracts/openapi.json, contracts/README.md, contracts/observability.md, README.md, COURSE.md, CONTRIBUTING.md.

  • Библиотеки: FastAPI 0.115.0, uvicorn 0.32.0, psycopg 3.2.3, redis 5.2.0, boto3 1.35.74, Pillow 11.0.0, pika 1.3.2, opentelemetry-* 1.28.2 / 0.49b2.

  • ИИ: DeepSeek — помощь в структурировании кода и отчёта. Весь код проверен, отредактирован и запущен разработчиком.

  • Весь обязательный минимум текущей и предыдущих работ сохранён с объявленными переходами.

  • Контракт и публичные тесты не ослаблены.

  • make check и make test выполнены; приложен реальный вывод.

  • Сценарии отказов/безопасности своего уровня воспроизведены.

  • Все секреты и приватные ключи находятся вне Git; отчёт не содержит tokens.

  • README задания сохранён, REPORT.md содержит инструкцию именно моего решения.

## Лабораторная 6 Автор / группа: Васюкова Наталья, БВТ2303 Целевая оценка: 4 Трек 5: не заявлен Что реализовано и что перенесено: перенесён весь минимум lab5 (2 API-реплики за nginx, PostgreSQL, Redis, MinIO, RabbitMQ, worker, outbox, s3_cleanup) без изменения бизнес-API. Добавлено: OTel SDK в API/worker/outbox (OTLP/HTTP → Collector), Collector с `memory_limiter`/`batch` и ограниченной буферизацией, хранилища Prometheus/Loki/Tempo, Grafana provisioning (datasources, dashboard `messenger-lab6`, alert rules), W3C trace context сквозь outbox → RabbitMQ → worker, структурные логи с `trace_id`/`span_id`, HTTP- и job-метрики с низкокардинальными labels. Команды запуска из чистого clone: ``` git clone https://gitflic.ru/project/vasyukova-nat/mtusi2026lab5.git git checkout solution/BVT2303-Vasyukova copy .env.example .env docker compose --env-file .env up -d --build curl.exe -s http://localhost:8080/health/ready # {"status":"ok"} ``` Grafana: `http://localhost:3000` (admin/admin). Подробности — `REPORT.md`. Результаты проверок и ссылка на REPORT.md: - `make check` → PASS, `make validate` → PASS, `make test` → `PASS: lab6 public API scenario`. - `test-persistence` и `test-failover` → PASS (тот же токен и SHA-256 файла; observed_instances_before=2, failed_attempts=0). - `student-tests/lab6_test_level4.py` → PASS: сквозной trace `POST …/attachments` → `job.publish` → `job.consume`; required-метрики в Prometheus с низкой кардинальностью; логи api+worker с ненулевым `trace_id`; dashboard + ≥2 alert rules в Grafana; alert firing/resolved на остановке PostgreSQL; API работает при недоступных Tempo/Loki/Prometheus, Collector в лимите RAM. - Ссылка на отчёт: `REPORT.md` в этом PR. Ограничения / известные ошибки: - Один Docker-host: HA к потере host не заявляется; 2 реплики + LB защищают только от отказа одной реплики. - SLI/SLO учебные, пороговые; burn-rate multi-window alerting (трек 2 на 5) не реализован. - Sampling не настроен; при недоступных Tempo/Loki возможна ограниченная потеря telemetry (queue_size=1000, max_elapsed_time=60s), отдельного счётчика потерь нет. - Абсолютные RPS/p95 в отчёте не приводятся (closed-loop на ноутбуке); для 4 это не требуется. Источники и использование ИИ: - Контракт и методичка: `contracts/openapi.json`, `contracts/README.md`, `contracts/observability.md`, `README.md`, `COURSE.md`, `CONTRIBUTING.md`. - Библиотеки: FastAPI 0.115.0, uvicorn 0.32.0, psycopg 3.2.3, redis 5.2.0, boto3 1.35.74, Pillow 11.0.0, pika 1.3.2, opentelemetry-* 1.28.2 / 0.49b2. - ИИ: DeepSeek — помощь в структурировании кода и отчёта. Весь код проверен, отредактирован и запущен разработчиком. - [x] Весь обязательный минимум текущей и предыдущих работ сохранён с объявленными переходами. - [x] Контракт и публичные тесты не ослаблены. - [x] make check и make test выполнены; приложен реальный вывод. - [x] Сценарии отказов/безопасности своего уровня воспроизведены. - [x] Все секреты и приватные ключи находятся вне Git; отчёт не содержит tokens. - [x] README задания сохранён, REPORT.md содержит инструкцию именно моего решения.
Vasyukova-Nat added 16 commits 2026-10-30 19:34:57 +03:00
Owner

Больше комменты, чем проблемы (в целом, можно не править на 4):

  1. Остановка worker не обнаруживается средствами наблюдаемости.
    В проверке шесть принятых jobs оставались в очереди, возраст старейшей вырос с 6,9 до 50,3 с. В Prometheus и dashboard соответствующих сигналов нет.
    Вместо queue lag правило сравнивает количество retry и success. При остановленном worker обработка не происходит — новые retry тоже не появляются. Поэтому правило не отражает именно тот инцидент, который обязателен в задании. alerts.yaml:19.
    Требуется добавить queue depth и oldest job age, вывести их на dashboard и построить alert по реальному накоплению/старению задач. Также отсутствуют DB pool, worker busy/capacity и histogram времени от принятия upload до ready. Без них нельзя уверенно различить остановку worker, насыщение обработчика и ожидание БД.
  2. Grafana alerts фактически не вычисляют условия.
    Datasources Prometheus и Loki создаются без заданных UID, а правила и панели обращаются к UID prometheus и loki. В прогоне оба запроса к этим UID возвращали 404, оба Grafana rules имели health=error: data source not found. datasources.yaml:4, rules.yaml:17.
    Наличие импортированных rules ещё не означает работающую сигнализацию. Здесь также ломаются панель логов и переход из trace к логам.
    Исправление небольшое: согласовать UID в provisioning и всех ссылках. Затем на чистом стенде проверить работоспособность запросов и переход firing → resolved. Prometheus alert при отказе БД отдельно сработал успешно — это следует отличать от сломанных Grafana rules.
  3. Tracing теряет входную причинную связь и не раскрывает работу зависимостей.
    Контролируемый upload отправлялся с валидным traceparent. Ожидалось продолжение заданного trace, но API создал другой trace ID. Все HTTP spans оказались SPAN_KIND_INTERNAL; SERVER spans отсутствовали. Порядок middleware приводит к созданию собственного root span до обработки входного context. src/app/main.py:104.
    Внутренняя цепочка API → producer → consumer связана корректно, включая retry. Однако дальше виден только общий job.consume: отдельных операций чтения/записи S3 и публикации результата в DB нет. Поэтому trace не позволяет разложить задержку обработки по зависимостям. src/app/worker.py:143.
    Нужно исправить извлечение context и порядок инструментации HTTP, затем добавить S3/DB spans с корректными parent-child связями.
  4. Dashboard показывает недостоверные percentile задержки.
    Длительности записываются в секундах, но buckets имеют границы 0, 5, 10… секунд. Практически все быстрые запросы попадают в один широкий bucket.
    На одном нагрузочном прогоне клиентский p95 составил 15,72 мс, а запрос dashboard вернул 4,75 с. Это результат грубой интерполяции внутри bucket, а не измеренная задержка около пяти секунд. Аналогичная проблема есть у worker. src/app/main.py:59, src/app/worker.py:54.
    Формула объединения buckets правильная. Исправлять нужно их границы: обеспечить разрешение для миллисекундных задержек и около порога SLO. Иначе p95/p99 и alert с порогом 2 с вводят в заблуждение.
Больше комменты, чем проблемы (в целом, можно не править на 4): 1. Остановка worker не обнаруживается средствами наблюдаемости. В проверке шесть принятых jobs оставались в очереди, возраст старейшей вырос с 6,9 до 50,3 с. В Prometheus и dashboard соответствующих сигналов нет. Вместо queue lag правило сравнивает количество retry и success. При остановленном worker обработка не происходит — новые retry тоже не появляются. Поэтому правило не отражает именно тот инцидент, который обязателен в задании. [alerts.yaml:19](https://gitea.privcloud.tech/Vasyukova-Nat/mtusi2026lab6/src/commit/d169076e30970964b2a98cd995db92403ec3337a/infra/prometheus/rules/alerts.yaml#L19). Требуется добавить queue depth и oldest job age, вывести их на dashboard и построить alert по реальному накоплению/старению задач. Также отсутствуют DB pool, worker busy/capacity и histogram времени от принятия upload до ready. Без них нельзя уверенно различить остановку worker, насыщение обработчика и ожидание БД. 2. Grafana alerts фактически не вычисляют условия. Datasources Prometheus и Loki создаются без заданных UID, а правила и панели обращаются к UID prometheus и loki. В прогоне оба запроса к этим UID возвращали 404, оба Grafana rules имели health=error: data source not found. [datasources.yaml:4](https://gitea.privcloud.tech/Vasyukova-Nat/mtusi2026lab6/src/commit/d169076e30970964b2a98cd995db92403ec3337a/infra/grafana/provisioning/datasources/datasources.yaml#L4), [rules.yaml:17](https://gitea.privcloud.tech/Vasyukova-Nat/mtusi2026lab6/src/commit/d169076e30970964b2a98cd995db92403ec3337a/infra/grafana/provisioning/alerting/rules.yaml#L17). Наличие импортированных rules ещё не означает работающую сигнализацию. Здесь также ломаются панель логов и переход из trace к логам. Исправление небольшое: согласовать UID в provisioning и всех ссылках. Затем на чистом стенде проверить работоспособность запросов и переход firing → resolved. Prometheus alert при отказе БД отдельно сработал успешно — это следует отличать от сломанных Grafana rules. 3. Tracing теряет входную причинную связь и не раскрывает работу зависимостей. Контролируемый upload отправлялся с валидным traceparent. Ожидалось продолжение заданного trace, но API создал другой trace ID. Все HTTP spans оказались SPAN_KIND_INTERNAL; SERVER spans отсутствовали. Порядок middleware приводит к созданию собственного root span до обработки входного context. [src/app/main.py:104](https://gitea.privcloud.tech/Vasyukova-Nat/mtusi2026lab6/src/commit/d169076e30970964b2a98cd995db92403ec3337a/src/app/main.py#L104). Внутренняя цепочка API → producer → consumer связана корректно, включая retry. Однако дальше виден только общий job.consume: отдельных операций чтения/записи S3 и публикации результата в DB нет. Поэтому trace не позволяет разложить задержку обработки по зависимостям. [src/app/worker.py:143](https://gitea.privcloud.tech/Vasyukova-Nat/mtusi2026lab6/src/commit/d169076e30970964b2a98cd995db92403ec3337a/src/app/worker.py#L143). Нужно исправить извлечение context и порядок инструментации HTTP, затем добавить S3/DB spans с корректными parent-child связями. 4. Dashboard показывает недостоверные percentile задержки. Длительности записываются в секундах, но buckets имеют границы 0, 5, 10… секунд. Практически все быстрые запросы попадают в один широкий bucket. На одном нагрузочном прогоне клиентский p95 составил 15,72 мс, а запрос dashboard вернул 4,75 с. Это результат грубой интерполяции внутри bucket, а не измеренная задержка около пяти секунд. Аналогичная проблема есть у worker. [src/app/main.py:59](https://gitea.privcloud.tech/Vasyukova-Nat/mtusi2026lab6/src/commit/d169076e30970964b2a98cd995db92403ec3337a/src/app/main.py#L59), [src/app/worker.py:54](https://gitea.privcloud.tech/Vasyukova-Nat/mtusi2026lab6/src/commit/d169076e30970964b2a98cd995db92403ec3337a/src/app/worker.py#L54). Формула объединения buckets правильная. Исправлять нужно их границы: обеспечить разрешение для миллисекундных задержек и около порога SLO. Иначе p95/p99 и alert с порогом 2 с вводят в заблуждение.
Vasyukova-Nat added 1 commit 2026-10-30 23:54:06 +03:00
Vasyukova-Nat added 1 commit 2026-10-31 00:00:57 +03:00
Vasyukova-Nat added 1 commit 2026-10-31 00:11:44 +03:00
Owner

Принято. Закрываю МР.

Принято. Закрываю МР.
veprickiy closed this pull request 2026-10-31 16:00:24 +03:00

Pull request closed

Please reopen this pull request to perform a merge.
Sign in to join this conversation.
No Reviewers
No labels
2 Participants
Notifications
Due Date
No due date set.
Dependencies

No dependencies set.

Reference: mtusi2026/mtusi2026lab6#3