Автор / группа: Васюкова Наталья, БВТ2303
Целевая оценка: 4
Трек 5: не заявлен
Что реализовано и что перенесено: перенесён весь минимум lab5 (2 API-реплики за nginx, PostgreSQL, Redis, MinIO, RabbitMQ, worker, outbox, s3_cleanup) без изменения бизнес-API. Добавлено: OTel SDK в API/worker/outbox (OTLP/HTTP → Collector), Collector с memory_limiter/batch и ограниченной буферизацией, хранилища Prometheus/Loki/Tempo, Grafana provisioning (datasources, dashboard messenger-lab6, alert rules), W3C trace context сквозь outbox → RabbitMQ → worker, структурные логи с trace_id/span_id, HTTP- и job-метрики с низкокардинальными labels.
make check → PASS, make validate → PASS, make test → PASS: lab6 public API scenario.
test-persistence и test-failover → PASS (тот же токен и SHA-256 файла; observed_instances_before=2, failed_attempts=0).
student-tests/lab6_test_level4.py → PASS: сквозной trace POST …/attachments → job.publish → job.consume; required-метрики в Prometheus с низкой кардинальностью; логи api+worker с ненулевым trace_id; dashboard + ≥2 alert rules в Grafana; alert firing/resolved на остановке PostgreSQL; API работает при недоступных Tempo/Loki/Prometheus, Collector в лимите RAM.
Ссылка на отчёт: REPORT.md в этом PR.
Ограничения / известные ошибки:
Один Docker-host: HA к потере host не заявляется; 2 реплики + LB защищают только от отказа одной реплики.
SLI/SLO учебные, пороговые; burn-rate multi-window alerting (трек 2 на 5) не реализован.
Sampling не настроен; при недоступных Tempo/Loki возможна ограниченная потеря telemetry (queue_size=1000, max_elapsed_time=60s), отдельного счётчика потерь нет.
Абсолютные RPS/p95 в отчёте не приводятся (closed-loop на ноутбуке); для 4 это не требуется.
Источники и использование ИИ:
Контракт и методичка: contracts/openapi.json, contracts/README.md, contracts/observability.md, README.md, COURSE.md, CONTRIBUTING.md.
ИИ: DeepSeek — помощь в структурировании кода и отчёта. Весь код проверен, отредактирован и запущен разработчиком.
Весь обязательный минимум текущей и предыдущих работ сохранён с объявленными переходами.
Контракт и публичные тесты не ослаблены.
make check и make test выполнены; приложен реальный вывод.
Сценарии отказов/безопасности своего уровня воспроизведены.
Все секреты и приватные ключи находятся вне Git; отчёт не содержит tokens.
README задания сохранён, REPORT.md содержит инструкцию именно моего решения.
## Лабораторная 6
Автор / группа: Васюкова Наталья, БВТ2303
Целевая оценка: 4
Трек 5: не заявлен
Что реализовано и что перенесено: перенесён весь минимум lab5 (2 API-реплики за nginx, PostgreSQL, Redis, MinIO, RabbitMQ, worker, outbox, s3_cleanup) без изменения бизнес-API. Добавлено: OTel SDK в API/worker/outbox (OTLP/HTTP → Collector), Collector с `memory_limiter`/`batch` и ограниченной буферизацией, хранилища Prometheus/Loki/Tempo, Grafana provisioning (datasources, dashboard `messenger-lab6`, alert rules), W3C trace context сквозь outbox → RabbitMQ → worker, структурные логи с `trace_id`/`span_id`, HTTP- и job-метрики с низкокардинальными labels.
Команды запуска из чистого clone:
```
git clone https://gitflic.ru/project/vasyukova-nat/mtusi2026lab5.git
git checkout solution/BVT2303-Vasyukova
copy .env.example .env
docker compose --env-file .env up -d --build
curl.exe -s http://localhost:8080/health/ready # {"status":"ok"}
```
Grafana: `http://localhost:3000` (admin/admin). Подробности — `REPORT.md`.
Результаты проверок и ссылка на REPORT.md:
- `make check` → PASS, `make validate` → PASS, `make test` → `PASS: lab6 public API scenario`.
- `test-persistence` и `test-failover` → PASS (тот же токен и SHA-256 файла; observed_instances_before=2, failed_attempts=0).
- `student-tests/lab6_test_level4.py` → PASS: сквозной trace `POST …/attachments` → `job.publish` → `job.consume`; required-метрики в Prometheus с низкой кардинальностью; логи api+worker с ненулевым `trace_id`; dashboard + ≥2 alert rules в Grafana; alert firing/resolved на остановке PostgreSQL; API работает при недоступных Tempo/Loki/Prometheus, Collector в лимите RAM.
- Ссылка на отчёт: `REPORT.md` в этом PR.
Ограничения / известные ошибки:
- Один Docker-host: HA к потере host не заявляется; 2 реплики + LB защищают только от отказа одной реплики.
- SLI/SLO учебные, пороговые; burn-rate multi-window alerting (трек 2 на 5) не реализован.
- Sampling не настроен; при недоступных Tempo/Loki возможна ограниченная потеря telemetry (queue_size=1000, max_elapsed_time=60s), отдельного счётчика потерь нет.
- Абсолютные RPS/p95 в отчёте не приводятся (closed-loop на ноутбуке); для 4 это не требуется.
Источники и использование ИИ:
- Контракт и методичка: `contracts/openapi.json`, `contracts/README.md`, `contracts/observability.md`, `README.md`, `COURSE.md`, `CONTRIBUTING.md`.
- Библиотеки: FastAPI 0.115.0, uvicorn 0.32.0, psycopg 3.2.3, redis 5.2.0, boto3 1.35.74, Pillow 11.0.0, pika 1.3.2, opentelemetry-* 1.28.2 / 0.49b2.
- ИИ: DeepSeek — помощь в структурировании кода и отчёта. Весь код проверен, отредактирован и запущен разработчиком.
- [x] Весь обязательный минимум текущей и предыдущих работ сохранён с объявленными переходами.
- [x] Контракт и публичные тесты не ослаблены.
- [x] make check и make test выполнены; приложен реальный вывод.
- [x] Сценарии отказов/безопасности своего уровня воспроизведены.
- [x] Все секреты и приватные ключи находятся вне Git; отчёт не содержит tokens.
- [x] README задания сохранён, REPORT.md содержит инструкцию именно моего решения.
Больше комменты, чем проблемы (в целом, можно не править на 4):
Остановка worker не обнаруживается средствами наблюдаемости.
В проверке шесть принятых jobs оставались в очереди, возраст старейшей вырос с 6,9 до 50,3 с. В Prometheus и dashboard соответствующих сигналов нет.
Вместо queue lag правило сравнивает количество retry и success. При остановленном worker обработка не происходит — новые retry тоже не появляются. Поэтому правило не отражает именно тот инцидент, который обязателен в задании. alerts.yaml:19.
Требуется добавить queue depth и oldest job age, вывести их на dashboard и построить alert по реальному накоплению/старению задач. Также отсутствуют DB pool, worker busy/capacity и histogram времени от принятия upload до ready. Без них нельзя уверенно различить остановку worker, насыщение обработчика и ожидание БД.
Grafana alerts фактически не вычисляют условия.
Datasources Prometheus и Loki создаются без заданных UID, а правила и панели обращаются к UID prometheus и loki. В прогоне оба запроса к этим UID возвращали 404, оба Grafana rules имели health=error: data source not found. datasources.yaml:4, rules.yaml:17.
Наличие импортированных rules ещё не означает работающую сигнализацию. Здесь также ломаются панель логов и переход из trace к логам.
Исправление небольшое: согласовать UID в provisioning и всех ссылках. Затем на чистом стенде проверить работоспособность запросов и переход firing → resolved. Prometheus alert при отказе БД отдельно сработал успешно — это следует отличать от сломанных Grafana rules.
Tracing теряет входную причинную связь и не раскрывает работу зависимостей.
Контролируемый upload отправлялся с валидным traceparent. Ожидалось продолжение заданного trace, но API создал другой trace ID. Все HTTP spans оказались SPAN_KIND_INTERNAL; SERVER spans отсутствовали. Порядок middleware приводит к созданию собственного root span до обработки входного context. src/app/main.py:104.
Внутренняя цепочка API → producer → consumer связана корректно, включая retry. Однако дальше виден только общий job.consume: отдельных операций чтения/записи S3 и публикации результата в DB нет. Поэтому trace не позволяет разложить задержку обработки по зависимостям. src/app/worker.py:143.
Нужно исправить извлечение context и порядок инструментации HTTP, затем добавить S3/DB spans с корректными parent-child связями.
Dashboard показывает недостоверные percentile задержки.
Длительности записываются в секундах, но buckets имеют границы 0, 5, 10… секунд. Практически все быстрые запросы попадают в один широкий bucket.
На одном нагрузочном прогоне клиентский p95 составил 15,72 мс, а запрос dashboard вернул 4,75 с. Это результат грубой интерполяции внутри bucket, а не измеренная задержка около пяти секунд. Аналогичная проблема есть у worker. src/app/main.py:59, src/app/worker.py:54.
Формула объединения buckets правильная. Исправлять нужно их границы: обеспечить разрешение для миллисекундных задержек и около порога SLO. Иначе p95/p99 и alert с порогом 2 с вводят в заблуждение.
Больше комменты, чем проблемы (в целом, можно не править на 4):
1. Остановка worker не обнаруживается средствами наблюдаемости.
В проверке шесть принятых jobs оставались в очереди, возраст старейшей вырос с 6,9 до 50,3 с. В Prometheus и dashboard соответствующих сигналов нет.
Вместо queue lag правило сравнивает количество retry и success. При остановленном worker обработка не происходит — новые retry тоже не появляются. Поэтому правило не отражает именно тот инцидент, который обязателен в задании. [alerts.yaml:19](https://gitea.privcloud.tech/Vasyukova-Nat/mtusi2026lab6/src/commit/d169076e30970964b2a98cd995db92403ec3337a/infra/prometheus/rules/alerts.yaml#L19).
Требуется добавить queue depth и oldest job age, вывести их на dashboard и построить alert по реальному накоплению/старению задач. Также отсутствуют DB pool, worker busy/capacity и histogram времени от принятия upload до ready. Без них нельзя уверенно различить остановку worker, насыщение обработчика и ожидание БД.
2. Grafana alerts фактически не вычисляют условия.
Datasources Prometheus и Loki создаются без заданных UID, а правила и панели обращаются к UID prometheus и loki. В прогоне оба запроса к этим UID возвращали 404, оба Grafana rules имели health=error: data source not found. [datasources.yaml:4](https://gitea.privcloud.tech/Vasyukova-Nat/mtusi2026lab6/src/commit/d169076e30970964b2a98cd995db92403ec3337a/infra/grafana/provisioning/datasources/datasources.yaml#L4), [rules.yaml:17](https://gitea.privcloud.tech/Vasyukova-Nat/mtusi2026lab6/src/commit/d169076e30970964b2a98cd995db92403ec3337a/infra/grafana/provisioning/alerting/rules.yaml#L17).
Наличие импортированных rules ещё не означает работающую сигнализацию. Здесь также ломаются панель логов и переход из trace к логам.
Исправление небольшое: согласовать UID в provisioning и всех ссылках. Затем на чистом стенде проверить работоспособность запросов и переход firing → resolved. Prometheus alert при отказе БД отдельно сработал успешно — это следует отличать от сломанных Grafana rules.
3. Tracing теряет входную причинную связь и не раскрывает работу зависимостей.
Контролируемый upload отправлялся с валидным traceparent. Ожидалось продолжение заданного trace, но API создал другой trace ID. Все HTTP spans оказались SPAN_KIND_INTERNAL; SERVER spans отсутствовали. Порядок middleware приводит к созданию собственного root span до обработки входного context. [src/app/main.py:104](https://gitea.privcloud.tech/Vasyukova-Nat/mtusi2026lab6/src/commit/d169076e30970964b2a98cd995db92403ec3337a/src/app/main.py#L104).
Внутренняя цепочка API → producer → consumer связана корректно, включая retry. Однако дальше виден только общий job.consume: отдельных операций чтения/записи S3 и публикации результата в DB нет. Поэтому trace не позволяет разложить задержку обработки по зависимостям. [src/app/worker.py:143](https://gitea.privcloud.tech/Vasyukova-Nat/mtusi2026lab6/src/commit/d169076e30970964b2a98cd995db92403ec3337a/src/app/worker.py#L143).
Нужно исправить извлечение context и порядок инструментации HTTP, затем добавить S3/DB spans с корректными parent-child связями.
4. Dashboard показывает недостоверные percentile задержки.
Длительности записываются в секундах, но buckets имеют границы 0, 5, 10… секунд. Практически все быстрые запросы попадают в один широкий bucket.
На одном нагрузочном прогоне клиентский p95 составил 15,72 мс, а запрос dashboard вернул 4,75 с. Это результат грубой интерполяции внутри bucket, а не измеренная задержка около пяти секунд. Аналогичная проблема есть у worker. [src/app/main.py:59](https://gitea.privcloud.tech/Vasyukova-Nat/mtusi2026lab6/src/commit/d169076e30970964b2a98cd995db92403ec3337a/src/app/main.py#L59), [src/app/worker.py:54](https://gitea.privcloud.tech/Vasyukova-Nat/mtusi2026lab6/src/commit/d169076e30970964b2a98cd995db92403ec3337a/src/app/worker.py#L54).
Формула объединения buckets правильная. Исправлять нужно их границы: обеспечить разрешение для миллисекундных задержек и около порога SLO. Иначе p95/p99 и alert с порогом 2 с вводят в заблуждение.
Blocking a user prevents them from interacting with repositories, such as opening or commenting on pull requests or issues. Learn more about blocking a user.
Лабораторная 6
Автор / группа: Васюкова Наталья, БВТ2303
Целевая оценка: 4
Трек 5: не заявлен
Что реализовано и что перенесено: перенесён весь минимум lab5 (2 API-реплики за nginx, PostgreSQL, Redis, MinIO, RabbitMQ, worker, outbox, s3_cleanup) без изменения бизнес-API. Добавлено: OTel SDK в API/worker/outbox (OTLP/HTTP → Collector), Collector с
memory_limiter/batchи ограниченной буферизацией, хранилища Prometheus/Loki/Tempo, Grafana provisioning (datasources, dashboardmessenger-lab6, alert rules), W3C trace context сквозь outbox → RabbitMQ → worker, структурные логи сtrace_id/span_id, HTTP- и job-метрики с низкокардинальными labels.Команды запуска из чистого clone:
Grafana:
http://localhost:3000(admin/admin). Подробности —REPORT.md.Результаты проверок и ссылка на REPORT.md:
make check→ PASS,make validate→ PASS,make test→PASS: lab6 public API scenario.test-persistenceиtest-failover→ PASS (тот же токен и SHA-256 файла; observed_instances_before=2, failed_attempts=0).student-tests/lab6_test_level4.py→ PASS: сквозной tracePOST …/attachments→job.publish→job.consume; required-метрики в Prometheus с низкой кардинальностью; логи api+worker с ненулевымtrace_id; dashboard + ≥2 alert rules в Grafana; alert firing/resolved на остановке PostgreSQL; API работает при недоступных Tempo/Loki/Prometheus, Collector в лимите RAM.REPORT.mdв этом PR.Ограничения / известные ошибки:
Источники и использование ИИ:
Контракт и методичка:
contracts/openapi.json,contracts/README.md,contracts/observability.md,README.md,COURSE.md,CONTRIBUTING.md.Библиотеки: FastAPI 0.115.0, uvicorn 0.32.0, psycopg 3.2.3, redis 5.2.0, boto3 1.35.74, Pillow 11.0.0, pika 1.3.2, opentelemetry-* 1.28.2 / 0.49b2.
ИИ: DeepSeek — помощь в структурировании кода и отчёта. Весь код проверен, отредактирован и запущен разработчиком.
Весь обязательный минимум текущей и предыдущих работ сохранён с объявленными переходами.
Контракт и публичные тесты не ослаблены.
make check и make test выполнены; приложен реальный вывод.
Сценарии отказов/безопасности своего уровня воспроизведены.
Все секреты и приватные ключи находятся вне Git; отчёт не содержит tokens.
README задания сохранён, REPORT.md содержит инструкцию именно моего решения.
Больше комменты, чем проблемы (в целом, можно не править на 4):
В проверке шесть принятых jobs оставались в очереди, возраст старейшей вырос с 6,9 до 50,3 с. В Prometheus и dashboard соответствующих сигналов нет.
Вместо queue lag правило сравнивает количество retry и success. При остановленном worker обработка не происходит — новые retry тоже не появляются. Поэтому правило не отражает именно тот инцидент, который обязателен в задании. alerts.yaml:19.
Требуется добавить queue depth и oldest job age, вывести их на dashboard и построить alert по реальному накоплению/старению задач. Также отсутствуют DB pool, worker busy/capacity и histogram времени от принятия upload до ready. Без них нельзя уверенно различить остановку worker, насыщение обработчика и ожидание БД.
Datasources Prometheus и Loki создаются без заданных UID, а правила и панели обращаются к UID prometheus и loki. В прогоне оба запроса к этим UID возвращали 404, оба Grafana rules имели health=error: data source not found. datasources.yaml:4, rules.yaml:17.
Наличие импортированных rules ещё не означает работающую сигнализацию. Здесь также ломаются панель логов и переход из trace к логам.
Исправление небольшое: согласовать UID в provisioning и всех ссылках. Затем на чистом стенде проверить работоспособность запросов и переход firing → resolved. Prometheus alert при отказе БД отдельно сработал успешно — это следует отличать от сломанных Grafana rules.
Контролируемый upload отправлялся с валидным traceparent. Ожидалось продолжение заданного trace, но API создал другой trace ID. Все HTTP spans оказались SPAN_KIND_INTERNAL; SERVER spans отсутствовали. Порядок middleware приводит к созданию собственного root span до обработки входного context. src/app/main.py:104.
Внутренняя цепочка API → producer → consumer связана корректно, включая retry. Однако дальше виден только общий job.consume: отдельных операций чтения/записи S3 и публикации результата в DB нет. Поэтому trace не позволяет разложить задержку обработки по зависимостям. src/app/worker.py:143.
Нужно исправить извлечение context и порядок инструментации HTTP, затем добавить S3/DB spans с корректными parent-child связями.
Длительности записываются в секундах, но buckets имеют границы 0, 5, 10… секунд. Практически все быстрые запросы попадают в один широкий bucket.
На одном нагрузочном прогоне клиентский p95 составил 15,72 мс, а запрос dashboard вернул 4,75 с. Это результат грубой интерполяции внутри bucket, а не измеренная задержка около пяти секунд. Аналогичная проблема есть у worker. src/app/main.py:59, src/app/worker.py:54.
Формула объединения buckets правильная. Исправлять нужно их границы: обеспечить разрешение для миллисекундных задержек и около порога SLO. Иначе p95/p99 и alert с порогом 2 с вводят в заблуждение.
Принято. Закрываю МР.
Pull request closed