ЛР 6 — БПИ2301 — Антипин — на 5. #48

Open
Egor_Antipin wants to merge 3 commits from Egor_Antipin/mtusi2026lab6:solution/bpi2301-antipin into main
First-time contributor

Лабораторная 6

Автор / группа: Антипин Егор Иванович / БПИ2301

Целевая оценка (3/4/5): 5

Трек 5, если заявлен: «Цена наблюдаемости» — сравнение telemetry off, full 100%/10s, economy 5%/60s и balanced 25%/30s при одинаковом профиле нагрузки.

Что реализовано и что перенесено:

  • из lab5 перенесён и сохранён работающий минимум API/worker, PostgreSQL, Redis, RabbitMQ, MinIO, outbox/retry/DLQ и публичные тесты;
  • добавлены OpenTelemetry Java agent/API для API и worker, W3C trace context через RabbitMQ и durable retry, структурные OTLP logs, metrics и реальные traces;
  • в общий Compose добавлены OTel Collector с memory limiter/batch/bounded queues, Prometheus, Loki, Tempo и Grafana с persistent volumes;
  • provisioned datasources, импортируемый dashboard, p50/p95/p99 из histogram, error ratio, queue depth/age, DB pool, worker saturation, SLI/SLO и alert rules;
  • воспроизведены отказ worker, отказ PostgreSQL, retry через MinIO и недоступность Loki/Tempo с firing/resolved evidence;
  • проведён эксперимент стоимости телеметрии, проверены ingest/CPU/RAM/latency/sampling loss и выбран balanced-профиль: 25% parent-based traces, metrics 30s, все logs.

Команды запуска из чистого clone:

Copy-Item .env.example .env
# Заменить replace-with-* уникальными локальными значениями.
docker compose --env-file .env config --quiet
docker compose --env-file .env up -d --build
$env:PYTHONUTF8 = "1"
make check PYTHON=python
make test BASE_URL=http://localhost:8080 PYTHON=python
powershell -File scripts/experiment-observability-cost.ps1 `
  -BaseUrl http://localhost:8080 -LoadSeconds 45 -Concurrency 4

Результаты проверок и ссылка на REPORT.md:

  • make check PYTHON=python: PASS: offline skeleton structure, local refs and Python syntax;
  • make test BASE_URL=http://127.0.0.1:18080 PYTHON=python: PASS: lab6 public API scenario;
  • docker compose --env-file .env config --quiet: успешно;
  • balanced работает с OTEL_TRACES_SAMPLER_ARG=0.25, OTEL_METRIC_EXPORT_INTERVAL=30000; итоговый make test прошёл;
  • во всех четырёх cost-режимах 0 load errors и 0 Collector transport-lost spans; normalized Tempo+Loki ingest balanced — 2200.52 B/request против 6918.72 B/request в full;
  • sampling-probe: 40 контролируемых HTTP 500, 8 sampled и 32 unsampled logs; sampled trace найден в Tempo (200), unsampled отсутствует (404);
  • полный отчёт: REPORT.md; raw evidence: evidence/lab6-20261119-203024-observability-cost/.

Ограничения / известные ошибки:

  • стенд локальный и однорепличный, telemetry retention — 72 часа/3 дня;
  • cost experiment — один последовательный closed-loop прогон на Docker Desktop; абсолютные latency/CPU требуют повторов и confidence intervals перед production sizing;
  • head sampling принимает решение до outcome/duration: balanced может не сохранить около 75% единичных ошибок и редких slow traces, однако их logs и metric aggregates сохраняются;
  • на Windows перед make check нужен PYTHONUTF8=1, иначе Python с CP1251 не читает UTF-8 OpenAPI JSON.

Источники и использование ИИ:

  • использованы официальные спецификации/документация OpenTelemetry, W3C Trace Context, Prometheus histograms, Grafana provisioning, Loki и Tempo; ссылки зафиксированы в contracts/observability.md и REPORT.md;

  • OpenAI Codex использовался для переноса lab5, реализации конфигурации/инструментации, подготовки воспроизводимых scripts, запуска проверок и анализа evidence; итог подтверждён командами и raw-артефактами выше.

  • Весь обязательный минимум текущей и предыдущих работ сохранён с объявленными переходами.

  • Контракт и публичные тесты не ослаблены.

  • make check и make test выполнены; приложен реальный вывод.

  • Сценарии отказов/безопасности своего уровня воспроизведены.

  • Все секреты и приватные ключи находятся вне Git; отчёт не содержит tokens.

  • README задания сохранён, REPORT.md содержит инструкцию именно моего решения.

## Лабораторная 6 Автор / группа: Антипин Егор Иванович / БПИ2301 Целевая оценка (3/4/5): 5 Трек 5, если заявлен: «Цена наблюдаемости» — сравнение telemetry off, full 100%/10s, economy 5%/60s и balanced 25%/30s при одинаковом профиле нагрузки. Что реализовано и что перенесено: - из lab5 перенесён и сохранён работающий минимум API/worker, PostgreSQL, Redis, RabbitMQ, MinIO, outbox/retry/DLQ и публичные тесты; - добавлены OpenTelemetry Java agent/API для API и worker, W3C trace context через RabbitMQ и durable retry, структурные OTLP logs, metrics и реальные traces; - в общий Compose добавлены OTel Collector с memory limiter/batch/bounded queues, Prometheus, Loki, Tempo и Grafana с persistent volumes; - provisioned datasources, импортируемый dashboard, p50/p95/p99 из histogram, error ratio, queue depth/age, DB pool, worker saturation, SLI/SLO и alert rules; - воспроизведены отказ worker, отказ PostgreSQL, retry через MinIO и недоступность Loki/Tempo с firing/resolved evidence; - проведён эксперимент стоимости телеметрии, проверены ingest/CPU/RAM/latency/sampling loss и выбран balanced-профиль: 25% parent-based traces, metrics 30s, все logs. Команды запуска из чистого clone: ```powershell Copy-Item .env.example .env # Заменить replace-with-* уникальными локальными значениями. docker compose --env-file .env config --quiet docker compose --env-file .env up -d --build $env:PYTHONUTF8 = "1" make check PYTHON=python make test BASE_URL=http://localhost:8080 PYTHON=python powershell -File scripts/experiment-observability-cost.ps1 ` -BaseUrl http://localhost:8080 -LoadSeconds 45 -Concurrency 4 ``` Результаты проверок и ссылка на REPORT.md: - `make check PYTHON=python`: `PASS: offline skeleton structure, local refs and Python syntax`; - `make test BASE_URL=http://127.0.0.1:18080 PYTHON=python`: `PASS: lab6 public API scenario`; - `docker compose --env-file .env config --quiet`: успешно; - balanced работает с `OTEL_TRACES_SAMPLER_ARG=0.25`, `OTEL_METRIC_EXPORT_INTERVAL=30000`; итоговый `make test` прошёл; - во всех четырёх cost-режимах 0 load errors и 0 Collector transport-lost spans; normalized Tempo+Loki ingest balanced — 2200.52 B/request против 6918.72 B/request в full; - sampling-probe: 40 контролируемых HTTP 500, 8 sampled и 32 unsampled logs; sampled trace найден в Tempo (200), unsampled отсутствует (404); - полный отчёт: [`REPORT.md`](../REPORT.md); raw evidence: [`evidence/lab6-20261119-203024-observability-cost/`](../evidence/lab6-20261119-203024-observability-cost/). Ограничения / известные ошибки: - стенд локальный и однорепличный, telemetry retention — 72 часа/3 дня; - cost experiment — один последовательный closed-loop прогон на Docker Desktop; абсолютные latency/CPU требуют повторов и confidence intervals перед production sizing; - head sampling принимает решение до outcome/duration: balanced может не сохранить около 75% единичных ошибок и редких slow traces, однако их logs и metric aggregates сохраняются; - на Windows перед `make check` нужен `PYTHONUTF8=1`, иначе Python с CP1251 не читает UTF-8 OpenAPI JSON. Источники и использование ИИ: - использованы официальные спецификации/документация OpenTelemetry, W3C Trace Context, Prometheus histograms, Grafana provisioning, Loki и Tempo; ссылки зафиксированы в `contracts/observability.md` и `REPORT.md`; - OpenAI Codex использовался для переноса lab5, реализации конфигурации/инструментации, подготовки воспроизводимых scripts, запуска проверок и анализа evidence; итог подтверждён командами и raw-артефактами выше. - [x] Весь обязательный минимум текущей и предыдущих работ сохранён с объявленными переходами. - [x] Контракт и публичные тесты не ослаблены. - [x] make check и make test выполнены; приложен реальный вывод. - [x] Сценарии отказов/безопасности своего уровня воспроизведены. - [x] Все секреты и приватные ключи находятся вне Git; отчёт не содержит tokens. - [x] README задания сохранён, REPORT.md содержит инструкцию именно моего решения.
Egor_Antipin added 3 commits 2026-11-19 21:07:30 +03:00
You are not authorized to merge this pull request.
This pull request can be merged automatically.
View command line instructions

Checkout

From your project repository, check out a new branch and test the changes.
git fetch -u https://gitea.privcloud.tech/Egor_Antipin/mtusi2026lab6 solution/bpi2301-antipin:Egor_Antipin-solution/bpi2301-antipin
git checkout Egor_Antipin-solution/bpi2301-antipin
Sign in to join this conversation.
No Reviewers
No labels
1 Participants
Notifications
Due Date
No due date set.
Dependencies

No dependencies set.

Reference: mtusi2026/mtusi2026lab6#48