# Отчёт — лабораторная 6. Наблюдаемость - Автор / группа: Авзалов Артур Марсович / БПИ2301. - Целевая оценка: 4; трек 5 не заявлен. - Статус: кандидат на 4. Реализация проверена на Windows/Docker Desktop 2026-11-17: все шесть сценариев наблюдаемости, публичный smoke, ряд регрессионных тестов Lab5 и визуализация Grafana прошли. Целевая оценка 4; окончательную оценку определяет преподаватель. - Commit/PR: указывается после публикации. - ИИ: ChatGPT помог проектировать, реализовывать инструментацию, инфраструктуру, тесты и документацию. Результаты ниже получены при запуске именно Lab6; ChatGPT помог исправить диагностический тест backend-down. ## Запуск из чистого clone Docker Desktop (Linux containers, Compose V2), Python 3.9+ для публичных HTTP-тестов; Python 3.12 рекомендуется для локальных SDK/unit-проверок. Приложение использует Python 3.12.10. Желательно выделить Docker 6–8 GiB RAM с запасом. Перед запуском остановить Lab5 и другие стенды, занимающие 8080/3000/9090/3100/3200. Не удалять их volumes. PowerShell (корень проекта): ```powershell Copy-Item .env.example .env notepad .env $env:PYTHONUTF8 = "1" # Заменить ВСЕ REPLACE_WITH_... на разные случайные значения. # Для паролей в DSN выбрать hex/URL-safe значения, не вставлять секреты в отчёт. # OTEL_ENABLED=yes, LAB5_FAULT_AFTER_S3=off, LAB6_FAULT_RETRY_ONCE=off. docker compose --env-file .env config --quiet docker compose --env-file .env run --rm --no-deps otel-collector validate --config=/etc/otelcol/config.yaml docker compose --env-file .env run --rm --no-deps --entrypoint /bin/promtool prometheus check config /etc/prometheus/prometheus.yml docker compose --env-file .env up -d --build --wait docker compose --env-file .env ps python scripts/wait_ready.py make check make test ``` `--wait` для backend без healthcheck подтверждает только запущенный контейнер, не готовность ingestion. Дождаться `/-/ready` Prometheus, `/ready` Loki/Tempo, `/api/health` Grafana, `up` для Collector; расширенные тесты делают это автоматически. Grafana: http://127.0.0.1:3000, пользователь `admin`, пароль `GRAFANA_ADMIN_PASSWORD` из локального `.env` (задаётся при первом создании volume). Dashboard MTUCI → Lab6 | Messenger observability (`/d/lab6-messenger/`). Prometheus alerts: http://127.0.0.1:9090/alerts. Порты диагностики доступны только на loopback; никакого наружного OTLP или прямых API-реплик. Для локальных unit/SDK-проверок в отдельном Python 3.12 venv: ```powershell python -m pip install -r requirements.txt python scripts/check_lab6.py python tests/jobs_sql_contract.py python tests/own_unit.py python tests/telemetry_unit.py # Необязательная полная OpenAPI-валидация (отдельный dev requirement): python -m pip install -r requirements-dev.txt make validate ``` Безопасная остановка: `docker compose --env-file .env down` (named volumes сохраняются). Только намеренный сброс СВОЕГО учебного стенда: `docker compose --env-file .env down -v` (удаляет и бизнес-данные, и историю телеметрии, не использовать для тестов). `.env`, реальные credentials и данные вне Git. Инициализация `migrate` транзакционна и идемпотентна; `s3-policy` готовит приватные credentials/policy, `s3-bootstrap` bucket, `telemetry-init` устанавливает права директорий named volumes. RabbitMQ queue создаётся приложением с durable/publisher confirms. Provisioning Grafana полностью из Git. ## Архитектура и перенос Lab5 ```text HTTP -> HAProxy -> API1/API2 -> PostgreSQL + Redis + SeaweedFS -> outbox -> dispatcher -> RabbitMQ -> worker worker -> S3 + DB ready API / dispatcher / worker (включая дочерний image process) | OTLP HTTP/protobuf :4318, внутри telemetry v OTel Collector | metrics /metrics :8889 <- Prometheus scrape | logs native OTLP HTTP -> Loki | traces OTLP gRPC -> Tempo v Grafana (запросы к трём независимым stores) ``` Бизнес-контракт Lab6 и исходные публичные тесты не изменены; добавляется необязательный диагностический response header `X-Trace-Id` на business HTTP при активной телеметрии. Метаданные, состояние job/outbox и идемпотентность живут в PostgreSQL; сессии в Redis AOF; оригиналы/варианты в S3; RabbitMQ доставляет задачи at-least-once. SDK и Collector не участвуют в транзакциях приложения. Worker сохраняет исходный timeout/lease и отдельный process для Pillow; таймаут/ошибки приводят к durable retry через Outbox. Изменения в `app/jobs.py`, `app/main.py`, `app/storage.py`, `app/attachments.py`, `app/image_worker.py` касаются инструментации, измерения backlog и обработки DB statement timeout; dispatcher обслуживает heartbeat даже в idle. Миграции 001–004 сохранены. Новых бизнес-таблиц не нужно: контракт job допускает optional `traceparent`, `tracestate`, они сохраняются в JSONB outbox. ### Роли / версии / данные / доступ | Service | Версия (образ) | Данные, сеть, readiness | | --- | --- | --- | | api1/api2 | Python 3.12.10-slim-bookworm, FastAPI 0.115.12 | stateless, frontend/storage/telemetry; `/health/ready`, не опубликованы напрямую | | lb | HAProxy 3.1.7-alpine | frontend, 127.0.0.1:8080; readiness upstream | | postgres | 16.10-bookworm | postgres_data, storage, pg_isready | | redis | 7.4.5-alpine | redis_data, storage, redis-cli ping, AOF | | s3 | SeaweedFS 4.53 | s3_data, s3_config, storage; bootstrap + API head_bucket | | broker | RabbitMQ 4.1.8-management-alpine | rabbitmq_data, storage, diagnostics ping | | dispatcher/worker | Python 3.12.10, Pika 1.3.2, Pillow 11.3.0 | storage/telemetry, restart policy; live fault tests | | otel-collector | contrib 0.123.0 | memory-only bounded batches, telemetry; scrape :8888/:8889 | | prometheus | v3.2.1 | prometheus_data, telemetry, loopback 9090; /-/ready | | loki | 3.4.2 | loki_data, TSDB v13 filesystem, loopback 3100; /ready | | tempo | 2.7.2 | tempo_data, local blocks + WAL, loopback 3200; /ready | | grafana | 11.6.0 | grafana_data + Git provisioning, loopback 3000; /api/health | | telemetry-init | BusyBox 1.37.0 | one-shot chown только корней named volumes, сеть отсутствует | API 384 MiB/0.75 CPU на реплику, worker 768 MiB/1 CPU, dispatcher 192 MiB/0.5 CPU, Collector 256 MiB/0.75 CPU, Prometheus 384 MiB, Loki/Tempo 512 MiB каждый, Grafana 384 MiB. Реальные CPU/RAM замеряются на стенде; лимиты не измерения. Prometheus retention 72h/512MB, Loki и Tempo retention 72h (асинхронная очистка backend, не жёсткий disk quota). Все конфиги `infra/otel/` монтируются read-only. `.env.example` содержит логические настройки runtime, Compose отображает POSTGRES_* в DATABASE_URL, Redis URL фиксируется внутренней сетью, S3_* в credentials, BROKER_* в AMQP credentials. Локальный файл `.env` не коммитится; секреты хранятся в окружении контейнеров учебного стенда, не production secret manager. `STAGING_RETENTION_SECONDS` при отсутствии настройки приложения равен 86400. `WORKER_PREFETCH=1`, один активный job на worker. `OTEL_ENABLED=yes` включает SDK; endpoint `http://otel-collector:4318` задаётся Compose. `GRAFANA_ADMIN_PASSWORD` только для локального интерфейса. `LAB6_FAULT_RETRY_ONCE` — операторская настройка, по умолчанию off (не API). ## Сигналы, запросы и единицы SDK OTel API/SDK/OTLP HTTP 1.42.1, явная инструментация `app/telemetry.py`. Стабильные локальные names и ограниченные semantic attributes вместо автоматического capture. `service.name=messenger-api|messenger-dispatcher|messenger-worker`, `service.version=1.6.0`, `service.instance.id=api1|api2|container hostname`, `deployment.environment.name=lab`; Prometheus exporter переводит точки в подчёркивания, добавляет суффиксы секунд/байт/total. Все histogram buckets одинаковы на репликах: 0.005…600 s. Health измеряется, но исключён из business SLI и трассировки (чтобы probe не загрязнял трассы). HTTP duration измеряется до получения заголовков ответа; потоковая передача content целиком не измеряется. Не именуем p99 средним. | Сигнал / Prometheus имя | Выражение / единица | | --- | --- | | HTTP throughput и 5xx | `sum(rate(lab_http_requests_total{route=~"/api/.*"}[30s]))`, фильтр `status_class="5xx"` для ошибок; req/s | | p50/p95/p99 | `histogram_quantile(0.95,sum by(le)(rate(lab_http_duration_seconds_bucket{route=~"/api/.*"}[30s])))`, аналогично 0.5/0.99; секунды | | Job outcomes | `sum by(outcome)(rate(lab_jobs_total[30s]))`, attempts/s; ready/retry/failed/stale/requeue; hard kill до метрики не считается завершённым attempt | | Worker processing | `histogram_quantile(0.95,sum by(le)(rate(lab_job_duration_seconds_bucket[30s])))`, секунды claimed attempt | | Time to ready | `histogram_quantile(0.95,sum by(le)(rate(lab_ready_duration_seconds_bucket[30s])))`, секунды от `processing_jobs.created_at` (время транзакции durable acceptance, близкое, но не точно равное моменту COMMIT) до commit ready, включает retry/backlog | | Durable backlog | `max(lab_queue_depth)`: число jobs в статусе queued, включая неопубликованные и delayed retry | | Broker queue | `max(lab_broker_ready)`: ready messages RabbitMQ через passive declare; `lab_broker_consumers` — число consumers; не включает unacked и не равно DB backlog | | Oldest age | `max(lab_queue_oldest_age_seconds)`: now−created_at старейшей queued job; секунды; нет queued = 0 | | DB pool | `lab_db_pool_used`, `lab_db_pool_waiting`, `lab_db_pool_capacity` по service_instance_id; connections/requests; used = size−available (включая reserved/создаваемые соединения) | | Worker saturation | `sum(lab_worker_busy)/clamp_min(sum(lab_worker_capacity),1)`; ratio, active/capacity. Один job на процесс. При отсутствии worker ряд исчезает по expiration, это не доказательство idle | | CPU/RAM | `lab_container_cpu_cores` (CPU seconds / wall seconds), `lab_container_memory_bytes` (cgroup v2 usage, fallback v1 CPU / RSS дерева процессов) | | Collector internal | `otelcol_exporter_queue_size`, `otelcol_exporter_queue_capacity`, `otelcol_exporter_send_failed_spans[_total]`, `otelcol_exporter_send_failed_log_records[_total]`, `otelcol_process_memory_rss` / `otelcol_process_memory_rss_bytes`; учитывать текущую нормализацию выбранной версии | `method`, route template, `status_class`, `job_type`, `outcome`, `queue` — ограниченный набор label values, `service_instance_id` ограничен числом экземпляров за retention; нет raw URL, filename, user/chat/message/attachment/request/job ID. Метрики cumulative, Collector выставляет Prometheus exposition. `metric_expiration: 15s` ограничивает stale gauges (нет данных при недоступной БД, а не искусственный 0). Percentiles строятся по сумме histogram buckets всех реплик (не усреднение p95). При отсутствии событий rate/quantile может быть NaN: требуется свежая нагрузка, NaN не заменяем нулём искусственно. ### Сквозная трасса и логи 1. API создаёт реальный SERVER span на business route; `db.transaction` и `s3.upload_fileobj` видны как dependency spans. Request ID остаётся прежним; `http.completed` содержит request_id, status_code, method, route, trace/span ID, timestamp и severity. 2. Во время транзакции job/outbox `job_payload()` добавляет W3C `traceparent`/`tracestate`. Dispatcher извлекает их; создаёт PRODUCER span и внедряет **свой** context в сообщение RabbitMQ. Outbox хранит исходный контекст. На retry вызов из CONSUMER сохраняет его context; lease rescue/replay без активного span использует первый сохранённый context. 3. Worker извлекает context, CONSUMER является child producer; проверяет job/lease в БД. `image.subprocess` передаёт context дочернему процессу в env без секретов телеметрии; видны `image.transform`, `db.load_staging_metadata`, `s3.get_object`, `s3.put_object`, `s3.copy_object`, затем `db.publish_result`. Worker завершает `job.ready` или `job.retry`/`job.failed`, ack после durable результата/retry. В случае hard kill последний span может не успеть экспортироваться; retry продолжает trace. 4. В Grafana Explore → Tempo по `X-Trace-Id` / trace_id; открываем span; Loki: `{service_name="messenger-api"} | trace_id="" | request_id=""`, worker `{service_name="messenger-worker"} | trace_id=""`. Поля `trace_id`, `span_id`, `event` — OTLP structured metadata; тела записей фиксированные технические события. Технический job_id только в trace/log для конкретного учебного задания; SQL text, exception messages/stack traces, raw URLs, Authorization, passwords, session tokens, тело сообщений и файлы не передаются SDK. Отключён uvicorn access log, только отдельный безопасный logger передаётся в OTLP. Это проверкой синтетических sentinel полей подтверждено локально, не исчерпывающий security-аудит. ### SLI / SLO и alerts SLI = 1−(число business HTTP 5xx / число всех завершённых business HTTP responses), health исключён, 4xx клиента не считаются отказом сервера. Окно 5 минут; **SLO >= 99%** (учебный, выбран нами, не обещание SLA). Dashboard SLI: `1 - ((sum(increase(lab_http_requests_total{route=~"/api/.*",status_class="5xx"}[5m])) or vector(0)) / sum(increase(lab_http_requests_total{route=~"/api/.*"}[5m])))`. Если нет трафика — нет измеримого SLI. SLI не учитывает отказ между клиентом и HAProxy либо ответы самого HAProxy, поскольку SDK в API; для production нужны LB/probe metrics. Время до ready отдельно измеряется histogram; успешные ready не учитывают навсегда failed, поэтому не подменяем им SLI доступности. Правила `infra/otel/prometheus/alerts.yml`: `LabAPIHighErrorRate` >5% business 5xx за 30 s, `for: 9s`; `LabQueueLag` age >15 s и depth>0, `for: 12s`. Это локальные diagnostic alert thresholds, не burn-rate track 5. Prometheus evaluation/scrape 3s; firing/pending/inactive (inactive после firing = resolved) в Prometheus UI/API, Grafana dashboard `ALERTS`. Проверка искусственными отказами — ниже; внешней доставки нет. ### Backpressure и сбой телеметрии SDK async BatchSpan/BatchLogRecordProcessor queue 512 items/64 batch, HTTP exporter 2s timeout; metric reader 3s interval/2s export timeout. Не ждём backend для HTTP/normal commit; дочерний process ограниченно flush'ит (добавляет latency, остаётся внутри JOB_TIMEOUT), потеря телеметрии допустима. Collector memory_limiter 180 MiB (spike 40 MiB), container limit 256 MiB, GOMEMLIMIT 180MiB. Batch 128/256 items, timeout 1s; каждый Tempo/Loki exporter queue 64 batches, один consumer, request timeout 3s, retry до 10s. При переполнении/отказе telemetry может быть потеряна; нет бесконечной durable очереди и нет гарантий delivery telemetry. Prometheus scrape хранит history самостоятельно. `backend-down` проверяет успешные бизнес-записи/обработку изображения при остановленном Tempo, рост failed exports, sampled RSS и queue size, отсутствие OOM/restart и свежий trace после восстановления. Failed export counter отражает неуспешный экспорт Collector (не точное число всех потерянных spans SDK; повторные попытки и обрывы могут влиять). Измерение на коротком сценарии не доказательство бессрочной нагрузки. ## Доказательства критериев Локальные проверки (в среде подготовки, 2026-11-17) см. [evidence/offline_validation.md](evidence/offline_validation.md). Фактические результаты Docker-прогона на Windows 2026-11-17 сведены в [evidence/verified_results_2026-11-17.md](evidence/verified_results_2026-11-17.md). JSON-файлы сформированы тестами на стенде; скриншоты Grafana — в `evidence/grafana/`. Неповторённые проверки отмечены отдельно. Скрипты добавлены отдельно, исходные `tests/smoke.py`, `client.py`, `load.py`, `resilience.py`, fixtures и OpenAPI сохранены byte-for-byte. | Критерий | Команда/сценарий | Результат / evidence | | --- | --- | --- | | Структура, SQL, SDK | `make check`, `python scripts/check_lab6.py`, `python tests/jobs_sql_contract.py`, `python tests/telemetry_unit.py`, `python tests/own_unit.py` | локально PASS; SDK wire-format test не проверяет Collector/backend | | Основной API и регрессия Lab5 | `make test`, `attachments_negative`, `idempotency_parallel`, `own_unit`, `pipeline_resilience` (paused/outbox-crash/worker-crash) | PASS на Lab6; отдельные `resilience.py` и `pipeline_extended.py` в данном прогоне не подтверждены | | Все три stores, dashboard/datasources, метрики + низкая кардинальность | `observability_live.py --scenario metrics` | PASS: ожидаемые ряды и отсутствие запрещённых ID labels; `evidence/lab6-metrics.json` | | Upload/producer/consumer/retry, лог+trace, S3+DB result | `--scenario trace-retry` | PASS: API/producer/consumer/S3/DB с retry, связанные логи; `evidence/lab6-trace-retry.json` | | Queue age / depth / SLO & alert | `--scenario queue-lag` | PASS: возраст 27.574387 s; queued=1; firing → ready → resolved; `evidence/lab6-queue-lag.json` | | DB latency / 5xx alert | `--scenario db-error` | PASS: QueryCanceled/503, error ratio 1.0; firing → resolved; `evidence/lab6-db-error.json` | | Collector ограничен, telemetry backend down | `--scenario backend-down` | PASS после исправления теста: 16 успешных записей, sampled max RSS 200.43 MiB / 256 MiB, queue 18/64, свежая трасса после восстановления; `evidence/lab6-backend-down.json` | | Сохранение метрик/логов/traces при restart | `--scenario history` | PASS: сохранены метрики, логи, трассы после перезапуска backend; `evidence/lab6-history.json` | | Нагрузка, percentiles, ресурсы | `tests/load.py`, `attachments_concurrent.py`, dashboard CPU/RAM, PromQL | PASS: 10/10 HTTP 202 → ready, по 3 варианта; acceptance 3.976 RPS, p50 2296.5 ms, max 2484.0 ms, все ready за 36.406 s; `evidence/attachments-concurrent.json`; 16 панелей Grafana показывают данные. Отдельный `tests/load.py` ещё не подтверждён | ### Команды полного прогона на Windows Список включает как уже выполненные, так и дополнительные регрессионные проверки. Фактический статус — в сводке доказательств; команды сами по себе не означают PASS. ```powershell $env:PYTHONUTF8 = "1" $env:LAB5_ALLOW_FAILURE_TEST = "yes" $env:LAB6_ALLOW_FAILURE_TEST = "yes" # Все fault tests строго последовательно, только на отдельном учебном стенде. make test python tests/attachments_negative.py python tests/idempotency_parallel.py python tests/own_unit.py python tests/pipeline_resilience.py --scenario paused python tests/pipeline_resilience.py --scenario outbox-crash python tests/pipeline_resilience.py --scenario worker-crash python tests/pipeline_extended.py --scenario broker-persistence python tests/pipeline_extended.py --scenario failed-replay python tests/pipeline_extended.py --scenario staging-cleanup python tests/load.py --duration 30 --concurrency 4 --output evidence/load.json python tests/attachments_concurrent.py --concurrency 10 --output evidence/attachments-concurrent.json python tests/observability_live.py --scenario metrics python tests/observability_live.py --scenario trace-retry python tests/observability_live.py --scenario queue-lag python tests/observability_live.py --scenario db-error python tests/observability_live.py --scenario backend-down python tests/observability_live.py --scenario history python tests/resilience.py --mode persistence --action-script scripts/restart.cmd python tests/resilience.py --mode failover --action-script scripts/stop-one.cmd docker compose --env-file .env up -d --no-deps --wait api1 api2 make test ``` На Linux соответствующие hooks `restart.sh`, `stop-one.sh` (executable). Не запускать сценарии одновременно. Fault scripts управляют реальными контейнерами, не удаляют volumes. `trace-retry` временно пересоздаёт worker с operator-only fault once, затем восстанавливает off. `db-error` удерживает lock не более 60s после захвата; освобождение в конце транзакции; не применять на production. `history` перезапускает telemetry stores с named volumes. При ошибке смотреть `docker compose logs --tail=80 `, не публиковать secrets. `make check` не заменяет runtime. Если Docker не стартует, не менять публичные тесты ради PASS. ## Инциденты и runbook **Инцидент 1, гипотеза: остановлен worker.** `queue-lag` принимает синтетический upload при остановленном worker. Через метрики backlog/oldest age определяем растущую очередь, сравниваем broker ready/consumer count; API может продолжать отвечать 202, CPU worker отсутствует, DB pool нормальный. `LabQueueLag` firing; trace upload → publish есть, consume отсутствует. Запустить worker и дождаться ready, depth=0, alert inactive. Время обнаружения/возраст/глубина — в JSON результата. Факт (17.11): `queue-lag` PASS, age 27.574387 s, queued=1 при firing; после запуска worker задание стало ready, alert resolved. См. `evidence/lab6-queue-lag.json` и [графики очереди](evidence/grafana/02-worker-and-queue.png). **Инцидент 2, гипотеза: DB заблокирована, не медленный handler.** `db-error` удерживает кратковременный ACCESS EXCLUSIVE LOCK на `users` в отдельной psql транзакции, health SELECT 1 остаётся рабочим. Создаётся несколько business GET `/api/v1/users/me`, которые получают 503 после database statement timeout ~5s или pool timeout. В Grafana: HTTP errors/p95 растут, `db.transaction` занимает основное время и имеет error.type QueryCanceled, связанный http.completed лог с request_id; отличить от долгого обработчика с нормальными dependency spans. `LabAPIHighErrorRate` firing; после COMMIT lock запросы снова 200, error rate падает и alert inactive. Факт (17.11): `db-error` PASS, QueryCanceled и HTTP 503 обнаружены, error ratio=1.0 при firing, после снятия блокировки alert resolved. См. `evidence/lab6-db-error.json` и [графики API](evidence/grafana/01-api-and-jobs.png). **Инцидент 3: Tempo недоступна.** `backend-down` останавливает Tempo, посылает synthetic messages и image upload. Prometheus продолжает считать business telemetry; Collector failed spans/queue/RSS показывают сбой экспорта, API/worker продолжают обработку. После возврата Tempo создаётся новая трасса, старые могли потеряться. Факт (17.11): 16 успешных записей, обработка изображения сохранена; RSS Collector до отказа 197.35 MiB, наблюдаемый максимум 200.43 MiB при лимите 256 MiB; очередь выросла с 0/64 до 18/64. Ошибки экспорта наблюдались, свежая трасса после восстановления доступна. См. `evidence/lab6-backend-down.json` и [графики Collector](evidence/grafana/04-collector-alerts-slo.png). Первоначальный тест завершился на проверке RSS; исправлен только тест (поддержка варианта имени метрики с `_bytes`, строгая проверка очереди и диагностика лимитов); последующий живой прогон PASS. Для нагрузки фиксировать hardware/выделенные Docker CPU/RAM, прогрев после `up`, дату, commit, размер файла 111817 B, длительность 30s и concurrency 4 для POST messages, concurrency 10 для upload; сохранить `load.json`, `attachments-concurrent.json`, показатели p50/p95/p99 из dashboard, CPU/RAM через PromQL/периодические замеры `docker stats`. Closed-loop нагрузки не доказывают максимальную capacity; p95 из histogram приблизителен. В `evidence/` хранить только обезличенные summary и технические IDs синтетических trace, не raw secrets/requests. Скриншоты Grafana/alerts полезны как дополнение, не вместо stored results. ### Визуальная проверка Grafana (17.11.2026) Все 16 панелей на четырёх приложенных скриншотах содержат данные реального запуска. Снимки показывают часовой интервал с тестовыми инцидентами и последующей нагрузкой; точные значения и состояния берутся из результатов сценариев, визуальные оценки округлены. | Доказательство | Что видно | | --- | --- | | [API и jobs](evidence/grafana/01-api-and-jobs.png) | Throughput, всплеск доли 5xx до 100%, p95/p99 около 10 s в момент сбоя, job outcomes | | [Worker и очередь](evidence/grafana/02-worker-and-queue.png) | Processing duration, time to ready (с учётом очереди), backlog, пик возраста около 27 s | | [Pool и ресурсы](evidence/grafana/03-pool-and-resources.png) | DB pool capacity 8 на реплику, worker saturation достигает 100%, CPU и sampled memory по экземплярам | | [Collector, alerts, SLO](evidence/grafana/04-collector-alerts-slo.png) | Очередь экспорта Tempo при ограничении 64, failed exports, firing/pending, падение SLI ниже 99% и последующее восстановление | Для показа связи лога и трассы в Grafana Explore используйте сохранённый trace ID `4d8711b71965876a59aa5594ad0d51a0` из `trace-retry`, пока данные доступны по retention. При истечении retention повторите сценарий. PNG подтверждают визуализацию метрик; связанные логи и spans подтверждены тестом `trace-retry`, а не отдельными скриншотами Explore. ## Ограничения и следующие шаги Один Docker-host и одиночные PG, Redis, S3, RabbitMQ, LB, Collector и telemetry backends. При их потере не заявляем HA. Бизнес-данные и telemetry разделены, at-least-once не exactly-once. Наблюдаемость best-effort: SDK queue/Collector memory pressure, hard crash, offline backend могут приводить к пропускам traces/logs/metrics. Трассируем зависимость до заголовков/вызова S3, не каждую SQL-команду и не весь downloaded stream. No sampling research / burn-rate track. Нагрузочные и fault evidence приведены выше. Замеры ограничены коротким сценарием и 10 одновременными upload; отдельно `tests/load.py`, повторный полный persistence/failover бизнес-стенда и три сценария `pipeline_extended.py` в предоставленном выводе Lab6 отсутствуют. Параметры CPU/RAM Docker-host и полный вывод JSON не предоставлены для этой сводки. Примерные пароли использовались на локальном тестовом стенде; при новом развёртывании заменить их перед запуском, не коммитить `.env`. ## Источники - [Описание задания](README.md), [контракт observability](contracts/observability.md), [схема job](contracts/jobs.schema.json), [карта курса](COURSE.md). - [OpenTelemetry Collector configuration](https://opentelemetry.io/docs/collector/configuration/), [internal telemetry](https://opentelemetry.io/docs/collector/internal-telemetry/), [context propagation](https://opentelemetry.io/docs/concepts/context-propagation/), [W3C Trace Context](https://www.w3.org/TR/trace-context/). - [Prometheus histograms](https://prometheus.io/docs/practices/histograms/), [Loki OTLP ingestion](https://grafana.com/docs/loki/latest/send-data/otel/), [Tempo configuration](https://grafana.com/docs/tempo/latest/configuration/), [Grafana provisioning](https://grafana.com/docs/grafana/latest/administration/provisioning/).