forked from mtusi2026/mtusi2026lab6
209 lines
34 KiB
Markdown
209 lines
34 KiB
Markdown
# Отчёт — лабораторная 6. Наблюдаемость
|
||
|
||
- Автор / группа: Авзалов Артур Марсович / БПИ2301.
|
||
- Целевая оценка: 4; трек 5 не заявлен.
|
||
- Статус: кандидат на 4. Реализация проверена на Windows/Docker Desktop 2026-11-17: все шесть сценариев наблюдаемости, публичный smoke, ряд регрессионных тестов Lab5 и визуализация Grafana прошли. Целевая оценка 4; окончательную оценку определяет преподаватель.
|
||
- Commit/PR: указывается после публикации.
|
||
- ИИ: ChatGPT помог проектировать, реализовывать инструментацию, инфраструктуру, тесты и документацию. Результаты ниже получены при запуске именно Lab6; ChatGPT помог исправить диагностический тест backend-down.
|
||
|
||
## Запуск из чистого clone
|
||
|
||
Docker Desktop (Linux containers, Compose V2), Python 3.9+ для публичных HTTP-тестов; Python 3.12 рекомендуется для локальных SDK/unit-проверок. Приложение использует Python 3.12.10. Желательно выделить Docker 6–8 GiB RAM с запасом. Перед запуском остановить Lab5 и другие стенды, занимающие 8080/3000/9090/3100/3200. Не удалять их volumes.
|
||
|
||
PowerShell (корень проекта):
|
||
|
||
```powershell
|
||
Copy-Item .env.example .env
|
||
notepad .env
|
||
$env:PYTHONUTF8 = "1"
|
||
# Заменить ВСЕ REPLACE_WITH_... на разные случайные значения.
|
||
# Для паролей в DSN выбрать hex/URL-safe значения, не вставлять секреты в отчёт.
|
||
# OTEL_ENABLED=yes, LAB5_FAULT_AFTER_S3=off, LAB6_FAULT_RETRY_ONCE=off.
|
||
docker compose --env-file .env config --quiet
|
||
docker compose --env-file .env run --rm --no-deps otel-collector validate --config=/etc/otelcol/config.yaml
|
||
docker compose --env-file .env run --rm --no-deps --entrypoint /bin/promtool prometheus check config /etc/prometheus/prometheus.yml
|
||
docker compose --env-file .env up -d --build --wait
|
||
docker compose --env-file .env ps
|
||
python scripts/wait_ready.py
|
||
make check
|
||
make test
|
||
```
|
||
|
||
`--wait` для backend без healthcheck подтверждает только запущенный контейнер, не готовность ingestion. Дождаться `/-/ready` Prometheus, `/ready` Loki/Tempo, `/api/health` Grafana, `up` для Collector; расширенные тесты делают это автоматически. Grafana: http://127.0.0.1:3000, пользователь `admin`, пароль `GRAFANA_ADMIN_PASSWORD` из локального `.env` (задаётся при первом создании volume). Dashboard MTUCI → Lab6 | Messenger observability (`/d/lab6-messenger/`). Prometheus alerts: http://127.0.0.1:9090/alerts. Порты диагностики доступны только на loopback; никакого наружного OTLP или прямых API-реплик.
|
||
|
||
Для локальных unit/SDK-проверок в отдельном Python 3.12 venv:
|
||
|
||
```powershell
|
||
python -m pip install -r requirements.txt
|
||
python scripts/check_lab6.py
|
||
python tests/jobs_sql_contract.py
|
||
python tests/own_unit.py
|
||
python tests/telemetry_unit.py
|
||
# Необязательная полная OpenAPI-валидация (отдельный dev requirement):
|
||
python -m pip install -r requirements-dev.txt
|
||
make validate
|
||
```
|
||
|
||
Безопасная остановка: `docker compose --env-file .env down` (named volumes сохраняются). Только намеренный сброс СВОЕГО учебного стенда: `docker compose --env-file .env down -v` (удаляет и бизнес-данные, и историю телеметрии, не использовать для тестов). `.env`, реальные credentials и данные вне Git. Инициализация `migrate` транзакционна и идемпотентна; `s3-policy` готовит приватные credentials/policy, `s3-bootstrap` bucket, `telemetry-init` устанавливает права директорий named volumes. RabbitMQ queue создаётся приложением с durable/publisher confirms. Provisioning Grafana полностью из Git.
|
||
|
||
## Архитектура и перенос Lab5
|
||
|
||
```text
|
||
HTTP -> HAProxy -> API1/API2 -> PostgreSQL + Redis + SeaweedFS
|
||
-> outbox -> dispatcher -> RabbitMQ -> worker
|
||
worker -> S3 + DB ready
|
||
API / dispatcher / worker (включая дочерний image process)
|
||
| OTLP HTTP/protobuf :4318, внутри telemetry
|
||
v
|
||
OTel Collector
|
||
| metrics /metrics :8889 <- Prometheus scrape
|
||
| logs native OTLP HTTP -> Loki
|
||
| traces OTLP gRPC -> Tempo
|
||
v
|
||
Grafana (запросы к трём независимым stores)
|
||
```
|
||
|
||
Бизнес-контракт Lab6 и исходные публичные тесты не изменены; добавляется необязательный диагностический response header `X-Trace-Id` на business HTTP при активной телеметрии. Метаданные, состояние job/outbox и идемпотентность живут в PostgreSQL; сессии в Redis AOF; оригиналы/варианты в S3; RabbitMQ доставляет задачи at-least-once. SDK и Collector не участвуют в транзакциях приложения. Worker сохраняет исходный timeout/lease и отдельный process для Pillow; таймаут/ошибки приводят к durable retry через Outbox. Изменения в `app/jobs.py`, `app/main.py`, `app/storage.py`, `app/attachments.py`, `app/image_worker.py` касаются инструментации, измерения backlog и обработки DB statement timeout; dispatcher обслуживает heartbeat даже в idle. Миграции 001–004 сохранены. Новых бизнес-таблиц не нужно: контракт job допускает optional `traceparent`, `tracestate`, они сохраняются в JSONB outbox.
|
||
|
||
### Роли / версии / данные / доступ
|
||
|
||
| Service | Версия (образ) | Данные, сеть, readiness |
|
||
| --- | --- | --- |
|
||
| api1/api2 | Python 3.12.10-slim-bookworm, FastAPI 0.115.12 | stateless, frontend/storage/telemetry; `/health/ready`, не опубликованы напрямую |
|
||
| lb | HAProxy 3.1.7-alpine | frontend, 127.0.0.1:8080; readiness upstream |
|
||
| postgres | 16.10-bookworm | postgres_data, storage, pg_isready |
|
||
| redis | 7.4.5-alpine | redis_data, storage, redis-cli ping, AOF |
|
||
| s3 | SeaweedFS 4.53 | s3_data, s3_config, storage; bootstrap + API head_bucket |
|
||
| broker | RabbitMQ 4.1.8-management-alpine | rabbitmq_data, storage, diagnostics ping |
|
||
| dispatcher/worker | Python 3.12.10, Pika 1.3.2, Pillow 11.3.0 | storage/telemetry, restart policy; live fault tests |
|
||
| otel-collector | contrib 0.123.0 | memory-only bounded batches, telemetry; scrape :8888/:8889 |
|
||
| prometheus | v3.2.1 | prometheus_data, telemetry, loopback 9090; /-/ready |
|
||
| loki | 3.4.2 | loki_data, TSDB v13 filesystem, loopback 3100; /ready |
|
||
| tempo | 2.7.2 | tempo_data, local blocks + WAL, loopback 3200; /ready |
|
||
| grafana | 11.6.0 | grafana_data + Git provisioning, loopback 3000; /api/health |
|
||
| telemetry-init | BusyBox 1.37.0 | one-shot chown только корней named volumes, сеть отсутствует |
|
||
|
||
API 384 MiB/0.75 CPU на реплику, worker 768 MiB/1 CPU, dispatcher 192 MiB/0.5 CPU, Collector 256 MiB/0.75 CPU, Prometheus 384 MiB, Loki/Tempo 512 MiB каждый, Grafana 384 MiB. Реальные CPU/RAM замеряются на стенде; лимиты не измерения. Prometheus retention 72h/512MB, Loki и Tempo retention 72h (асинхронная очистка backend, не жёсткий disk quota). Все конфиги `infra/otel/` монтируются read-only. `.env.example` содержит логические настройки runtime, Compose отображает POSTGRES_* в DATABASE_URL, Redis URL фиксируется внутренней сетью, S3_* в credentials, BROKER_* в AMQP credentials. Локальный файл `.env` не коммитится; секреты хранятся в окружении контейнеров учебного стенда, не production secret manager. `STAGING_RETENTION_SECONDS` при отсутствии настройки приложения равен 86400. `WORKER_PREFETCH=1`, один активный job на worker. `OTEL_ENABLED=yes` включает SDK; endpoint `http://otel-collector:4318` задаётся Compose. `GRAFANA_ADMIN_PASSWORD` только для локального интерфейса. `LAB6_FAULT_RETRY_ONCE` — операторская настройка, по умолчанию off (не API).
|
||
|
||
## Сигналы, запросы и единицы
|
||
|
||
SDK OTel API/SDK/OTLP HTTP 1.42.1, явная инструментация `app/telemetry.py`. Стабильные локальные names и ограниченные semantic attributes вместо автоматического capture. `service.name=messenger-api|messenger-dispatcher|messenger-worker`, `service.version=1.6.0`, `service.instance.id=api1|api2|container hostname`, `deployment.environment.name=lab`; Prometheus exporter переводит точки в подчёркивания, добавляет суффиксы секунд/байт/total. Все histogram buckets одинаковы на репликах: 0.005…600 s. Health измеряется, но исключён из business SLI и трассировки (чтобы probe не загрязнял трассы). HTTP duration измеряется до получения заголовков ответа; потоковая передача content целиком не измеряется. Не именуем p99 средним.
|
||
|
||
| Сигнал / Prometheus имя | Выражение / единица |
|
||
| --- | --- |
|
||
| HTTP throughput и 5xx | `sum(rate(lab_http_requests_total{route=~"/api/.*"}[30s]))`, фильтр `status_class="5xx"` для ошибок; req/s |
|
||
| p50/p95/p99 | `histogram_quantile(0.95,sum by(le)(rate(lab_http_duration_seconds_bucket{route=~"/api/.*"}[30s])))`, аналогично 0.5/0.99; секунды |
|
||
| Job outcomes | `sum by(outcome)(rate(lab_jobs_total[30s]))`, attempts/s; ready/retry/failed/stale/requeue; hard kill до метрики не считается завершённым attempt |
|
||
| Worker processing | `histogram_quantile(0.95,sum by(le)(rate(lab_job_duration_seconds_bucket[30s])))`, секунды claimed attempt |
|
||
| Time to ready | `histogram_quantile(0.95,sum by(le)(rate(lab_ready_duration_seconds_bucket[30s])))`, секунды от `processing_jobs.created_at` (время транзакции durable acceptance, близкое, но не точно равное моменту COMMIT) до commit ready, включает retry/backlog |
|
||
| Durable backlog | `max(lab_queue_depth)`: число jobs в статусе queued, включая неопубликованные и delayed retry |
|
||
| Broker queue | `max(lab_broker_ready)`: ready messages RabbitMQ через passive declare; `lab_broker_consumers` — число consumers; не включает unacked и не равно DB backlog |
|
||
| Oldest age | `max(lab_queue_oldest_age_seconds)`: now−created_at старейшей queued job; секунды; нет queued = 0 |
|
||
| DB pool | `lab_db_pool_used`, `lab_db_pool_waiting`, `lab_db_pool_capacity` по service_instance_id; connections/requests; used = size−available (включая reserved/создаваемые соединения) |
|
||
| Worker saturation | `sum(lab_worker_busy)/clamp_min(sum(lab_worker_capacity),1)`; ratio, active/capacity. Один job на процесс. При отсутствии worker ряд исчезает по expiration, это не доказательство idle |
|
||
| CPU/RAM | `lab_container_cpu_cores` (CPU seconds / wall seconds), `lab_container_memory_bytes` (cgroup v2 usage, fallback v1 CPU / RSS дерева процессов) |
|
||
| Collector internal | `otelcol_exporter_queue_size`, `otelcol_exporter_queue_capacity`, `otelcol_exporter_send_failed_spans[_total]`, `otelcol_exporter_send_failed_log_records[_total]`, `otelcol_process_memory_rss` / `otelcol_process_memory_rss_bytes`; учитывать текущую нормализацию выбранной версии |
|
||
|
||
`method`, route template, `status_class`, `job_type`, `outcome`, `queue` — ограниченный набор label values, `service_instance_id` ограничен числом экземпляров за retention; нет raw URL, filename, user/chat/message/attachment/request/job ID. Метрики cumulative, Collector выставляет Prometheus exposition. `metric_expiration: 15s` ограничивает stale gauges (нет данных при недоступной БД, а не искусственный 0). Percentiles строятся по сумме histogram buckets всех реплик (не усреднение p95). При отсутствии событий rate/quantile может быть NaN: требуется свежая нагрузка, NaN не заменяем нулём искусственно.
|
||
|
||
### Сквозная трасса и логи
|
||
|
||
1. API создаёт реальный SERVER span на business route; `db.transaction` и `s3.upload_fileobj` видны как dependency spans. Request ID остаётся прежним; `http.completed` содержит request_id, status_code, method, route, trace/span ID, timestamp и severity.
|
||
2. Во время транзакции job/outbox `job_payload()` добавляет W3C `traceparent`/`tracestate`. Dispatcher извлекает их; создаёт PRODUCER span и внедряет **свой** context в сообщение RabbitMQ. Outbox хранит исходный контекст. На retry вызов из CONSUMER сохраняет его context; lease rescue/replay без активного span использует первый сохранённый context.
|
||
3. Worker извлекает context, CONSUMER является child producer; проверяет job/lease в БД. `image.subprocess` передаёт context дочернему процессу в env без секретов телеметрии; видны `image.transform`, `db.load_staging_metadata`, `s3.get_object`, `s3.put_object`, `s3.copy_object`, затем `db.publish_result`. Worker завершает `job.ready` или `job.retry`/`job.failed`, ack после durable результата/retry. В случае hard kill последний span может не успеть экспортироваться; retry продолжает trace.
|
||
4. В Grafana Explore → Tempo по `X-Trace-Id` / trace_id; открываем span; Loki: `{service_name="messenger-api"} | trace_id="<trace_id>" | request_id="<request_id>"`, worker `{service_name="messenger-worker"} | trace_id="<trace_id>"`. Поля `trace_id`, `span_id`, `event` — OTLP structured metadata; тела записей фиксированные технические события. Технический job_id только в trace/log для конкретного учебного задания; SQL text, exception messages/stack traces, raw URLs, Authorization, passwords, session tokens, тело сообщений и файлы не передаются SDK. Отключён uvicorn access log, только отдельный безопасный logger передаётся в OTLP. Это проверкой синтетических sentinel полей подтверждено локально, не исчерпывающий security-аудит.
|
||
|
||
### SLI / SLO и alerts
|
||
|
||
SLI = 1−(число business HTTP 5xx / число всех завершённых business HTTP responses), health исключён, 4xx клиента не считаются отказом сервера. Окно 5 минут; **SLO >= 99%** (учебный, выбран нами, не обещание SLA). Dashboard SLI: `1 - ((sum(increase(lab_http_requests_total{route=~"/api/.*",status_class="5xx"}[5m])) or vector(0)) / sum(increase(lab_http_requests_total{route=~"/api/.*"}[5m])))`. Если нет трафика — нет измеримого SLI. SLI не учитывает отказ между клиентом и HAProxy либо ответы самого HAProxy, поскольку SDK в API; для production нужны LB/probe metrics. Время до ready отдельно измеряется histogram; успешные ready не учитывают навсегда failed, поэтому не подменяем им SLI доступности.
|
||
|
||
Правила `infra/otel/prometheus/alerts.yml`: `LabAPIHighErrorRate` >5% business 5xx за 30 s, `for: 9s`; `LabQueueLag` age >15 s и depth>0, `for: 12s`. Это локальные diagnostic alert thresholds, не burn-rate track 5. Prometheus evaluation/scrape 3s; firing/pending/inactive (inactive после firing = resolved) в Prometheus UI/API, Grafana dashboard `ALERTS`. Проверка искусственными отказами — ниже; внешней доставки нет.
|
||
|
||
### Backpressure и сбой телеметрии
|
||
|
||
SDK async BatchSpan/BatchLogRecordProcessor queue 512 items/64 batch, HTTP exporter 2s timeout; metric reader 3s interval/2s export timeout. Не ждём backend для HTTP/normal commit; дочерний process ограниченно flush'ит (добавляет latency, остаётся внутри JOB_TIMEOUT), потеря телеметрии допустима. Collector memory_limiter 180 MiB (spike 40 MiB), container limit 256 MiB, GOMEMLIMIT 180MiB. Batch 128/256 items, timeout 1s; каждый Tempo/Loki exporter queue 64 batches, один consumer, request timeout 3s, retry до 10s. При переполнении/отказе telemetry может быть потеряна; нет бесконечной durable очереди и нет гарантий delivery telemetry. Prometheus scrape хранит history самостоятельно. `backend-down` проверяет успешные бизнес-записи/обработку изображения при остановленном Tempo, рост failed exports, sampled RSS и queue size, отсутствие OOM/restart и свежий trace после восстановления. Failed export counter отражает неуспешный экспорт Collector (не точное число всех потерянных spans SDK; повторные попытки и обрывы могут влиять). Измерение на коротком сценарии не доказательство бессрочной нагрузки.
|
||
|
||
## Доказательства критериев
|
||
|
||
Локальные проверки (в среде подготовки, 2026-11-17) см. [evidence/offline_validation.md](evidence/offline_validation.md). Фактические результаты Docker-прогона на Windows 2026-11-17 сведены в [evidence/verified_results_2026-11-17.md](evidence/verified_results_2026-11-17.md). JSON-файлы сформированы тестами на стенде; скриншоты Grafana — в `evidence/grafana/`. Неповторённые проверки отмечены отдельно. Скрипты добавлены отдельно, исходные `tests/smoke.py`, `client.py`, `load.py`, `resilience.py`, fixtures и OpenAPI сохранены byte-for-byte.
|
||
|
||
| Критерий | Команда/сценарий | Результат / evidence |
|
||
| --- | --- | --- |
|
||
| Структура, SQL, SDK | `make check`, `python scripts/check_lab6.py`, `python tests/jobs_sql_contract.py`, `python tests/telemetry_unit.py`, `python tests/own_unit.py` | локально PASS; SDK wire-format test не проверяет Collector/backend |
|
||
| Основной API и регрессия Lab5 | `make test`, `attachments_negative`, `idempotency_parallel`, `own_unit`, `pipeline_resilience` (paused/outbox-crash/worker-crash) | PASS на Lab6; отдельные `resilience.py` и `pipeline_extended.py` в данном прогоне не подтверждены |
|
||
| Все три stores, dashboard/datasources, метрики + низкая кардинальность | `observability_live.py --scenario metrics` | PASS: ожидаемые ряды и отсутствие запрещённых ID labels; `evidence/lab6-metrics.json` |
|
||
| Upload/producer/consumer/retry, лог+trace, S3+DB result | `--scenario trace-retry` | PASS: API/producer/consumer/S3/DB с retry, связанные логи; `evidence/lab6-trace-retry.json` |
|
||
| Queue age / depth / SLO & alert | `--scenario queue-lag` | PASS: возраст 27.574387 s; queued=1; firing → ready → resolved; `evidence/lab6-queue-lag.json` |
|
||
| DB latency / 5xx alert | `--scenario db-error` | PASS: QueryCanceled/503, error ratio 1.0; firing → resolved; `evidence/lab6-db-error.json` |
|
||
| Collector ограничен, telemetry backend down | `--scenario backend-down` | PASS после исправления теста: 16 успешных записей, sampled max RSS 200.43 MiB / 256 MiB, queue 18/64, свежая трасса после восстановления; `evidence/lab6-backend-down.json` |
|
||
| Сохранение метрик/логов/traces при restart | `--scenario history` | PASS: сохранены метрики, логи, трассы после перезапуска backend; `evidence/lab6-history.json` |
|
||
| Нагрузка, percentiles, ресурсы | `tests/load.py`, `attachments_concurrent.py`, dashboard CPU/RAM, PromQL | PASS: 10/10 HTTP 202 → ready, по 3 варианта; acceptance 3.976 RPS, p50 2296.5 ms, max 2484.0 ms, все ready за 36.406 s; `evidence/attachments-concurrent.json`; 16 панелей Grafana показывают данные. Отдельный `tests/load.py` ещё не подтверждён |
|
||
|
||
### Команды полного прогона на Windows
|
||
|
||
Список включает как уже выполненные, так и дополнительные регрессионные проверки. Фактический статус — в сводке доказательств; команды сами по себе не означают PASS.
|
||
|
||
```powershell
|
||
$env:PYTHONUTF8 = "1"
|
||
$env:LAB5_ALLOW_FAILURE_TEST = "yes"
|
||
$env:LAB6_ALLOW_FAILURE_TEST = "yes"
|
||
# Все fault tests строго последовательно, только на отдельном учебном стенде.
|
||
make test
|
||
python tests/attachments_negative.py
|
||
python tests/idempotency_parallel.py
|
||
python tests/own_unit.py
|
||
python tests/pipeline_resilience.py --scenario paused
|
||
python tests/pipeline_resilience.py --scenario outbox-crash
|
||
python tests/pipeline_resilience.py --scenario worker-crash
|
||
python tests/pipeline_extended.py --scenario broker-persistence
|
||
python tests/pipeline_extended.py --scenario failed-replay
|
||
python tests/pipeline_extended.py --scenario staging-cleanup
|
||
python tests/load.py --duration 30 --concurrency 4 --output evidence/load.json
|
||
python tests/attachments_concurrent.py --concurrency 10 --output evidence/attachments-concurrent.json
|
||
python tests/observability_live.py --scenario metrics
|
||
python tests/observability_live.py --scenario trace-retry
|
||
python tests/observability_live.py --scenario queue-lag
|
||
python tests/observability_live.py --scenario db-error
|
||
python tests/observability_live.py --scenario backend-down
|
||
python tests/observability_live.py --scenario history
|
||
python tests/resilience.py --mode persistence --action-script scripts/restart.cmd
|
||
python tests/resilience.py --mode failover --action-script scripts/stop-one.cmd
|
||
docker compose --env-file .env up -d --no-deps --wait api1 api2
|
||
make test
|
||
```
|
||
|
||
На Linux соответствующие hooks `restart.sh`, `stop-one.sh` (executable). Не запускать сценарии одновременно. Fault scripts управляют реальными контейнерами, не удаляют volumes. `trace-retry` временно пересоздаёт worker с operator-only fault once, затем восстанавливает off. `db-error` удерживает lock не более 60s после захвата; освобождение в конце транзакции; не применять на production. `history` перезапускает telemetry stores с named volumes. При ошибке смотреть `docker compose logs --tail=80 <service>`, не публиковать secrets. `make check` не заменяет runtime. Если Docker не стартует, не менять публичные тесты ради PASS.
|
||
|
||
## Инциденты и runbook
|
||
|
||
**Инцидент 1, гипотеза: остановлен worker.** `queue-lag` принимает синтетический upload при остановленном worker. Через метрики backlog/oldest age определяем растущую очередь, сравниваем broker ready/consumer count; API может продолжать отвечать 202, CPU worker отсутствует, DB pool нормальный. `LabQueueLag` firing; trace upload → publish есть, consume отсутствует. Запустить worker и дождаться ready, depth=0, alert inactive. Время обнаружения/возраст/глубина — в JSON результата. Факт (17.11): `queue-lag` PASS, age 27.574387 s, queued=1 при firing; после запуска worker задание стало ready, alert resolved. См. `evidence/lab6-queue-lag.json` и [графики очереди](evidence/grafana/02-worker-and-queue.png).
|
||
|
||
**Инцидент 2, гипотеза: DB заблокирована, не медленный handler.** `db-error` удерживает кратковременный ACCESS EXCLUSIVE LOCK на `users` в отдельной psql транзакции, health SELECT 1 остаётся рабочим. Создаётся несколько business GET `/api/v1/users/me`, которые получают 503 после database statement timeout ~5s или pool timeout. В Grafana: HTTP errors/p95 растут, `db.transaction` занимает основное время и имеет error.type QueryCanceled, связанный http.completed лог с request_id; отличить от долгого обработчика с нормальными dependency spans. `LabAPIHighErrorRate` firing; после COMMIT lock запросы снова 200, error rate падает и alert inactive. Факт (17.11): `db-error` PASS, QueryCanceled и HTTP 503 обнаружены, error ratio=1.0 при firing, после снятия блокировки alert resolved. См. `evidence/lab6-db-error.json` и [графики API](evidence/grafana/01-api-and-jobs.png).
|
||
|
||
**Инцидент 3: Tempo недоступна.** `backend-down` останавливает Tempo, посылает synthetic messages и image upload. Prometheus продолжает считать business telemetry; Collector failed spans/queue/RSS показывают сбой экспорта, API/worker продолжают обработку. После возврата Tempo создаётся новая трасса, старые могли потеряться. Факт (17.11): 16 успешных записей, обработка изображения сохранена; RSS Collector до отказа 197.35 MiB, наблюдаемый максимум 200.43 MiB при лимите 256 MiB; очередь выросла с 0/64 до 18/64. Ошибки экспорта наблюдались, свежая трасса после восстановления доступна. См. `evidence/lab6-backend-down.json` и [графики Collector](evidence/grafana/04-collector-alerts-slo.png). Первоначальный тест завершился на проверке RSS; исправлен только тест (поддержка варианта имени метрики с `_bytes`, строгая проверка очереди и диагностика лимитов); последующий живой прогон PASS.
|
||
|
||
Для нагрузки фиксировать hardware/выделенные Docker CPU/RAM, прогрев после `up`, дату, commit, размер файла 111817 B, длительность 30s и concurrency 4 для POST messages, concurrency 10 для upload; сохранить `load.json`, `attachments-concurrent.json`, показатели p50/p95/p99 из dashboard, CPU/RAM через PromQL/периодические замеры `docker stats`. Closed-loop нагрузки не доказывают максимальную capacity; p95 из histogram приблизителен. В `evidence/` хранить только обезличенные summary и технические IDs синтетических trace, не raw secrets/requests. Скриншоты Grafana/alerts полезны как дополнение, не вместо stored results.
|
||
|
||
### Визуальная проверка Grafana (17.11.2026)
|
||
|
||
Все 16 панелей на четырёх приложенных скриншотах содержат данные реального запуска. Снимки показывают часовой интервал с тестовыми инцидентами и последующей нагрузкой; точные значения и состояния берутся из результатов сценариев, визуальные оценки округлены.
|
||
|
||
| Доказательство | Что видно |
|
||
| --- | --- |
|
||
| [API и jobs](evidence/grafana/01-api-and-jobs.png) | Throughput, всплеск доли 5xx до 100%, p95/p99 около 10 s в момент сбоя, job outcomes |
|
||
| [Worker и очередь](evidence/grafana/02-worker-and-queue.png) | Processing duration, time to ready (с учётом очереди), backlog, пик возраста около 27 s |
|
||
| [Pool и ресурсы](evidence/grafana/03-pool-and-resources.png) | DB pool capacity 8 на реплику, worker saturation достигает 100%, CPU и sampled memory по экземплярам |
|
||
| [Collector, alerts, SLO](evidence/grafana/04-collector-alerts-slo.png) | Очередь экспорта Tempo при ограничении 64, failed exports, firing/pending, падение SLI ниже 99% и последующее восстановление |
|
||
|
||
Для показа связи лога и трассы в Grafana Explore используйте сохранённый trace ID `4d8711b71965876a59aa5594ad0d51a0` из `trace-retry`, пока данные доступны по retention. При истечении retention повторите сценарий. PNG подтверждают визуализацию метрик; связанные логи и spans подтверждены тестом `trace-retry`, а не отдельными скриншотами Explore.
|
||
|
||
## Ограничения и следующие шаги
|
||
|
||
Один Docker-host и одиночные PG, Redis, S3, RabbitMQ, LB, Collector и telemetry backends. При их потере не заявляем HA. Бизнес-данные и telemetry разделены, at-least-once не exactly-once. Наблюдаемость best-effort: SDK queue/Collector memory pressure, hard crash, offline backend могут приводить к пропускам traces/logs/metrics. Трассируем зависимость до заголовков/вызова S3, не каждую SQL-команду и не весь downloaded stream. No sampling research / burn-rate track. Нагрузочные и fault evidence приведены выше. Замеры ограничены коротким сценарием и 10 одновременными upload; отдельно `tests/load.py`, повторный полный persistence/failover бизнес-стенда и три сценария `pipeline_extended.py` в предоставленном выводе Lab6 отсутствуют. Параметры CPU/RAM Docker-host и полный вывод JSON не предоставлены для этой сводки. Примерные пароли использовались на локальном тестовом стенде; при новом развёртывании заменить их перед запуском, не коммитить `.env`.
|
||
|
||
## Источники
|
||
|
||
- [Описание задания](README.md), [контракт observability](contracts/observability.md), [схема job](contracts/jobs.schema.json), [карта курса](COURSE.md).
|
||
- [OpenTelemetry Collector configuration](https://opentelemetry.io/docs/collector/configuration/), [internal telemetry](https://opentelemetry.io/docs/collector/internal-telemetry/), [context propagation](https://opentelemetry.io/docs/concepts/context-propagation/), [W3C Trace Context](https://www.w3.org/TR/trace-context/).
|
||
- [Prometheus histograms](https://prometheus.io/docs/practices/histograms/), [Loki OTLP ingestion](https://grafana.com/docs/loki/latest/send-data/otel/), [Tempo configuration](https://grafana.com/docs/tempo/latest/configuration/), [Grafana provisioning](https://grafana.com/docs/grafana/latest/administration/provisioning/).
|