Files
mtusi2026lab6/REPORT.md

73 KiB
Raw Permalink Blame History

Отчёт — лабораторная 6

  • Автор, группа: Бабиченко Максим, БВТ2303
  • Целевая оценка; выбранный трек 5, если нужен: 4, трек 5 не выбран
  • Commit/PR: <<ссылка на MR в Gitea после публикации>>
  • Использованные источники, библиотеки и помощь ИИ: всё из lab5 (FastAPI, psycopg 3, pika, boto3, Pillow, RabbitMQ 4.1, SeaweedFS 3.80, PostgreSQL 17, Redis 7.4, HAProxy 3.2). Новое: OpenTelemetry Python SDK 1.45.2 (opentelemetry-sdk, opentelemetry-exporter-otlp-proto-http) и opentelemetry-instrumentation-psycopg 0.66b2; образы otel/opentelemetry-collector-contrib:0.164.0, prom/prometheus:v3.15.1, grafana/loki:3.7.9, grafana/tempo:3.1.1, grafana/grafana:12.4.14, busybox:1.37.0 (bootstrap прав volumes). Документация: OTel Collector configuration (memory_limiter, batch, exporterhelper sending_queue/retry_on_failure, internal telemetry), OTel semantic conventions (HTTP, database, messaging, otel.sdk.*), W3C Trace Context, Prometheus OTLP receiver и histograms/histogram_quantile, promtool unit testing, Loki OTLP ingestion и structured metadata, Tempo 3 single binary, Grafana provisioning (datasources, dashboards, derived fields, traces-to-logs). При написании кода, конфигураций и тестов использовался ИИ-ассистент (Claude); весь код я прогнал и могу объяснить и изменить на защите.

Запуск из чистого clone

Проверяю на Windows (PowerShell, Docker Desktop). Python на хосте нужен только для тестов (стандартная библиотека). Перед запуском остановить стенд lab5 (docker compose down в его папке): заняты порты 8080/8404. Имя проекта Compose — messenger-lab6, volumes отдельные от lab5.

git clone https://gitea.privcloud.tech/Kalibr/mtusi2026lab6.git
cd mtusi2026lab6
git checkout solution/bvt2303-babichenko
$env:PYTHONUTF8 = "1"
Copy-Item .env.example .env
python scripts/init_secrets.py           # как в lab5 + secrets/grafana_admin_password (папка secrets/ в .gitignore)
docker compose --env-file .env config --quiet
docker compose up -d --build --wait      # postgres, s3, rabbitmq, otel-collector, prometheus, loki, tempo ->
                                         # migrate, s3-init, telemetry-init -> api x2, janitor, dispatcher, worker,
                                         # grafana -> lb
docker compose ps -a                     # migrate, s3-init, telemetry-init: Exited (0); остальные running/healthy
python tests/smoke.py --base-url http://127.0.0.1:8080        # make test при включённой телеметрии

# доказательства lab6 (~35 мин) в evidence/ и таблица замеров в этот отчёт:
python student-tests/collect_evidence.py check stack smoke configs telemetry dashboard telemetry-history `
       incident-worker incident-db incident-telemetry incident-collector load
Что Где
Grafana (dashboard «Messenger — lab6 observability», Explore, Alerting) http://127.0.0.1:3000, логин admin, пароль — secrets/grafana_admin_password
Prometheus: алерты pending/firing, запросы http://127.0.0.1:9090/alerts, http://127.0.0.1:9090/graph
Loki / Tempo HTTP API (для тестов) http://127.0.0.1:3100, http://127.0.0.1:3200
Трасса конкретного ответа API заголовок ответа X-Trace-Id (или свой traceparent в запросе) → Grafana → Explore → Tempo

Отдельные проверки (make на Windows нет):

Команда Что проверяет
python scripts/check_contract.py make check
python student-tests/check_configs.py конфиги Collector/Prometheus/Loki/Tempo их же инструментами, unit-тесты алертов (promtool), provisioning Grafana через её API
python student-tests/test_telemetry.py [request upload-chain retry-chain replay-link history] запрос ↔ лог ↔ трасса, цепочка upload → worker, retry, replay с link, сохранность истории
python student-tests/check_dashboard.py каждый запрос dashboard и правил выполняется на живых данных, запрещённых меток нет
python student-tests/incidents.py [worker-stop db-slow telemetry-down collector-down] инциденты: firing → диагностика → resolved
docker compose exec prometheus promtool test rules /etc/prometheus/tests/alerts_test.yml unit-тесты порогов/окон/for алертов
python scripts/build_dashboard.py пересобрать infra/grafana/dashboards/messenger.json из описания панелей

Bootstrap: как в lab5 (migrate, s3-init, definitions RabbitMQ) плюс telemetry-init (одноразовый chown 10001 volumes Loki и Tempo: оба процесса работают не от root). Provisioning Grafana — файлы infra/grafana/provisioning и infra/grafana/dashboards, монтируются только для чтения: источники данных и dashboard появляются при старте, ручного набора нет. Всё идемпотентно: повторный up ничего не пересоздаёт и не дублирует.

Остановка без потери данных: docker compose down (volumes pgdata, redisdata, s3data, rabbitmqdata, faults, promdata, lokidata, tempodata, grafanadata остаются). Намеренное удаление учебных данных: docker compose down -v, затем удалить папку secrets и снова python scripts/init_secrets.py. Выключить телеметрию целиком (для сравнения): OTEL_SDK_DISABLED=true в .env и docker compose up -d.

Архитектура и решения

                          +--------------------------- сеть telemetry (internal) ----------------------------+
Клиент -> lb -> api x2 ---|-- OTLP/HTTP :4318 --> otel-collector --+-- traces  OTLP gRPC --> tempo   (tempodata) |
                |         |   (traces, metrics,     memory_limiter |-- logs    OTLP HTTP --> loki    (lokidata)  |
                |         |    logs)                 batch, queues +-- metrics OTLP HTTP --> prometheus(promdata)|
   PostgreSQL <-+ outbox  |                                                    ^ pull :8888 (метрики Collector)|
   (источник истины)      |   dispatcher, worker, janitor -- OTLP --^          |                                |
                          |                                     grafana -------+--> prometheus, loki, tempo     |
                          +----------------------------------------------------------------------------------+
   W3C traceparent: API (спан create, outbox) -> dispatcher (спан publish, AMQP headers + поле сообщения)
                    -> worker (спан process, consumer) -> S3/PostgreSQL; retry/replay -> новая строка outbox
   127.0.0.1: 8080 (lb), 8404 (stats), 3000 (grafana), 9090 (prometheus), 3100 (loki), 3200 (tempo)

Перенесено из lab5 без изменения бизнес-логики и контракта: всё приложение (API, outbox, dispatcher, worker, janitor, варианты изображений, повторы, DLQ, replay), миграции, тесты lab1–5, hooks. Бизнес-API не менялся; единственное расширение — необязательный заголовок ответа X-Trace-Id (trace_id запроса) и приём входящего traceparent (обратно совместимо, клиент может не знать о них).

Что добавлено в lab6:

  • telemetry.py — настройка OpenTelemetry SDK для всех процессов: ресурс, три провайдера (traces/metrics/logs) с OTLP/HTTP exporter, ограниченные очереди, сэмплер, JSON-логи в stderr + OTLP, метрики процесса/контейнера, W3C propagator, помощники спанов.
  • Инструментирование: HTTP server-спаны и метрики в middleware main.py; спаны PostgreSQL (opentelemetry-instrumentation-psycopg, текст SQL с плейсхолдерами, без значений), S3 (storage.py), Redis и Argon2id (auth.py); messaging-спаны и перенос контекста через outbox/RabbitMQ (pipeline.py, dispatcher.py, broker.py, worker.py); метрики очереди/outbox (dispatcher), пула БД (db.py), занятости worker, времени до ready; структурные события логов (event=...).
  • Конфигурации в Git: infra/otel/collector.yaml, infra/prometheus/prometheus.yml, infra/prometheus/rules/{recording,alerts}.yml, infra/prometheus/tests/alerts_test.yml, infra/loki/loki.yaml, infra/tempo/tempo.yaml, infra/grafana/provisioning/**, infra/grafana/dashboards/messenger.json (генерирует scripts/build_dashboard.py), docs/runbooks.md.
  • compose.yaml: сервисы otel-collector, telemetry-init, prometheus, loki, tempo, grafana; сети telemetry (internal) и ops (только чтобы опубликовать UI на 127.0.0.1); volumes promdata, lokidata, tempodata, grafanadata; секрет grafana_admin_password. Restart hook перезапускает и хранилища телеметрии.
  • Тесты: student-tests/{obs.py, test_telemetry.py, check_dashboard.py, check_configs.py, incidents.py}, обновлены check_stack.py, run_persistence.py, collect_evidence.py.

Роли и назначение хранилищ

Роль Сервис Версия Зачем Health Volume Сеть / порт Credentials
Collector otel-collector otelcol-contrib 0.164.0 приём OTLP, защита памяти, пакетирование, буфер на время недоступности хранилища, маршрутизация в 3 хранилища. Не хранит метрики otelcol_* (scrape) — образ distroless, без shell нет (очередь в памяти) telemetry; 4317/4318/8888 не публикуются нет
Метрики prometheus 3.15.1 числовые ряды: «что, сколько, когда», percentiles из histogram, SLI, alert rules, состояние алертов /-/ready promdata (7 дней, ≤ 1 GB) telemetry, ops; 127.0.0.1:9090 нет
Логи loki 3.7.9 события с контекстом: «почему» (error_type, request_id, trace_id) — (/ready проверяют тесты) lokidata (7 дней) telemetry, ops; 127.0.0.1:3100 нет
Трассы tempo 3.1.1 причинная цепочка запроса через процессы и время каждого шага: «где» — (/ready) tempodata (7 дней) telemetry, ops; 127.0.0.1:3200 нет
UI grafana 12.4.14 запросы к трём хранилищам, dashboard, связки лог ↔ трасса ↔ метрика; сама сигналы не хранит /api/health grafanadata (сессии/настройки UI) telemetry, ops; 127.0.0.1:3000 grafana_admin_password

Почему так: Grafana сама не хранит сигналы, а каждому сигналу нужно своё хранилище с подходящей моделью — TSDB для рядов (Prometheus умеет OTLP напрямую, поэтому без remote-write и без exporter-а в Collector), индекс по меткам + сжатые строки для логов (Loki принимает OTLP и хранит атрибуты записи как structured metadata, поэтому trace_id/request_id не становятся метками индекса), блоки трасс по trace_id (Tempo 3 single binary без Kafka). Collector отделяет приложение от хранилищ: приложение знает один адрес, а смена/недоступность хранилища его не касается.

Сигналы: контракт → реальные имена

Имена OTel переводит в Prometheus translation_strategy: UnderscoreEscapingWithSuffixes (зафиксировано в prometheus.yml): точки → _, суффикс единицы (_seconds, _bytes) и _total для счётчиков; service.name → метка job, service.instance.id → instance, остальные ресурсные атрибуты — в target_info.

Сигнал контракта (уровень) Инструмент OTel (единица) В хранилище Метки / поля
HTTP requests (3) http.server.request.duration histogram, его _count http_server_request_duration_seconds_count http_request_method, http_route (шаблон), http_response_status_code, http_response_status_class (2xx…)
HTTP duration (3) то же, секунды; buckets 5 мс … 10 с http_server_request_duration_seconds_bucket те же + le
Jobs processed / failed (3) messenger.job.duration histogram, _count (одна метрика, без дубля) messenger_job_duration_seconds_count job_type="attachment.process.v1", outcome = ready / retry / failed / stale / lease_lost / db_error
Job processing duration (3) messenger.job.duration (s), buckets 0,1 … 120 с messenger_job_duration_seconds_bucket те же
Доставки/публикации (доп.) messenger.messages.consumed, messenger.messages.published counters messenger_messages_consumed_total, ..._published_total messaging_destination_name, outcome (processed/noop/dead_lettered/requeued; ok/error)
Логи API и worker (3) Python logging → OTel Logs API Loki: метки service_name, service_instance_id, deployment_environment_name; structured metadata event, severity_text, trace_id, span_id, request_id, job_id, error_type… в stderr та же запись одной JSON-строкой (ts, severity, service.name, event, trace_id, span_id)
Трассы API и worker (3) server / producer / consumer / client / internal спаны Tempo http.route, http.response.status_code, messaging.*, messenger.job.*, db.statement, aws.s3.key, error.type
Queue depth / oldest job age (4) messenger.queue.depth gauge; messenger.queue.oldest_age (s); доп. messenger.jobs.backlog, messenger.queue.consumers, messenger.outbox.pending, messenger.outbox.oldest_age (s) messenger_queue_depth, messenger_queue_oldest_age_seconds, … messaging_destination_name (очередь/DLQ), status
DB pool used/waiting (4) db.client.connection.count (state=used/idle), .max, .pending_requests, .timeouts, db.client.connection.wait_time (s, histogram) db_client_connection_* db_client_connection_pool_name="messenger-api", db_client_connection_state
Worker busy/capacity (4) messenger.worker.busy, messenger.worker.capacity messenger_worker_busy, messenger_worker_capacity messaging_destination_name
Process / container CPU, RAM (4) process.cpu.time (s), process.memory.usage (By); container.cpu.time, container.cpu.limit, container.memory.usage, container.memory.limit (cgroup v2, только в Docker) process_cpu_time_seconds_total, process_memory_usage_bytes, container_* cpu_mode
End-to-end time to ready (4) messenger.attachment.time_to_ready (s), buckets 0,5 … 600 с; от COMMIT задания в API до COMMIT ready, по часам PostgreSQL messenger_attachment_time_to_ready_seconds_* job_type
Сквозная связь upload → publish → consume → S3/DB (4) W3C traceparent/tracestate: parent-child, replay — link Tempo см. ниже
Потери телеметрии (4) SDK: otel.sdk.processor.span.processed{error.type}, otel.sdk.exporter.span.exported{error.type}; Collector: otelcol_exporter_{sent,send_failed,enqueue_failed}_*, otelcol_exporter_queue_size/capacity, otelcol_receiver_refused_* Prometheus exporter, error_type

Ресурс (одинаков для всех трёх сигналов процесса): service.name = messenger-api / messenger-worker / messenger-dispatcher / messenger-janitor (и messenger-ops у ops.py) — задаётся в коде процесса, поэтому общий .env не делает janitor «api»; service.version = APP_VERSION; service.instance.id = hostname контейнера (тот же, что X-Instance-Id); deployment.environment.name=lab (OTEL_RESOURCE_ATTRIBUTES).

Что не попадает в телеметрию. Метки метрик — только перечисленные выше (метод, шаблон маршрута, класс/код статуса, тип/исход задания, очередь, состояние соединения, режим CPU); check_dashboard.py проверяет, что у метрик приложения нет user_id, chat_id, message_id, attachment_id, request_id, URL, имени файла, текста и значений-UUID. В спанах и логах есть технические ID синтетических данных (job_id, attachment_id, request_id, ключ S3 вида attachments/<uuid>/v1/crop.jpg) — без них нельзя пройти от загрузки к результату worker. Не пишутся: пароли, Authorization, токен сессии и его хеш (спаны Redis без ключа), текст сообщения, имя файла, байты изображения, значения параметров SQL (capture_parameters=False), signed URL (их нет). test_telemetry.py request ищет текст сообщения, пароль и токен в Loki и атрибутах спанов — 0 совпадений. В Collector дополнительно attributes/scrub удаляет любой атрибут, чьё имя похоже на password/authorization/cookie/secret/token/api key.

Перенос контекста через очередь

[api] POST /api/v1/chats/{chat_id}/attachments  SERVER
  ├─ PostgreSQL INSERT attachments, S3 PutObject staging/<hex>, UPDATE ... state='queued'
  └─ create attachments  PRODUCER     ← строка outbox в ТОЙ ЖЕ транзакции; traceparent этого спана
       │                                 пишется в attachment_jobs.traceparent и в payload outbox
       └─ [dispatcher] publish attachments  PRODUCER   ← родитель = traceparent из outbox; свой контекст
            │                                            кладёт в AMQP header traceparent и в поле сообщения
            └─ [worker] process attachments.process.v1  CONSUMER  ← родитель = header (запасной — поле тела)
                 ├─ claim (PostgreSQL), S3 GetObject, imaging, S3 PutObject x4, commit result (PostgreSQL)
                 ├─ (ошибка) create attachments PRODUCER → publish → process (попытка 2) — та же трасса
                 └─ cleanup staging (S3 DeleteObject, UPDATE) — после ack, в той же трассе

Выбранная семантика: parent-child вдоль причинной цепочки (публикация и обработка — продолжение запроса пользователя, а задержка между ними видна как разрыв во времени). Link — когда это новое решение, а не продолжение: ops.py replay создаёт новую трассу (корень ops replay), спан create которой ссылается на исходную загрузку. Восстановление истёкшей аренды dispatcher-ом и сверка «queued без сообщения» создают спаны recover expired lease / republish lost message с родителем из attachment_jobs.traceparent. В lab5 traceparent был случайным; теперь это контекст реального спана.

Сэмплирование: ParentBased(AlwaysOn), но клиентский спан без родителя не записывается — это фоновые опросы (dispatcher раз в секунду читает outbox, продление аренды, проверка соединений пула). Всё, что относится к запросу или заданию, сохраняется полностью (100%). Проверки здоровья (/health/*, HAProxy раз в секунду) — только в метриках, без трасс.

SLI / SLO и окно

SLO SLI (числитель / знаменатель) Цель Окно Recording rule
SLO-1 доступность API бизнес-запросы API без 5xx / все бизнес-запросы API (все маршруты кроме /health/*). 4xx — ошибки клиента, не входят в числитель ≥ 99% скользящий 1 ч (учебное окно; в эксплуатации то же выражение с 28d) messenger:slo_availability:ratio_1h, бюджет messenger:slo_availability:error_budget_remaining_1h
SLO-2 задержка записи успешные POST /api/v1/chats/{chat_id}/messages быстрее 250 мс (bucket le="0.25") / все успешные такие запросы ≥ 95% 1 ч messenger:slo_latency_messages:ratio_1h
SLO-3 фоновая обработка вложения ready не позже 30 с от приёма (bucket le="30" гистограммы time_to_ready) / все ставшие ready ≥ 95% 1 ч messenger:slo_time_to_ready:ratio_1h

Проверяемость: все SLI — отношения счётчиков/buckets гистограмм, просуммированных по репликам (sum(increase(...[1h]))), поэтому SLO вычисляется одинаково на любом наборе реплик и видно на dashboard (строка «Обзор и SLO»).

Dashboard: запросы и единицы

Dashboard — infra/grafana/dashboards/messenger.json (импортируется provisioning-ом, папка Messenger; 34 панели в 6 строках: обзор/SLO и алерты, API RED, фоновая обработка, насыщение, конвейер телеметрии, логи и трассы). Ключевые запросы ($__rate_interval подставляет Grafana; API = job="messenger-api", http_route!~"/health/.*"):

Панель PromQL Единица
RPS по маршрутам / по классу статуса sum by (http_request_method, http_route) (rate(http_server_request_duration_seconds_count{API}[$__rate_interval])) req/s
Доля 5xx (sum(rate(..._count{API, http_response_status_class="5xx"}[…])) or on() vector(0)) / sum(rate(..._count{API}[…])) доля (0–1)
p50 / p95 / p99 API histogram_quantile(0.95, sum by (le) (rate(http_server_request_duration_seconds_bucket{API}[$__rate_interval]))) с
p95 по маршрутам histogram_quantile(0.95, sum by (le, http_route) (rate(..._bucket{API}[…]))) с
Попытки заданий по исходу sum by (outcome) (rate(messenger_job_duration_seconds_count[…])) 1/с
Длительность попытки / время до ready p50/p95/p99 histogram_quantile(q, sum by (le) (rate(messenger_job_duration_seconds_bucket{outcome="ready"}[…]))), то же для messenger_attachment_time_to_ready_seconds_bucket с
Глубина очереди и backlog max by (messaging_destination_name) (messenger_queue_depth), max by (status) (messenger_jobs_backlog) сообщений / заданий
Возраст старейшего задания и outbox max(messenger_queue_oldest_age_seconds{messaging_destination_name="attachments.process.v1"}), max(messenger_outbox_oldest_age_seconds) с
Пул БД sum by (instance) (db_client_connection_count{db_client_connection_state="used"}), max(db_client_connection_max), sum by (instance) (db_client_connection_pending_requests); p95 ожидания histogram_quantile(0.95, sum by (le, instance) (rate(db_client_connection_wait_time_seconds_bucket[…]))) соединений / с
Насыщение worker sum(messenger_worker_busy) / sum(messenger_worker_capacity) доля
CPU / RAM sum by (job, instance) (rate(process_cpu_time_seconds_total[…])) (ядер), rate(container_cpu_time_seconds_total) / container_cpu_limit (доля лимита), process_memory_usage_bytes, container_memory_usage_bytes ядра / доля / байты
Collector и SDK rate(otelcol_receiver_accepted_spans[…]), rate(otelcol_exporter_send_failed_spans[…]), otelcol_exporter_queue_size / otelcol_exporter_queue_capacity, otelcol_process_memory_rss, rate(otel_sdk_exporter_span_exported_total{error_type!=""}[…]) 1/с, доля, байты
Логи / трассы Loki {service_name=~"messenger-.*"} | detected_level=~"warn|error"; Tempo TraceQL { status = error } —

Percentile только из buckets гистограммы, просуммированных по всем репликам до histogram_quantile (sum by (le)); среднее и усреднение p95 реплик не используются. Точность — ширина bucket: например, при запросах по 5,0 с (statement_timeout) интерполяция внутри bucket 5–7,5 с даёт p95 ≈ 7,4 с; это ограничение метода, видно на инциденте 2.

Алерты

infra/prometheus/rules/alerts.yml; состояние — Prometheus /alerts и ALERTS{} (видно и resolved по истории), Grafana показывает их как data source rules. Внешней доставки нет (по заданию).

Алерт Условие Окно Порог for Runbook
MessengerHighErrorRate доля 5xx бизнес-запросов API и трафик > 0,2 запроса/с rate 1m > 5% (в 5 раз выше бюджета SLO-1) 1m docs/runbooks.md#messengerhigherrorrate
MessengerQueueLagGrowing возраст старейшего готового задания мгновенное значение (обновление 5–10 с) > 30 с (SLO-3) 1m #messengerqueuelaggrowing
MessengerWorkerNoConsumers consumers очереди = 0 — 0 1m #messengerworkernoconsumers
MessengerDbPoolSaturated запросы ждут соединение из пула — > 0 1m #messengerdbpoolsaturated
TelemetryExportFailing потери в Collector (send/enqueue failed) или очередь exporter заполнена > 5% rate 2m > 0 / > 5% 1m #telemetryexportfailing
TelemetryCollectorDown up{job="otel-collector"} == 0 — — 1m #telemetrycollectordown

Пороги, окна и for проверены unit-тестами infra/prometheus/tests/alerts_test.yml (promtool: не срабатывает раньше for, не срабатывает при пустом трафике и на ошибках /health, resolved после восстановления) и живыми инцидентами ниже.

Collector и SDK: память и недоступность хранилища

  • SDK (каждый процесс): BatchSpanProcessor и BatchLogRecordProcessor с очередью 2048 (OTEL_BSP_MAX_QUEUE_SIZE, OTEL_BLRP_MAX_QUEUE_SIZE), экспорт в фоновом потоке, таймаут 5 с (OTEL_EXPORTER_OTLP_TIMEOUT); метрики — агрегаты фиксированного размера раз в 10 с. Переполнение и непринятые пакеты считаются самим SDK (OTEL_PYTHON_SDK_INTERNAL_METRICS_ENABLED=true). Ошибки экспорта пишутся в лог не чаще раза в 30 с и не отправляются тем же экспортом (иначе петля).
  • Collector: первым в каждом pipeline memory_limiter (heap Go: жёсткий предел 200 MiB, мягкий 160 MiB — receiver отвечает клиентам ошибкой, SDK отбрасывает у себя), затем batch (2 с / 1024–2048 элементов). У каждого exporter своя sending_queue в памяти (Tempo, Loki — 200 пакетов, Prometheus — 100) и retry_on_failure (1 → 10 с, max_elapsed_time 120 с). Окно повторов считается для пакета с первой попытки; ожидание в очереди в него не входит, поэтому буфер на время недоступности — это очередь. Пакет отбрасывается, когда истекли его 120 с повторов (otelcol_exporter_send_failed_*) или очередь полна (otelcol_exporter_enqueue_failed_*). Pipeline независимы: недоступный Tempo не мешает логам и метрикам. Очередь не персистентная: рестарт Collector теряет буфер (осознанный компромисс учебного стенда, file_storage не нужен).
  • Контейнер Collector 384 MiB: RSS = heap (≤ 200 MiB) + runtime Go + отображённый в память бинарник contrib (~150 MiB вытесняемых страниц); поэтому тест сравнивает с лимитом именно heap (otelcol_process_runtime_heap_alloc_bytes), а RSS/память контейнера приводит для сведения.

Соответствие .env.example

Переменная Что делает в этом решении
всё из lab5 как в lab5 (см. REPORT lab5)
OTEL_SERVICE_NAME messenger-api для api; compose задаёт свой каждому сервису; фактически service.name берётся из кода процесса
OTEL_EXPORTER_OTLP_ENDPOINT / _PROTOCOL http://otel-collector:4318, http/protobuf (SDK добавляет /v1/traces, /v1/metrics, /v1/logs)
OTEL_RESOURCE_ATTRIBUTES deployment.environment.name=lab
OTEL_SDK_DISABLED true — SDK выключен во всех процессах (логи остаются JSON в stderr); для сравнения telemetry off/on
(только compose) OTEL_EXPORTER_OTLP_TIMEOUT, OTEL_METRIC_EXPORT_INTERVAL, OTEL_BSP_MAX_QUEUE_SIZE, OTEL_BLRP_MAX_QUEUE_SIZE, OTEL_PYTHON_SDK_INTERNAL_METRICS_ENABLED 5 с, 10000 мс, 2048, 2048, true

Доказательства критериев

python student-tests/collect_evidence.py … пишет вывод каждого шага в evidence/<шаг>.txt (дата, commit, код выхода), итог — evidence/summary.md, JSON инцидентов — evidence/incident-*.json, а таблицы замеров — в блок «Замеры (Docker)» ниже. Те же сценарии прогнаны в нативной песочнице (те же версии Collector/Prometheus/Loki/Tempo, процессы без Docker; см. «Где проверено») — evidence/native-sandbox/.

Критерий README Команда/сценарий Наблюдаемый результат (Docker-стенд, evidence/; то же в нативной песочнице — evidence/native-sandbox/) Файл доказательства
3: минимум lab5 работает, make test при включённой телеметрии tests/smoke.py PASS через балансировщик с SDK во всех процессах smoke.txt
3: Collector, 3 хранилища и Grafana в одном воспроизводимом стенде; конфиги/provisioning в Git; persistent volumes check_stack.py, check_configs.py, test_telemetry.py history конфиги валидны инструментами тех же версий; unit-тесты алертов SUCCESS; после restart prometheus/loki/tempo прежние трасса, логи и точка метрики находятся stack.txt, configs.txt, telemetry-history.txt
3: API и worker отдают OTLP; RPS/errors/duration API, jobs ok/failed и duration worker; логи и реальные трассы check_dashboard.py, test_telemetry.py все 54 PromQL-выражения dashboard и 16 выражений правил выполняются без ошибок, ключевые сигналы с данными; трассы API, dispatcher, worker dashboard.txt, telemetry.txt
3: импортируемый dashboard; низкая кардинальность; trace/span id в логах; нет содержимого/секретов check_dashboard.py, check_configs.py (Grafana API), test_telemetry.py request метки только из белого списка, http_route — шаблоны; dashboard provisioned=true; текст, пароль, токен: 0 совпадений в Loki и спанах dashboard.txt, configs.txt, telemetry.txt
3: контролируемый запрос → trace + лог; job → worker trace + лог test_telemetry.py request upload-chain свой traceparent → server-спан с дочерними PostgreSQL/Redis → лог event=http.request с тем же trace_id/span_id и request_id = X-Request-Id; логи worker job.claimed/job.ready с trace_id загрузки telemetry.txt
3: назначение каждого хранилища раздел «Роли и назначение хранилищ» — REPORT.md
4: W3C через API → broker → worker, producer/consumer, цепочка до S3/DB, включая retry test_telemetry.py upload-chain retry-chain replay-link одна трасса: server → create (producer) → publish (producer, dispatcher) → process (consumer, worker) → 4×S3 PutObject + commit; retry: попытка 1 ERROR storage_unavailable → create → publish → попытка 2 ready; replay — новая трасса с link на исходную telemetry.txt
4: p50/p95/p99 из histogram, доля ошибок, queue depth/oldest age, DB pool, saturation worker; запросы и единицы dashboard + раздел «Dashboard: запросы и единицы» все панели выполняются на живых данных dashboard.txt
4: SLI/SLO и окно; alert rules high error rate и queue lag; проверены отказом (firing/resolved) incidents.py worker-stop db-slow, promtool test rules см. таблицы инцидентов: firing и resolved по каждому алерту incident-worker.txt, incident-db.txt, configs.txt
4: memory limiter/batch, ограниченная буферизация; остановка хранилища телеметрии не ломает сообщения и не растит RAM incidents.py telemetry-down collector-down API 100% успешных ответов, heap Collector ограничен, потери посчитаны incident-telemetry.txt, incident-collector.txt
4: разбор двух инцидентов и шаги диагностики раздел «Эксперименты и отказы» — REPORT.md, docs/runbooks.md
Выбранный трек 5 — не выбран —

Где проверено

Нативная песочница (выполнено). Среда, где писалось решение, не имеет доступа к Docker Hub, поэтому весь стенд был поднят теми же процессами без контейнеров: PostgreSQL 16, Redis 7, RabbitMQ 3.12, SeaweedFS 3.80, HAProxy 2.8, 2 реплики API за балансировщиком, dispatcher, worker, janitor (Python 3.11, те же requirements.txt) и те же версии otelcol-contrib 0.164.0, Prometheus 3.15.1, Loki 3.7.9, Tempo 3.1.1 с конфигами из infra/ (заменены только адреса tempo:4317 → 127.0.0.1:14317 и т.п.). Тесты запускались без изменений через тонкую подмену команды docker compose (stop/start/exec на процессы). Результаты — evidence/native-sandbox/, цифры — в разделе ниже. Grafana в песочнице не запускалась (нет бинарника без Docker Hub): её provisioning проверяет check_configs.py через HTTP API Grafana на Docker-стенде, а все запросы dashboard выполнены против живых Prometheus/Loki/Tempo (check_dashboard.py).

Docker-стенд (Windows 10, Docker Desktop 28.1.1, Compose 2.35.1; VM 16 CPU / 15,2 GiB) — выполнено 2026-11-01. Стенд поднят из чистого состояния (init_secrets.py, docker compose pull, up -d --build --wait) без правок кода и конфигов: migrate, s3-init, telemetry-init — Exited (0), остальные running/healthy; Loki и Tempo пишут в volumes от uid 10001 без ошибок прав. Полный прогон collect_evidence.py — все шаги PASS: lab6 (check, stack, smoke, configs, telemetry, dashboard, telemetry-history, 4 инцидента, load) и регрессия lab1–5 (--from jobs-variants, 22 шага, включая failover и persistence; restart hook вместе с ожиданием готовности — 60,9 с при лимите 90 с). Вывод — evidence/*.txt, сводка — evidence/summary.md, таблицы — блок «Замеры (Docker)» ниже. Grafana проверена через её API: 3 источника данных healthy, dashboard provisioned, трасса по X-Trace-Id открывается через источник Tempo, лог с тем же trace_id — через Loki (связки tracesToLogs и derived field TraceID).

Эксперименты и отказы

Гипотезы:

  1. По сохранённым метрикам, логам и трассам можно найти причину инцидента, не заходя в контейнеры: остановленный worker отличается от медленной БД, а медленная БД — от медленного обработчика.
  2. Недоступность любого звена телеметрии (хранилище, Collector) не влияет на ответы API, память Collector и процессов приложения ограничена, а потери телеметрии считаются.

Методика: student-tests/incidents.py — нагрузка (closed loop, POST сообщений), контролируемый отказ, опрос /api/v1/alerts каждые 5 с до firing, «диагностика» только запросами к Prometheus/Loki/Tempo, устранение отказа, ожидание resolved; хронология в выводе, итог в evidence/incident-*.json (без токенов и текстов).

Нативная песочница: результаты

Окружение: Linux x86_64, 2 vCPU, 8 GiB RAM на всё (стенд, хранилища телеметрии и клиент нагрузки); PostgreSQL 16, Redis 7, RabbitMQ 3.12, SeaweedFS 3.80, HAProxy 2.8, 2 реплики API, Python 3.11; otelcol-contrib 0.164.0, Prometheus 3.15.1, Loki 3.7.9, Tempo 3.1.1 (те же версии и конфиги, что в compose.yaml). Дата прогона 2026-11-01. Сводка шагов (все PASS, включая регрессию lab1–5: варианты изображений, outbox, повторы/DLQ/replay, конкуренция worker, вложения, идемпотентность, гонки) — evidence/native-sandbox/summary.md.

Алерты на контролируемых инцидентах (student-tests/incidents.py, состояние из Prometheus /api/v1/alerts):

Инцидент Воздействие Алерт firing через, с resolved через, с после устранения
1. worker docker compose stop worker + 3 загрузки MessengerWorkerNoConsumers 66.4 (от stop) 17.0 (от start)
1. worker docker compose stop worker + 3 загрузки MessengerQueueLagGrowing 111.4 (от stop) 17.0 (от start)
2. PostgreSQL LOCK TABLE messages IN ACCESS EXCLUSIVE MODE на 210 с под нагрузкой 8 потоков MessengerHighErrorRate 120.1 (от LOCK) 30.0 (от COMMIT блокировки)
3. телеметрия docker compose stop tempo loki на 150 с TelemetryExportFailing 101.4 (от stop) 155.4 (от start)

Инцидент 1, наблюдения в момент firing: consumers очереди = 0.0, сообщений в RabbitMQ = 3.0, queued заданий = 3.0, возраст старейшего = 97.3 с, возраст outbox = 0.0 с (публикация работает), метрики worker не обновлялись 110.0 с, последний лог worker: event=service.stopped; трасса загрузки содержит publish attachments, но не содержит process attachments.process.v1. После start: вложения ready через 2.0 с, backlog 0.0.

Инцидент 2, наблюдения: доля 5xx (1m) = 1.0, коды POST /messages за 1m = {'201': 0.0, '200': 0.0, '404': 0.0, '400': 0.0, '409': 0.0, '503': 1.6}, p95 POST /messages = 7.375 с, чтения других таблиц (GET /users/me, /chats) во время блокировки {'GET /users/me + GET /chats, avg per request': 4.7, 'max': 5.4} мс, занято соединений пула = 8.0, p95 ожидания пула = 0.001 с, логи API event=db.unavailable по error_type: {'QueryCanceled': 184}. Error-трасса 1c7f8dd06427574a5f155558aa4cd975: server-спан 5006.7 мс, из них INSERT 5000.6 мс (доля 0.999, статус ERROR). Контраст «медленный обработчик» (трасса a6da2e3fe7b0c229773f36fa507293ca, POST /users): server 34.0 мс, argon2id hash 29.0 мс, все спаны БД 0.6 мс. Нагрузка: до 132.4 успешных записей/с, во время блокировки {'503': 320, '201': 6}, после 131.9/с без ошибок.

Отказ телеметрии API во время отказа Память Потери телеметрии
stop tempo loki на 150 с (окно повторов Collector 120 с) 11500 запросов, коды {'201': 11500}, доля успеха 1.0 heap Collector 44.1 -> max 92.7 MiB (limit 200), контейнер max 273.3 MiB send/enqueue failed в Collector: {'spans': 4096, 'log_records': 269}; пробные трассы дошли 14/15, потеряны отправленные на [142.1] с
stop otel-collector на 90 с 6263 запросов, коды {'201': 6263}, доля успеха 1.0 api 280.5 -> max 292.5 MiB (2 реплики) SDK api потерял спанов: {'processor_queue_full': 0, 'exporter_failed': 24576} (queue_full — очередь 2048 полна, exporter_failed — Collector не принял пакет); после start экспорт возобновился (10524 спанов за минуту)

Публичный генератор нагрузки при включённой телеметрии (tests/load.py, closed loop, concurrency 4, 30 с, 2 реплики): 291.265 успешных POST/с, ошибок 0, p50 11.557 мс, p95 26.659 мс, p99 56.425 мс (песочница 2 vCPU на всё: стенд + хранилища + клиент; не сравнивать с Docker-машиной).

Инцидент 1: остановлен worker («задания не обрабатываются»)

Воздействие: docker compose stop worker, затем 3 загрузки вложений (API отвечает 202 queued — приём от worker не зависит).

Шаги диагностики (как в docs/runbooks.md):

  1. Алерт MessengerWorkerNoConsumers (consumers = 0), затем MessengerQueueLagGrowing (возраст старейшего задания > 30 с). Dashboard «Возраст старейшего задания» растёт линейно — задания не забирают, а не «их стало много».
  2. Публикация или обработка? messenger_outbox_oldest_age_seconds = 0 и messenger_messages_published_total{outcome="ok"} растёт → dispatcher и RabbitMQ работают, сообщения в брокере (messenger_queue_depth = числу загрузок).
  3. Кто не забирает? messenger_queue_consumers = 0, метрики messenger_worker_* перестали обновляться (worker не экспортирует), последний лог worker в Loki — event=service.stopped (штатная остановка, а не падение — тогда был бы job.handler_crashed/обрыв без stopped).
  4. Трасса любой из загрузок (trace_id из лога API event=http.request или X-Trace-Id): есть publish attachments, нет process attachments.process.v1 — сообщение доставлено в очередь, но не взято.
  5. Причина: worker остановлен. Действие: docker compose start worker. Проверка: вложения ready через 2–5 с (Docker 4,7 с, песочница 2,0 с), backlog → 0, оба алерта resolved (Docker — через 29,7 с после start).

Инцидент 2: медленная БД (блокировка таблицы messages) vs медленный обработчик

Воздействие: под нагрузкой 8 потоков LOCK TABLE messages IN ACCESS EXCLUSIVE MODE в отдельной транзакции на 210 с (PostgreSQL жив, /health/ready 200, но каждая запись ждёт блокировку и через statement_timeout 5 с отменяется → API 503).

Шаги диагностики:

  1. Алерт MessengerHighErrorRate. Срабатывает не сразу: окно rate 1m заполнено быстрыми запросами до инцидента (~115–130/с), а во время блокировки closed-loop нагрузка даёт ~1,6 запроса/с (каждый висит 5 с), поэтому доля > 5% появляется только через 50–80 с, плюс for: 1m (firing через 140,8 с от LOCK в Docker, 120,1 с в песочнице).
  2. Какие маршруты и коды: только POST /api/v1/chats/{chat_id}/messages, код 503; чтения других таблиц (GET /api/v1/users/me, GET /api/v1/chats) во время блокировки 5–20 мс (Docker 17,2 мс, песочница 4,7 мс) → не «всё медленно», а конкретная таблица/операция.
  3. БД или обработчик — по трассе: TraceQL { resource.service.name = "messenger-api" && status = error } → server-спан ≈ 5005–5015 мс, из них дочерний INSERT (PostgreSQL) ≈ 5001 мс со статусом ERROR — 99,8–99,9% времени запрос ждал БД. Для контраста медленный обработчик: POST /api/v1/users — server 20–35 мс, из них argon2id hash 16–29 мс (CPU в процессе API), все спаны БД < 1 мс. По метрикам то же различие: при медленной БД растут db_client_connection_count{state="used"} (соединения заняты ожиданием) и p95 конкретного маршрута, при медленном обработчике пул свободен, а растёт CPU процесса API (process_cpu_time_seconds_total).
  4. Почему — по логам: {service_name="messenger-api"} | event="db.unavailable" с error_type=QueryCanceled (statement_timeout), а не OperationalError (БД недоступна) или PoolTimeout (нет соединений).
  5. Подтверждение в PostgreSQL: pg_stat_activity показывает сессии с wait_event_type=Lock и держателя блокировки (LOCK TABLE ...). Действие: завершить транзакцию-держателя. Проверка: 5xx → 0, алерт resolved через 30–50 с после снятия блокировки (Docker 50,1 с, песочница 30,0 с: окно rate 1m заполняется успешными запросами, затем ближайшая оценка правила).

Инцидент 3: недоступна телеметрия (Tempo + Loki; затем сам Collector)

Ожидаем: API не замечает отказа; Collector копит пакеты в ограниченной очереди, heap не выходит за memory_limiter; TelemetryExportFailing firing → resolved; после восстановления очередь досылается, потери посчитаны. Без Collector: SDK каждого процесса отбрасывает лишнее (очередь 2048), память API не растёт, потери видны в otel_sdk_exporter_span_exported_total{error_type!=""} после восстановления.

Что показал эксперимент (числа — в таблицах выше):

  • Tempo + Loki остановлены на 150 с под нагрузкой ~60 записей/с (Docker; в песочнице ~68/с): все ответы API 201 (9555 запросов), p95 не изменился (31 мс до и во время отказа). Очереди exporter Tempo/Loki росли (метрики продолжали идти в Prometheus — pipeline независимы), heap Collector вырос с 35,5 до max 86,9 MiB (песочница 44 → 93 MiB) — далеко от предела 200 MiB, память контейнера Collector не выше 107 MiB; TelemetryExportFailing перешёл в firing через 73 с (песочница ~100 с) — по заполнению очереди, ещё до первых потерь. После start очереди досланы за 60 с (песочница ~80 с), алерт resolved через 166 с после start (песочница ~155 с: окно rate 2m по счётчику потерь — последние пакеты с истёкшим окном повторов отброшены около момента восстановления, плюс for); все 13 пробных трасс, отправленных во время отказа, нашлись в Tempo (песочница 14 из 15). Потеряно и посчитано Collector-ом 4096 спанов и 235 записей логов (песочница 4096 и 269) — пакеты, у которых истекло окно повторов.
  • Collector остановлен на 90 с: все ответы API 201 (5852 запроса), память двух реплик API 295 → max 314 MiB (+18 MiB; песочница +12 MiB) и после восстановления не растёт. Экспорт в SDK получает ошибку соединения, пакет отбрасывается (буфера на диске нет). В Docker остановленный контейнер исчезает из DNS сети, и каждая попытка экспорта висит до таймаута 5 с. Экспорт становится медленнее, чем API создаёт спаны, поэтому ограниченная очередь процессора (2048) переполняется и лишнее отбрасывается сразу: за отказ потеряно и посчитано 8252 спана processor_queue_full и 10752 exporter_failed (otel_sdk_processor_span_processed_total, otel_sdk_exporter_span_exported_total с error_type). В песочнице соединение отклонялось мгновенно: 24,6 тыс. exporter_failed, очередь не переполнялась. В обоих случаях память ограничена очередью и ответы API не замедлились (p95 31–32 мс); после start экспорт возобновился без перезапуска приложения (10287 спанов за минуту).
  • Вывод: отказ любого звена телеметрии не затрагивает пользователей и не растит память без предела; потери ограничены временем отказа и видны в метриках. Короткую недоступность хранилища (до заполнения очереди Collector, здесь минуты) Collector переживает почти без потерь, недоступность самого Collector — нет.

Машина: Windows 10, AMD64 Family 26 Model 68 Stepping 0, AuthenticAMD; Docker VM: 16 CPU, 15.2 GiB RAM; клиент Python 3.11.1; дата прогона 2026-11-01, commit 470d9d6 + uncommitted changes. Лимиты контейнеров: api 1 CPU / 512 MiB каждая, postgres, s3 (SeaweedFS) и rabbitmq по 1 CPU / 512 MiB, redis и lb по 0,5 CPU / 128 MiB, janitor 0,25 CPU / 192 MiB, dispatcher 0,25 CPU / 128 MiB, worker 2 CPU / 1536 MiB; lab6: otel-collector 0,5 CPU / 384 MiB, prometheus, loki, tempo по 1 CPU / 512 MiB, grafana 0,5 CPU / 384 MiB.

Алерты на контролируемых инцидентах (student-tests/incidents.py, состояние из Prometheus /api/v1/alerts):

Инцидент Воздействие Алерт firing через, с resolved через, с после устранения
1. worker docker compose stop worker + 3 загрузки MessengerWorkerNoConsumers 101.7 (от stop) 29.7 (от start)
1. worker docker compose stop worker + 3 загрузки MessengerQueueLagGrowing 131.8 (от stop) 29.7 (от start)
2. PostgreSQL LOCK TABLE messages IN ACCESS EXCLUSIVE MODE на 210 с под нагрузкой 8 потоков MessengerHighErrorRate 140.8 (от LOCK) 50.1 (от COMMIT блокировки)
3. телеметрия docker compose stop tempo loki на 150 с TelemetryExportFailing 73.1 (от stop) 165.6 (от start)

Инцидент 1, наблюдения в момент firing: consumers очереди = 0.0, сообщений в RabbitMQ = 6.0, queued заданий = 3.0, возраст старейшего = 127.3 с, возраст outbox = 0.0 с (публикация работает), метрики worker не обновлялись 131.0 с, последний лог worker: event=service.stopped; трасса загрузки содержит publish attachments, но не содержит process attachments.process.v1. После start: вложения ready через 4.7 с, backlog 0.0.

Инцидент 2, наблюдения: доля 5xx (1m) = 1.0, коды POST /messages за 1m = {'201': 0.0, '200': 0.0, '404': 0.0, '400': 0.0, '409': 0.0, '503': 1.6}, p95 POST /messages = 7.375 с, чтения других таблиц (GET /users/me, /chats) во время блокировки {'GET /users/me + GET /chats, avg per request': 17.2, 'max': 23.5} мс, занято соединений пула = 8.0, p95 ожидания пула = 0.001 с, логи API event=db.unavailable по error_type: {'QueryCanceled': 216}. Error-трасса 237e2d6b1c7db22adbb7d4752fa47f2: server-спан 5013.3 мс, из них INSERT 5001.3 мс (доля 0.998, статус ERROR). Контраст «медленный обработчик» (трасса 4a222e478c2d51006538a7bfeb485eb1, POST /users): server 21.2 мс, argon2id hash 16.4 мс, все спаны БД 0.7 мс. Нагрузка: до 115.5 успешных записей/с, во время блокировки {'503': 320, '201': 8}, после 116.8/с без ошибок.

Отказ телеметрии API во время отказа Память Потери телеметрии
stop tempo loki на 150 с (окно повторов Collector 120 с) 9555 запросов, коды {'201': 9555}, доля успеха 1.0 heap Collector 35.5 -> max 86.9 MiB (limit 200), контейнер max 107.0 MiB send/enqueue failed в Collector: {'spans': 4096, 'log_records': 235}; пробные трассы дошли 13/13, потеряны отправленные на [] с
stop otel-collector на 90 с 5852 запросов, коды {'201': 5852}, доля успеха 1.0 api 295.2 -> max 313.5 MiB (2 реплики) SDK api потерял спанов: {'processor_queue_full': 8252, 'exporter_failed': 10752} (queue_full — очередь 2048 полна, exporter_failed — Collector не принял пакет); после start экспорт возобновился (10287 спанов за минуту)

Публичный тест отказа (make test-failover, 15 с записи во время остановки реплики):

Прогон Остановлена реплика Реплик до отказа Успешных записей Неудачных попыток (повторены с тем же ключом) Первая запись после hook, с
1 171a473b0d28 2 127 0 4.75
2 1db2fedff78f 2 126 0 4.578

Одновременные загрузки (student-tests/upload_memory.py, перед каждым сценарием реплики перезапускаются, лимит api 512 MiB / 1 CPU). Пик RSS — VmHWM процесса API; cgroup — память контейнера, включая page cache временных файлов:

Сценарий Одновременно Объём, MiB Время, с (p50 / max) Реплика: загрузок RSS до, MiB Пик RSS, MiB Рост, MiB Пик cgroup, MiB
10 x ~9.5 MiB PNG (noise) 10 94.9 1.77 / 1.95 171a473b0d28: 5 109.6 124.5 14.9 162.8
1db2fedff78f: 5 110.5 125.6 15.1 163.3
10 x 40 Mpx PNG (8000x5000 RGB) 10 1.1 0.98 / 1.3 171a473b0d28: 5 107.6 112.4 4.8 101.5
1db2fedff78f: 5 107.1 109.8 2.7 100.0
20 mixed: large + 40 Mpx + JPEG 20 133.2 1.45 / 1.95 171a473b0d28: 10 109.0 136.3 27.3 191.4
1db2fedff78f: 10 110.6 135.0 24.3 172.8

Один PNG 8000x5000 RGB внутри контейнера api, дополнительный пик RSS: наивно (тело целиком в памяти + полное декодирование Pillow) 161 MiB, потоковая проверка 0 MiB. 10 таких наивных загрузок одновременно не поместились бы в 512 MiB.

Публичный генератор нагрузки (tests/load.py, closed loop, concurrency 4, 30 с, 2 реплики): 239.02 успешных POST/с, ошибок 0 (доля 0.0), задержка успешных p50 16.0 мс, p95 32.0 мс, p99 47.0 мс.

Воздействие Что ожидаем Что наблюдали Время восстановления / потеря данных
публичный make test-failover для каждой реплики запись продолжается не позже 10 с, подтверждённые сообщения на месте, дублей нет PASS 2 раз(а), неудачных попыток: 0, 0 первая запись после hook через 4.75, 4.578 с (hook ждёт остановки ~4 с); потерь нет
перезапуск всего стенда (restart hook: postgres, redis, s3, api, janitor, lb) данные, файл и прежний токен живы PASS, те же контейнеры с новым временем старта 60.9 с до готовности; потерь нет
docker compose stop s3 (SeaweedFS остановлен) загрузка и скачивание -> 503, метаданные, сообщения и /health/ready работают upload 503 за 20234 мс, download 503, остальное 200/201 после start файлы на месте; uploading-строку убрал janitor; потерь нет
docker compose pause s3 (SeaweedFS завис) то же, но через таймауты S3-клиента upload 503 за 14703 мс (2 попытки x 5 с + откат 2 с) после unpause файлы на месте; потерь нет
падение между PUT в S3 и COMMIT в БД (код API в контейнере, finish_upload падает) вложение не видно, janitor не трогает его до конца grace period, потом удаляет объект и строку GET/прикрепление -> 404; janitor: свежая строка сохранена, dry-run только отчёт, затем удалено мусора не осталось; повторный проход ничего не делает
обрыв загрузки клиентом (9 МБ заявлено, отправлено 0,2 и 3 МБ) ничего не сохраняется строк и объектов не прибавилось, временных файлов 0 мгновенно
worker остановлен, upload, рестарт rabbitmq и api с volumes, start worker 202 queued, сообщение с вложением 201, content 409; после рестартов job в очереди; тот же job_id -> ready worker started -> same job 6a45774d-0d88-46ec-87b9-70fb4c122bbd ready, thumbnail downloadable; staging object deleted потерь нет; staging удалён после COMMIT
rabbitmq остановлен во время upload 202 и /health/ready 200 без брокера; строка outbox ждёт; после start публикуется rabbitmq started -> dispatcher published the pending row -> ready потерь нет
crash dispatcher между COMMIT задания и publish строка outbox не отмечена -> публикуется после рестарта процесса dispatcher killed between COMMIT and publish; restarted by policy, outbox re-published -> job d1eb476a-fbe1-4271-861f-74f3e943b8cc ready, attempt 1, no manual action без ручного действия
crash dispatcher после confirm, до отметки outbox дубль сообщения, worker распознаёт по состоянию job dispatcher killed after publisher confirm, before marking outbox -> message published twice; worker: ['created', 'claimed', 'ready', 'duplicate_ignored'] -> one result set один набор вариантов
crash worker после PUT в S3, до COMMIT и ack повтор после истечения аренды перезаписывает те же ключи worker killed after S3 PUT (before COMMIT and ack): redelivery saw a live lease (no-op), lease expired after 15 s, attempt 2 rewrote the same keys -> one set; events ['created', 'claimed', 'duplicate_ignored', 'lease_expired', 'claimed', 'ready'] один набор, 4 объекта
crash worker после COMMIT, до ack redelivery ready-задачи -> no-op ack worker killed after COMMIT, before ack: broker redelivered, worker acked as no-op (1:duplicate_ignored:status=ready); queue empty (0 ready, 0 unacked) очередь пуста, дублей нет
worker завис (не продлевает аренду) dispatcher возвращает job, другой поток завершает; поздний результат отклонён fencing frozen attempt 1 stopped renewing; lease expired, recovered by dispatcher, attempt 2 ready after 17 s; frozen attempt woke up -> stale_result_rejected; events ['created', 'claimed', 'lease_expired', 'claimed', 'ready', 'stale_result_rejected'] ready не откатан
зависание обработки изображения процесс убит по JOB_TIMEOUT_SECONDS, временная ошибка, аренда продлевалась imaging hang -> killed after 60 s (processing_timeout, temporary), lease renewed meanwhile (no lease_expired), attempt 2 ready after 62 s повтор -> ready
нехватка памяти в процессе обработки (RLIMIT_AS) failed/resource_limit, worker жив memory bomb in the imaging process -> failed/resource_limit after attempt 1; worker itself survived постоянная ошибка, без повторов
2 временные ошибки S3 backoff с jitter, затем ready 2 x storage_unavailable -> retries after 1.90 s and 3.20 s (equal jitter: 1..2 s, 2..4 s), attempt 3 ready -
5 временных ошибок подряд failed/retry_exhausted, реестр failed, content 409 5 temporary errors -> failed/retry_exhausted (public error_code), content 409, attach 409, listed by ops.py failed (replayable) replay оператора
replay failed и повторный replay ready тот же job_id -> ready; повтор отклонён ops replay -> same job_id d8ab860c-eb40-4df2-8d98-67aade24f2f2 attempt 6 ready; second replay refused: "job is ready, replay is only for failed jobs" дубля нет
невалидное сообщение и неизвестный job_id reject -> DLQ, dlq-replay не исполняет schema-invalid message and unknown job_id -> reject -> DLQ (2 message(s)); dlq-replay kept them: ['invalid message is kept for analysis', 'unknown job'] сообщения сохранены
8 заданий в очереди, старт worker WORKER_CONCURRENCY=2, prefetch 1 2 consumers, prefetch_count 1, manual ack; 8 queued 3000x2000 JPEG drained in 2.4 s after worker start, peak processing 2 of 8 (6 samples) -

Ограничения и следующие шаги

  • Выдерживается: недоступность любого хранилища телеметрии и самого Collector — API и обработка вложений продолжают работать; память ограничена очередями SDK (2048 на сигнал и процесс) и Collector (memory_limiter, очереди фиксированного размера). Переживают рестарт хранилищ (volumes): метрики, логи, трассы, настройки Grafana.
  • Теряется (и считается): телеметрия, отправленная, пока Collector недоступен (SDK не буферизует на диск); пакеты, у которых истекло окно повторов Collector или очередь переполнена; буфер Collector при его рестарте. Метрики приложения за время недоступности Collector — пропуск на графиках (cumulative-счётчики после восстановления продолжают с верного итога).
  • Один экземпляр каждого хранилища и Collector на одном Docker-host — нет HA телеметрии; при отказе Prometheus алерты не вычисляются (нужен внешний «мета-мониторинг» — вне учебного стенда).
  • Метрики очереди считает один dispatcher: если он упал, значения messenger_queue_* устаревают (видно по отсутствию свежих точек); алерт absent() на них — следующий шаг.
  • Учебные упрощения: внутренние соединения OTLP и UI без TLS (lab7), Prometheus/Loki/Tempo опубликованы на 127.0.0.1 для тестов и защиты; сэмплирование трасс 100% (для учебной нагрузки; стоимость и баланс сэмплирования — трек 5.1, не заявлен); burn-rate алерты с несколькими окнами — трек 5.2, не заявлен.
  • Подтверждено измерением: алерты срабатывают и снимаются на контролируемых отказах; диагностика отличает остановленный worker, медленную БД и медленный обработчик; отказ телеметрии не влияет на API. Гипотеза без измерения: накладные расходы телеметрии на задержку и CPU (сравнение OTEL_SDK_DISABLED=true/false при одинаковой нагрузке) — трек 5.1.

Ответы на вопросы защиты (кратко)

  • Лог, метрика и trace об одном инциденте. Метрика отвечает «что и когда, насколько массово» (доля 5xx выросла в 14:02, только на POST messages) — дёшево, агрегатно, для алертов. Трасса — «где именно» в одном запросе (5 с из 5,004 с — INSERT в PostgreSQL), через все процессы. Лог — «почему» с деталями события (QueryCanceled, request_id, job_id). Связаны через trace_id: из алерта → error-трасса → её логи.
  • Почему chat_id в labels может исчерпать хранилище. Каждая уникальная комбинация меток — отдельный временной ряд со своим индексом и чанками в памяти. Чатов — неограниченное и растущее число, умноженное на маршруты, коды и buckets гистограммы → миллионы рядов, рост RAM/диска TSDB и медленные запросы. Поэтому в метрики — только ограниченные множества, а ID — в трассы/логи.
  • Как очередь переносит причинную связь между процессами. Producer записывает W3C traceparent (trace_id + id своего спана) в сообщение — здесь в строку outbox, затем dispatcher в AMQP header и поле тела; consumer извлекает его и начинает свой спан с этим родителем (или с link). Так trace_id один для HTTP-запроса и фоновой обработки, хотя между ними секунды и разные процессы.
  • Почему среднее latency не заменяет p99 и почему нельзя усреднять p99 реплик. Среднее прячет хвост: 99 запросов по 10 мс и один по 5 с дают среднее 60 мс, а пользователь видит 5 с. Перцентиль — не аддитивная величина: p99 двух реплик с разной нагрузкой нельзя усреднить (реплика с 10 запросами весила бы как реплика с 10 000). Правильно — сложить buckets гистограмм всех реплик (sum by (le)) и уже из суммы вычислить histogram_quantile.