73 KiB
Отчёт — лабораторная 6
- Автор, группа: Бабиченко Максим, БВТ2303
- Целевая оценка; выбранный трек 5, если нужен: 4, трек 5 не выбран
- Commit/PR: <<ссылка на MR в Gitea после публикации>>
- Использованные источники, библиотеки и помощь ИИ: всё из lab5 (FastAPI, psycopg 3, pika, boto3, Pillow, RabbitMQ 4.1, SeaweedFS 3.80, PostgreSQL 17, Redis 7.4, HAProxy 3.2). Новое: OpenTelemetry Python SDK 1.45.2 (
opentelemetry-sdk,opentelemetry-exporter-otlp-proto-http) иopentelemetry-instrumentation-psycopg0.66b2; образыotel/opentelemetry-collector-contrib:0.164.0,prom/prometheus:v3.15.1,grafana/loki:3.7.9,grafana/tempo:3.1.1,grafana/grafana:12.4.14,busybox:1.37.0(bootstrap прав volumes). Документация: OTel Collector configuration (memory_limiter, batch, exporterhelper sending_queue/retry_on_failure, internal telemetry), OTel semantic conventions (HTTP, database, messaging,otel.sdk.*), W3C Trace Context, Prometheus OTLP receiver и histograms/histogram_quantile, promtool unit testing, Loki OTLP ingestion и structured metadata, Tempo 3 single binary, Grafana provisioning (datasources, dashboards, derived fields, traces-to-logs). При написании кода, конфигураций и тестов использовался ИИ-ассистент (Claude); весь код я прогнал и могу объяснить и изменить на защите.
Запуск из чистого clone
Проверяю на Windows (PowerShell, Docker Desktop). Python на хосте нужен только для тестов (стандартная библиотека). Перед запуском остановить стенд lab5 (docker compose down в его папке): заняты порты 8080/8404. Имя проекта Compose — messenger-lab6, volumes отдельные от lab5.
git clone https://gitea.privcloud.tech/Kalibr/mtusi2026lab6.git
cd mtusi2026lab6
git checkout solution/bvt2303-babichenko
$env:PYTHONUTF8 = "1"
Copy-Item .env.example .env
python scripts/init_secrets.py # как в lab5 + secrets/grafana_admin_password (папка secrets/ в .gitignore)
docker compose --env-file .env config --quiet
docker compose up -d --build --wait # postgres, s3, rabbitmq, otel-collector, prometheus, loki, tempo ->
# migrate, s3-init, telemetry-init -> api x2, janitor, dispatcher, worker,
# grafana -> lb
docker compose ps -a # migrate, s3-init, telemetry-init: Exited (0); остальные running/healthy
python tests/smoke.py --base-url http://127.0.0.1:8080 # make test при включённой телеметрии
# доказательства lab6 (~35 мин) в evidence/ и таблица замеров в этот отчёт:
python student-tests/collect_evidence.py check stack smoke configs telemetry dashboard telemetry-history `
incident-worker incident-db incident-telemetry incident-collector load
| Что | Где |
|---|---|
| Grafana (dashboard «Messenger — lab6 observability», Explore, Alerting) | http://127.0.0.1:3000, логин admin, пароль — secrets/grafana_admin_password |
| Prometheus: алерты pending/firing, запросы | http://127.0.0.1:9090/alerts, http://127.0.0.1:9090/graph |
| Loki / Tempo HTTP API (для тестов) | http://127.0.0.1:3100, http://127.0.0.1:3200 |
| Трасса конкретного ответа API | заголовок ответа X-Trace-Id (или свой traceparent в запросе) → Grafana → Explore → Tempo |
Отдельные проверки (make на Windows нет):
| Команда | Что проверяет |
|---|---|
python scripts/check_contract.py |
make check |
python student-tests/check_configs.py |
конфиги Collector/Prometheus/Loki/Tempo их же инструментами, unit-тесты алертов (promtool), provisioning Grafana через её API |
python student-tests/test_telemetry.py [request upload-chain retry-chain replay-link history] |
запрос ↔ лог ↔ трасса, цепочка upload → worker, retry, replay с link, сохранность истории |
python student-tests/check_dashboard.py |
каждый запрос dashboard и правил выполняется на живых данных, запрещённых меток нет |
python student-tests/incidents.py [worker-stop db-slow telemetry-down collector-down] |
инциденты: firing → диагностика → resolved |
docker compose exec prometheus promtool test rules /etc/prometheus/tests/alerts_test.yml |
unit-тесты порогов/окон/for алертов |
python scripts/build_dashboard.py |
пересобрать infra/grafana/dashboards/messenger.json из описания панелей |
Bootstrap: как в lab5 (migrate, s3-init, definitions RabbitMQ) плюс telemetry-init (одноразовый chown 10001 volumes Loki и Tempo: оба процесса работают не от root). Provisioning Grafana — файлы infra/grafana/provisioning и infra/grafana/dashboards, монтируются только для чтения: источники данных и dashboard появляются при старте, ручного набора нет. Всё идемпотентно: повторный up ничего не пересоздаёт и не дублирует.
Остановка без потери данных: docker compose down (volumes pgdata, redisdata, s3data, rabbitmqdata, faults, promdata, lokidata, tempodata, grafanadata остаются). Намеренное удаление учебных данных: docker compose down -v, затем удалить папку secrets и снова python scripts/init_secrets.py. Выключить телеметрию целиком (для сравнения): OTEL_SDK_DISABLED=true в .env и docker compose up -d.
Архитектура и решения
+--------------------------- сеть telemetry (internal) ----------------------------+
Клиент -> lb -> api x2 ---|-- OTLP/HTTP :4318 --> otel-collector --+-- traces OTLP gRPC --> tempo (tempodata) |
| | (traces, metrics, memory_limiter |-- logs OTLP HTTP --> loki (lokidata) |
| | logs) batch, queues +-- metrics OTLP HTTP --> prometheus(promdata)|
PostgreSQL <-+ outbox | ^ pull :8888 (метрики Collector)|
(источник истины) | dispatcher, worker, janitor -- OTLP --^ | |
| grafana -------+--> prometheus, loki, tempo |
+----------------------------------------------------------------------------------+
W3C traceparent: API (спан create, outbox) -> dispatcher (спан publish, AMQP headers + поле сообщения)
-> worker (спан process, consumer) -> S3/PostgreSQL; retry/replay -> новая строка outbox
127.0.0.1: 8080 (lb), 8404 (stats), 3000 (grafana), 9090 (prometheus), 3100 (loki), 3200 (tempo)
Перенесено из lab5 без изменения бизнес-логики и контракта: всё приложение (API, outbox, dispatcher, worker, janitor, варианты изображений, повторы, DLQ, replay), миграции, тесты lab1–5, hooks. Бизнес-API не менялся; единственное расширение — необязательный заголовок ответа X-Trace-Id (trace_id запроса) и приём входящего traceparent (обратно совместимо, клиент может не знать о них).
Что добавлено в lab6:
telemetry.py— настройка OpenTelemetry SDK для всех процессов: ресурс, три провайдера (traces/metrics/logs) с OTLP/HTTP exporter, ограниченные очереди, сэмплер, JSON-логи в stderr + OTLP, метрики процесса/контейнера, W3C propagator, помощники спанов.- Инструментирование: HTTP server-спаны и метрики в middleware
main.py; спаны PostgreSQL (opentelemetry-instrumentation-psycopg, текст SQL с плейсхолдерами, без значений), S3 (storage.py), Redis и Argon2id (auth.py); messaging-спаны и перенос контекста через outbox/RabbitMQ (pipeline.py,dispatcher.py,broker.py,worker.py); метрики очереди/outbox (dispatcher), пула БД (db.py), занятости worker, времени до ready; структурные события логов (event=...). - Конфигурации в Git:
infra/otel/collector.yaml,infra/prometheus/prometheus.yml,infra/prometheus/rules/{recording,alerts}.yml,infra/prometheus/tests/alerts_test.yml,infra/loki/loki.yaml,infra/tempo/tempo.yaml,infra/grafana/provisioning/**,infra/grafana/dashboards/messenger.json(генерируетscripts/build_dashboard.py),docs/runbooks.md. compose.yaml: сервисыotel-collector,telemetry-init,prometheus,loki,tempo,grafana; сетиtelemetry(internal) иops(только чтобы опубликовать UI на 127.0.0.1); volumespromdata,lokidata,tempodata,grafanadata; секретgrafana_admin_password. Restart hook перезапускает и хранилища телеметрии.- Тесты:
student-tests/{obs.py, test_telemetry.py, check_dashboard.py, check_configs.py, incidents.py}, обновленыcheck_stack.py,run_persistence.py,collect_evidence.py.
Роли и назначение хранилищ
| Роль | Сервис | Версия | Зачем | Health | Volume | Сеть / порт | Credentials |
|---|---|---|---|---|---|---|---|
| Collector | otel-collector |
otelcol-contrib 0.164.0 | приём OTLP, защита памяти, пакетирование, буфер на время недоступности хранилища, маршрутизация в 3 хранилища. Не хранит | метрики otelcol_* (scrape) — образ distroless, без shell |
нет (очередь в памяти) | telemetry; 4317/4318/8888 не публикуются | нет |
| Метрики | prometheus |
3.15.1 | числовые ряды: «что, сколько, когда», percentiles из histogram, SLI, alert rules, состояние алертов | /-/ready |
promdata (7 дней, ≤ 1 GB) |
telemetry, ops; 127.0.0.1:9090 | нет |
| Логи | loki |
3.7.9 | события с контекстом: «почему» (error_type, request_id, trace_id) | — (/ready проверяют тесты) |
lokidata (7 дней) |
telemetry, ops; 127.0.0.1:3100 | нет |
| Трассы | tempo |
3.1.1 | причинная цепочка запроса через процессы и время каждого шага: «где» | — (/ready) |
tempodata (7 дней) |
telemetry, ops; 127.0.0.1:3200 | нет |
| UI | grafana |
12.4.14 | запросы к трём хранилищам, dashboard, связки лог ↔ трасса ↔ метрика; сама сигналы не хранит | /api/health |
grafanadata (сессии/настройки UI) |
telemetry, ops; 127.0.0.1:3000 | grafana_admin_password |
Почему так: Grafana сама не хранит сигналы, а каждому сигналу нужно своё хранилище с подходящей моделью — TSDB для рядов (Prometheus умеет OTLP напрямую, поэтому без remote-write и без exporter-а в Collector), индекс по меткам + сжатые строки для логов (Loki принимает OTLP и хранит атрибуты записи как structured metadata, поэтому trace_id/request_id не становятся метками индекса), блоки трасс по trace_id (Tempo 3 single binary без Kafka). Collector отделяет приложение от хранилищ: приложение знает один адрес, а смена/недоступность хранилища его не касается.
Сигналы: контракт → реальные имена
Имена OTel переводит в Prometheus translation_strategy: UnderscoreEscapingWithSuffixes (зафиксировано в prometheus.yml): точки → _, суффикс единицы (_seconds, _bytes) и _total для счётчиков; service.name → метка job, service.instance.id → instance, остальные ресурсные атрибуты — в target_info.
| Сигнал контракта (уровень) | Инструмент OTel (единица) | В хранилище | Метки / поля |
|---|---|---|---|
| HTTP requests (3) | http.server.request.duration histogram, его _count |
http_server_request_duration_seconds_count |
http_request_method, http_route (шаблон), http_response_status_code, http_response_status_class (2xx…) |
| HTTP duration (3) | то же, секунды; buckets 5 мс … 10 с | http_server_request_duration_seconds_bucket |
те же + le |
| Jobs processed / failed (3) | messenger.job.duration histogram, _count (одна метрика, без дубля) |
messenger_job_duration_seconds_count |
job_type="attachment.process.v1", outcome = ready / retry / failed / stale / lease_lost / db_error |
| Job processing duration (3) | messenger.job.duration (s), buckets 0,1 … 120 с |
messenger_job_duration_seconds_bucket |
те же |
| Доставки/публикации (доп.) | messenger.messages.consumed, messenger.messages.published counters |
messenger_messages_consumed_total, ..._published_total |
messaging_destination_name, outcome (processed/noop/dead_lettered/requeued; ok/error) |
| Логи API и worker (3) | Python logging → OTel Logs API |
Loki: метки service_name, service_instance_id, deployment_environment_name; structured metadata event, severity_text, trace_id, span_id, request_id, job_id, error_type… |
в stderr та же запись одной JSON-строкой (ts, severity, service.name, event, trace_id, span_id) |
| Трассы API и worker (3) | server / producer / consumer / client / internal спаны | Tempo | http.route, http.response.status_code, messaging.*, messenger.job.*, db.statement, aws.s3.key, error.type |
| Queue depth / oldest job age (4) | messenger.queue.depth gauge; messenger.queue.oldest_age (s); доп. messenger.jobs.backlog, messenger.queue.consumers, messenger.outbox.pending, messenger.outbox.oldest_age (s) |
messenger_queue_depth, messenger_queue_oldest_age_seconds, … |
messaging_destination_name (очередь/DLQ), status |
| DB pool used/waiting (4) | db.client.connection.count (state=used/idle), .max, .pending_requests, .timeouts, db.client.connection.wait_time (s, histogram) |
db_client_connection_* |
db_client_connection_pool_name="messenger-api", db_client_connection_state |
| Worker busy/capacity (4) | messenger.worker.busy, messenger.worker.capacity |
messenger_worker_busy, messenger_worker_capacity |
messaging_destination_name |
| Process / container CPU, RAM (4) | process.cpu.time (s), process.memory.usage (By); container.cpu.time, container.cpu.limit, container.memory.usage, container.memory.limit (cgroup v2, только в Docker) |
process_cpu_time_seconds_total, process_memory_usage_bytes, container_* |
cpu_mode |
| End-to-end time to ready (4) | messenger.attachment.time_to_ready (s), buckets 0,5 … 600 с; от COMMIT задания в API до COMMIT ready, по часам PostgreSQL |
messenger_attachment_time_to_ready_seconds_* |
job_type |
| Сквозная связь upload → publish → consume → S3/DB (4) | W3C traceparent/tracestate: parent-child, replay — link |
Tempo | см. ниже |
| Потери телеметрии (4) | SDK: otel.sdk.processor.span.processed{error.type}, otel.sdk.exporter.span.exported{error.type}; Collector: otelcol_exporter_{sent,send_failed,enqueue_failed}_*, otelcol_exporter_queue_size/capacity, otelcol_receiver_refused_* |
Prometheus | exporter, error_type |
Ресурс (одинаков для всех трёх сигналов процесса): service.name = messenger-api / messenger-worker / messenger-dispatcher / messenger-janitor (и messenger-ops у ops.py) — задаётся в коде процесса, поэтому общий .env не делает janitor «api»; service.version = APP_VERSION; service.instance.id = hostname контейнера (тот же, что X-Instance-Id); deployment.environment.name=lab (OTEL_RESOURCE_ATTRIBUTES).
Что не попадает в телеметрию. Метки метрик — только перечисленные выше (метод, шаблон маршрута, класс/код статуса, тип/исход задания, очередь, состояние соединения, режим CPU); check_dashboard.py проверяет, что у метрик приложения нет user_id, chat_id, message_id, attachment_id, request_id, URL, имени файла, текста и значений-UUID. В спанах и логах есть технические ID синтетических данных (job_id, attachment_id, request_id, ключ S3 вида attachments/<uuid>/v1/crop.jpg) — без них нельзя пройти от загрузки к результату worker. Не пишутся: пароли, Authorization, токен сессии и его хеш (спаны Redis без ключа), текст сообщения, имя файла, байты изображения, значения параметров SQL (capture_parameters=False), signed URL (их нет). test_telemetry.py request ищет текст сообщения, пароль и токен в Loki и атрибутах спанов — 0 совпадений. В Collector дополнительно attributes/scrub удаляет любой атрибут, чьё имя похоже на password/authorization/cookie/secret/token/api key.
Перенос контекста через очередь
[api] POST /api/v1/chats/{chat_id}/attachments SERVER
├─ PostgreSQL INSERT attachments, S3 PutObject staging/<hex>, UPDATE ... state='queued'
└─ create attachments PRODUCER ← строка outbox в ТОЙ ЖЕ транзакции; traceparent этого спана
│ пишется в attachment_jobs.traceparent и в payload outbox
└─ [dispatcher] publish attachments PRODUCER ← родитель = traceparent из outbox; свой контекст
│ кладёт в AMQP header traceparent и в поле сообщения
└─ [worker] process attachments.process.v1 CONSUMER ← родитель = header (запасной — поле тела)
├─ claim (PostgreSQL), S3 GetObject, imaging, S3 PutObject x4, commit result (PostgreSQL)
├─ (ошибка) create attachments PRODUCER → publish → process (попытка 2) — та же трасса
└─ cleanup staging (S3 DeleteObject, UPDATE) — после ack, в той же трассе
Выбранная семантика: parent-child вдоль причинной цепочки (публикация и обработка — продолжение запроса пользователя, а задержка между ними видна как разрыв во времени). Link — когда это новое решение, а не продолжение: ops.py replay создаёт новую трассу (корень ops replay), спан create которой ссылается на исходную загрузку. Восстановление истёкшей аренды dispatcher-ом и сверка «queued без сообщения» создают спаны recover expired lease / republish lost message с родителем из attachment_jobs.traceparent. В lab5 traceparent был случайным; теперь это контекст реального спана.
Сэмплирование: ParentBased(AlwaysOn), но клиентский спан без родителя не записывается — это фоновые опросы (dispatcher раз в секунду читает outbox, продление аренды, проверка соединений пула). Всё, что относится к запросу или заданию, сохраняется полностью (100%). Проверки здоровья (/health/*, HAProxy раз в секунду) — только в метриках, без трасс.
SLI / SLO и окно
| SLO | SLI (числитель / знаменатель) | Цель | Окно | Recording rule |
|---|---|---|---|---|
| SLO-1 доступность API | бизнес-запросы API без 5xx / все бизнес-запросы API (все маршруты кроме /health/*). 4xx — ошибки клиента, не входят в числитель |
≥ 99% | скользящий 1 ч (учебное окно; в эксплуатации то же выражение с 28d) | messenger:slo_availability:ratio_1h, бюджет messenger:slo_availability:error_budget_remaining_1h |
| SLO-2 задержка записи | успешные POST /api/v1/chats/{chat_id}/messages быстрее 250 мс (bucket le="0.25") / все успешные такие запросы |
≥ 95% | 1 ч | messenger:slo_latency_messages:ratio_1h |
| SLO-3 фоновая обработка | вложения ready не позже 30 с от приёма (bucket le="30" гистограммы time_to_ready) / все ставшие ready |
≥ 95% | 1 ч | messenger:slo_time_to_ready:ratio_1h |
Проверяемость: все SLI — отношения счётчиков/buckets гистограмм, просуммированных по репликам (sum(increase(...[1h]))), поэтому SLO вычисляется одинаково на любом наборе реплик и видно на dashboard (строка «Обзор и SLO»).
Dashboard: запросы и единицы
Dashboard — infra/grafana/dashboards/messenger.json (импортируется provisioning-ом, папка Messenger; 34 панели в 6 строках: обзор/SLO и алерты, API RED, фоновая обработка, насыщение, конвейер телеметрии, логи и трассы). Ключевые запросы ($__rate_interval подставляет Grafana; API = job="messenger-api", http_route!~"/health/.*"):
| Панель | PromQL | Единица |
|---|---|---|
| RPS по маршрутам / по классу статуса | sum by (http_request_method, http_route) (rate(http_server_request_duration_seconds_count{API}[$__rate_interval])) |
req/s |
| Доля 5xx | (sum(rate(..._count{API, http_response_status_class="5xx"}[…])) or on() vector(0)) / sum(rate(..._count{API}[…])) |
доля (0–1) |
| p50 / p95 / p99 API | histogram_quantile(0.95, sum by (le) (rate(http_server_request_duration_seconds_bucket{API}[$__rate_interval]))) |
с |
| p95 по маршрутам | histogram_quantile(0.95, sum by (le, http_route) (rate(..._bucket{API}[…]))) |
с |
| Попытки заданий по исходу | sum by (outcome) (rate(messenger_job_duration_seconds_count[…])) |
1/с |
| Длительность попытки / время до ready p50/p95/p99 | histogram_quantile(q, sum by (le) (rate(messenger_job_duration_seconds_bucket{outcome="ready"}[…]))), то же для messenger_attachment_time_to_ready_seconds_bucket |
с |
| Глубина очереди и backlog | max by (messaging_destination_name) (messenger_queue_depth), max by (status) (messenger_jobs_backlog) |
сообщений / заданий |
| Возраст старейшего задания и outbox | max(messenger_queue_oldest_age_seconds{messaging_destination_name="attachments.process.v1"}), max(messenger_outbox_oldest_age_seconds) |
с |
| Пул БД | sum by (instance) (db_client_connection_count{db_client_connection_state="used"}), max(db_client_connection_max), sum by (instance) (db_client_connection_pending_requests); p95 ожидания histogram_quantile(0.95, sum by (le, instance) (rate(db_client_connection_wait_time_seconds_bucket[…]))) |
соединений / с |
| Насыщение worker | sum(messenger_worker_busy) / sum(messenger_worker_capacity) |
доля |
| CPU / RAM | sum by (job, instance) (rate(process_cpu_time_seconds_total[…])) (ядер), rate(container_cpu_time_seconds_total) / container_cpu_limit (доля лимита), process_memory_usage_bytes, container_memory_usage_bytes |
ядра / доля / байты |
| Collector и SDK | rate(otelcol_receiver_accepted_spans[…]), rate(otelcol_exporter_send_failed_spans[…]), otelcol_exporter_queue_size / otelcol_exporter_queue_capacity, otelcol_process_memory_rss, rate(otel_sdk_exporter_span_exported_total{error_type!=""}[…]) |
1/с, доля, байты |
| Логи / трассы | Loki {service_name=~"messenger-.*"} | detected_level=~"warn|error"; Tempo TraceQL { status = error } |
— |
Percentile только из buckets гистограммы, просуммированных по всем репликам до histogram_quantile (sum by (le)); среднее и усреднение p95 реплик не используются. Точность — ширина bucket: например, при запросах по 5,0 с (statement_timeout) интерполяция внутри bucket 5–7,5 с даёт p95 ≈ 7,4 с; это ограничение метода, видно на инциденте 2.
Алерты
infra/prometheus/rules/alerts.yml; состояние — Prometheus /alerts и ALERTS{} (видно и resolved по истории), Grafana показывает их как data source rules. Внешней доставки нет (по заданию).
| Алерт | Условие | Окно | Порог | for | Runbook |
|---|---|---|---|---|---|
| MessengerHighErrorRate | доля 5xx бизнес-запросов API и трафик > 0,2 запроса/с | rate 1m | > 5% (в 5 раз выше бюджета SLO-1) | 1m | docs/runbooks.md#messengerhigherrorrate |
| MessengerQueueLagGrowing | возраст старейшего готового задания | мгновенное значение (обновление 5–10 с) | > 30 с (SLO-3) | 1m | #messengerqueuelaggrowing |
| MessengerWorkerNoConsumers | consumers очереди = 0 | — | 0 | 1m | #messengerworkernoconsumers |
| MessengerDbPoolSaturated | запросы ждут соединение из пула | — | > 0 | 1m | #messengerdbpoolsaturated |
| TelemetryExportFailing | потери в Collector (send/enqueue failed) или очередь exporter заполнена > 5% | rate 2m | > 0 / > 5% | 1m | #telemetryexportfailing |
| TelemetryCollectorDown | up{job="otel-collector"} == 0 |
— | — | 1m | #telemetrycollectordown |
Пороги, окна и for проверены unit-тестами infra/prometheus/tests/alerts_test.yml (promtool: не срабатывает раньше for, не срабатывает при пустом трафике и на ошибках /health, resolved после восстановления) и живыми инцидентами ниже.
Collector и SDK: память и недоступность хранилища
- SDK (каждый процесс):
BatchSpanProcessorиBatchLogRecordProcessorс очередью 2048 (OTEL_BSP_MAX_QUEUE_SIZE,OTEL_BLRP_MAX_QUEUE_SIZE), экспорт в фоновом потоке, таймаут 5 с (OTEL_EXPORTER_OTLP_TIMEOUT); метрики — агрегаты фиксированного размера раз в 10 с. Переполнение и непринятые пакеты считаются самим SDK (OTEL_PYTHON_SDK_INTERNAL_METRICS_ENABLED=true). Ошибки экспорта пишутся в лог не чаще раза в 30 с и не отправляются тем же экспортом (иначе петля). - Collector: первым в каждом pipeline
memory_limiter(heap Go: жёсткий предел 200 MiB, мягкий 160 MiB — receiver отвечает клиентам ошибкой, SDK отбрасывает у себя), затемbatch(2 с / 1024–2048 элементов). У каждого exporter свояsending_queueв памяти (Tempo, Loki — 200 пакетов, Prometheus — 100) иretry_on_failure(1 → 10 с,max_elapsed_time120 с). Окно повторов считается для пакета с первой попытки; ожидание в очереди в него не входит, поэтому буфер на время недоступности — это очередь. Пакет отбрасывается, когда истекли его 120 с повторов (otelcol_exporter_send_failed_*) или очередь полна (otelcol_exporter_enqueue_failed_*). Pipeline независимы: недоступный Tempo не мешает логам и метрикам. Очередь не персистентная: рестарт Collector теряет буфер (осознанный компромисс учебного стенда,file_storageне нужен). - Контейнер Collector 384 MiB: RSS = heap (≤ 200 MiB) + runtime Go + отображённый в память бинарник contrib (~150 MiB вытесняемых страниц); поэтому тест сравнивает с лимитом именно heap (
otelcol_process_runtime_heap_alloc_bytes), а RSS/память контейнера приводит для сведения.
Соответствие .env.example
| Переменная | Что делает в этом решении |
|---|---|
| всё из lab5 | как в lab5 (см. REPORT lab5) |
| OTEL_SERVICE_NAME | messenger-api для api; compose задаёт свой каждому сервису; фактически service.name берётся из кода процесса |
| OTEL_EXPORTER_OTLP_ENDPOINT / _PROTOCOL | http://otel-collector:4318, http/protobuf (SDK добавляет /v1/traces, /v1/metrics, /v1/logs) |
| OTEL_RESOURCE_ATTRIBUTES | deployment.environment.name=lab |
| OTEL_SDK_DISABLED | true — SDK выключен во всех процессах (логи остаются JSON в stderr); для сравнения telemetry off/on |
| (только compose) OTEL_EXPORTER_OTLP_TIMEOUT, OTEL_METRIC_EXPORT_INTERVAL, OTEL_BSP_MAX_QUEUE_SIZE, OTEL_BLRP_MAX_QUEUE_SIZE, OTEL_PYTHON_SDK_INTERNAL_METRICS_ENABLED | 5 с, 10000 мс, 2048, 2048, true |
Доказательства критериев
python student-tests/collect_evidence.py … пишет вывод каждого шага в evidence/<шаг>.txt (дата, commit, код выхода), итог — evidence/summary.md, JSON инцидентов — evidence/incident-*.json, а таблицы замеров — в блок «Замеры (Docker)» ниже. Те же сценарии прогнаны в нативной песочнице (те же версии Collector/Prometheus/Loki/Tempo, процессы без Docker; см. «Где проверено») — evidence/native-sandbox/.
| Критерий README | Команда/сценарий | Наблюдаемый результат (Docker-стенд, evidence/; то же в нативной песочнице — evidence/native-sandbox/) |
Файл доказательства |
|---|---|---|---|
3: минимум lab5 работает, make test при включённой телеметрии |
tests/smoke.py |
PASS через балансировщик с SDK во всех процессах | smoke.txt |
| 3: Collector, 3 хранилища и Grafana в одном воспроизводимом стенде; конфиги/provisioning в Git; persistent volumes | check_stack.py, check_configs.py, test_telemetry.py history |
конфиги валидны инструментами тех же версий; unit-тесты алертов SUCCESS; после restart prometheus/loki/tempo прежние трасса, логи и точка метрики находятся | stack.txt, configs.txt, telemetry-history.txt |
| 3: API и worker отдают OTLP; RPS/errors/duration API, jobs ok/failed и duration worker; логи и реальные трассы | check_dashboard.py, test_telemetry.py |
все 54 PromQL-выражения dashboard и 16 выражений правил выполняются без ошибок, ключевые сигналы с данными; трассы API, dispatcher, worker | dashboard.txt, telemetry.txt |
| 3: импортируемый dashboard; низкая кардинальность; trace/span id в логах; нет содержимого/секретов | check_dashboard.py, check_configs.py (Grafana API), test_telemetry.py request |
метки только из белого списка, http_route — шаблоны; dashboard provisioned=true; текст, пароль, токен: 0 совпадений в Loki и спанах |
dashboard.txt, configs.txt, telemetry.txt |
| 3: контролируемый запрос → trace + лог; job → worker trace + лог | test_telemetry.py request upload-chain |
свой traceparent → server-спан с дочерними PostgreSQL/Redis → лог event=http.request с тем же trace_id/span_id и request_id = X-Request-Id; логи worker job.claimed/job.ready с trace_id загрузки |
telemetry.txt |
| 3: назначение каждого хранилища | раздел «Роли и назначение хранилищ» | — | REPORT.md |
| 4: W3C через API → broker → worker, producer/consumer, цепочка до S3/DB, включая retry | test_telemetry.py upload-chain retry-chain replay-link |
одна трасса: server → create (producer) → publish (producer, dispatcher) → process (consumer, worker) → 4×S3 PutObject + commit; retry: попытка 1 ERROR storage_unavailable → create → publish → попытка 2 ready; replay — новая трасса с link на исходную |
telemetry.txt |
| 4: p50/p95/p99 из histogram, доля ошибок, queue depth/oldest age, DB pool, saturation worker; запросы и единицы | dashboard + раздел «Dashboard: запросы и единицы» | все панели выполняются на живых данных | dashboard.txt |
| 4: SLI/SLO и окно; alert rules high error rate и queue lag; проверены отказом (firing/resolved) | incidents.py worker-stop db-slow, promtool test rules |
см. таблицы инцидентов: firing и resolved по каждому алерту | incident-worker.txt, incident-db.txt, configs.txt |
| 4: memory limiter/batch, ограниченная буферизация; остановка хранилища телеметрии не ломает сообщения и не растит RAM | incidents.py telemetry-down collector-down |
API 100% успешных ответов, heap Collector ограничен, потери посчитаны | incident-telemetry.txt, incident-collector.txt |
| 4: разбор двух инцидентов и шаги диагностики | раздел «Эксперименты и отказы» | — | REPORT.md, docs/runbooks.md |
| Выбранный трек 5 | — | не выбран | — |
Где проверено
Нативная песочница (выполнено). Среда, где писалось решение, не имеет доступа к Docker Hub, поэтому весь стенд был поднят теми же процессами без контейнеров: PostgreSQL 16, Redis 7, RabbitMQ 3.12, SeaweedFS 3.80, HAProxy 2.8, 2 реплики API за балансировщиком, dispatcher, worker, janitor (Python 3.11, те же requirements.txt) и те же версии otelcol-contrib 0.164.0, Prometheus 3.15.1, Loki 3.7.9, Tempo 3.1.1 с конфигами из infra/ (заменены только адреса tempo:4317 → 127.0.0.1:14317 и т.п.). Тесты запускались без изменений через тонкую подмену команды docker compose (stop/start/exec на процессы). Результаты — evidence/native-sandbox/, цифры — в разделе ниже. Grafana в песочнице не запускалась (нет бинарника без Docker Hub): её provisioning проверяет check_configs.py через HTTP API Grafana на Docker-стенде, а все запросы dashboard выполнены против живых Prometheus/Loki/Tempo (check_dashboard.py).
Docker-стенд (Windows 10, Docker Desktop 28.1.1, Compose 2.35.1; VM 16 CPU / 15,2 GiB) — выполнено 2026-11-01. Стенд поднят из чистого состояния (init_secrets.py, docker compose pull, up -d --build --wait) без правок кода и конфигов: migrate, s3-init, telemetry-init — Exited (0), остальные running/healthy; Loki и Tempo пишут в volumes от uid 10001 без ошибок прав. Полный прогон collect_evidence.py — все шаги PASS: lab6 (check, stack, smoke, configs, telemetry, dashboard, telemetry-history, 4 инцидента, load) и регрессия lab1–5 (--from jobs-variants, 22 шага, включая failover и persistence; restart hook вместе с ожиданием готовности — 60,9 с при лимите 90 с). Вывод — evidence/*.txt, сводка — evidence/summary.md, таблицы — блок «Замеры (Docker)» ниже. Grafana проверена через её API: 3 источника данных healthy, dashboard provisioned, трасса по X-Trace-Id открывается через источник Tempo, лог с тем же trace_id — через Loki (связки tracesToLogs и derived field TraceID).
Эксперименты и отказы
Гипотезы:
- По сохранённым метрикам, логам и трассам можно найти причину инцидента, не заходя в контейнеры: остановленный worker отличается от медленной БД, а медленная БД — от медленного обработчика.
- Недоступность любого звена телеметрии (хранилище, Collector) не влияет на ответы API, память Collector и процессов приложения ограничена, а потери телеметрии считаются.
Методика: student-tests/incidents.py — нагрузка (closed loop, POST сообщений), контролируемый отказ, опрос /api/v1/alerts каждые 5 с до firing, «диагностика» только запросами к Prometheus/Loki/Tempo, устранение отказа, ожидание resolved; хронология в выводе, итог в evidence/incident-*.json (без токенов и текстов).
Нативная песочница: результаты
Окружение: Linux x86_64, 2 vCPU, 8 GiB RAM на всё (стенд, хранилища телеметрии и клиент нагрузки); PostgreSQL 16, Redis 7, RabbitMQ 3.12, SeaweedFS 3.80, HAProxy 2.8, 2 реплики API, Python 3.11; otelcol-contrib 0.164.0, Prometheus 3.15.1, Loki 3.7.9, Tempo 3.1.1 (те же версии и конфиги, что в compose.yaml). Дата прогона 2026-11-01. Сводка шагов (все PASS, включая регрессию lab1–5: варианты изображений, outbox, повторы/DLQ/replay, конкуренция worker, вложения, идемпотентность, гонки) — evidence/native-sandbox/summary.md.
Алерты на контролируемых инцидентах (student-tests/incidents.py, состояние из Prometheus /api/v1/alerts):
| Инцидент | Воздействие | Алерт | firing через, с | resolved через, с после устранения |
|---|---|---|---|---|
| 1. worker | docker compose stop worker + 3 загрузки |
MessengerWorkerNoConsumers | 66.4 (от stop) | 17.0 (от start) |
| 1. worker | docker compose stop worker + 3 загрузки |
MessengerQueueLagGrowing | 111.4 (от stop) | 17.0 (от start) |
| 2. PostgreSQL | LOCK TABLE messages IN ACCESS EXCLUSIVE MODE на 210 с под нагрузкой 8 потоков |
MessengerHighErrorRate | 120.1 (от LOCK) | 30.0 (от COMMIT блокировки) |
| 3. телеметрия | docker compose stop tempo loki на 150 с |
TelemetryExportFailing | 101.4 (от stop) | 155.4 (от start) |
Инцидент 1, наблюдения в момент firing: consumers очереди = 0.0, сообщений в RabbitMQ = 3.0, queued заданий = 3.0, возраст старейшего = 97.3 с, возраст outbox = 0.0 с (публикация работает), метрики worker не обновлялись 110.0 с, последний лог worker: event=service.stopped; трасса загрузки содержит publish attachments, но не содержит process attachments.process.v1. После start: вложения ready через 2.0 с, backlog 0.0.
Инцидент 2, наблюдения: доля 5xx (1m) = 1.0, коды POST /messages за 1m = {'201': 0.0, '200': 0.0, '404': 0.0, '400': 0.0, '409': 0.0, '503': 1.6}, p95 POST /messages = 7.375 с, чтения других таблиц (GET /users/me, /chats) во время блокировки {'GET /users/me + GET /chats, avg per request': 4.7, 'max': 5.4} мс, занято соединений пула = 8.0, p95 ожидания пула = 0.001 с, логи API event=db.unavailable по error_type: {'QueryCanceled': 184}. Error-трасса 1c7f8dd06427574a5f155558aa4cd975: server-спан 5006.7 мс, из них INSERT 5000.6 мс (доля 0.999, статус ERROR). Контраст «медленный обработчик» (трасса a6da2e3fe7b0c229773f36fa507293ca, POST /users): server 34.0 мс, argon2id hash 29.0 мс, все спаны БД 0.6 мс. Нагрузка: до 132.4 успешных записей/с, во время блокировки {'503': 320, '201': 6}, после 131.9/с без ошибок.
| Отказ телеметрии | API во время отказа | Память | Потери телеметрии |
|---|---|---|---|
stop tempo loki на 150 с (окно повторов Collector 120 с) |
11500 запросов, коды {'201': 11500}, доля успеха 1.0 | heap Collector 44.1 -> max 92.7 MiB (limit 200), контейнер max 273.3 MiB | send/enqueue failed в Collector: {'spans': 4096, 'log_records': 269}; пробные трассы дошли 14/15, потеряны отправленные на [142.1] с |
stop otel-collector на 90 с |
6263 запросов, коды {'201': 6263}, доля успеха 1.0 | api 280.5 -> max 292.5 MiB (2 реплики) | SDK api потерял спанов: {'processor_queue_full': 0, 'exporter_failed': 24576} (queue_full — очередь 2048 полна, exporter_failed — Collector не принял пакет); после start экспорт возобновился (10524 спанов за минуту) |
Публичный генератор нагрузки при включённой телеметрии (tests/load.py, closed loop, concurrency 4, 30 с, 2 реплики): 291.265 успешных POST/с, ошибок 0, p50 11.557 мс, p95 26.659 мс, p99 56.425 мс (песочница 2 vCPU на всё: стенд + хранилища + клиент; не сравнивать с Docker-машиной).
Инцидент 1: остановлен worker («задания не обрабатываются»)
Воздействие: docker compose stop worker, затем 3 загрузки вложений (API отвечает 202 queued — приём от worker не зависит).
Шаги диагностики (как в docs/runbooks.md):
- Алерт
MessengerWorkerNoConsumers(consumers = 0), затемMessengerQueueLagGrowing(возраст старейшего задания > 30 с). Dashboard «Возраст старейшего задания» растёт линейно — задания не забирают, а не «их стало много». - Публикация или обработка?
messenger_outbox_oldest_age_seconds= 0 иmessenger_messages_published_total{outcome="ok"}растёт → dispatcher и RabbitMQ работают, сообщения в брокере (messenger_queue_depth= числу загрузок). - Кто не забирает?
messenger_queue_consumers= 0, метрикиmessenger_worker_*перестали обновляться (worker не экспортирует), последний лог worker в Loki —event=service.stopped(штатная остановка, а не падение — тогда был быjob.handler_crashed/обрыв без stopped). - Трасса любой из загрузок (trace_id из лога API
event=http.requestилиX-Trace-Id): естьpublish attachments, нетprocess attachments.process.v1— сообщение доставлено в очередь, но не взято. - Причина: worker остановлен. Действие:
docker compose start worker. Проверка: вложения ready через 2–5 с (Docker 4,7 с, песочница 2,0 с), backlog → 0, оба алерта resolved (Docker — через 29,7 с после start).
Инцидент 2: медленная БД (блокировка таблицы messages) vs медленный обработчик
Воздействие: под нагрузкой 8 потоков LOCK TABLE messages IN ACCESS EXCLUSIVE MODE в отдельной транзакции на 210 с (PostgreSQL жив, /health/ready 200, но каждая запись ждёт блокировку и через statement_timeout 5 с отменяется → API 503).
Шаги диагностики:
- Алерт
MessengerHighErrorRate. Срабатывает не сразу: окно rate 1m заполнено быстрыми запросами до инцидента (~115–130/с), а во время блокировки closed-loop нагрузка даёт ~1,6 запроса/с (каждый висит 5 с), поэтому доля > 5% появляется только через 50–80 с, плюсfor: 1m(firing через 140,8 с от LOCK в Docker, 120,1 с в песочнице). - Какие маршруты и коды: только
POST /api/v1/chats/{chat_id}/messages, код 503; чтения других таблиц (GET /api/v1/users/me,GET /api/v1/chats) во время блокировки 5–20 мс (Docker 17,2 мс, песочница 4,7 мс) → не «всё медленно», а конкретная таблица/операция. - БД или обработчик — по трассе: TraceQL
{ resource.service.name = "messenger-api" && status = error }→ server-спан ≈ 5005–5015 мс, из них дочернийINSERT(PostgreSQL) ≈ 5001 мс со статусом ERROR — 99,8–99,9% времени запрос ждал БД. Для контраста медленный обработчик:POST /api/v1/users— server 20–35 мс, из нихargon2id hash16–29 мс (CPU в процессе API), все спаны БД < 1 мс. По метрикам то же различие: при медленной БД растутdb_client_connection_count{state="used"}(соединения заняты ожиданием) и p95 конкретного маршрута, при медленном обработчике пул свободен, а растёт CPU процесса API (process_cpu_time_seconds_total). - Почему — по логам:
{service_name="messenger-api"} | event="db.unavailable"сerror_type=QueryCanceled(statement_timeout), а неOperationalError(БД недоступна) илиPoolTimeout(нет соединений). - Подтверждение в PostgreSQL:
pg_stat_activityпоказывает сессии сwait_event_type=Lockи держателя блокировки (LOCK TABLE ...). Действие: завершить транзакцию-держателя. Проверка: 5xx → 0, алерт resolved через 30–50 с после снятия блокировки (Docker 50,1 с, песочница 30,0 с: окно rate 1m заполняется успешными запросами, затем ближайшая оценка правила).
Инцидент 3: недоступна телеметрия (Tempo + Loki; затем сам Collector)
Ожидаем: API не замечает отказа; Collector копит пакеты в ограниченной очереди, heap не выходит за memory_limiter; TelemetryExportFailing firing → resolved; после восстановления очередь досылается, потери посчитаны. Без Collector: SDK каждого процесса отбрасывает лишнее (очередь 2048), память API не растёт, потери видны в otel_sdk_exporter_span_exported_total{error_type!=""} после восстановления.
Что показал эксперимент (числа — в таблицах выше):
- Tempo + Loki остановлены на 150 с под нагрузкой ~60 записей/с (Docker; в песочнице ~68/с): все ответы API 201 (9555 запросов), p95 не изменился (31 мс до и во время отказа). Очереди exporter Tempo/Loki росли (метрики продолжали идти в Prometheus — pipeline независимы), heap Collector вырос с 35,5 до max 86,9 MiB (песочница 44 → 93 MiB) — далеко от предела 200 MiB, память контейнера Collector не выше 107 MiB;
TelemetryExportFailingперешёл в firing через 73 с (песочница ~100 с) — по заполнению очереди, ещё до первых потерь. После start очереди досланы за 60 с (песочница ~80 с), алерт resolved через 166 с после start (песочница ~155 с: окно rate 2m по счётчику потерь — последние пакеты с истёкшим окном повторов отброшены около момента восстановления, плюсfor); все 13 пробных трасс, отправленных во время отказа, нашлись в Tempo (песочница 14 из 15). Потеряно и посчитано Collector-ом 4096 спанов и 235 записей логов (песочница 4096 и 269) — пакеты, у которых истекло окно повторов. - Collector остановлен на 90 с: все ответы API 201 (5852 запроса), память двух реплик API 295 → max 314 MiB (+18 MiB; песочница +12 MiB) и после восстановления не растёт. Экспорт в SDK получает ошибку соединения, пакет отбрасывается (буфера на диске нет). В Docker остановленный контейнер исчезает из DNS сети, и каждая попытка экспорта висит до таймаута 5 с. Экспорт становится медленнее, чем API создаёт спаны, поэтому ограниченная очередь процессора (2048) переполняется и лишнее отбрасывается сразу: за отказ потеряно и посчитано 8252 спана
processor_queue_fullи 10752exporter_failed(otel_sdk_processor_span_processed_total,otel_sdk_exporter_span_exported_totalсerror_type). В песочнице соединение отклонялось мгновенно: 24,6 тыс.exporter_failed, очередь не переполнялась. В обоих случаях память ограничена очередью и ответы API не замедлились (p95 31–32 мс); после start экспорт возобновился без перезапуска приложения (10287 спанов за минуту). - Вывод: отказ любого звена телеметрии не затрагивает пользователей и не растит память без предела; потери ограничены временем отказа и видны в метриках. Короткую недоступность хранилища (до заполнения очереди Collector, здесь минуты) Collector переживает почти без потерь, недоступность самого Collector — нет.
Машина: Windows 10, AMD64 Family 26 Model 68 Stepping 0, AuthenticAMD; Docker VM: 16 CPU, 15.2 GiB RAM; клиент Python 3.11.1; дата прогона 2026-11-01, commit 470d9d6 + uncommitted changes. Лимиты контейнеров: api 1 CPU / 512 MiB каждая, postgres, s3 (SeaweedFS) и rabbitmq по 1 CPU / 512 MiB, redis и lb по 0,5 CPU / 128 MiB, janitor 0,25 CPU / 192 MiB, dispatcher 0,25 CPU / 128 MiB, worker 2 CPU / 1536 MiB; lab6: otel-collector 0,5 CPU / 384 MiB, prometheus, loki, tempo по 1 CPU / 512 MiB, grafana 0,5 CPU / 384 MiB.
Алерты на контролируемых инцидентах (student-tests/incidents.py, состояние из Prometheus /api/v1/alerts):
| Инцидент | Воздействие | Алерт | firing через, с | resolved через, с после устранения |
|---|---|---|---|---|
| 1. worker | docker compose stop worker + 3 загрузки |
MessengerWorkerNoConsumers | 101.7 (от stop) | 29.7 (от start) |
| 1. worker | docker compose stop worker + 3 загрузки |
MessengerQueueLagGrowing | 131.8 (от stop) | 29.7 (от start) |
| 2. PostgreSQL | LOCK TABLE messages IN ACCESS EXCLUSIVE MODE на 210 с под нагрузкой 8 потоков |
MessengerHighErrorRate | 140.8 (от LOCK) | 50.1 (от COMMIT блокировки) |
| 3. телеметрия | docker compose stop tempo loki на 150 с |
TelemetryExportFailing | 73.1 (от stop) | 165.6 (от start) |
Инцидент 1, наблюдения в момент firing: consumers очереди = 0.0, сообщений в RabbitMQ = 6.0, queued заданий = 3.0, возраст старейшего = 127.3 с, возраст outbox = 0.0 с (публикация работает), метрики worker не обновлялись 131.0 с, последний лог worker: event=service.stopped; трасса загрузки содержит publish attachments, но не содержит process attachments.process.v1. После start: вложения ready через 4.7 с, backlog 0.0.
Инцидент 2, наблюдения: доля 5xx (1m) = 1.0, коды POST /messages за 1m = {'201': 0.0, '200': 0.0, '404': 0.0, '400': 0.0, '409': 0.0, '503': 1.6}, p95 POST /messages = 7.375 с, чтения других таблиц (GET /users/me, /chats) во время блокировки {'GET /users/me + GET /chats, avg per request': 17.2, 'max': 23.5} мс, занято соединений пула = 8.0, p95 ожидания пула = 0.001 с, логи API event=db.unavailable по error_type: {'QueryCanceled': 216}. Error-трасса 237e2d6b1c7db22adbb7d4752fa47f2: server-спан 5013.3 мс, из них INSERT 5001.3 мс (доля 0.998, статус ERROR). Контраст «медленный обработчик» (трасса 4a222e478c2d51006538a7bfeb485eb1, POST /users): server 21.2 мс, argon2id hash 16.4 мс, все спаны БД 0.7 мс. Нагрузка: до 115.5 успешных записей/с, во время блокировки {'503': 320, '201': 8}, после 116.8/с без ошибок.
| Отказ телеметрии | API во время отказа | Память | Потери телеметрии |
|---|---|---|---|
stop tempo loki на 150 с (окно повторов Collector 120 с) |
9555 запросов, коды {'201': 9555}, доля успеха 1.0 | heap Collector 35.5 -> max 86.9 MiB (limit 200), контейнер max 107.0 MiB | send/enqueue failed в Collector: {'spans': 4096, 'log_records': 235}; пробные трассы дошли 13/13, потеряны отправленные на [] с |
stop otel-collector на 90 с |
5852 запросов, коды {'201': 5852}, доля успеха 1.0 | api 295.2 -> max 313.5 MiB (2 реплики) | SDK api потерял спанов: {'processor_queue_full': 8252, 'exporter_failed': 10752} (queue_full — очередь 2048 полна, exporter_failed — Collector не принял пакет); после start экспорт возобновился (10287 спанов за минуту) |
Публичный тест отказа (make test-failover, 15 с записи во время остановки реплики):
| Прогон | Остановлена реплика | Реплик до отказа | Успешных записей | Неудачных попыток (повторены с тем же ключом) | Первая запись после hook, с |
|---|---|---|---|---|---|
| 1 | 171a473b0d28 | 2 | 127 | 0 | 4.75 |
| 2 | 1db2fedff78f | 2 | 126 | 0 | 4.578 |
Одновременные загрузки (student-tests/upload_memory.py, перед каждым сценарием реплики перезапускаются, лимит api 512 MiB / 1 CPU). Пик RSS — VmHWM процесса API; cgroup — память контейнера, включая page cache временных файлов:
| Сценарий | Одновременно | Объём, MiB | Время, с (p50 / max) | Реплика: загрузок | RSS до, MiB | Пик RSS, MiB | Рост, MiB | Пик cgroup, MiB |
|---|---|---|---|---|---|---|---|---|
| 10 x ~9.5 MiB PNG (noise) | 10 | 94.9 | 1.77 / 1.95 | 171a473b0d28: 5 | 109.6 | 124.5 | 14.9 | 162.8 |
| 1db2fedff78f: 5 | 110.5 | 125.6 | 15.1 | 163.3 | ||||
| 10 x 40 Mpx PNG (8000x5000 RGB) | 10 | 1.1 | 0.98 / 1.3 | 171a473b0d28: 5 | 107.6 | 112.4 | 4.8 | 101.5 |
| 1db2fedff78f: 5 | 107.1 | 109.8 | 2.7 | 100.0 | ||||
| 20 mixed: large + 40 Mpx + JPEG | 20 | 133.2 | 1.45 / 1.95 | 171a473b0d28: 10 | 109.0 | 136.3 | 27.3 | 191.4 |
| 1db2fedff78f: 10 | 110.6 | 135.0 | 24.3 | 172.8 |
Один PNG 8000x5000 RGB внутри контейнера api, дополнительный пик RSS: наивно (тело целиком в памяти + полное декодирование Pillow) 161 MiB, потоковая проверка 0 MiB. 10 таких наивных загрузок одновременно не поместились бы в 512 MiB.
Публичный генератор нагрузки (tests/load.py, closed loop, concurrency 4, 30 с, 2 реплики): 239.02 успешных POST/с, ошибок 0 (доля 0.0), задержка успешных p50 16.0 мс, p95 32.0 мс, p99 47.0 мс.
| Воздействие | Что ожидаем | Что наблюдали | Время восстановления / потеря данных |
|---|---|---|---|
публичный make test-failover для каждой реплики |
запись продолжается не позже 10 с, подтверждённые сообщения на месте, дублей нет | PASS 2 раз(а), неудачных попыток: 0, 0 | первая запись после hook через 4.75, 4.578 с (hook ждёт остановки ~4 с); потерь нет |
перезапуск всего стенда (restart hook: postgres, redis, s3, api, janitor, lb) |
данные, файл и прежний токен живы | PASS, те же контейнеры с новым временем старта | 60.9 с до готовности; потерь нет |
docker compose stop s3 (SeaweedFS остановлен) |
загрузка и скачивание -> 503, метаданные, сообщения и /health/ready работают | upload 503 за 20234 мс, download 503, остальное 200/201 | после start файлы на месте; uploading-строку убрал janitor; потерь нет |
docker compose pause s3 (SeaweedFS завис) |
то же, но через таймауты S3-клиента | upload 503 за 14703 мс (2 попытки x 5 с + откат 2 с) | после unpause файлы на месте; потерь нет |
| падение между PUT в S3 и COMMIT в БД (код API в контейнере, finish_upload падает) | вложение не видно, janitor не трогает его до конца grace period, потом удаляет объект и строку | GET/прикрепление -> 404; janitor: свежая строка сохранена, dry-run только отчёт, затем удалено | мусора не осталось; повторный проход ничего не делает |
| обрыв загрузки клиентом (9 МБ заявлено, отправлено 0,2 и 3 МБ) | ничего не сохраняется | строк и объектов не прибавилось, временных файлов 0 | мгновенно |
| worker остановлен, upload, рестарт rabbitmq и api с volumes, start worker | 202 queued, сообщение с вложением 201, content 409; после рестартов job в очереди; тот же job_id -> ready | worker started -> same job 6a45774d-0d88-46ec-87b9-70fb4c122bbd ready, thumbnail downloadable; staging object deleted | потерь нет; staging удалён после COMMIT |
| rabbitmq остановлен во время upload | 202 и /health/ready 200 без брокера; строка outbox ждёт; после start публикуется | rabbitmq started -> dispatcher published the pending row -> ready | потерь нет |
| crash dispatcher между COMMIT задания и publish | строка outbox не отмечена -> публикуется после рестарта процесса | dispatcher killed between COMMIT and publish; restarted by policy, outbox re-published -> job d1eb476a-fbe1-4271-861f-74f3e943b8cc ready, attempt 1, no manual action | без ручного действия |
| crash dispatcher после confirm, до отметки outbox | дубль сообщения, worker распознаёт по состоянию job | dispatcher killed after publisher confirm, before marking outbox -> message published twice; worker: ['created', 'claimed', 'ready', 'duplicate_ignored'] -> one result set | один набор вариантов |
| crash worker после PUT в S3, до COMMIT и ack | повтор после истечения аренды перезаписывает те же ключи | worker killed after S3 PUT (before COMMIT and ack): redelivery saw a live lease (no-op), lease expired after 15 s, attempt 2 rewrote the same keys -> one set; events ['created', 'claimed', 'duplicate_ignored', 'lease_expired', 'claimed', 'ready'] | один набор, 4 объекта |
| crash worker после COMMIT, до ack | redelivery ready-задачи -> no-op ack | worker killed after COMMIT, before ack: broker redelivered, worker acked as no-op (1:duplicate_ignored:status=ready); queue empty (0 ready, 0 unacked) | очередь пуста, дублей нет |
| worker завис (не продлевает аренду) | dispatcher возвращает job, другой поток завершает; поздний результат отклонён fencing | frozen attempt 1 stopped renewing; lease expired, recovered by dispatcher, attempt 2 ready after 17 s; frozen attempt woke up -> stale_result_rejected; events ['created', 'claimed', 'lease_expired', 'claimed', 'ready', 'stale_result_rejected'] | ready не откатан |
| зависание обработки изображения | процесс убит по JOB_TIMEOUT_SECONDS, временная ошибка, аренда продлевалась | imaging hang -> killed after 60 s (processing_timeout, temporary), lease renewed meanwhile (no lease_expired), attempt 2 ready after 62 s | повтор -> ready |
| нехватка памяти в процессе обработки (RLIMIT_AS) | failed/resource_limit, worker жив | memory bomb in the imaging process -> failed/resource_limit after attempt 1; worker itself survived | постоянная ошибка, без повторов |
| 2 временные ошибки S3 | backoff с jitter, затем ready | 2 x storage_unavailable -> retries after 1.90 s and 3.20 s (equal jitter: 1..2 s, 2..4 s), attempt 3 ready | - |
| 5 временных ошибок подряд | failed/retry_exhausted, реестр failed, content 409 | 5 temporary errors -> failed/retry_exhausted (public error_code), content 409, attach 409, listed by ops.py failed (replayable) | replay оператора |
| replay failed и повторный replay ready | тот же job_id -> ready; повтор отклонён | ops replay -> same job_id d8ab860c-eb40-4df2-8d98-67aade24f2f2 attempt 6 ready; second replay refused: "job is ready, replay is only for failed jobs" | дубля нет |
| невалидное сообщение и неизвестный job_id | reject -> DLQ, dlq-replay не исполняет | schema-invalid message and unknown job_id -> reject -> DLQ (2 message(s)); dlq-replay kept them: ['invalid message is kept for analysis', 'unknown job'] | сообщения сохранены |
| 8 заданий в очереди, старт worker | WORKER_CONCURRENCY=2, prefetch 1 | 2 consumers, prefetch_count 1, manual ack; 8 queued 3000x2000 JPEG drained in 2.4 s after worker start, peak processing 2 of 8 (6 samples) | - |
Ограничения и следующие шаги
- Выдерживается: недоступность любого хранилища телеметрии и самого Collector — API и обработка вложений продолжают работать; память ограничена очередями SDK (2048 на сигнал и процесс) и Collector (memory_limiter, очереди фиксированного размера). Переживают рестарт хранилищ (volumes): метрики, логи, трассы, настройки Grafana.
- Теряется (и считается): телеметрия, отправленная, пока Collector недоступен (SDK не буферизует на диск); пакеты, у которых истекло окно повторов Collector или очередь переполнена; буфер Collector при его рестарте. Метрики приложения за время недоступности Collector — пропуск на графиках (cumulative-счётчики после восстановления продолжают с верного итога).
- Один экземпляр каждого хранилища и Collector на одном Docker-host — нет HA телеметрии; при отказе Prometheus алерты не вычисляются (нужен внешний «мета-мониторинг» — вне учебного стенда).
- Метрики очереди считает один dispatcher: если он упал, значения
messenger_queue_*устаревают (видно по отсутствию свежих точек); алертabsent()на них — следующий шаг. - Учебные упрощения: внутренние соединения OTLP и UI без TLS (lab7), Prometheus/Loki/Tempo опубликованы на 127.0.0.1 для тестов и защиты; сэмплирование трасс 100% (для учебной нагрузки; стоимость и баланс сэмплирования — трек 5.1, не заявлен); burn-rate алерты с несколькими окнами — трек 5.2, не заявлен.
- Подтверждено измерением: алерты срабатывают и снимаются на контролируемых отказах; диагностика отличает остановленный worker, медленную БД и медленный обработчик; отказ телеметрии не влияет на API. Гипотеза без измерения: накладные расходы телеметрии на задержку и CPU (сравнение
OTEL_SDK_DISABLED=true/falseпри одинаковой нагрузке) — трек 5.1.
Ответы на вопросы защиты (кратко)
- Лог, метрика и trace об одном инциденте. Метрика отвечает «что и когда, насколько массово» (доля 5xx выросла в 14:02, только на POST messages) — дёшево, агрегатно, для алертов. Трасса — «где именно» в одном запросе (5 с из 5,004 с —
INSERTв PostgreSQL), через все процессы. Лог — «почему» с деталями события (QueryCanceled, request_id, job_id). Связаны черезtrace_id: из алерта → error-трасса → её логи. - Почему
chat_idв labels может исчерпать хранилище. Каждая уникальная комбинация меток — отдельный временной ряд со своим индексом и чанками в памяти. Чатов — неограниченное и растущее число, умноженное на маршруты, коды и buckets гистограммы → миллионы рядов, рост RAM/диска TSDB и медленные запросы. Поэтому в метрики — только ограниченные множества, а ID — в трассы/логи. - Как очередь переносит причинную связь между процессами. Producer записывает W3C
traceparent(trace_id + id своего спана) в сообщение — здесь в строку outbox, затем dispatcher в AMQP header и поле тела; consumer извлекает его и начинает свой спан с этим родителем (или с link). Так trace_id один для HTTP-запроса и фоновой обработки, хотя между ними секунды и разные процессы. - Почему среднее latency не заменяет p99 и почему нельзя усреднять p99 реплик. Среднее прячет хвост: 99 запросов по 10 мс и один по 5 с дают среднее 60 мс, а пользователь видит 5 с. Перцентиль — не аддитивная величина: p99 двух реплик с разной нагрузкой нельзя усреднить (реплика с 10 запросами весила бы как реплика с 10 000). Правильно — сложить buckets гистограмм всех реплик (
sum by (le)) и уже из суммы вычислитьhistogram_quantile.