36 KiB
Отчёт — лабораторная 6
- Автор, группа: TODO
- Целевая оценка; выбранный трек 5, если нужен: TODO
- Commit/PR: TODO после публикации
- Использованные источники, библиотеки и помощь ИИ: TODO
Запуск из чистого clone
TODO: версии runtime/образов, prerequisites, команды создания локальных secrets/.env, build, миграций, запуска, ожидания готовности, тестов и остановки. Указать необходимые действия оператора. Не вставлять секреты. Отдельно указать безопасную остановку и команду намеренного удаления учебных данных.
Архитектура и решения
TODO: схема процессов/хранилищ, источник истины, транзакционные границы, ограничения. Что перенесено из lab5, что изменено в этой работе. Соответствие переменных из .env.example реальной конфигурации.
Наблюдаемость
Change otel-telemetry (design — openspec/changes/archive/2026-11-11-otel-telemetry/design.md,
номера решений в скобках). Числа и проверки сняты на закоммиченном коде при чистом рабочем дереве:
telemetry-check и telemetry-outage сначала на 68f1e97 (правки verify), затем пересняты на
72cfa9a (код change job-trace-propagation: relay с SDK, шаги задания по consumer span), там
же план снимка очереди, проба ревизии e4b8c2d17f90 и раздел change бюджета; trace-chain и
telemetry-outage — ещё раз на 72e2598 (правки verify: сигналы relay без перезапуска, тихая
очередь в предусловии, рост CPU каждого процесса);
бюджет сервисов телеметрии — на 4178b3d (лимиты Tempo и Grafana по замеру), шапки файлов
evidence/telemetry/ и evidence/migrations/. evidence/stand/from- scratch.md ещё снят на рабочем дереве поверх 9b35c25: пересъёмка ждёт разрешения пользователя
(QUESTIONS.md, ## otel-telemetry, вопрос 8).
Назначение компонентов
| Компонент | Версия (тег, digest индекса — docker-compose.yml) |
На какой вопрос об инциденте отвечает |
|---|---|---|
SDK OpenTelemetry Python (opentelemetry-api, -sdk, -exporter-otlp-proto-http) |
1.45.2 (>=1.45.2,<1.46), semantic conventions 0.66b2 |
производит три сигнала в API и worker; экспорт OTLP/HTTP protobuf в фоне, очереди ограничены |
| OTel Collector, дистрибутив contrib | 0.164.0 | получатель и маршрутизатор, а не хранилище: memory_limiter, batch, три pipeline до трёх хранилищ; contrib — ради tail_sampling трека 1 (1) |
| Prometheus | v3.15.1 | метрика: «сколько и как быстро» — RPS, доля ошибок, квантили длительности, исходы заданий по времени; scrape экспортёра Collector (3) |
| Loki | 3.7.9 | лог: «что именно произошло в этом запросе / задании» — те же записи, что в stdout, поиск по request_id, attachment_id, trace_id |
| Tempo | 3.1.1 | трасса: «где ушло время и что упало» — server / consumer span с дочерними PostgreSQL, Valkey, S3 и процессом обработки |
| Grafana | 13.3.1 | интерфейс без своего состояния: источники и dashboard из git, переход лог ↔ трасса (16) |
Сигналы уровня 3
| Логический сигнал контракта | Инструмент SDK | Prometheus / Loki / Tempo | Единица |
|---|---|---|---|
| HTTP requests | счёт наблюдений histogram http.server.request.duration |
http_server_request_duration_seconds_count{job="messenger-api", http_request_method, http_route, http_response_status_code} |
запросы |
| HTTP duration | histogram http.server.request.duration, границы 0,005…30 с (10) |
http_server_request_duration_seconds_bucket / _sum |
с |
| jobs (успешные / ошибочные) | счёт наблюдений histogram messenger.job.duration |
messenger_job_duration_seconds_count{job="messenger-worker", messenger_job_type, messenger_job_outcome} |
задания |
| job duration | histogram messenger.job.duration, границы 0,05…60 с (11) |
messenger_job_duration_seconds_bucket / _sum |
с |
логи с trace_id / span_id |
логгер SDK из процессора structlog (2) | Loki: поток service_name, service_instance_id, deployment_environment_name; поля записи, trace_id, span_id — structured metadata; строка — event |
запись |
| трассы API | span SERVER «метод» «шаблон» (корень), дочерние SELECT/INSERT/…, COMMIT, GET/SET Valkey, S3.<Операция> |
Tempo: messenger.request_id, http.*, db.*, rpc.*, error.type |
span |
| трассы worker | span CONSUMER process <очередь> (корень), дочерние PostgreSQL, S3, render attachment variants |
Tempo: messaging.*, messenger.job.type, messenger.job.outcome |
span |
Запросы панелей dashboard (infra/otel/grafana/dashboards/messenger-overview.json, uid
messenger-overview, папка Messenger):
- RPS по маршруту и классу статуса:
sum by (http_route, status_class) (label_replace(rate(http_server_request_duration_seconds_count{job="messenger-api"}[5m]), "status_class", "${1}xx", "http_response_status_code", "([0-9]).."))); - доля ошибок HTTP — числитель 5xx API, знаменатель — все учтённые запросы (health не
учитывается, 4xx — отдельная панель того же вида):
sum(rate(http_server_request_duration_seconds_count{job="messenger-api",http_response_status_code=~"5.."}[5m])) / sum(rate(http_server_request_duration_seconds_count{job="messenger-api"}[5m])); - p50 и p95:
histogram_quantile(q, sum by (le) (rate(http_server_request_duration_seconds_bucket{job="messenger-api"}[5m])))— из суммы buckets всех реплик, а не средние; p95 по маршрутам —sum by (le, http_route); - задания по исходу:
sum by (messenger_job_outcome) (rate(messenger_job_duration_seconds_count{job="messenger-worker"}[5m])); успешные —ready, ошибочные —failed,retry,requeued,dropped,error,skipped— ни то, ни другое (подтверждено без попытки); - p50 и p95 длительности
ready:histogram_quantile(q, sum by (le) (rate(messenger_job_duration_seconds_bucket{job="messenger-worker",messenger_job_outcome="ready"}[5m]))); - журналы
{service_name=~"messenger-.*"}(Loki), поиск трасс{ resource.service.name =~ "messenger-.*" }(Tempo).
Ресурс и имена OTEL_*
| Атрибут ресурса | Значение | Prometheus | Loki |
|---|---|---|---|
service.name |
messenger-api / messenger-worker / messenger-relay (константы точки входа) |
job |
метка service_name |
service.instance.id |
[app] instance_id = X-Instance-Id (короткий id контейнера) |
instance |
метка service_instance_id |
service.version |
1.6.0 — info.version контракта (9) |
target_info{service_version} |
service_version |
deployment.environment.name |
[telemetry] environment = lab |
target_info{deployment_environment_name} |
метка deployment_environment_name |
| Имя skeleton | У нас (8) |
|---|---|
OTEL_SERVICE_NAME |
константа точки входа: messenger-api, messenger-worker, messenger-relay |
OTEL_EXPORTER_OTLP_ENDPOINT |
[telemetry] otlp_endpoint; на стенде — TELEMETRY__OTLP_ENDPOINT=http://otel-collector:4318 у api, worker и relay |
OTEL_EXPORTER_OTLP_PROTOCOL=http/protobuf |
постоянно: установлен только экспортёр OTLP/HTTP protobuf |
OTEL_RESOURCE_ATTRIBUTES=deployment.environment.name=lab |
[telemetry] environment; service.* вычисляет код |
Переменные OTEL_* настройками не являются: процесс с включённой телеметрией удаляет их из
окружения и пишет warning с именами (проверка — разовый контейнер с OTEL_SDK_DISABLED=true и
чужим адресом в evidence/telemetry/check.md). Включает телеметрию TELEMETRY__ENABLED у api,
worker и (change job-trace-propagation) relay стенда; консоль, make test_isolated, стенд
отказов и bench/ — без неё (20).
Инфраструктура наблюдаемости
Роль infrastructure.json |
Сервис | Версия | Healthcheck | Volume | Порт | Credentials |
|---|---|---|---|---|---|---|
otel_collector |
otel-collector |
contrib 0.164.0 | нет (в образе нет оболочки): цель otel-collector в Prometheus |
— | OTLP :4318, метрики :8888, :8889 — только в сетях стенда |
нет |
telemetry_storage (метрики) |
prometheus |
v3.15.1 | wget /-/ready |
prometheus_data, срок 7d, предел 1GB |
:9090 — только сеть telemetry |
нет |
telemetry_storage (логи) |
loki |
3.7.9 | нет: цель loki и проверка источника |
loki_data, срок 168h |
:3100 — только сеть telemetry |
нет |
telemetry_storage (трассы) |
tempo |
3.1.1 | нет: цель tempo и проверка источника |
tempo_data, срок 168h |
:3200, OTLP :4318 — только сеть telemetry |
нет |
grafana |
grafana |
13.3.1 | wget /api/health |
tmpfs (provisioning из git) | 127.0.0.1:${GRAFANA_OUT_PORT:-3000} |
admin / GRAFANA_ADMIN_PASSWORD из .env (случайный от make env_setup), только у Grafana |
Сети: хранилища и Grafana — telemetry, Collector — default и telemetry; из контейнеров
API и worker имена prometheus, loki, tempo, grafana не разрешаются (17). Приложение от
сервисов телеметрии не зависит: без них стартует и работает (evidence/telemetry/collector-outage.md).
Бюджет
Лимиты телеметрии: Collector 0,5 CPU / 256 МиБ, Prometheus 0,5 / 384, Loki 0,5 / 512, Tempo
0,5 / 640, Grafana 0,5 / 512 — 2,5 CPU / 2304 МиБ. Постоянные лимиты стенда — 11,5 CPU /
7296 МиБ, с одноразовыми — 12,5 CPU / 7680 МиБ при ВМ 12 CPU / 7934 МиБ: лимиты — потолки, а не
резерв. Два замера под make test + make load + make student_test с телеметрией и без
(evidence/telemetry/budget.md): на 68f1e97 (прежние лимиты) пики memory.peak Tempo 398 и
Grafana 294 МиБ — правило «лимит не меньше 1,5 × пика» не выполнялось при 512 и 384, лимиты
подняты до 640 и 512, GOMEMLIMIT Tempo прежний (400 МиБ — его пик упирается в него, поэтому
лимит — 1,6 × GOMEMLIMIT); на 4178b3d (новые лимиты) — Collector 97, Prometheus 95, Loki 190,
Tempo 253, Grafana 248 МиБ, правило выполнено и для наибольших пиков обоих замеров. Реплика API —
до 453 МиБ с телеметрией и 482 без неё (лимит 512; пик даёт Argon2id входов make student_test,
а не SDK; запас ~6 % — ограничение, лимит реплики не менялся), worker — 502 МиБ из 1024. Грубая
цена SDK (один прогон make load): 489 против 568 запросов/с, p95 13,8 против 8,8 мс —
исследование трека 1.
Ограничения наблюдаемости
- Отказ Collector: что не ушло, теряется: очереди SDK ограничены (2048 span и записей), при
остановке процесса закрытие ждёт не дольше 1 с (API) и 0,5 с (worker). Cumulative-метрики SDK
копит в себе: после возврата Collector счётчики не теряются, теряется разрешение; рестарт
Collector сбрасывает ряды экспортёра (
rate()это переносит). Записи об отказе отправки — только stdout, не чаще одной в минуту на модуль SDK (evidence/telemetry/collector-outage.md). - Ответы балансировщика (502, 503, 504, 408 HAProxy) в метрики API не попадают: их генерирует
LB, метрик HAProxy на уровне 3 нет. Нестандартный метод вне списка парсера uvicorn (
BREW) отклоняется до приложения 400 текстом — ни span, ни ряда (KNOWN_ISSUES.md). - OTLP без аутентификации и TLS — до лабы 7: Collector принимает от любого контейнера сети
default; хранилища отделены сетью. - Trace-id клиента не продолжается (публичная точка входа); контекст внутри стенда переносит задание (раздел «Сквозная трасса загрузки» ниже).
service.versionне различает сборки одной версии контракта.- Tempo 3.1 в простое пишет
level=error«no jobs found» (backend-worker опрашивает scheduler без заданий) — шум журнала, не отказ.
Сквозная трасса загрузки (уровень 4)
Change job-trace-propagation (design — openspec/changes/archive/2026-11-11-job-trace-propagation/design.md,
номера решений «JTP-n»). Одна загрузка — одна трасса: server span POST /api/v1/chats/{chat_id}/attachments (messenger-api) → на каждую публикацию её задания span
PRODUCER publish <очередь> (messenger-relay) → под ним span CONSUMER process <очередь>
этой доставки (messenger-worker) с дочерними PostgreSQL, S3 (S3.GetObject staging,
S3.PutObject оригинала и трёх вариантов), render attachment variants и COMMIT. Повторная
попытка, повторная доставка брокером и replay — новые пары producer / consumer в той же трассе
с messenger.job.attempt, messenger.job.retry_reason, messenger.job.replayed,
messenger.job.reason, messenger.job.error_code (значения enum, без id и текста ошибок).
| Где | Значение | Кто пишет | Кто читает |
|---|---|---|---|
колонки attachment_jobs.traceparent, tracestate (text NULL, CHECK NOT VALID, ревизия e4b8c2d17f90) |
контекст W3C server span загрузки (JTP-4) | реплика API той же транзакцией, что queued и задание |
relay при каждой публикации |
заголовки сообщения AMQP traceparent, tracestate (carrier, JTP-1) |
контекст span producer этой публикации | relay (JobPublisher._publish_one) |
worker (JobDelivery.trace_context) |
поля traceparent, tracestate тела contracts/jobs.schema.json |
не заполняются | — | — |
Отображение на схему задания: заголовок traceparent = поле traceparent = значение W3C
версии 00 (^00-[0-9a-f]{32}-[0-9a-f]{16}-[0-9a-f]{2}$, тот же шаблон у CHECK колонки и
разбора заголовка), tracestate — то же, до 512 символов. Carrier — native headers брокера
(contracts/attachment-states.md это допускает): тело проверяет AttachmentJobMessage
(extra="forbid", pattern), неверное значение в теле сделало бы сообщение «не по схеме» и
задание dropped, а заголовок не по W3C просто игнорируется — новая трасса, исход тот же.
Переносится только W3C Trace Context (TraceContextTextMapPropagator), baggage — нет;
глобального propagator нет (JTP-5).
Почему consumer span — дочерний и с link (JTP-2). Semantic conventions messaging по умолчанию
связывают обработку с созданием сообщения link, но «exclusively for single messages» разрешают
сделать контекст создания родителем, и требуют link на него («SHOULD link») и описание выбора
(«SHOULD document» — этот раздел). Worker обрабатывает сообщения по одному, объемлющего span у
задачи доставки нет. Родитель даёт одну трассу на загрузку (цепочка до S3 и БД, включая повтор,
находится по одному trace-id) и цельную выборку цепочки при head sampling трека 1: sampler —
ParentBased(ALWAYS_ON), флаг выборки загрузки доходит до worker. Цена — длинные трассы:
повторы растягивают трассу на минуты, replay — на часы.
Без контекста и смесь версий (JTP-6). Строка без контекста (прежняя реплика во время make rolling_update, реплика с выключенной телеметрией): relay публикует без заголовков и без span
producer, consumer span — корень, как на уровне 3. Прежний relay колонок не знает, прежний worker
заголовки игнорирует, тело прежнее: ни одна комбинация версий не даёт ошибки, рвутся только
цепочки заданий, которых коснулся прежний код. Relay с выключенной телеметрией кладёт
сохранённый контекст как есть: цепочка API → worker не рвётся. Span relay — только span
producer под сохранённым контекстом: проходы relay и его обращения к PostgreSQL трасс не
начинают. Команда replay SDK не запускает: replay виден следующей парой producer / consumer.
Сигналы уровня 4
| Логический сигнал контракта | Инструмент SDK | Prometheus | Единица |
|---|---|---|---|
| p50 / p95 / p99 HTTP и обработки | histogram прежние | histogram_quantile(q, sum by (le) (rate(…_bucket[5m]))) |
с |
время до ready (end-to-end time to ready) |
histogram messenger.job.time_to_ready, границы 0,25…600 с |
messenger_job_time_to_ready_seconds_{bucket,sum,count}{job="messenger-worker", messenger_job_type} |
с |
| глубина очереди | ObservableGauge messenger.queue.depth |
messenger_queue_depth{job="messenger-relay", messaging_destination_name, messenger_queue_stage} (scheduled, outbox, published, processing) |
задания |
| возраст старейшей job | ObservableGauge messenger.queue.oldest_age |
messenger_queue_oldest_age_seconds{job="messenger-relay"} |
с |
| пул БД: соединения | ObservableUpDownCounter db.client.connection.count |
db_client_connection_count{db_client_connection_pool_name, db_client_connection_state="used"|"idle"} |
соединения |
| пул БД: предел | db.client.connection.max |
db_client_connection_max |
соединения |
| пул БД: ожидающие | db.client.connection.pending_requests |
db_client_connection_pending_requests |
запросы |
| пул БД: отказы по сроку | ObservableCounter db.client.connection.timeouts |
db_client_connection_timeouts_total |
отказы |
| насыщение worker | ObservableUpDownCounter messenger.worker.busy, .capacity, .waiting |
messenger_worker_busy, messenger_worker_capacity, messenger_worker_waiting |
доставки |
| CPU контейнера | ObservableCounter container.cpu.time |
container_cpu_time_seconds_total |
с CPU |
| память контейнера | ObservableUpDownCounter container.memory.usage |
container_memory_usage_bytes |
байты |
| пределы контейнера | messenger.container.cpu.limit, messenger.container.memory.limit |
messenger_container_cpu_limit, messenger_container_memory_limit_bytes |
ядра, байты |
| трассы upload → publish → consume | span PRODUCER relay, CONSUMER worker |
Tempo: messaging.*, messenger.job.*; связь parent и link |
span |
Ряды пула, CPU и памяти — у каждого процесса с SDK (job = messenger-api, messenger-worker,
messenger-relay, instance = service.instance.id); имя пула — postgres:5432/messenger.
Имена проверены на стенде запросами через Grafana (apply, trace-chain).
Запросы панелей уровня 4 (messenger-overview.json, строки «Pipeline» и «Saturation»; единицы
панелей — s, percentunit, short):
- квантили HTTP:
histogram_quantile(0.5|0.95|0.99, sum by (le) (rate(http_server_request_duration_seconds_bucket{job="messenger-api"}[5m]))), обработки — то же надmessenger_job_duration_seconds_bucket{job="messenger-worker",messenger_job_outcome="ready"}(с); доля 5xx и доля 4xx — панели уровня 3 (percentunit); - время до
ready:histogram_quantile(q, sum by (le) (rate(messenger_job_time_to_ready_seconds_bucket{job="messenger-worker"}[5m])))(с); - глубина по стадиям:
max by (messenger_queue_stage) (messenger_queue_depth{job="messenger-relay"})(short); возраст:max(messenger_queue_oldest_age_seconds{job="messenger-relay"})(с) —max, а не сумма: два relay дали бы два ряда одного числа; - пул:
sum by (job, instance) (db_client_connection_count{db_client_connection_state="used"}) / sum by (job, instance) (db_client_connection_max)(percentunit), ожидающие —sum by (job, instance) (db_client_connection_pending_requests)(short, запросы, левая ось), отказы —sum by (job) (rate(db_client_connection_timeouts_total[5m]))(ops, отказы в секунду, правая ось той же панели: число и скорость под одной единицей не смешиваются); - worker:
sum(messenger_worker_busy) / sum(messenger_worker_capacity)и среднее за окноsum(rate(messenger_job_duration_seconds_sum{job="messenger-worker"}[5m])) / sum(messenger_worker_capacity)(percentunit; длительность пишется ровно за время на месте — закон Литтла), ожидающие места —sum(messenger_worker_waiting)(short); - контейнеры:
sum by (job, instance) (rate(container_cpu_time_seconds_total[5m])) / sum by (job, instance) (messenger_container_cpu_limit)иsum by (job, instance) (container_memory_usage_bytes) / sum by (job, instance) (messenger_container_memory_limit_bytes)(percentunit).
Источник очереди (JTP-9) — один процесс, relay: после успешного прохода, не чаще 5 с, снимок
по PostgreSQL одним выражением, каждый подзапрос — по условию своего частичного индекса
(ix_attachment_jobs_outbox, _published, _lease; состояния константой). Не реплики API (N
копий одного числа), не worker (его может быть два, outbox он не видит), не приёмник Collector
(пароль PostgreSQL у Collector без секретов и SQL вне кода приложения) и не метрики брокера (только
стадия published, без outbox, обработки и возраста). Возраст — от устойчивого приёма (задание
вместе с queued, до 202): «время до ready до сих пор» старейшего незавершённого.
CPU и память — cgroup изнутри, без docker.sock (JTP-12). Процессы с SDK читают свою
cgroup v2 (cpu.stat, memory.current, cpu.max, memory.max; файлы r--r--r-- от UID
10001). Сокет Docker у Collector (docker_stats) отвергнут: доступ к API Docker — root на ВМ
(:ro у сокета API не ограничивает), а Collector принимает OTLP без аутентификации из сети
приложения; cAdvisor требует привилегированных монтирований /, /sys, /var/lib/docker;
hostmetrics видит ВМ целиком, а не контейнеры. В docker compose config монтирования сокета
Docker нет ни у одного сервиса (trace-chain).
Ресурс relay: service.name = messenger-relay (константа TELEMETRY_SERVICE_RELAY, в
таблице OTEL_SERVICE_NAME — третья точка входа), service.instance.id = instance_id журнала
relay (короткий id контейнера), остальное — как у API и worker; TELEMETRY__ENABLED и
TELEMETRY__OTLP_ENDPOINT — якорем x-telemetry-env и у relay. Модули SDK, экспортёра,
protobuf и requests загружаются только при включённой телеметрии (JTP-7): уборщик, команда
replay, консоль, make test_isolated, стенд отказов и bench/ их не держат; исключение —
модули метрик SDK, которые сам загружает redis-py 8.1 при импорте.
Бюджет (JTP-15). Новых сервисов и портов нет, лимиты прежние, соединений PostgreSQL не
прибавляется; суммы прежние (11,5 CPU / 7296 МиБ, с одноразовыми 12,5 / 7680). Замер на 72cfa9a
под make test + make load + make student_test + trace-chain (раздел change в
evidence/telemetry/budget.md): relay с SDK — memory.peak 103 МиБ (старт), CPU до 25 % ядра при
лимите 0,25 только при разборе накопленных заданий; уборщик после ленивого импорта — 108 МиБ
вместе с плановой сверкой при старте; правило «лимит ≥ 1,5 × пика» у обоих выполнено (256 МиБ).
У Grafana в этом замере memory.peak 343 МиБ, из них файловый кэш 95 МиБ, который ядро освобождает
до OOM; неосвобождаемая часть anon + kernel + shmem ≈ 197 МиБ, 1,5 × ≈ 296 ≤ 512 — правило
выполнено, лимит прежний. Пик — memory.peak, а если с кэшем он правило не проходит — anon +
kernel + shmem (.claude/rules/telemetry.md, «Что считать пиком»).
Ограничения уровня 4:
- пул и насыщение worker — мгновенные значения раз в интервал отправки (15 с): короткие всплески пропускаются; отказы пула — счётчик, насыщение — ещё и среднее по сумме длительностей;
- снимок очереди, который relay не обновил дольше 30 с, не отдаётся, но экспортёр Collector держит
последнюю точку до
metric_expiration(5 мин) — панель может показать прежнее значение до 5 мин; у остановленного relay очереди на панели нет; - PostgreSQL, S3, брокер, LB и уборщик в метриках CPU и памяти не представлены (нет SDK, сокета Docker нет); у worker в его cgroup — и процессы обработки;
- время до
readyне учитывает задания после replay (их приём — действие оператора) и повторную доставку готового; - трасса без корня, если Collector был недоступен при загрузке («root span not yet received»);
длинные трассы повторов и replay искажают длительность трассы в поиске Tempo — искать по
атрибутам span (
messenger.job.outcome); - при перезапуске процесса counter начинается с нуля под тем же
instance: если новый процесс насчитал больше прежнего, Prometheus сброса не видит (increase()занижает) — проверкаtrace-chainскладывает счётчики процессов; - без
messaging.message.id(решение 12 changeotel-telemetry:idзадания не в span) и без span Create и Settle: подтверждение — внутри consumer span.
Доказательства критериев
| Критерий README | Команда/сценарий | Наблюдаемый результат | Файл доказательства |
|---|---|---|---|
| Публичный smoke | make test | TODO | TODO |
| Остальные пункты уровня 3 | TODO | TODO | TODO |
| Уровень 3: Collector, хранилища, provisioning, свой запрос и задание найдены, приватность | driver.py --port 8080 telemetry-check |
код 0: Loki → Tempo по X-Request-Id, трасса worker, рост счётчиков, история после рестарта хранилищ |
evidence/telemetry/check.md |
| Телеметрия не меняет ответы и остановку | driver.py --port 8080 telemetry-outage |
код 0: make test PASS и остановка < 10 с при остановленном и замороженном Collector, сигналы после его возврата без перезапуска процессов |
evidence/telemetry/collector-outage.md (commit 72e2598) |
| Стенд с нуля одной командой | driver.py stand-from-scratch --runs 2 |
код 0 оба раза, RestartCount брокера и телеметрии 0 |
evidence/stand/from-scratch.md |
| Лимиты и бюджет телеметрии | замер docker stats, memory.peak и memory.stat |
лимит ≥ 1,5 × пика у всех сервисов телеметрии (у Grafana пик — anon + kernel + shmem без файлового кэша) |
evidence/telemetry/budget.md |
| Уровень 4: контекст W3C API → relay → worker, producer и consumer span (parent и link), цепочка одной загрузки до S3 и БД с повтором и replay | driver.py --port 8080 trace-chain |
код 0: одна трасса, две пары producer / consumer, span S3 с ошибкой и запись оригинала и вариантов, replay в той же трассе, задание без контекста — корень worker | evidence/telemetry/trace-chain.md (commit 72e2598) |
| Уровень 4: dashboard — p50 / p95 / p99, доля ошибок, глубина и возраст очереди, пул БД, насыщение worker, контейнеры | driver.py --port 8080 trace-chain, telemetry-check |
запросы панелей уровня 4 без ошибок и с данными; ряды очереди только у relay; пределы = docker inspect; нет сокета Docker |
evidence/telemetry/trace-chain.md, evidence/telemetry/check.md |
| Уровень 4: relay с SDK не меняет остановку | driver.py --port 8080 telemetry-outage |
docker stop relay < 10 с, код 0, «Stopped relay» при остановленном и замороженном Collector |
evidence/telemetry/collector-outage.md |
| Уровень 4: схема контекста задания | миграция с нуля, повтор, откат, --sql, make rolling_update; план снимка очереди |
lock_timeout, NOT VALID; без Seq Scan |
evidence/migrations/job-trace-context.md, evidence/telemetry/queue-snapshot.md (commit 72cfa9a) |
| Остальные пункты уровня 4 (SLO, alerts, runbooks, инциденты) | change slo-alerts |
TODO | TODO |
| Выбранный трек 5, если заявлен | TODO | TODO | TODO |
TODO: добавить отдельную строку для каждого заявленного критерия. PASS без команды и наблюдения не является доказательством. Проверка инфраструктурного hook требует подтверждения, какие реальные процессы/хранилища перезапущены.
Эксперименты и отказы
TODO: гипотеза, hardware/лимиты, версии, объём данных, профиль нагрузки, concurrency/arrival rate, длительность/прогрев, повторы, успешные RPS, ошибки, p50/p95/p99, CPU/RAM. Сохранить raw summary без tokens и объяснить ограничения измерения.
| Воздействие | Что ожидаем | Что наблюдали | Время восстановления / потеря данных |
|---|---|---|---|
| TODO | TODO | TODO | TODO |
Ограничения и следующие шаги
TODO: какие отказы выдерживаются и какие нет; что не реализовано; где учебное упрощение; какое улучшение подтверждено, а какое пока гипотеза.