Files
mtusi2026lab6/REPORT.md
T

34 KiB
Raw Blame History

Отчёт — лабораторная 6

  • Автор, группа: TODO
  • Целевая оценка; выбранный трек 5, если нужен: TODO
  • Commit/PR: TODO после публикации
  • Использованные источники, библиотеки и помощь ИИ: TODO

Запуск из чистого clone

TODO: версии runtime/образов, prerequisites, команды создания локальных secrets/.env, build, миграций, запуска, ожидания готовности, тестов и остановки. Указать необходимые действия оператора. Не вставлять секреты. Отдельно указать безопасную остановку и команду намеренного удаления учебных данных.

Архитектура и решения

TODO: схема процессов/хранилищ, источник истины, транзакционные границы, ограничения. Что перенесено из lab5, что изменено в этой работе. Соответствие переменных из .env.example реальной конфигурации.

Наблюдаемость

Change otel-telemetry (design — openspec/changes/archive/2026-11-11-otel-telemetry/design.md, номера решений в скобках). Числа и проверки сняты на закоммиченном коде при чистом рабочем дереве: telemetry-check и telemetry-outage — на 68f1e97 (правки verify), бюджет — на 4178b3d (лимиты Tempo и Grafana по замеру), шапки файлов evidence/telemetry/. evidence/stand/from- scratch.md ещё снят на рабочем дереве поверх 9b35c25: пересъёмка ждёт разрешения пользователя (QUESTIONS.md, ## otel-telemetry, вопрос 8).

Назначение компонентов

Компонент Версия (тег, digest индекса — docker-compose.yml) На какой вопрос об инциденте отвечает
SDK OpenTelemetry Python (opentelemetry-api, -sdk, -exporter-otlp-proto-http) 1.45.2 (>=1.45.2,<1.46), semantic conventions 0.66b2 производит три сигнала в API и worker; экспорт OTLP/HTTP protobuf в фоне, очереди ограничены
OTel Collector, дистрибутив contrib 0.164.0 получатель и маршрутизатор, а не хранилище: memory_limiter, batch, три pipeline до трёх хранилищ; contrib — ради tail_sampling трека 1 (1)
Prometheus v3.15.1 метрика: «сколько и как быстро» — RPS, доля ошибок, квантили длительности, исходы заданий по времени; scrape экспортёра Collector (3)
Loki 3.7.9 лог: «что именно произошло в этом запросе / задании» — те же записи, что в stdout, поиск по request_id, attachment_id, trace_id
Tempo 3.1.1 трасса: «где ушло время и что упало» — server / consumer span с дочерними PostgreSQL, Valkey, S3 и процессом обработки
Grafana 13.3.1 интерфейс без своего состояния: источники и dashboard из git, переход лог ↔ трасса (16)

Сигналы уровня 3

Логический сигнал контракта Инструмент SDK Prometheus / Loki / Tempo Единица
HTTP requests счёт наблюдений histogram http.server.request.duration http_server_request_duration_seconds_count{job="messenger-api", http_request_method, http_route, http_response_status_code} запросы
HTTP duration histogram http.server.request.duration, границы 0,005…30 с (10) http_server_request_duration_seconds_bucket / _sum с
jobs (успешные / ошибочные) счёт наблюдений histogram messenger.job.duration messenger_job_duration_seconds_count{job="messenger-worker", messenger_job_type, messenger_job_outcome} задания
job duration histogram messenger.job.duration, границы 0,05…60 с (11) messenger_job_duration_seconds_bucket / _sum с
логи с trace_id / span_id логгер SDK из процессора structlog (2) Loki: поток service_name, service_instance_id, deployment_environment_name; поля записи, trace_id, span_id — structured metadata; строка — event запись
трассы API span SERVER «метод» «шаблон» (корень), дочерние SELECT/INSERT/…, COMMIT, GET/SET Valkey, S3.<Операция> Tempo: messenger.request_id, http.*, db.*, rpc.*, error.type span
трассы worker span CONSUMER process <очередь> (корень), дочерние PostgreSQL, S3, render attachment variants Tempo: messaging.*, messenger.job.type, messenger.job.outcome span

Запросы панелей dashboard (infra/otel/grafana/dashboards/messenger-overview.json, uid messenger-overview, папка Messenger):

  • RPS по маршруту и классу статуса: sum by (http_route, status_class) (label_replace(rate(http_server_request_duration_seconds_count{job="messenger-api"}[5m]), "status_class", "${1}xx", "http_response_status_code", "([0-9])..")));
  • доля ошибок HTTP — числитель 5xx API, знаменатель — все учтённые запросы (health не учитывается, 4xx — отдельная панель того же вида): sum(rate(http_server_request_duration_seconds_count{job="messenger-api",http_response_status_code=~"5.."}[5m])) / sum(rate(http_server_request_duration_seconds_count{job="messenger-api"}[5m]));
  • p50 и p95: histogram_quantile(q, sum by (le) (rate(http_server_request_duration_seconds_bucket{job="messenger-api"}[5m]))) — из суммы buckets всех реплик, а не средние; p95 по маршрутам — sum by (le, http_route);
  • задания по исходу: sum by (messenger_job_outcome) (rate(messenger_job_duration_seconds_count{job="messenger-worker"}[5m])); успешные — ready, ошибочные — failed, retry, requeued, dropped, error, skipped — ни то, ни другое (подтверждено без попытки);
  • p50 и p95 длительности ready: histogram_quantile(q, sum by (le) (rate(messenger_job_duration_seconds_bucket{job="messenger-worker",messenger_job_outcome="ready"}[5m])));
  • журналы {service_name=~"messenger-.*"} (Loki), поиск трасс { resource.service.name =~ "messenger-.*" } (Tempo).

Ресурс и имена OTEL_*

Атрибут ресурса Значение Prometheus Loki
service.name messenger-api / messenger-worker / messenger-relay (константы точки входа) job метка service_name
service.instance.id [app] instance_id = X-Instance-Id (короткий id контейнера) instance метка service_instance_id
service.version 1.6.0 — info.version контракта (9) target_info{service_version} service_version
deployment.environment.name [telemetry] environment = lab target_info{deployment_environment_name} метка deployment_environment_name
Имя skeleton У нас (8)
OTEL_SERVICE_NAME константа точки входа: messenger-api, messenger-worker, messenger-relay
OTEL_EXPORTER_OTLP_ENDPOINT [telemetry] otlp_endpoint; на стенде — TELEMETRY__OTLP_ENDPOINT=http://otel-collector:4318 у api, worker и relay
OTEL_EXPORTER_OTLP_PROTOCOL=http/protobuf постоянно: установлен только экспортёр OTLP/HTTP protobuf
OTEL_RESOURCE_ATTRIBUTES=deployment.environment.name=lab [telemetry] environment; service.* вычисляет код

Переменные OTEL_* настройками не являются: процесс с включённой телеметрией удаляет их из окружения и пишет warning с именами (проверка — разовый контейнер с OTEL_SDK_DISABLED=true и чужим адресом в evidence/telemetry/check.md). Включает телеметрию TELEMETRY__ENABLED у api, worker и (change job-trace-propagation) relay стенда; консоль, make test_isolated, стенд отказов и bench/ — без неё (20).

Инфраструктура наблюдаемости

Роль infrastructure.json Сервис Версия Healthcheck Volume Порт Credentials
otel_collector otel-collector contrib 0.164.0 нет (в образе нет оболочки): цель otel-collector в Prometheus — OTLP :4318, метрики :8888, :8889 — только в сетях стенда нет
telemetry_storage (метрики) prometheus v3.15.1 wget /-/ready prometheus_data, срок 7d, предел 1GB :9090 — только сеть telemetry нет
telemetry_storage (логи) loki 3.7.9 нет: цель loki и проверка источника loki_data, срок 168h :3100 — только сеть telemetry нет
telemetry_storage (трассы) tempo 3.1.1 нет: цель tempo и проверка источника tempo_data, срок 168h :3200, OTLP :4318 — только сеть telemetry нет
grafana grafana 13.3.1 wget /api/health tmpfs (provisioning из git) 127.0.0.1:${GRAFANA_OUT_PORT:-3000} admin / GRAFANA_ADMIN_PASSWORD из .env (случайный от make env_setup), только у Grafana

Сети: хранилища и Grafana — telemetry, Collector — default и telemetry; из контейнеров API и worker имена prometheus, loki, tempo, grafana не разрешаются (17). Приложение от сервисов телеметрии не зависит: без них стартует и работает (evidence/telemetry/collector-outage.md).

Бюджет

Лимиты телеметрии: Collector 0,5 CPU / 256 МиБ, Prometheus 0,5 / 384, Loki 0,5 / 512, Tempo 0,5 / 640, Grafana 0,5 / 512 — 2,5 CPU / 2304 МиБ. Постоянные лимиты стенда — 11,5 CPU / 7296 МиБ, с одноразовыми — 12,5 CPU / 7680 МиБ при ВМ 12 CPU / 7934 МиБ: лимиты — потолки, а не резерв. Два замера под make test + make load + make student_test с телеметрией и без (evidence/telemetry/budget.md): на 68f1e97 (прежние лимиты) пики memory.peak Tempo 398 и Grafana 294 МиБ — правило «лимит не меньше 1,5 × пика» не выполнялось при 512 и 384, лимиты подняты до 640 и 512, GOMEMLIMIT Tempo прежний (400 МиБ — его пик упирается в него, поэтому лимит — 1,6 × GOMEMLIMIT); на 4178b3d (новые лимиты) — Collector 97, Prometheus 95, Loki 190, Tempo 253, Grafana 248 МиБ, правило выполнено и для наибольших пиков обоих замеров. Реплика API — до 453 МиБ с телеметрией и 482 без неё (лимит 512; пик даёт Argon2id входов make student_test, а не SDK; запас ~6 % — ограничение, лимит реплики не менялся), worker — 502 МиБ из 1024. Грубая цена SDK (один прогон make load): 489 против 568 запросов/с, p95 13,8 против 8,8 мс — исследование трека 1.

Ограничения наблюдаемости

  • Отказ Collector: что не ушло, теряется: очереди SDK ограничены (2048 span и записей), при остановке процесса закрытие ждёт не дольше 1 с (API) и 0,5 с (worker). Cumulative-метрики SDK копит в себе: после возврата Collector счётчики не теряются, теряется разрешение; рестарт Collector сбрасывает ряды экспортёра (rate() это переносит). Записи об отказе отправки — только stdout, не чаще одной в минуту на модуль SDK (evidence/telemetry/collector-outage.md).
  • Ответы балансировщика (502, 503, 504, 408 HAProxy) в метрики API не попадают: их генерирует LB, метрик HAProxy на уровне 3 нет. Нестандартный метод вне списка парсера uvicorn (BREW) отклоняется до приложения 400 текстом — ни span, ни ряда (KNOWN_ISSUES.md).
  • OTLP без аутентификации и TLS — до лабы 7: Collector принимает от любого контейнера сети default; хранилища отделены сетью.
  • Trace-id клиента не продолжается (публичная точка входа); контекст внутри стенда переносит задание (раздел «Сквозная трасса загрузки» ниже).
  • service.version не различает сборки одной версии контракта.
  • Tempo 3.1 в простое пишет level=error «no jobs found» (backend-worker опрашивает scheduler без заданий) — шум журнала, не отказ.

Сквозная трасса загрузки (уровень 4)

Change job-trace-propagation (design — openspec/changes/job-trace-propagation/design.md, номера решений «JTP-n»). Одна загрузка — одна трасса: server span POST /api/v1/chats/{chat_id}/attachments (messenger-api) → на каждую публикацию её задания span PRODUCER publish <очередь> (messenger-relay) → под ним span CONSUMER process <очередь> этой доставки (messenger-worker) с дочерними PostgreSQL, S3 (S3.GetObject staging, S3.PutObject оригинала и трёх вариантов), render attachment variants и COMMIT. Повторная попытка, повторная доставка брокером и replay — новые пары producer / consumer в той же трассе с messenger.job.attempt, messenger.job.retry_reason, messenger.job.replayed, messenger.job.reason, messenger.job.error_code (значения enum, без id и текста ошибок).

Где Значение Кто пишет Кто читает
колонки attachment_jobs.traceparent, tracestate (text NULL, CHECK NOT VALID, ревизия e4b8c2d17f90) контекст W3C server span загрузки (JTP-4) реплика API той же транзакцией, что queued и задание relay при каждой публикации
заголовки сообщения AMQP traceparent, tracestate (carrier, JTP-1) контекст span producer этой публикации relay (JobPublisher._publish_one) worker (JobDelivery.trace_context)
поля traceparent, tracestate тела contracts/jobs.schema.json не заполняются — —

Отображение на схему задания: заголовок traceparent = поле traceparent = значение W3C версии 00 (^00-[0-9a-f]{32}-[0-9a-f]{16}-[0-9a-f]{2}$, тот же шаблон у CHECK колонки и разбора заголовка), tracestate — то же, до 512 символов. Carrier — native headers брокера (contracts/attachment-states.md это допускает): тело проверяет AttachmentJobMessage (extra="forbid", pattern), неверное значение в теле сделало бы сообщение «не по схеме» и задание dropped, а заголовок не по W3C просто игнорируется — новая трасса, исход тот же. Переносится только W3C Trace Context (TraceContextTextMapPropagator), baggage — нет; глобального propagator нет (JTP-5).

Почему consumer span — дочерний и с link (JTP-2). Semantic conventions messaging по умолчанию связывают обработку с созданием сообщения link, но «exclusively for single messages» разрешают сделать контекст создания родителем, и требуют link на него («SHOULD link») и описание выбора («SHOULD document» — этот раздел). Worker обрабатывает сообщения по одному, объемлющего span у задачи доставки нет. Родитель даёт одну трассу на загрузку (цепочка до S3 и БД, включая повтор, находится по одному trace-id) и цельную выборку цепочки при head sampling трека 1: sampler — ParentBased(ALWAYS_ON), флаг выборки загрузки доходит до worker. Цена — длинные трассы: повторы растягивают трассу на минуты, replay — на часы.

Без контекста и смесь версий (JTP-6). Строка без контекста (прежняя реплика во время make rolling_update, реплика с выключенной телеметрией): relay публикует без заголовков и без span producer, consumer span — корень, как на уровне 3. Прежний relay колонок не знает, прежний worker заголовки игнорирует, тело прежнее: ни одна комбинация версий не даёт ошибки, рвутся только цепочки заданий, которых коснулся прежний код. Relay с выключенной телеметрией кладёт сохранённый контекст как есть: цепочка API → worker не рвётся. Span relay — только span producer под сохранённым контекстом: проходы relay и его обращения к PostgreSQL трасс не начинают. Команда replay SDK не запускает: replay виден следующей парой producer / consumer.

Сигналы уровня 4

Логический сигнал контракта Инструмент SDK Prometheus Единица
p50 / p95 / p99 HTTP и обработки histogram прежние histogram_quantile(q, sum by (le) (rate(…_bucket[5m]))) с
время до ready (end-to-end time to ready) histogram messenger.job.time_to_ready, границы 0,25…600 с messenger_job_time_to_ready_seconds_{bucket,sum,count}{job="messenger-worker", messenger_job_type} с
глубина очереди ObservableGauge messenger.queue.depth messenger_queue_depth{job="messenger-relay", messaging_destination_name, messenger_queue_stage} (scheduled, outbox, published, processing) задания
возраст старейшей job ObservableGauge messenger.queue.oldest_age messenger_queue_oldest_age_seconds{job="messenger-relay"} с
пул БД: соединения ObservableUpDownCounter db.client.connection.count db_client_connection_count{db_client_connection_pool_name, db_client_connection_state="used"|"idle"} соединения
пул БД: предел db.client.connection.max db_client_connection_max соединения
пул БД: ожидающие db.client.connection.pending_requests db_client_connection_pending_requests запросы
пул БД: отказы по сроку ObservableCounter db.client.connection.timeouts db_client_connection_timeouts_total отказы
насыщение worker ObservableUpDownCounter messenger.worker.busy, .capacity, .waiting messenger_worker_busy, messenger_worker_capacity, messenger_worker_waiting доставки
CPU контейнера ObservableCounter container.cpu.time container_cpu_time_seconds_total с CPU
память контейнера ObservableUpDownCounter container.memory.usage container_memory_usage_bytes байты
пределы контейнера messenger.container.cpu.limit, messenger.container.memory.limit messenger_container_cpu_limit, messenger_container_memory_limit_bytes ядра, байты
трассы upload → publish → consume span PRODUCER relay, CONSUMER worker Tempo: messaging.*, messenger.job.*; связь parent и link span

Ряды пула, CPU и памяти — у каждого процесса с SDK (job = messenger-api, messenger-worker, messenger-relay, instance = service.instance.id); имя пула — postgres:5432/messenger. Имена проверены на стенде запросами через Grafana (apply, trace-chain).

Запросы панелей уровня 4 (messenger-overview.json, строки «Pipeline» и «Saturation»; единицы панелей — s, percentunit, short):

  • квантили HTTP: histogram_quantile(0.5|0.95|0.99, sum by (le) (rate(http_server_request_duration_seconds_bucket{job="messenger-api"}[5m]))), обработки — то же над messenger_job_duration_seconds_bucket{job="messenger-worker",messenger_job_outcome="ready"} (с); доля 5xx и доля 4xx — панели уровня 3 (percentunit);
  • время до ready: histogram_quantile(q, sum by (le) (rate(messenger_job_time_to_ready_seconds_bucket{job="messenger-worker"}[5m]))) (с);
  • глубина по стадиям: max by (messenger_queue_stage) (messenger_queue_depth{job="messenger-relay"}) (short); возраст: max(messenger_queue_oldest_age_seconds{job="messenger-relay"}) (с) — max, а не сумма: два relay дали бы два ряда одного числа;
  • пул: sum by (job, instance) (db_client_connection_count{db_client_connection_state="used"}) / sum by (job, instance) (db_client_connection_max) (percentunit), ожидающие — sum by (job, instance) (db_client_connection_pending_requests), отказы — sum by (job) (rate(db_client_connection_timeouts_total[5m])) (short);
  • worker: sum(messenger_worker_busy) / sum(messenger_worker_capacity) и среднее за окно sum(rate(messenger_job_duration_seconds_sum{job="messenger-worker"}[5m])) / sum(messenger_worker_capacity) (percentunit; длительность пишется ровно за время на месте — закон Литтла), ожидающие места — sum(messenger_worker_waiting) (short);
  • контейнеры: sum by (job, instance) (rate(container_cpu_time_seconds_total[5m])) / sum by (job, instance) (messenger_container_cpu_limit) и sum by (job, instance) (container_memory_usage_bytes) / sum by (job, instance) (messenger_container_memory_limit_bytes) (percentunit).

Источник очереди (JTP-9) — один процесс, relay: после успешного прохода, не чаще 5 с, снимок по PostgreSQL одним выражением, каждый подзапрос — по условию своего частичного индекса (ix_attachment_jobs_outbox, _published, _lease; состояния константой). Не реплики API (N копий одного числа), не worker (его может быть два, outbox он не видит), не приёмник Collector (пароль PostgreSQL у Collector без секретов и SQL вне кода приложения) и не метрики брокера (только стадия published, без outbox, обработки и возраста). Возраст — от устойчивого приёма (задание вместе с queued, до 202): «время до ready до сих пор» старейшего незавершённого.

CPU и память — cgroup изнутри, без docker.sock (JTP-12). Процессы с SDK читают свою cgroup v2 (cpu.stat, memory.current, cpu.max, memory.max; файлы r--r--r-- от UID 10001). Сокет Docker у Collector (docker_stats) отвергнут: доступ к API Docker — root на ВМ (:ro у сокета API не ограничивает), а Collector принимает OTLP без аутентификации из сети приложения; cAdvisor требует привилегированных монтирований /, /sys, /var/lib/docker; hostmetrics видит ВМ целиком, а не контейнеры. В docker compose config монтирования сокета Docker нет ни у одного сервиса (trace-chain).

Ресурс relay: service.name = messenger-relay (константа TELEMETRY_SERVICE_RELAY, в таблице OTEL_SERVICE_NAME — третья точка входа), service.instance.id = instance_id журнала relay (короткий id контейнера), остальное — как у API и worker; TELEMETRY__ENABLED и TELEMETRY__OTLP_ENDPOINT — якорем x-telemetry-env и у relay. Модули SDK, экспортёра, protobuf и requests загружаются только при включённой телеметрии (JTP-7): уборщик, команда replay, консоль, make test_isolated, стенд отказов и bench/ их не держат; исключение — модули метрик SDK, которые сам загружает redis-py 8.1 при импорте.

Бюджет (JTP-15). Новых сервисов и портов нет, лимиты прежние, соединений PostgreSQL не прибавляется; пики relay с SDK и уборщика после ленивого импорта — раздел change в evidence/telemetry/budget.md (снимается после коммита кода).

Ограничения уровня 4:

  • пул и насыщение worker — мгновенные значения раз в интервал отправки (15 с): короткие всплески пропускаются; отказы пула — счётчик, насыщение — ещё и среднее по сумме длительностей;
  • снимок очереди, который relay не обновил дольше 30 с, не отдаётся, но экспортёр Collector держит последнюю точку до metric_expiration (5 мин) — панель может показать прежнее значение до 5 мин; у остановленного relay очереди на панели нет;
  • PostgreSQL, S3, брокер, LB и уборщик в метриках CPU и памяти не представлены (нет SDK, сокета Docker нет); у worker в его cgroup — и процессы обработки;
  • время до ready не учитывает задания после replay (их приём — действие оператора) и повторную доставку готового;
  • трасса без корня, если Collector был недоступен при загрузке («root span not yet received»); длинные трассы повторов и replay искажают длительность трассы в поиске Tempo — искать по атрибутам span (messenger.job.outcome);
  • при перезапуске процесса counter начинается с нуля под тем же instance: если новый процесс насчитал больше прежнего, Prometheus сброса не видит (increase() занижает) — проверка trace-chain складывает счётчики процессов;
  • без messaging.message.id (решение 12 change otel-telemetry: id задания не в span) и без span Create и Settle: подтверждение — внутри consumer span.

Доказательства критериев

Критерий README Команда/сценарий Наблюдаемый результат Файл доказательства
Публичный smoke make test TODO TODO
Остальные пункты уровня 3 TODO TODO TODO
Уровень 3: Collector, хранилища, provisioning, свой запрос и задание найдены, приватность driver.py --port 8080 telemetry-check код 0: Loki → Tempo по X-Request-Id, трасса worker, рост счётчиков, история после рестарта хранилищ evidence/telemetry/check.md
Телеметрия не меняет ответы и остановку driver.py --port 8080 telemetry-outage код 0: make test PASS и остановка < 10 с при остановленном и замороженном Collector evidence/telemetry/collector-outage.md
Стенд с нуля одной командой driver.py stand-from-scratch --runs 2 код 0 оба раза, RestartCount брокера и телеметрии 0 evidence/stand/from-scratch.md
Лимиты и бюджет телеметрии замер docker stats и memory.peak лимит ≥ 1,5 × пика у всех сервисов телеметрии evidence/telemetry/budget.md
Уровень 4: контекст W3C API → relay → worker, producer и consumer span (parent и link), цепочка одной загрузки до S3 и БД с повтором и replay driver.py --port 8080 trace-chain код 0: одна трасса, две пары producer / consumer, span S3 с ошибкой и запись оригинала и вариантов, replay в той же трассе, задание без контекста — корень worker evidence/telemetry/trace-chain.md (после коммита кода)
Уровень 4: dashboard — p50 / p95 / p99, доля ошибок, глубина и возраст очереди, пул БД, насыщение worker, контейнеры driver.py --port 8080 trace-chain, telemetry-check запросы панелей уровня 4 без ошибок и с данными; ряды очереди только у relay; пределы = docker inspect; нет сокета Docker evidence/telemetry/trace-chain.md, evidence/telemetry/check.md
Уровень 4: relay с SDK не меняет остановку driver.py --port 8080 telemetry-outage docker stop relay < 10 с, код 0, «Stopped relay» при остановленном и замороженном Collector evidence/telemetry/collector-outage.md
Уровень 4: схема контекста задания миграция с нуля, повтор, откат, --sql, make rolling_update; план снимка очереди lock_timeout, NOT VALID; без Seq Scan evidence/migrations/job-trace-context.md, evidence/telemetry/queue-snapshot.md
Остальные пункты уровня 4 (SLO, alerts, runbooks, инциденты) change slo-alerts TODO TODO
Выбранный трек 5, если заявлен TODO TODO TODO

TODO: добавить отдельную строку для каждого заявленного критерия. PASS без команды и наблюдения не является доказательством. Проверка инфраструктурного hook требует подтверждения, какие реальные процессы/хранилища перезапущены.

Эксперименты и отказы

TODO: гипотеза, hardware/лимиты, версии, объём данных, профиль нагрузки, concurrency/arrival rate, длительность/прогрев, повторы, успешные RPS, ошибки, p50/p95/p99, CPU/RAM. Сохранить raw summary без tokens и объяснить ограничения измерения.

Воздействие Что ожидаем Что наблюдали Время восстановления / потеря данных
TODO TODO TODO TODO

Ограничения и следующие шаги

TODO: какие отказы выдерживаются и какие нет; что не реализовано; где учебное упрощение; какое улучшение подтверждено, а какое пока гипотеза.