k6 --console-output appends, so a run killed before cleanup left <run>.warm.k6 in .work and the resumed warmup counted 24 of 12. Remove the console file before each k6 run and a stale .work at start; ignore evidence/**/.work/. A telemetry storage that exits during the lookup (Tempo in metrics-r3: name no longer resolvable) now fails the run with the container state, OOMKilled flag and its log tail saved to raw/; Tempo requests of the lookup are limited to 3 at a time and memory peaks after the lookup are recorded. Raise the light classes of the telemetry cost load by 15 % (read 126.5, write 23, me 34.5, card 34.5 per second): on a quiet host `full` kept the replicas at 28-29.5 % CPU, below the 30 % calibration bound. Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
59 KiB
Вопросы и решения лабы 6
Решения, принятые без пользователя, и вопросы, которые не блокируют работу.
Раздел на каждый change: ## <change>, внутри «Решения» и «Вопросы».
Вопросы преподавателю дублируются в REPORT.md. План изменений лабы —
PLAN.md.
Ответы пользователя перед прогоном (2026-11-11)
- Оценка — 5, трек 1 «Цена наблюдаемости».
- Хранилища — Prometheus (метрики), Loki (логи), Tempo (трассы), отдельными сервисами; интерфейс — Grafana.
- Уровень 4 — два change:
job-trace-propagation, затемslo-alerts. - Без пользователя можно (как в лабе 5): коммиты на ветках
feat/<change>, ff-merge вsolution/bvt2301-safronov, архивация, установка зависимостей и образов, запуск стенда и замеров, в концеgit pushветки решения в свой fork. PR не открывать. Разрешения —.claude/settings.local.json. - Длинные замеры исключений (
make bench_uploads,make bench_queue) — в последнем шаге, на коде лабы 6 с телеметрией. - Ответ на вопрос 5
## otel-telemetry(2026-11-11): эти замеры — с включённой телеметрией (SDK в реплике, worker и relay, Collector и хранилища на стендеmtusi-bench), как на рабочем стенде. Мерит по-прежнему внешний прибор (k6, сэмплер cgroup), телеметрия — часть измеряемой системы. Выключатель вbench/делаетtrack1-telemetry-cost: он годится и для профилейuploadsиqueue. Вариант «до»bench_uploads(образ9cc6c0cбез SDK) — смешанное сравнение, назвать в сводке; сумму лимитовbench_queueс телеметрией проверить до прогона.
Перенос из лабы 5
Источник: mtusi2026lab5-safronov, ветка solution/bvt2301-safronov,
commit 046ec9e. Перенос — 2026-11-11.
Решения
- Перенесены отслеживаемые файлы по AGENTS.md, «Переход в следующую лабу»,
git archive 046ec9e:src/,student-tests/,service-tests/,migrations/,alembic.ini,Dockerfile,docker-compose.yml,infra/valkey/,infra/haproxy/,infra/s3/,infra/rabbitmq/,infra/rollback/(на него ссылаютсяbalancer.mdи откат реплик; в списке переноса его не было — список дополнен), своиscripts/restart.sh,scripts/stop-one.sh,scripts/rolling-update.sh,pyproject.toml,uv.lock,.python-version,config_example.toml,AGENTS.md,CLAUDE.md,.claude/,openspec/,.graphifyignore,bench/,KNOWN_ISSUES.md,.github/workflows/application.yml,.github/ci/. - Не перенесены:
README.md,COURSE.md,tests/,contracts/,lab.json,REPORT.md,evidence/,graphify-out/,QUESTIONS.md(этот файл — новый),.env,config.toml,.venv. Makefile,.gitignore,.dockerignoreskeleton лаб 5 и 6 совпадают побайтно, поэтому взяты целиком из лабы 5 (skeleton + свои секции)..env.example— свой файл лабы 5 без правок. Новые имена skeleton (OTEL_SERVICE_NAME,OTEL_EXPORTER_OTLP_ENDPOINT,OTEL_EXPORTER_OTLP_PROTOCOL,OTEL_RESOURCE_ATTRIBUTES) сопоставляет первый change лабы (PLAN.md), какBROKER_URL_FILEи др. в лабе 5.- Контракт API лабы 6 не изменился:
contracts/openapi.jsonотличается толькоinfo(заголовок, версия 1.6.0),contracts/README.mdиtests/совпадают с лабой 5. Новое —contracts/observability.md, три роли вcontracts/infrastructure.json(otel_collector,telemetry_storageс persistent volume,grafanaс provisioning в git),infra/otel/README.md.tests/client.pyдля лабы 6 ведёт себя как для лабы 5 (загрузка — 202). - Имя проекта compose и образ —
mtusi-lab6,mtusi-messenger:lab6(docker-compose.yml, спекиcontainer-runиcontainer-image, правилаdocker.mdиbalancer.md, драйвер иSKILL.md, комментарии override CI и стенда отказов), префикс проектов CI —mtusi-lab6-safronov-ci-. Иначе стенд лабы 6 подключился бы к volumes лабы 5. .claude/settings.local.json(не в git) — только запреты: удаление volumes лаб 5 и 6,make wipe_data,down -v, force push. Разрешения прогона лабы 5 (commit, merge, push) не перенесены: для лабы 6 их даёт пользователь перед прогоном (PLAN.md, «Что решает пользователь»).- Commit «до» профилей
rollout,uploads,reconcileстендаbench/(Profile.rollout_from,uploads_before,reconcile_before) указывали на commit лабы 5 (7f38948,04f8592), которых в истории лабы 6 нет: профили отказали бы с кодом 2 до стенда. Они переведены на commit переноса9cc6c0cотдельным коммитом, какcc33a03в лабе 5. Там же код успеха варианта «до» профиляuploads— 202 вместо 201 (uploads_success_codes): «до» теперь код лабы 5, его загрузка отвечает 202; с 201 вариант насчитал бы ноль успешных. - Проверено на рабочем дереве после переноса:
make check— PASS;ruff checkиruff format --check— чисто (545 файлов);make service_test— 215 passed;make run_dockerна новом проектеmtusi-lab6— см. дефект ниже, после повторногоdocker compose up -d --waitвсе сервисыhealthy/running;make test— PASS («lab6 public API scenario»);make student_test— 223 passed, 1 failed:test_exclusion_evidence_exists(ожидаемо, evidence не переносится). Нет 10 файлов:evidence/attachments/failover.md,evidence/attachments/storage.md,evidence/auth/passwords-and-tokens.md,evidence/broker/isolated.md,evidence/broker/stand.md,evidence/cache/hits.md,evidence/idempotency/replay-after-restart.md,evidence/queue/baseline4/summary.md,evidence/replicas/test-persistence.md,evidence/uploads/baseline/summary.md. Сверка становится зелёной, когда они сняты заново на стенде лабы 6 (PLAN.md, шаг 0 и последний шаг). - Найден дефект первого старта RabbitMQ на пустом volume (
eaccesна.erlang.cookieиз-за healthcheck от root):make run_dockerиз чистого clone падает на «dependency failed to start». Записан вKNOWN_ISSUES.mdс предложением правки, не исправлен: правка входит в первый change (PLAN.md).
Вопросы
Пока нет: решения пользователя — раздел «Ответы пользователя перед прогоном».
otel-telemetry
Change openspec/changes/archive/2026-11-11-otel-telemetry/ (propose и архив 2026-11-11). Номера —
решения design.
Решения
- Развилки
PLAN.md(раздел «1.otel-telemetry»): Collector — contrib 0.164.0, радиtail_samplingтрека 1 (1); логи — из SDK, процессором structlog в обеих цепочках, а неfilelogпо журналам Docker (2); метрики —prometheusexporter Collector и scrape Prometheus, а не OTLP-приёмник Prometheus и не remote write (3); инструментирование — вручную в единственных точках вызова, библиотек автоинструментирования нет:instrumentation-sqlalchemy0.66b2 требуетsqlalchemy<2.1, а в lock 2.1.1 (4); relay и уборщик — без SDK до change 2 (5);scripts/restart.shсервисы телеметрии не трогает, история проверяетсяtelemetry-check(6); начальные лимиты телеметрии — 2,5 CPU и 2048 МиБ, итог — по замеру (7). - Версии — последние патчи линий, вышедшие хотя бы за две недели до прогона: Prometheus v3.15.1, Loki 3.7.9, Tempo 3.1.1; Grafana 13.3.1 — патч всех линий от 10.11 (1).
- Настройки — секция
[telemetry], по умолчанию выключено; стенд включает её окружениемapiиworker. Имена skeletonOTEL_*не настройки: SDK собирается из явных значений, переменныеOTEL_*удаляются из окружения процесса сwarning(8). service.version— версия контракта1.6.0(заодноFastAPI(version=…)вместо устаревшего 1.5.0), а не commit сборки (9).- API не продолжает входящий
traceparentклиента: публичная точка входа (10). - Класс статуса HTTP — первая цифра
http.response.status_codeв запросах; отдельной метки нет (10). - Исход доставки worker (
ready,failed,retry,skipped,requeued,dropped,error) возвращает сервис, метрику и span пишет точка входа; меняется тип результатаhandleи быстрые тесты сервиса (11). - Текст исключений в span не пишется — только класс ошибки; traceback — в журнале (10, 12).
- Закрытие SDK — со своим сроком в отдельном потоке: пробы — до 6 с на
shutdown()при замороженном Collector (13). - Grafana — без состояния (tmpfs), без загрузки плагинов, лишние встроенные источники выключены (проба: 368 → 251 МиБ) (16).
- Хранилища и Grafana — в отдельной сети
telemetry, наружу — только Grafana на127.0.0.1(17). - Collector, Loki и Tempo без healthcheck Docker: в образах нет оболочки и HTTP-клиента; живость —
upв Prometheus (18). - Брокер: healthcheck от пользователя брокера (
gosu rabbitmq) — закрывает дефект первого старта (19). - Консоль,
make test_isolated, стенд отказов иbench/— без телеметрии (20). - Проверка «стенд с нуля» — команда драйвера со своим проектом compose, которая сама удаляет свои volumes:
make wipe_dataиdown -vагенту запрещены (21). - Apply (2026-11-11), подробности — design, «Уточнения apply»:
BREWне доходит до приложения (парсер uvicorn, 400 текстом):_OTHERпроверен наPROPFIND, дефект — вKNOWN_ISSUES.md(п. 2);- атрибуты сверх решения 12:
storedуSETValkey,messenger.s3.result,error.type= код у 5xx без исключения, атрибуты процесса обработки (п. 3); - закрытие SDK — по потоку на провайдер (п. 4); подтверждение доставки — внутри места конкуренции (п. 5);
- Grafana: выключены 15 встроенных источников, кроме prometheus, loki, tempo; сверх решения — получение ключей плагинов, внешние снимки, ссылки обратной связи, gravatar (п. 6);
level=errorLoki «empty ring» на старте и Tempo «no jobs found» в простое — шум, не отказ (п. 7);stand-from-scratchостанавливает рабочий стенд на время проверки (make stop/docker compose start) (п. 10);- лимиты решения 7 подтверждены замером, не менялись (п. 11).
- Правки по verify (2026-11-11, design, «Уточнения apply», п. 13–18):
- дренаж API 9 с с включённой телеметрией — ошибка настроек с именем
app.graceful_shutdown_seconds(8 + 1 с SDK ≤ 9 с), без телеметрии 9 с допустимы; у worker закрытие SDK — внутри прежнего окна 0,5 с (п. 13); - экспортёры OTLP — своя
requests.Sessionсtrust_env=False: прокси окружения не действуют (п. 14); - сценарий «Необычный метод и неизвестный путь» — на
PROPFINDиGET,BREW— ограничение (п. 15); telemetry-check: ссылки лог ↔ трасса источников Grafana, нет рядов health,service.instance.idworker (п. 16);stand-from-scratch --project— толькоmtusi-lab6-scratch[-…], иначе код 2 до docker (п. 17).
- дренаж API 9 с с включённой телеметрией — ошибка настроек с именем
Вопросы
Не блокируют работу; ответ меняет только указанное место.
- Преподавателю: класс статуса HTTP («method, route template, status class») — допустимо ли выводить его из кода статуса в
запросах (
http_response_status_code=~"5..") без отдельной метки? Иначе — атрибутhttp.response.status_classв middleware и в запросах dashboard. - Преподавателю: restart hook перезапускает API и хранилища бизнес-данных, но не хранилища телеметрии; сохранность истории
телеметрии показана отдельно (
evidence/telemetry/check.md). Достаточно ли так? Иначе — строка вscripts/restart.sh. - Преподавателю:
service.version— версия контракта, а не ревизия сборки. Иначе — аргумент сборки и четыре пути сборки (design, решение 9). - Преподавателю: ответы, которые генерирует HAProxy (502, 503, 504), в метрики API не попадают, метрик HAProxy на уровне 3
нет. Для SLO уровня 4 это решает change
slo-alerts. Решается в changeslo-alerts(design, решение 2): метрики HAProxy через Collector, SLI доступности — по ответам LB клиентам; вопрос преподавателю о такой трактовке —## slo-alerts, вопрос 2. - Отвечено 2026-11-11: с включённой телеметрией («Ответы пользователя перед прогоном»). Пользователю: метки последнего шага (
make bench_uploads,make bench_queue) по методикеbench/снимаются с выключенным SDK: «код лабы 6 с телеметрией» — код есть, телеметрия выключена. Если нужны метки с включённой телеметрией — это профиль трека 1 (changetrack1-telemetry-cost) и другая методика. - Преподавателю (apply): сценарий
observability«Необычный метод и неизвестный путь» назван методомBREW, а его uvicorn отклоняет до приложения (400 не в формате контракта,KNOWN_ISSUES.md). Достаточно ли_OTHERна методе, который доходит до приложения (PROPFIND)? Иначе —http="h11"у uvicorn или правило HAProxy (отдельный change). - Пользователю (apply): перед замерами для отчёта переснять
telemetry-check,telemetry-outage,stand-from-scratchи бюджет на закоммиченном коде — evidence сняты на незакоммиченном дереве поверх9b35c25. Сделано частично:telemetry-checkиtelemetry-outageпересняты на68f1e97; замер бюджета на нём поднял лимиты Tempo и Grafana (design, «Уточнения apply», п. 19);budget.mdпереснят на4178b3d.stand-from-scratchне переснят: запуск команды агентом 2026-11-11 отклонил классификатор режима auto (вопрос 8),evidence/stand/ from-scratch.md— прежний, с рабочего дерева поверх9b35c25. Нужен запуск пользователем (make stop,python3 .claude/skills/run-mtusi-messenger/driver.py stand-from-scratch --runs 2,docker compose start) или разрешение. - Пользователю (verify W4):
driver.py stand-from-scratchсам удаляет volumes своего проекта (docker compose -p mtusi-lab6-scratch… down -vв начале, после каждого прогона и при Ctrl+C), а deny-правила.claude/settings.local.jsonзапрещают агентуdown -v. Подтвердите, что так можно для одноразового проектаmtusi-lab6-scratch*(как уmake failure_checksсо своим<рабочий>-failures). Имя проекта команда теперь принимает только по шаблону^mtusi-lab6-scratch(-[a-z0-9]+)?$, иначе код 2 до вызовов docker. Настройки разрешений не менялись. Иначе — убирать проект scratch руками пользователя, а команда только печатает команду уборки.
Предложения на потом
Найдено verify, решено не исправлять в этом change.
- S2: evidence для сценария «Restart hook не трогает телеметрию» — по коду выполняется (
scripts/restart.shсервисы телеметрии не называет), но вывода нет. Предложение: вtelemetry-checkили отдельной пробе —StartedAtсервисов телеметрии до и послеmake test-persistence ACTION_SCRIPT=scripts/restart.sh(задача 11.5 его уже сверяет на глаз). - S4: relay и уборщик SDK не запускают, но загружают его модули через
SqlAlchemyUnitOfWork(src/infra/db/uow.py→src/infra/telemetry): 139 модулей, RSS уборщика ~100 МиБ при ~90 МиБ вdocker.md. Предложение для change 2: ленивый импорт SDK вsrc/infra/telemetry(доstart) или замерmemory.peakrelay и уборщика и правкаdocker.md. Решено в changejob-trace-propagation(design, решение 7): ленивый импорт.
job-trace-propagation
Change openspec/changes/archive/2026-11-11-job-trace-propagation/ (propose и архив 2026-11-11). Номера — решения design.
Решения
- Развилки
PLAN.md(раздел «2.job-trace-propagation»):- parent или link — consumer span дочерний к контексту сообщения и с link на него (2): обработка по одному сообщению без объемлющего span, semantic conventions messaging это допускают и требуют link; одна трасса на загрузку и цельная выборка цепочки при head sampling трека 1. Span producer — на каждую публикацию, в клиенте брокера, дочерний к контексту загрузки, сохранённому в задании (3, 4);
- источник очереди — relay: снимок по PostgreSQL раз в 5 с одним запросом по частичным индексам (проба — 0,31 мс), стадии
scheduled,outbox,published,processing, возраст старейшего незавершённого от устойчивого приёма (9); не приёмник Collector (пароль PostgreSQL у Collector) и не метрики брокера (нет outbox и возраста); - смесь версий при
make rolling_update— строки и сообщения без контекста: span producer нет, consumer span — корень, как на уровне 3; ни одна комбинация версий не даёт ошибки (6); docker.sockу Collector отвергнут (доступ к API Docker — root на ВМ): CPU и память — из cgroup v2 изнутри контейнеров API, worker и relay (12).
- Carrier — заголовки AMQP
traceparentиtracestate, тело сообщения поcontracts/jobs.schema.jsonне меняется (1): неверное значение в теле сделало бы сообщение «не по схеме» (dropped), а заголовок просто игнорируется;contracts/attachment-states.mdnative headers допускает, отображение полей — вREPORT.md. - Контекст в задании — колонки
attachment_jobs.traceparent,tracestate(text NULL, CHECKNOT VALID), пишет загрузка через зависимость API; сервис телеметрию не импортирует (4). - Sampler —
ParentBased(ALWAYS_ON): при 100 % то же, флаг выборки контекста задания соблюдается; baggage не переносится (5). - SDK в relay (
messenger-relay); у уборщика и команды replay SDK нет; модули SDK грузятся только при запуске телеметрии — закрывает S4 changeotel-telemetry(проба: −322 модуля и −10 МиБ RSS) (7). handle()worker возвращает DTO итога доставки (исход, попытка, причина, код ошибки, время до готовности); время до готовности — от записи задания до фиксацииready, задания после replay не учитываются (8).- Пул —
db.client.connection.*semantic conventions; ожидающие и отказы по сроку считает пулCountingQueuePool(публичныйPool.connect()), фабрика engine о телеметрии не знает (10). - Насыщение worker — занятые места, ёмкость, ожидающие места доставки и среднее за окно по сумме длительностей (11).
- Без
messaging.message.idи без span Create и Settle:idзадания в span — против решения 12 changeotel-telemetry, подтверждение — внутри consumer span (13, Non-Goals). - Новых параметров
[telemetry]нет: интервал и срок свежести снимка очереди, границы времени до готовности — константы. - Dashboard уровня 4 — тот же
messenger-overview.json(без нового bind mount иconfigsCI) (14); проверка — одна команда драйвераtrace-chain(16). - Apply (design, «Уточнения apply»): redis-py 8.1 сам грузит модули метрик SDK — тест ленивого импорта сравнивает с
import redis.asyncio(п. 1); запись о недоступных метриках контейнера — только stdout (п. 3); раскладка модулей пакета (п. 4); поля итога уskippedиrequeued(п. 5); снимок после полного пакета (п. 6); Tempo собирает трассу повтора и replay — решение 2 прежнее (п. 7);trace-chainскладывает счётчики двух процессов worker и запускает ихdocker start(п. 8); relay вtelemetry-outage(п. 9); память уборщика (п. 10); логгер пула на WARNING (п. 11); бюджет relay без изменения лимита (п. 12); evidence раздела 12 на72cfa9a: «ревизия до и после» через откат реплик наff0073eиdowngrade -1(п. 13), Grafana сверх правила 1,5 × пика (п. 14, вопрос 6), предусловиеtrace-chainна нетихом стенде (п. 15), возврат сигналов relay послеdocker startвtelemetry-outage(п. 16).
Вопросы
Не блокируют работу; ответ меняет только указанное место.
- Преподавателю: «End-to-end time to ready — от durable acceptance до публикации ready» измеряется от записи задания (та же
транзакция, что
queued, до ответа 202) до фиксацииready, а задания после replay не учитываются: их приём — действие оператора. Достаточно ли так? Иначе — время replay из аудитаattachment_job_replays(worker, решение 8). - Преподавателю: «process/container CPU/RAM» — только у процессов с SDK (реплики API, worker вместе с процессами обработки,
relay), из их cgroup; PostgreSQL, S3, брокер, LB и уборщик не представлены, потому что сокет Docker у Collector — root на
ВМ. Достаточно ли? Иначе —
docker_statsили cAdvisor с названной ценой (решение 12). - Преподавателю: «Queue depth» — логическая очередь заданий по стадиям из PostgreSQL (outbox, отложенные повторы, в брокере,
в обработке), а не счётчик очереди RabbitMQ: очередь брокера — стадия
published. Достаточно ли? Иначе — плагинrabbitmq_prometheusи доступ к брокеру из сети телеметрии (решение 9). - Пользователю (apply): сценарий
observability«Модули SDK без телеметрии не загружаются» буквально не выполним, пока установлен SDK: redis-py 8.1 при импорте сам грузитopentelemetry.sdk.metrics(35 модулей). Экспортёра, провайдеров трасс и логов, protobuf иrequestsнет; экономия ленивого импорта — ~6,5 МиБ и ~200 модулей. Принять как есть (тест сравнивает сimport redis.asyncio) или уточнить сценарий в archive («кроме модулей, которые загружают сторонние библиотеки»)? Ответ меняет только формулировку сценария и докстринг теста (design, «Уточнения apply», п. 1). Закрыт на verify (W1): сценарий и требование переформулированы по фактической проверке — нет провайдеров и модулей SDK трасс и журнала, экспортёра, protobuf иrequests, модулей SDK метрик не больше, чем уimport redis.asyncio(design, «Уточнения apply», п. 17); тест прежний. - Пользователю (apply):
memory.peakуборщика на рабочем стенде — 176 МиБ при лимите 256 (плановая сверка при старте); правило «лимит ≥ 1,5 × пика» для него не выполнено (264). Поднять лимит до 288 МиБ (сумма стенда +32 МиБ, до ВМ остаётся 222 МиБ) или оставить: пик — сверка, а не этот change? Ответ — правкаdocker-compose.yml,docker.mdиREPORT.md(design, «Уточнения apply», п. 10). Замер задачи 12.4 на72cfa9a(свежая cgroup, плановая сверка при старте, затемmake test+make load+make student_test+trace-chain) — пик 107,7 МиБ, правило выполнено (162 ≤ 256): 176 МиБ был у прежнего контейнера, пик зависит от прохода сверки (evidence/telemetry/budget.md, раздел change). - Пользователю (apply, задача 12.4):
memory.peakGrafana — 343,2 МиБ при лимите 512 (1,5 × пик = 515 > 512), в замерахotel-telemetry— 248–294. Пик набран сразу после рестарта Grafana вtelemetry-outageи включает файловый кэш (anon188,file95 МиБ;docker stats— до 261). По правилуtelemetry.md(memory.peak) лимит не выполнен на 3 МиБ; лимит Grafana — не предмет change, код и compose не менялись. Поднять до 576 МиБ (сумма стенда +64 МиБ, до ВМ остаётся 190 МиБ), мерить без кэша (anon+kernel) или оставить? Ответ — правкаdocker-compose.yml,docker.md,REPORT.mdиbudget.md(решает verify). Закрыт на verify (W5): мерить без кэша —memory.peakвключает файловый кэш, который ядро освобождает до OOM; неосвобождаемая частьanon+kernel+shmem≈ 197 МиБ, 1,5 × ≈ 296 ≤ 512, лимит не меняется. Правило «что считать пиком» —telemetry.mdиdocker.md, выводbudget.mdиREPORT.mdисправлены (design, «Уточнения apply», п. 21).
Решения apply по verify
- W2–W4, S2–S4 исправлены (design, «Уточнения apply», п. 18–20, 22–24;
tasks.md, раздел 13). Без пользователя решено:telemetry-outageпроверяет возврат сигналов в первом окне каждого вида и останавливает процессы во втором окне того же вида (команда ~3,5 мин); непредвиденная ошибка снимка очереди relay повторяется не чаще интервала снимка (5 с), а не на каждом проходе; панель пула — две оси с разными единицами, а не две панели (раскладка строки «Saturation» прежняя);trace-chainна нетихом стенде — код 2, как «нет стенда».
Предложения на потом
- S1 (verify, для change
slo-alerts):increase()недосчитывает после рестарта worker — новый процесс начинает counter с нуля под тем жеinstance, и если он насчитал больше прежнего, Prometheus сброса не видит (trace-chainскладывает «тихие» значения двух процессов, «Уточнения apply», п. 8). Для правил SLO и alert это занижение ошибок и готовых заданий. Варианты: created timestamps Prometheus 3 (created-timestamp-zero-ingestion: Collector-экспортёр должен отдавать_created, проверить) или окна правил длиннее типичного времени жизни процесса с оговоркой в runbook; либоservice.instance.idс суффиксом запуска процесса (меняет число рядов — цена в кардинальности). Решается в changeslo-alerts(design, решение 6): экспортёр Collector отдаёт время начала ряда только в protobuf — scrapePrometheusProtoиcreated-timestamp-zero-ingestion, срок рядов экспортёра 1 мин; быстрый перезапуск того же процесса (быстрее ~75 с) остаётся ограничением.
slo-alerts
Change openspec/changes/archive/2026-11-14-slo-alerts/ (propose 2026-11-11, заархивирован 2026-11-14). Номера — решения
design.
Решения
- Пользователь (2026-11-11, на propose, через основную сессию): бюджет ВМ — не ограничение при выборе; новые сервисы
(Alertmanager и любые другие) брать, если они дают пользу, и не отвергать вариант из-за суммы лимитов. Сумма лимитов
по-прежнему считается и записывается (
docker.md,REPORT.md), даже если она больше ВМ. - Пользователь (2026-11-11): ресурсы ВМ Docker Desktop можно увеличить; если сумма лимитов стенда превышает ВМ (12 CPU / 7934 МиБ) или запаса не хватает, решение не урезается, а отчёт называет отдельной строкой, сколько CPU и памяти нужно ВМ и почему (вопрос 1).
- Развилки
PLAN.md(раздел «3.slo-alerts»):- правила Prometheus (файл в git,
promtool test rules), а не правила Grafana (3); - Alertmanager не ставится — по функции, а не по бюджету: доставки нет, состояние и история firing / resolved — в
Prometheus (
ALERTS) и Grafana, подавление зависимых оповещений нужно в одном месте и выражено в условии (3).
- правила Prometheus (файл в git,
- SLI доступности — на публичном frontend LB, вместе с ответами самого LB (502, 503, 504); источник — встроенный экспортёр
HAProxy, его забирает Collector (приёмник
prometheus), сеть хранилищ прежняя (2). Закрывает вопрос 4## otel-telemetry. - SLO: доступность 99,5 %, задержка «лёгких» ручек не дольше 0,25 с — 99 %, время до
readyне дольше 30 с — 99 %; окно — скользящие 7 суток (срок хранения Prometheus); правила записи — приращения событий за 5 мин (1). - Оповещения — семь, пороговые, окна 2 мин,
forот 30 с до 2 мин; runbook — файлinfra/otel/runbooks/<имя>.md,runbook_url— путь в репозитории (4, 5). - S1
## job-trace-propagation: время начала рядов экспортёра Collector по protobuf иcreated-timestamp-zero-ingestionPrometheus, срок рядов экспортёра 1 мин (6); проба —resets1 иincrease25,5 при 25 настоящих против 0 и 15,6. - Collector: очереди экспорта Loki 16 МиБ и Tempo 8 МиБ по байтам, два отправителя, повторы до 30 с, без блокировки приёма (7).
- SDK: очереди и сроки прежние; внутренние метрики SDK (
otel.sdk.*) включает код на время конструирования, а не поле[telemetry]и не внешняяOTEL_*(8). - Учёт потерь — сумма счётчиков по процессу, а не
increase(): первая потеря нового ряда учитывается (9). - Без histogram длительности запросов PostgreSQL: для инцидента 2 хватает span БД, пула и CPU реплик (Non-Goals, как JTP-10).
- Проверки —
make alerts_test(и в CI), команды драйвераalerts-checkиbackend-outage; медленная БД — блокировка таблицы сообщений в отдельной сессии PostgreSQL, а не лимит CPU контейнера (11). - Пользователь (2026-11-11, во время apply): ВМ Docker Desktop перезапущена с памятью 12 ГБ —
docker info: 12 CPU, MemTotal 11 902 МиБ. Это ответ на вопрос 1: строки бюджета вdocker.mdиREPORT.md— по новой ВМ.
Решения apply
Без пользователя; подробности и отклонения — design, «Уточнения apply».
-
Тест внутренних метрик экспортёра OTLP — через
Exporters(spans=None, logs=None)и подставнуюrequests.Session.send;otlp_exporters()разделён на три функции (п. 1). -
Глобальные протоколы scrape — список Prometheus 3.15.1 по умолчанию, снятый с
/api/v1/status/config(п. 4). -
Нагрузка драйвера — 6 потоков записи и 1 чтения: иначе блокировка таблицы сообщений не даёт 10 % медленных «лёгких» запросов (п. 7).
-
telemetry-checkпроверяет ещё метрики LB (сценарии «Метрики балансировщика без доступа к сети хранилищ» иload-balancing«Метрики балансировщика»), а обход панелей всех команд подменяет$__rangeна1h(пп. 5, 6). -
Span PostgreSQL с ошибкой при остановленной БД — наблюдение, не проверка: отказ на выдаче соединения span запроса не создаёт (п. 9).
-
Сверка SLI за час «по исходным счётчикам» — сумма
increase(…[5m])исходных селекторов в тех же окнах, что у правил;increaseза час одним окном — наблюдение: непересекающиеся окна теряют приращение на границах, а при остановленном Prometheus окна нет (п. 12). Пауза блокировки 0,2 с вместо 0,5, нагрузка — чтение раз в 1 с, 3 потока входа, 20 хороших загрузок перед шагами (п. 7, 12). -
«Ожидающих соединения пула нет» проверяется как «пул не занят целиком и отказов по сроку нет»: счёт
pendingвключает проверку при выдаче и открытие соединения (п. 14).Вопрос verify: устраивает ли такая трактовка двух сценариев спека («SLO считается» — те же окна; «Медленный handler» — место в пуле, а не мгновенный
pending)? Иначе — правка спека или новый счётчик «ждут места» отдельно от открытия. Ответ verify (2026-11-14): трактовка устраивает, новых счётчиков не нужно — исправлен текст двух сценариев дельтыobservabilityпод проверку; у доступности и задержкиalerts-checkсверяет ещё и сincreaseодним окном часа (design, «Уточнения apply», п. 18). -
Evidence раздела 11 — на commit
15ea156без правок кода;rules-test.mdот 2026-11-11 оставлен (повторный прогон — тот же вывод); пик Collector в долгом отказе хранилища — поdocker statsи метрикам Collector, а не поmemory.peak: шаг отказа Collector в той же команде начинает новую cgroup (design, «Уточнения apply», п. 16).
Решения apply по verify
Без пользователя (verify 2026-11-14, tasks, раздел 12); подробности — design, «Уточнения apply», пп. 17–22.
- Ноль ряда потерь процесса SDK — по ряду ёмкости очереди span (
… or sum by (job, instance) (otel_sdk_processor_span_queue_capacity) * 0), как предложил verify; у Collector отдельной части не нужно: его рядыotelcol_receiver_refused_*есть с нуля со старта (п. 17). - Описание с текущим значением там, где
$valueпустое по смыслу (absent(),up == 0), — возраст последнего снимка очереди и число недоступных целей шаблономquery(п. 21). - Проверка «Без потерь» в
telemetry-checkждёт тихого стенда до 330 с (окноrate()панели 5 мин), а не падает сразу: иначе прогон сразу послеbackend-outageвидел бы его потери (п. 22). - Срок медленной БД — 4 мин в спеке и драйвере (п. 20).
- Гонка
relay_pass_recordsвtelemetry-check(пересъёмка наef60b47, правка разрешена основной сессией): ожидание Loki — пока все записи прохода relay из stdout не придут, со сроком 60 с; по сроку — прежний отказ и недостающие записи; проверка не ослаблена (п. 23).
Вопросы
Не блокируют работу; ответ меняет только указанное место.
- Пользователю: ресурсы ВМ Docker Desktop. Сейчас у ВМ 12 CPU (все ядра хоста) и 7934 МиБ из 18 ГиБ хоста; лимиты стенда —
постоянные 11,5 CPU / 7296 МиБ, с одноразовыми 12,5 CPU / 7680 МиБ (до замера этого change: новых сервисов нет, лимит
Collector может вырасти по замеру), а контейнеры
make test_isolatedрядом (API, worker и relay теста) добавляют 2,25 CPU / 1792 МиБ. CPU больше не дать: лимиты — доли времени, сумма больше 12 значит конкуренцию, а не отказ. Памяти, чтобы лимиты стенда с одноразовыми иmake test_isolatedпомещались вместе с накладными ВМ (~0,5–1 ГиБ), нужно не меньше ~11 ГиБ; рекомендация — 12 ГиБ. Точные числа — после замера apply (docker.md,REPORT.md). Увеличить память ВМ? Ответ меняет только строку ВМ вREPORT.mdиdocker.md. Ответ (2026-11-11): пользователь увеличил память ВМ до 12 ГБ (MemTotal 11 902 МиБ); с одноразовыми иmake test_isolated— 9472 МиБ лимитов, запас ~2,4 ГиБ. - Преподавателю: SLI доступности и оповещение о доле ошибок считаются по ответам клиентам на LB (включая сгенерированные LB 502, 503, 504 и health через LB), а «доля ошибок» контракта (5xx API / бизнес-запросы без health) осталась отдельной панелью. Допустимо? Иначе — SLI по метрикам API с отдельным счётом ответов LB в числителе (правила записи и панель).
track1-telemetry-cost
Change openspec/changes/track1-telemetry-cost/ (propose 2026-11-14). Номера — решения design.
Решения
- Решения пользователя из промпта propose (не пересматриваются): трек 1; Prometheus, Loki, Tempo и Grafana; Collector contrib;
включение телеметрии на стенде
mtusi-benchстроится здесь и нужноmake bench_uploadsиmake bench_queueпоследнего шага — оба с включённой телеметрией; прежние профили по умолчанию — как сейчас; бюджет ВМ не ограничение; замеры — apply после коммитов кода и гипотез, рабочий стенд передbench/—make stop. - Варианты (2):
off,full(рабочий стенд),full-aa(A/A — копия в той же метке, а не вторая метка: без дрейфа хоста между метками),head(доля 0,1),tail— типовой tail sampling (ошибки, трассы ≥ 0,25 с, 10 % остальных, ожидание 30 с по умолчанию),metrics(интервал 30 с, грубые границы, отбор лишних рядов),balanced(5); 3 повтора кругами, свежий стенд на прогон (1). - Выбор в голове — поле
[telemetry] trace_sample_ratio(ParentBased(TraceIdRatioBased), при 1 — прежнийParentBased(ALWAYS_ON)), неOTEL_TRACES_SAMPLER(OT-8); журнал не выбирается: записи невыбранных запросов уходят в Loki сtrace_idи флагами02(проба) — мера H5, не дефект (3). - Счёт начатых span по решению выборки (
otel.sdk.span.started) включается на рабочем стенде тоже: отброшенное в голове отличается от потерь, правило потерь не меняется;otel.sdk.span.liveне отдаётся (3). - Наборы границ histogram
default/coarse— полеmetric_buckets, оба с границами SLO 0,25 с и 30 с; интервал отправки метрик — не больше 30 с (половина срока рядов экспортёра Collector) (4). - «Лишние инструменты» варианта агрегации — собственные ряды хранилищ: 80 % рядов Prometheus рабочего стенда (проба TSDB), их не читает ни панель, ни правило, ни драйвер; инструментов приложения без читателя нет (2, 7).
- Сбалансированная конфигурация (5) — tail sampling под эту систему: правило исхода задания (у
failedнет статуса ошибки span), медленный server span ≥ 0,25 с или consumer span ≥ 5 с через OTTL вместо длительности трассы (она больше 0,25 с у каждой асинхронной цепочки загрузки), 10 % остальных, ожидание 10 с, кэш решений только сохранённых трасс; плюс отбор лишних рядов. Рабочий стенд остаётся со 100 % трасс: проверки уровней 3–4 ищут свой запрос; конфигурация — проверенная рекомендация вbench/otel/. - Слои Collector — второй
--config(проба: карты сливаются, списки заменяются), проверкаvalidateи сравнениемprint-config --format=json; конфигурация Prometheus с отбором — копия рабочей с размеченными блоками и построчной сверкой (6, 7). - Редкие события (8): 500 API — одна строка вложения без объекта
\copy(как профиль сверки); неудачное задание — классbad(sс точностью 12 бит в SOF, какjpeg_precision_12тестов); редкий медленный маршрут — регистрация (вход требовал бы пароля стенда за пределамиprepare.js); медленные запросы быстрого маршрута — блокировкаmessagesIN SHARE MODE0,6 с трижды в окне отказов. Заморозка S3 отвергнута: недетерминированный счёт worker и всплеск хвоста. - Новые исключения границы чёрного ящика — только профиль цены телеметрии: строка вложения, блокировка таблицы, счёт незавершённых
заданий, чтение Prometheus, Loki, Tempo и метрик Collector из контейнера
mtusi-bench-lookup(образ стенда, stdlib), размер volume только на чтение (9). - Grafana на стенде
bench/не запускается: не в пути данных (1). - Рост хранилищ на диске — журнал предзаписи: в Tempo 3.1.1 нет
/flush, Loki режет чанки через 30 мин (9). - Выключатель
TELEMETRY=onуuploadsиqueue— поле профиля, а не отладочное переопределение (RESUMEсверяет режим); сумма лимитов CPU больше ВМ с телеметрией — предупреждение в паспорте, а не код 2 (очередь — 12,25 CPU при 12) (13). - Результаты —
evidence/telemetry-cost/<метка>/(12); правило «еслиbalancedне прошёл критерии» — заранее, по параметру на нарушение, новая метка целиком (12).
Решения apply
Подробно — design, «Уточнения apply» (номера в скобках); всё, кроме интенсивностей (16), — до коммита гипотез, пороги не менялись.
- Регистрация на стенде — ~85 мс, а не 0,3–1 с (Argon2id параметров кода): редкий быстрый маршрут. Правила выбора трасс
решают по span, поэтому полнота в B1, H3 и H5 (
tail,balanced) требуется у 500, записей, медленных по серверу (duration_msзаписи доступа ≥ 0,25 с; из медленных по клиенту 20 из 25 — медленные и по серверу) и цепочекbad; у регистраций — доля справочно (что теряет выбор после завершения трассы). Правила «редкий маршрут — всегда» вbalancedнет: подгонка под внесённое событие. Дельты спековload-benchmark(B1) иobservability(сценарий) поправлены (1). - Запись о старте —
telemetry.startup_fieldsу трёх процессов;Tracerсобираетsdk.buildв окне внутренних метрик (2, 3). - Стенд профиля — компоненты и лимиты профиля очереди без её
queue.compose.yml; разогрев —queue_warm(4, 5). bad: Pillow его не открывает и для размеров — размеры из SOF (6).- Лимиты и паспорт — по режиму телеметрии (
limits_by_mode,stand,stand_telemetry) (7). - Счёт в метрике — значение в конце прогона; у регистраций в нём ещё пользователи
prepare.js(8). - Выборка — пачки по 40 id, повтор на обрыв соединения и 5xx (Tempo под пулом запросов закрывал соединение) (9).
plots.pyсамопроверки не имеет — в 9.1 проверяются шесть модулей (11).- Метка
baselineна509afcaне снята (20 из 21), каталог удалён, новая —baseline2(16): разогрев «24 из 12» — файл консоли k6 от убитого процесса (k6 дописывает; правка — удаление до старта, уборка.workв начале запуска,evidence/**/.work/в.gitignore); DNS в выборке metrics-r3 — Tempo завершился посреди выборки, вероятно OOM под её запросами, не доказано (правка — проверка сервисов телеметрии до и после выборки с журналом погибшего вraw/, не больше 3 запросов к Tempo разом, пики памяти после выборки). Интенсивности лёгких классов +15 % (fullна тихом хосте — 28–29,5 % при границе 30 %) — после коммита гипотез, но до первой метки, решение основной сессии; пороги не менялись.
Вопросы
Не блокируют работу; ответ меняет только указанное место.
- Пользователю: переводить ли рабочий стенд на сбалансированную конфигурацию после метки? Меняет
infra/otel/и делает проверкиtelemetry-check,trace-chain,alerts-checkвероятностными (свой запрос сохраняется с вероятностью 10 %). По умолчанию — нет: рекомендация с условиями вREPORT.md(design, решение 5). - Пользователю: быстрый профиль — ~20 мин (шесть вариантов на свежем стенде), дольше прочих быстрых; для шага защиты «для 5» —
make bench_telemetry_quick VARIANTS=off,full,tail(~10 мин, отладочное переопределение). Устраивает? Иначе — меньше вариантов в быстром профиле (тогда часть путей кода проверяет только полный). - Пользователю:
make bench_queue TELEMETRY=on— сумма лимитов CPU 12,25 при 12 у ВМ (два worker в блокахw2-*и сервисы телеметрии): по решению о бюджете — предупреждение, а не отказ. Подтвердите. Иначе — отказ и меньший лимит одного из сервисов. - Преподавателю: достаточно ли трёх настроек (выбор в голове 10 %, типовой tail sampling, агрегация метрик) и проверенной сбалансированной конфигурации на одной нагрузке ниже насыщения? Иначе — вторая интенсивность (ещё одна метка ~1 ч 50 мин).
- Преподавателю: «известное число» редких ошибок и медленных запросов внесено строкой вложения без объекта (500), недекодируемым
JPEG (
failed), регистрацией (Argon2id) и короткой блокировкой таблицы сообщений — допустимы ли такие управляемые воздействия? - Пользователю (apply): регистрация оказалась быстрой (~85 мс), и
balancedпо своим правилам её не сохраняет полностью — критерий B1 переформулирован до гипотез («медленные по серверу» записи, регистрация справочно). Устраивает? Иначе — либо правило «редкий маршрут POST /api/v1/users — всегда» вbalanced(ценой подгонки под событие), либо другой медленный редкий маршрут (его в API нет без искусственной задержки). - Пользователю (apply): хост во время пробных прогонов выгружал память в swap (swap занят 10,7 из 11 ГиБ, ВМ 11,6 из 18 ГиБ ОЗУ;
host_swapу каждого пробного прогона). Быстрые метки калибровки это не портит (они не результат), но меткуbaseline(~1 ч 50 мин) стоит снимать на освобождённом хосте (закрыть лишние приложения, остановить посторонниеdomains-*), иначе пометкиhost_swapи пересъёмка (bench.md, «Результаты»).