diff --git a/.claude/skills/run-mtusi-messenger/driver.py b/.claude/skills/run-mtusi-messenger/driver.py index 195eef2..5ad89b6 100644 --- a/.claude/skills/run-mtusi-messenger/driver.py +++ b/.claude/skills/run-mtusi-messenger/driver.py @@ -10212,14 +10212,36 @@ def relay_pass_records( if item[1] == "Relay pass" ] - loki = poll(fetch) or [] - seen = { - (str(labels.get("published")), str(labels.get("duration_ms"))) - for _, _, labels in loki # type: ignore[misc] - } + def keys( + items: list[tuple[int, str, dict[str, str]]], + ) -> set[tuple[str, str]]: + return { + (str(labels.get("published")), str(labels.get("duration_ms"))) + for _, _, labels in items + } + wanted = { (str(r.get("published")), str(r.get("duration_ms"))) for r in stdout } + # ждать все записи stdout, а не первую: записи проходов идут через + # секунды и уходят в Loki разными пакетами SDK (design, «Уточнения + # apply», п. 23); по сроку — прежний отказ строки и недостающие записи + loki: list[tuple[int, str, dict[str, str]]] = [] + + def complete() -> bool: + items = fetch() + loki[:] = items + return bool(items) and wanted <= keys(items) + + poll(complete) + seen = keys(loki) + missing = sorted(wanted - seen) + if missing: + print( + " observed: relay pass records of stdout missing in Loki " + f"(published, duration_ms): {missing}", + flush=True, + ) return [ ( "relay pass record with publication in stdout", diff --git a/QUESTIONS.md b/QUESTIONS.md index 110c2b2..82f6493 100644 --- a/QUESTIONS.md +++ b/QUESTIONS.md @@ -378,6 +378,9 @@ Change `openspec/changes/slo-alerts/` (propose 2026-11-11). Номера — р - Проверка «Без потерь» в `telemetry-check` ждёт тихого стенда до 330 с (окно `rate()` панели 5 мин), а не падает сразу: иначе прогон сразу после `backend-outage` видел бы его потери (п. 22). - Срок медленной БД — 4 мин в спеке и драйвере (п. 20). +- Гонка `relay_pass_records` в `telemetry-check` (пересъёмка на `ef60b47`, правка разрешена основной сессией): ожидание + Loki — пока все записи прохода relay из stdout не придут, со сроком 60 с; по сроку — прежний отказ и недостающие + записи; проверка не ослаблена (п. 23). ### Вопросы diff --git a/openspec/changes/slo-alerts/design.md b/openspec/changes/slo-alerts/design.md index ff68eb5..6d9d7b4 100644 --- a/openspec/changes/slo-alerts/design.md +++ b/openspec/changes/slo-alerts/design.md @@ -620,3 +620,10 @@ COMMIT=<прежний> MIGRATE=0`; схема не меняется, нули `rate()`), поэтому ожидание до 330 с с печатью времени ожидания: прогон сразу после `backend-outage` иначе видел бы его потери. «Остановленный relay уходит из рядов» — опрос рядов глубины и возраста; `backend-outage` — ёмкость очередей SDK span и журнала. +23. **Гонка `relay_pass_records` (найдена при пересъёмке на `ef60b47`, tasks 12.12).** Проверка `telemetry-check` + «same relay pass records in Loki» ждала первой записи прохода relay в Loki, а сравнивала со всеми записями stdout: + в прогоне две записи с публикацией с разницей ~1,3 с (своя загрузка и недекодируемый JPEG), вторая уходит в Loki + следующим пакетом SDK, и дважды подряд проверка застала Loki без неё — код 1, хотя через секунды обе записи там + были (запрос Loki по окну прогона). Теперь ожидание длится, пока множество (`published`, `duration_ms`) записей + stdout не окажется внутри множества Loki, срок — прежний `SIGNAL_WAIT_S` (60 с); по сроку — прежний отказ строки + и печать недостающих записей. Условие проверки и сравниваемое множество не менялись. diff --git a/openspec/changes/slo-alerts/tasks.md b/openspec/changes/slo-alerts/tasks.md index ed5b74f..5440f2f 100644 --- a/openspec/changes/slo-alerts/tasks.md +++ b/openspec/changes/slo-alerts/tasks.md @@ -165,7 +165,7 @@ ## 12. Замечания проверки (verify 2026-11-14) Код change — commit `15ea156`, evidence — `107fe7f`. Находки W1–W4, S1–S5 verify; решения без пользователя — design, -«Уточнения apply», пп. 17–22, и `QUESTIONS.md`, `## slo-alerts`, «Решения apply по verify». +«Уточнения apply», пп. 17–23, и `QUESTIONS.md`, `## slo-alerts`, «Решения apply по verify». - [x] 12.1 W1, первая потеря процесса SDK на панели потерь: в `rules.yml` к `telemetry:lost_items:total` — `or sum by (job, instance) (otel_sdk_processor_span_queue_capacity) * 0` (ряд процесса SDK с нуля с его запуска); `TelemetryDataLoss` не @@ -208,3 +208,9 @@ (гонка проверки драйвера: `relay_pass_records` ждёт первой записи в Loki, а не всех записей stdout — вторая запись прохода приходит через секунды и в Loki есть); правка драйвера в стадии пересъёмки запрещена — задача открыта, `evidence/telemetry/check.md` пока на `15ea156`. +- [ ] 12.12 Гонка `relay_pass_records` в `telemetry-check` (найдена при 12.11): ожидание Loki — пока все записи прохода + relay с публикацией из stdout (`published`, `duration_ms`) не окажутся в Loki, со сроком; по сроку — прежний FAIL + строки «same relay pass records in Loki» и печать недостающих записей. Проверка не ослабляется (то же множество, то же + условие включения). Design, «Уточнения apply», п. 23; `QUESTIONS.md`, «Решения apply по verify». Проверка: + `py_compile` системным `python3` 3.9, `make lint`, пробный `telemetry-check` (scratchpad) — код 0; после коммита — + пересъёмка `evidence/telemetry/check.md` (12.11).