fix: wait for all relay pass records in telemetry-check Loki comparison

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
2026-11-14 04:58:21 +03:00
co-authored by Claude Opus 5.5
parent a92dff30fd
commit 4a2f9c9304
4 changed files with 44 additions and 6 deletions
+27 -5
View File
@@ -10212,14 +10212,36 @@ def relay_pass_records(
if item[1] == "Relay pass"
]
loki = poll(fetch) or []
seen = {
(str(labels.get("published")), str(labels.get("duration_ms")))
for _, _, labels in loki # type: ignore[misc]
}
def keys(
items: list[tuple[int, str, dict[str, str]]],
) -> set[tuple[str, str]]:
return {
(str(labels.get("published")), str(labels.get("duration_ms")))
for _, _, labels in items
}
wanted = {
(str(r.get("published")), str(r.get("duration_ms"))) for r in stdout
}
# ждать все записи stdout, а не первую: записи проходов идут через
# секунды и уходят в Loki разными пакетами SDK (design, «Уточнения
# apply», п. 23); по сроку — прежний отказ строки и недостающие записи
loki: list[tuple[int, str, dict[str, str]]] = []
def complete() -> bool:
items = fetch()
loki[:] = items
return bool(items) and wanted <= keys(items)
poll(complete)
seen = keys(loki)
missing = sorted(wanted - seen)
if missing:
print(
" observed: relay pass records of stdout missing in Loki "
f"(published, duration_ms): {missing}",
flush=True,
)
return [
(
"relay pass record with publication in stdout",
+3
View File
@@ -378,6 +378,9 @@ Change `openspec/changes/slo-alerts/` (propose 2026-11-11). Номера — р
- Проверка «Без потерь» в `telemetry-check` ждёт тихого стенда до 330 с (окно `rate()` панели 5 мин), а не падает сразу:
иначе прогон сразу после `backend-outage` видел бы его потери (п. 22).
- Срок медленной БД — 4 мин в спеке и драйвере (п. 20).
- Гонка `relay_pass_records` в `telemetry-check` (пересъёмка на `ef60b47`, правка разрешена основной сессией): ожидание
Loki — пока все записи прохода relay из stdout не придут, со сроком 60 с; по сроку — прежний отказ и недостающие
записи; проверка не ослаблена (п. 23).
### Вопросы
+7
View File
@@ -620,3 +620,10 @@ COMMIT=<прежний> MIGRATE=0`; схема не меняется, нули
`rate()`), поэтому ожидание до 330 с с печатью времени ожидания: прогон сразу после `backend-outage` иначе видел бы
его потери. «Остановленный relay уходит из рядов» — опрос рядов глубины и возраста; `backend-outage` — ёмкость
очередей SDK span и журнала.
23. **Гонка `relay_pass_records` (найдена при пересъёмке на `ef60b47`, tasks 12.12).** Проверка `telemetry-check`
«same relay pass records in Loki» ждала первой записи прохода relay в Loki, а сравнивала со всеми записями stdout:
в прогоне две записи с публикацией с разницей ~1,3 с (своя загрузка и недекодируемый JPEG), вторая уходит в Loki
следующим пакетом SDK, и дважды подряд проверка застала Loki без неё — код 1, хотя через секунды обе записи там
были (запрос Loki по окну прогона). Теперь ожидание длится, пока множество (`published`, `duration_ms`) записей
stdout не окажется внутри множества Loki, срок — прежний `SIGNAL_WAIT_S` (60 с); по сроку — прежний отказ строки
и печать недостающих записей. Условие проверки и сравниваемое множество не менялись.
+7 -1
View File
@@ -165,7 +165,7 @@
## 12. Замечания проверки (verify 2026-11-14)
Код change — commit `15ea156`, evidence — `107fe7f`. Находки W1–W4, S1–S5 verify; решения без пользователя — design,
«Уточнения apply», пп. 17–22, и `QUESTIONS.md`, `## slo-alerts`, «Решения apply по verify».
«Уточнения apply», пп. 17–23, и `QUESTIONS.md`, `## slo-alerts`, «Решения apply по verify».
- [x] 12.1 W1, первая потеря процесса SDK на панели потерь: в `rules.yml` к `telemetry:lost_items:total` — `or sum by (job,
instance) (otel_sdk_processor_span_queue_capacity) * 0` (ряд процесса SDK с нуля с его запуска); `TelemetryDataLoss` не
@@ -208,3 +208,9 @@
(гонка проверки драйвера: `relay_pass_records` ждёт первой записи в Loki, а не всех записей stdout — вторая запись
прохода приходит через секунды и в Loki есть); правка драйвера в стадии пересъёмки запрещена — задача открыта,
`evidence/telemetry/check.md` пока на `15ea156`.
- [ ] 12.12 Гонка `relay_pass_records` в `telemetry-check` (найдена при 12.11): ожидание Loki — пока все записи прохода
relay с публикацией из stdout (`published`, `duration_ms`) не окажутся в Loki, со сроком; по сроку — прежний FAIL
строки «same relay pass records in Loki» и печать недостающих записей. Проверка не ослабляется (то же множество, то же
условие включения). Design, «Уточнения apply», п. 23; `QUESTIONS.md`, «Решения apply по verify». Проверка:
`py_compile` системным `python3` 3.9, `make lint`, пробный `telemetry-check` (scratchpad) — код 0; после коммита —
пересъёмка `evidence/telemetry/check.md` (12.11).