fix: wait for all relay pass records in telemetry-check Loki comparison
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
@@ -10212,14 +10212,36 @@ def relay_pass_records(
|
||||
if item[1] == "Relay pass"
|
||||
]
|
||||
|
||||
loki = poll(fetch) or []
|
||||
seen = {
|
||||
(str(labels.get("published")), str(labels.get("duration_ms")))
|
||||
for _, _, labels in loki # type: ignore[misc]
|
||||
}
|
||||
def keys(
|
||||
items: list[tuple[int, str, dict[str, str]]],
|
||||
) -> set[tuple[str, str]]:
|
||||
return {
|
||||
(str(labels.get("published")), str(labels.get("duration_ms")))
|
||||
for _, _, labels in items
|
||||
}
|
||||
|
||||
wanted = {
|
||||
(str(r.get("published")), str(r.get("duration_ms"))) for r in stdout
|
||||
}
|
||||
# ждать все записи stdout, а не первую: записи проходов идут через
|
||||
# секунды и уходят в Loki разными пакетами SDK (design, «Уточнения
|
||||
# apply», п. 23); по сроку — прежний отказ строки и недостающие записи
|
||||
loki: list[tuple[int, str, dict[str, str]]] = []
|
||||
|
||||
def complete() -> bool:
|
||||
items = fetch()
|
||||
loki[:] = items
|
||||
return bool(items) and wanted <= keys(items)
|
||||
|
||||
poll(complete)
|
||||
seen = keys(loki)
|
||||
missing = sorted(wanted - seen)
|
||||
if missing:
|
||||
print(
|
||||
" observed: relay pass records of stdout missing in Loki "
|
||||
f"(published, duration_ms): {missing}",
|
||||
flush=True,
|
||||
)
|
||||
return [
|
||||
(
|
||||
"relay pass record with publication in stdout",
|
||||
|
||||
@@ -378,6 +378,9 @@ Change `openspec/changes/slo-alerts/` (propose 2026-11-11). Номера — р
|
||||
- Проверка «Без потерь» в `telemetry-check` ждёт тихого стенда до 330 с (окно `rate()` панели 5 мин), а не падает сразу:
|
||||
иначе прогон сразу после `backend-outage` видел бы его потери (п. 22).
|
||||
- Срок медленной БД — 4 мин в спеке и драйвере (п. 20).
|
||||
- Гонка `relay_pass_records` в `telemetry-check` (пересъёмка на `ef60b47`, правка разрешена основной сессией): ожидание
|
||||
Loki — пока все записи прохода relay из stdout не придут, со сроком 60 с; по сроку — прежний отказ и недостающие
|
||||
записи; проверка не ослаблена (п. 23).
|
||||
|
||||
### Вопросы
|
||||
|
||||
|
||||
@@ -620,3 +620,10 @@ COMMIT=<прежний> MIGRATE=0`; схема не меняется, нули
|
||||
`rate()`), поэтому ожидание до 330 с с печатью времени ожидания: прогон сразу после `backend-outage` иначе видел бы
|
||||
его потери. «Остановленный relay уходит из рядов» — опрос рядов глубины и возраста; `backend-outage` — ёмкость
|
||||
очередей SDK span и журнала.
|
||||
23. **Гонка `relay_pass_records` (найдена при пересъёмке на `ef60b47`, tasks 12.12).** Проверка `telemetry-check`
|
||||
«same relay pass records in Loki» ждала первой записи прохода relay в Loki, а сравнивала со всеми записями stdout:
|
||||
в прогоне две записи с публикацией с разницей ~1,3 с (своя загрузка и недекодируемый JPEG), вторая уходит в Loki
|
||||
следующим пакетом SDK, и дважды подряд проверка застала Loki без неё — код 1, хотя через секунды обе записи там
|
||||
были (запрос Loki по окну прогона). Теперь ожидание длится, пока множество (`published`, `duration_ms`) записей
|
||||
stdout не окажется внутри множества Loki, срок — прежний `SIGNAL_WAIT_S` (60 с); по сроку — прежний отказ строки
|
||||
и печать недостающих записей. Условие проверки и сравниваемое множество не менялись.
|
||||
|
||||
@@ -165,7 +165,7 @@
|
||||
## 12. Замечания проверки (verify 2026-11-14)
|
||||
|
||||
Код change — commit `15ea156`, evidence — `107fe7f`. Находки W1–W4, S1–S5 verify; решения без пользователя — design,
|
||||
«Уточнения apply», пп. 17–22, и `QUESTIONS.md`, `## slo-alerts`, «Решения apply по verify».
|
||||
«Уточнения apply», пп. 17–23, и `QUESTIONS.md`, `## slo-alerts`, «Решения apply по verify».
|
||||
|
||||
- [x] 12.1 W1, первая потеря процесса SDK на панели потерь: в `rules.yml` к `telemetry:lost_items:total` — `or sum by (job,
|
||||
instance) (otel_sdk_processor_span_queue_capacity) * 0` (ряд процесса SDK с нуля с его запуска); `TelemetryDataLoss` не
|
||||
@@ -208,3 +208,9 @@
|
||||
(гонка проверки драйвера: `relay_pass_records` ждёт первой записи в Loki, а не всех записей stdout — вторая запись
|
||||
прохода приходит через секунды и в Loki есть); правка драйвера в стадии пересъёмки запрещена — задача открыта,
|
||||
`evidence/telemetry/check.md` пока на `15ea156`.
|
||||
- [ ] 12.12 Гонка `relay_pass_records` в `telemetry-check` (найдена при 12.11): ожидание Loki — пока все записи прохода
|
||||
relay с публикацией из stdout (`published`, `duration_ms`) не окажутся в Loki, со сроком; по сроку — прежний FAIL
|
||||
строки «same relay pass records in Loki» и печать недостающих записей. Проверка не ослабляется (то же множество, то же
|
||||
условие включения). Design, «Уточнения apply», п. 23; `QUESTIONS.md`, «Решения apply по verify». Проверка:
|
||||
`py_compile` системным `python3` 3.9, `make lint`, пробный `telemetry-check` (scratchpad) — код 0; после коммита —
|
||||
пересъёмка `evidence/telemetry/check.md` (12.11).
|
||||
|
||||
Reference in New Issue
Block a user