fix: wait for all relay pass records in telemetry-check Loki comparison
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
@@ -10212,14 +10212,36 @@ def relay_pass_records(
|
|||||||
if item[1] == "Relay pass"
|
if item[1] == "Relay pass"
|
||||||
]
|
]
|
||||||
|
|
||||||
loki = poll(fetch) or []
|
def keys(
|
||||||
seen = {
|
items: list[tuple[int, str, dict[str, str]]],
|
||||||
(str(labels.get("published")), str(labels.get("duration_ms")))
|
) -> set[tuple[str, str]]:
|
||||||
for _, _, labels in loki # type: ignore[misc]
|
return {
|
||||||
}
|
(str(labels.get("published")), str(labels.get("duration_ms")))
|
||||||
|
for _, _, labels in items
|
||||||
|
}
|
||||||
|
|
||||||
wanted = {
|
wanted = {
|
||||||
(str(r.get("published")), str(r.get("duration_ms"))) for r in stdout
|
(str(r.get("published")), str(r.get("duration_ms"))) for r in stdout
|
||||||
}
|
}
|
||||||
|
# ждать все записи stdout, а не первую: записи проходов идут через
|
||||||
|
# секунды и уходят в Loki разными пакетами SDK (design, «Уточнения
|
||||||
|
# apply», п. 23); по сроку — прежний отказ строки и недостающие записи
|
||||||
|
loki: list[tuple[int, str, dict[str, str]]] = []
|
||||||
|
|
||||||
|
def complete() -> bool:
|
||||||
|
items = fetch()
|
||||||
|
loki[:] = items
|
||||||
|
return bool(items) and wanted <= keys(items)
|
||||||
|
|
||||||
|
poll(complete)
|
||||||
|
seen = keys(loki)
|
||||||
|
missing = sorted(wanted - seen)
|
||||||
|
if missing:
|
||||||
|
print(
|
||||||
|
" observed: relay pass records of stdout missing in Loki "
|
||||||
|
f"(published, duration_ms): {missing}",
|
||||||
|
flush=True,
|
||||||
|
)
|
||||||
return [
|
return [
|
||||||
(
|
(
|
||||||
"relay pass record with publication in stdout",
|
"relay pass record with publication in stdout",
|
||||||
|
|||||||
@@ -378,6 +378,9 @@ Change `openspec/changes/slo-alerts/` (propose 2026-11-11). Номера — р
|
|||||||
- Проверка «Без потерь» в `telemetry-check` ждёт тихого стенда до 330 с (окно `rate()` панели 5 мин), а не падает сразу:
|
- Проверка «Без потерь» в `telemetry-check` ждёт тихого стенда до 330 с (окно `rate()` панели 5 мин), а не падает сразу:
|
||||||
иначе прогон сразу после `backend-outage` видел бы его потери (п. 22).
|
иначе прогон сразу после `backend-outage` видел бы его потери (п. 22).
|
||||||
- Срок медленной БД — 4 мин в спеке и драйвере (п. 20).
|
- Срок медленной БД — 4 мин в спеке и драйвере (п. 20).
|
||||||
|
- Гонка `relay_pass_records` в `telemetry-check` (пересъёмка на `ef60b47`, правка разрешена основной сессией): ожидание
|
||||||
|
Loki — пока все записи прохода relay из stdout не придут, со сроком 60 с; по сроку — прежний отказ и недостающие
|
||||||
|
записи; проверка не ослаблена (п. 23).
|
||||||
|
|
||||||
### Вопросы
|
### Вопросы
|
||||||
|
|
||||||
|
|||||||
@@ -620,3 +620,10 @@ COMMIT=<прежний> MIGRATE=0`; схема не меняется, нули
|
|||||||
`rate()`), поэтому ожидание до 330 с с печатью времени ожидания: прогон сразу после `backend-outage` иначе видел бы
|
`rate()`), поэтому ожидание до 330 с с печатью времени ожидания: прогон сразу после `backend-outage` иначе видел бы
|
||||||
его потери. «Остановленный relay уходит из рядов» — опрос рядов глубины и возраста; `backend-outage` — ёмкость
|
его потери. «Остановленный relay уходит из рядов» — опрос рядов глубины и возраста; `backend-outage` — ёмкость
|
||||||
очередей SDK span и журнала.
|
очередей SDK span и журнала.
|
||||||
|
23. **Гонка `relay_pass_records` (найдена при пересъёмке на `ef60b47`, tasks 12.12).** Проверка `telemetry-check`
|
||||||
|
«same relay pass records in Loki» ждала первой записи прохода relay в Loki, а сравнивала со всеми записями stdout:
|
||||||
|
в прогоне две записи с публикацией с разницей ~1,3 с (своя загрузка и недекодируемый JPEG), вторая уходит в Loki
|
||||||
|
следующим пакетом SDK, и дважды подряд проверка застала Loki без неё — код 1, хотя через секунды обе записи там
|
||||||
|
были (запрос Loki по окну прогона). Теперь ожидание длится, пока множество (`published`, `duration_ms`) записей
|
||||||
|
stdout не окажется внутри множества Loki, срок — прежний `SIGNAL_WAIT_S` (60 с); по сроку — прежний отказ строки
|
||||||
|
и печать недостающих записей. Условие проверки и сравниваемое множество не менялись.
|
||||||
|
|||||||
@@ -165,7 +165,7 @@
|
|||||||
## 12. Замечания проверки (verify 2026-11-14)
|
## 12. Замечания проверки (verify 2026-11-14)
|
||||||
|
|
||||||
Код change — commit `15ea156`, evidence — `107fe7f`. Находки W1–W4, S1–S5 verify; решения без пользователя — design,
|
Код change — commit `15ea156`, evidence — `107fe7f`. Находки W1–W4, S1–S5 verify; решения без пользователя — design,
|
||||||
«Уточнения apply», пп. 17–22, и `QUESTIONS.md`, `## slo-alerts`, «Решения apply по verify».
|
«Уточнения apply», пп. 17–23, и `QUESTIONS.md`, `## slo-alerts`, «Решения apply по verify».
|
||||||
|
|
||||||
- [x] 12.1 W1, первая потеря процесса SDK на панели потерь: в `rules.yml` к `telemetry:lost_items:total` — `or sum by (job,
|
- [x] 12.1 W1, первая потеря процесса SDK на панели потерь: в `rules.yml` к `telemetry:lost_items:total` — `or sum by (job,
|
||||||
instance) (otel_sdk_processor_span_queue_capacity) * 0` (ряд процесса SDK с нуля с его запуска); `TelemetryDataLoss` не
|
instance) (otel_sdk_processor_span_queue_capacity) * 0` (ряд процесса SDK с нуля с его запуска); `TelemetryDataLoss` не
|
||||||
@@ -208,3 +208,9 @@
|
|||||||
(гонка проверки драйвера: `relay_pass_records` ждёт первой записи в Loki, а не всех записей stdout — вторая запись
|
(гонка проверки драйвера: `relay_pass_records` ждёт первой записи в Loki, а не всех записей stdout — вторая запись
|
||||||
прохода приходит через секунды и в Loki есть); правка драйвера в стадии пересъёмки запрещена — задача открыта,
|
прохода приходит через секунды и в Loki есть); правка драйвера в стадии пересъёмки запрещена — задача открыта,
|
||||||
`evidence/telemetry/check.md` пока на `15ea156`.
|
`evidence/telemetry/check.md` пока на `15ea156`.
|
||||||
|
- [ ] 12.12 Гонка `relay_pass_records` в `telemetry-check` (найдена при 12.11): ожидание Loki — пока все записи прохода
|
||||||
|
relay с публикацией из stdout (`published`, `duration_ms`) не окажутся в Loki, со сроком; по сроку — прежний FAIL
|
||||||
|
строки «same relay pass records in Loki» и печать недостающих записей. Проверка не ослабляется (то же множество, то же
|
||||||
|
условие включения). Design, «Уточнения apply», п. 23; `QUESTIONS.md`, «Решения apply по verify». Проверка:
|
||||||
|
`py_compile` системным `python3` 3.9, `make lint`, пробный `telemetry-check` (scratchpad) — код 0; после коммита —
|
||||||
|
пересъёмка `evidence/telemetry/check.md` (12.11).
|
||||||
|
|||||||
Reference in New Issue
Block a user