bench: capture uploads and queue labels with telemetry on

make bench_uploads TELEMETRY=on (label baseline) and make bench_queue
TELEMETRY=on QUEUE_LABEL=baseline4 on b3a5ab8 for the coverage
exclusions; record last-step decisions and draft report sections.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
2026-11-15 09:33:17 +03:00
co-authored by Claude Opus 5.5
parent b3a5ab8c2b
commit db3340d811
444 changed files with 38039 additions and 2 deletions
+45
View File
@@ -525,3 +525,48 @@ Change `openspec/changes/archive/2026-11-15-track1-telemetry-cost/` (propose 202
- S4 (verify): в тест `OTEL_*` (`service-tests/unit/test_telemetry.py`) добавить `OTEL_TRACES_SAMPLER` и
`OTEL_TRACES_SAMPLER_ARG` — удаляются с `warning` и не меняют сэмплер; проверка рядов SLI при `metric_buckets = coarse` —
правила записи и `rules.test.yml` на рядах с границами `coarse` (`le="0.25"`, `le="30.0"` есть, остальных границ нет).
## Последний шаг
Без отдельного change (`PLAN.md`, «Последний шаг», решение 5). Ветка `feat/lab6-final` от `solution/bvt2301-safronov`
(`b3a5ab8`). Агент без пользователя; коммиты и push — основная сессия.
### Решения
- **Метка очереди — `baseline4`** (`make bench_queue TELEMETRY=on QUEUE_LABEL=baseline4`): исключения `queue-overload`
в `student-tests/spec_coverage.py` ссылаются на `evidence/queue/baseline4/summary.md`. В репозитории лабы 6 этого
каталога не было, поэтому метка с тем же именем — новая, снята на стенде лабы 6; текст исключений и тест не менялись.
Метка `baseline4` лабы 5 осталась в её репозитории, с этой не сравнивается (в лабе 6 телеметрия включена).
- **Метка загрузок — `baseline`** (`make bench_uploads TELEMETRY=on`), имя называет исключение `attachments`.
- **Обе метки — подряд одной командой** (`make bench_uploads …; make bench_queue …`), хост: питание от сети, свободной
памяти 59 %, контейнеры `domains-*` остановлены на время замеров и запущены после, рабочий стенд — `make stop`.
`swapouts_delta` 0 и `slept_seconds` 0 у обеих, у загрузок `host_warnings` пусты, у очереди — одно предупреждение о
сумме лимитов CPU (12,25 при 12 у ВМ), его разрешает решение о бюджете (вопрос 3 `## track1-telemetry-cost`).
- **`dirty: true` у метки очереди — принято, без пересъёмки.** Код обеих меток — `b3a5ab8`. Метка загрузок снята на
чистом дереве (`dirty: false`). Метку очереди команда начала сразу после неё, и в рабочем дереве было две вещи: каталог
`evidence/uploads/baseline/` (результат предыдущей метки, не закоммичен) и правка `REPORT.md` агентом во время
замера (новые разделы «Архитектура и решения», «Ограничения», «Источники»). Ни то, ни другое `bench/` и образ не
читают (образ копирует только `src/`, `migrations/`, `alembic.ini` и lock, `evidence` и `*.md` — в `.dockerignore`);
других изменений нет —
`git status --porcelain` после метки: ` M REPORT.md`, `?? evidence/queue/`, `?? evidence/uploads/`. Числа
воспроизводятся из `b3a5ab8` (правило `bench.md`, «Измеренное состояние — commit»). Пересъёмка — ещё ~2 ч 20 мин
хоста без изменения кода; нарушение порядка («чистое дерево») — ошибка агента, названа здесь и в `REPORT.md`.
- **Вердикты меток — как есть, гипотезы не пересматривались** (они записаны в лабах 4 и 5):
- загрузки: H1 и H4 — да; H2 — нет (вариант «до» — `9cc6c0c`, где места загрузки уже есть, как и в лабе 5); H3 — нет
(1 MiB: «с лимитом» 89–90 % «без лимита» при пороге 90 %, на 10 MiB — 112–117 %; в лабе 5 — 85–89 %). Сценарий
`load-benchmark` «Буферы соединений ограничены» (вне сверки покрытия) — нет: 1,05 MiB на клиента при пороге 1 MiB
(LB 0,57 + `sock` 0,49); у метки лабы 5 этой строки ещё не было. Оба сценария `attachments` исключений выполнены:
«без лимита» — 1,21 тела на загрузку (порог 1,5), «с лимитом» — 182,6 / 189,4 / 193,6 МиБ при 10 / 20 / 40 клиентах,
OOM 0, 5xx 0;
- очередь: H3, H5–H9 подтверждены (девять сценариев исключений `queue-overload` опираются на H6–H9 и блоки);
H1 и H2 — нет, обе только на `lp` (4, 4): ядро завершало процесс worker (`oom_kill` 55 и 97, 2 и 11 перезапусков
в r2 и r3), CPU worker в окне `over` у r3 — 0,795 при пороге 0,85, `memory.peak` r1 — 870 МиБ при условии ≥ 95 %
лимита во всех повторах, отношение длительностей 0,869 при пороге 1,5. В лабе 5 на той же ячейке условие тоже было
неустойчивым (`baseline3` — H2 «нет»); с телеметрией перезапусков больше (13 против 5 у `baseline4` лабы 5), у
lp-c4p4-r3 — пометка `failed` (задания `retry_exhausted`). Рекомендация правила прежняя — (2, 2).
- **Хост в перерыве.** Агент продолжил после сброса лимита основной сессии; контейнеры `domains-*` к этому моменту уже
запустила команда замера (последний шаг цепочки).
### Вопросы
Пока нет.