make bench_uploads TELEMETRY=on (label baseline) and make bench_queue
TELEMETRY=on QUEUE_LABEL=baseline4 on b3a5ab8 for the coverage
exclusions; record last-step decisions and draft report sections.
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
573 lines
69 KiB
Markdown
573 lines
69 KiB
Markdown
# Вопросы и решения лабы 6
|
||
|
||
Решения, принятые без пользователя, и вопросы, которые не блокируют работу.
|
||
Раздел на каждый change: `## <change>`, внутри «Решения» и «Вопросы».
|
||
Вопросы преподавателю дублируются в `REPORT.md`. План изменений лабы —
|
||
`PLAN.md`.
|
||
|
||
## Ответы пользователя перед прогоном (2026-11-11)
|
||
|
||
- Оценка — 5, трек 1 «Цена наблюдаемости».
|
||
- Хранилища — Prometheus (метрики), Loki (логи), Tempo (трассы), отдельными
|
||
сервисами; интерфейс — Grafana.
|
||
- Уровень 4 — два change: `job-trace-propagation`, затем `slo-alerts`.
|
||
- Без пользователя можно (как в лабе 5): коммиты на ветках `feat/<change>`,
|
||
ff-merge в `solution/bvt2301-safronov`, архивация, установка зависимостей и
|
||
образов, запуск стенда и замеров, в конце `git push` ветки решения в свой
|
||
fork. PR не открывать. Разрешения — `.claude/settings.local.json`.
|
||
- Длинные замеры исключений (`make bench_uploads`, `make bench_queue`) — в
|
||
последнем шаге, на коде лабы 6 с телеметрией.
|
||
- Ответ на вопрос 5 `## otel-telemetry` (2026-11-11): эти замеры — с
|
||
**включённой** телеметрией (SDK в реплике, worker и relay, Collector и
|
||
хранилища на стенде `mtusi-bench`), как на рабочем стенде. Мерит по-прежнему
|
||
внешний прибор (k6, сэмплер cgroup), телеметрия — часть измеряемой системы.
|
||
Выключатель в `bench/` делает `track1-telemetry-cost`: он годится и для
|
||
профилей `uploads` и `queue`. Вариант «до» `bench_uploads` (образ
|
||
`9cc6c0c` без SDK) — смешанное сравнение, назвать в сводке; сумму лимитов
|
||
`bench_queue` с телеметрией проверить до прогона.
|
||
|
||
## Перенос из лабы 5
|
||
|
||
Источник: `mtusi2026lab5-safronov`, ветка `solution/bvt2301-safronov`,
|
||
commit `046ec9e`. Перенос — 2026-11-11.
|
||
|
||
### Решения
|
||
|
||
- Перенесены отслеживаемые файлы по AGENTS.md, «Переход в следующую лабу»,
|
||
`git archive 046ec9e`: `src/`, `student-tests/`, `service-tests/`,
|
||
`migrations/`, `alembic.ini`, `Dockerfile`, `docker-compose.yml`,
|
||
`infra/valkey/`, `infra/haproxy/`, `infra/s3/`, `infra/rabbitmq/`,
|
||
`infra/rollback/` (на него ссылаются `balancer.md` и откат реплик; в списке
|
||
переноса его не было — список дополнен), свои `scripts/restart.sh`,
|
||
`scripts/stop-one.sh`, `scripts/rolling-update.sh`, `pyproject.toml`,
|
||
`uv.lock`, `.python-version`, `config_example.toml`, `AGENTS.md`,
|
||
`CLAUDE.md`, `.claude/`, `openspec/`, `.graphifyignore`, `bench/`,
|
||
`KNOWN_ISSUES.md`, `.github/workflows/application.yml`, `.github/ci/`.
|
||
- Не перенесены: `README.md`, `COURSE.md`, `tests/`, `contracts/`, `lab.json`,
|
||
`REPORT.md`, `evidence/`, `graphify-out/`, `QUESTIONS.md` (этот файл —
|
||
новый), `.env`, `config.toml`, `.venv`.
|
||
- `Makefile`, `.gitignore`, `.dockerignore` skeleton лаб 5 и 6 совпадают
|
||
побайтно, поэтому взяты целиком из лабы 5 (skeleton + свои секции).
|
||
- `.env.example` — свой файл лабы 5 без правок. Новые имена skeleton
|
||
(`OTEL_SERVICE_NAME`, `OTEL_EXPORTER_OTLP_ENDPOINT`,
|
||
`OTEL_EXPORTER_OTLP_PROTOCOL`, `OTEL_RESOURCE_ATTRIBUTES`) сопоставляет
|
||
первый change лабы (`PLAN.md`), как `BROKER_URL_FILE` и др. в лабе 5.
|
||
- Контракт API лабы 6 не изменился: `contracts/openapi.json` отличается только
|
||
`info` (заголовок, версия 1.6.0), `contracts/README.md` и `tests/` совпадают
|
||
с лабой 5. Новое — `contracts/observability.md`, три роли в
|
||
`contracts/infrastructure.json` (`otel_collector`, `telemetry_storage` с
|
||
persistent volume, `grafana` с provisioning в git), `infra/otel/README.md`.
|
||
`tests/client.py` для лабы 6 ведёт себя как для лабы 5 (загрузка — 202).
|
||
- Имя проекта compose и образ — `mtusi-lab6`, `mtusi-messenger:lab6`
|
||
(`docker-compose.yml`, спеки `container-run` и `container-image`, правила
|
||
`docker.md` и `balancer.md`, драйвер и `SKILL.md`, комментарии override CI
|
||
и стенда отказов), префикс проектов CI — `mtusi-lab6-safronov-ci-`. Иначе
|
||
стенд лабы 6 подключился бы к volumes лабы 5.
|
||
- `.claude/settings.local.json` (не в git) — только запреты: удаление
|
||
volumes лаб 5 и 6, `make wipe_data`, `down -v`, force push. Разрешения
|
||
прогона лабы 5 (commit, merge, push) не перенесены: для лабы 6 их даёт
|
||
пользователь перед прогоном (`PLAN.md`, «Что решает пользователь»).
|
||
- Commit «до» профилей `rollout`, `uploads`, `reconcile` стенда `bench/`
|
||
(`Profile.rollout_from`, `uploads_before`, `reconcile_before`) указывали на
|
||
commit лабы 5 (`7f38948`, `04f8592`), которых в истории лабы 6 нет: профили
|
||
отказали бы с кодом 2 до стенда. Они переведены на commit переноса `9cc6c0c`
|
||
отдельным коммитом, как `cc33a03` в лабе 5. Там же код успеха варианта «до»
|
||
профиля `uploads` — 202 вместо 201 (`uploads_success_codes`): «до» теперь код
|
||
лабы 5, его загрузка отвечает 202; с 201 вариант насчитал бы ноль успешных.
|
||
- Проверено на рабочем дереве после переноса: `make check` — PASS; `ruff
|
||
check` и `ruff format --check` — чисто (545 файлов); `make service_test` —
|
||
215 passed; `make run_docker` на новом проекте `mtusi-lab6` — см. дефект
|
||
ниже, после повторного `docker compose up -d --wait` все сервисы `healthy`
|
||
/ `running`; `make test` — PASS («lab6 public API scenario»); `make
|
||
student_test` — 223 passed, 1 failed: `test_exclusion_evidence_exists`
|
||
(ожидаемо, evidence не переносится). Нет 10 файлов:
|
||
`evidence/attachments/failover.md`, `evidence/attachments/storage.md`,
|
||
`evidence/auth/passwords-and-tokens.md`, `evidence/broker/isolated.md`,
|
||
`evidence/broker/stand.md`, `evidence/cache/hits.md`,
|
||
`evidence/idempotency/replay-after-restart.md`,
|
||
`evidence/queue/baseline4/summary.md`,
|
||
`evidence/replicas/test-persistence.md`,
|
||
`evidence/uploads/baseline/summary.md`. Сверка становится зелёной, когда
|
||
они сняты заново на стенде лабы 6 (`PLAN.md`, шаг 0 и последний шаг).
|
||
- Найден дефект первого старта RabbitMQ на пустом volume (`eacces` на
|
||
`.erlang.cookie` из-за healthcheck от root): `make run_docker` из чистого
|
||
clone падает на «dependency failed to start». Записан в `KNOWN_ISSUES.md`
|
||
с предложением правки, не исправлен: правка входит в первый change
|
||
(`PLAN.md`).
|
||
|
||
### Вопросы
|
||
|
||
Пока нет: решения пользователя — раздел «Ответы пользователя перед прогоном».
|
||
|
||
## otel-telemetry
|
||
|
||
Change `openspec/changes/archive/2026-11-11-otel-telemetry/` (propose и архив 2026-11-11). Номера —
|
||
решения design.
|
||
|
||
### Решения
|
||
|
||
- Развилки `PLAN.md` (раздел «1. `otel-telemetry`»): Collector — contrib 0.164.0, ради `tail_sampling` трека 1 (1); логи —
|
||
из SDK, процессором structlog в обеих цепочках, а не `filelog` по журналам Docker (2); метрики — `prometheus` exporter
|
||
Collector и scrape Prometheus, а не OTLP-приёмник Prometheus и не remote write (3); инструментирование — вручную в
|
||
единственных точках вызова, библиотек автоинструментирования нет: `instrumentation-sqlalchemy` 0.66b2 требует
|
||
`sqlalchemy<2.1`, а в lock 2.1.1 (4); relay и уборщик — без SDK до change 2 (5); `scripts/restart.sh` сервисы телеметрии
|
||
не трогает, история проверяется `telemetry-check` (6); начальные лимиты телеметрии — 2,5 CPU и 2048 МиБ, итог — по
|
||
замеру (7).
|
||
- Версии — последние патчи линий, вышедшие хотя бы за две недели до прогона: Prometheus v3.15.1, Loki 3.7.9, Tempo 3.1.1;
|
||
Grafana 13.3.1 — патч всех линий от 10.11 (1).
|
||
- Настройки — секция `[telemetry]`, по умолчанию выключено; стенд включает её окружением `api` и `worker`. Имена skeleton
|
||
`OTEL_*` не настройки: SDK собирается из явных значений, переменные `OTEL_*` удаляются из окружения процесса с `warning`
|
||
(8).
|
||
- `service.version` — версия контракта `1.6.0` (заодно `FastAPI(version=…)` вместо устаревшего 1.5.0), а не commit сборки
|
||
(9).
|
||
- API не продолжает входящий `traceparent` клиента: публичная точка входа (10).
|
||
- Класс статуса HTTP — первая цифра `http.response.status_code` в запросах; отдельной метки нет (10).
|
||
- Исход доставки worker (`ready`, `failed`, `retry`, `skipped`, `requeued`, `dropped`, `error`) возвращает сервис, метрику
|
||
и span пишет точка входа; меняется тип результата `handle` и быстрые тесты сервиса (11).
|
||
- Текст исключений в span не пишется — только класс ошибки; traceback — в журнале (10, 12).
|
||
- Закрытие SDK — со своим сроком в отдельном потоке: пробы — до 6 с на `shutdown()` при замороженном Collector (13).
|
||
- Grafana — без состояния (tmpfs), без загрузки плагинов, лишние встроенные источники выключены (проба: 368 → 251 МиБ) (16).
|
||
- Хранилища и Grafana — в отдельной сети `telemetry`, наружу — только Grafana на `127.0.0.1` (17).
|
||
- Collector, Loki и Tempo без healthcheck Docker: в образах нет оболочки и HTTP-клиента; живость — `up` в Prometheus (18).
|
||
- Брокер: healthcheck от пользователя брокера (`gosu rabbitmq`) — закрывает дефект первого старта (19).
|
||
- Консоль, `make test_isolated`, стенд отказов и `bench/` — без телеметрии (20).
|
||
- Проверка «стенд с нуля» — команда драйвера со своим проектом compose, которая сама удаляет свои volumes:
|
||
`make wipe_data` и `down -v` агенту запрещены (21).
|
||
- Apply (2026-11-11), подробности — design, «Уточнения apply»:
|
||
- `BREW` не доходит до приложения (парсер uvicorn, 400 текстом): `_OTHER` проверен на `PROPFIND`, дефект — в
|
||
`KNOWN_ISSUES.md` (п. 2);
|
||
- атрибуты сверх решения 12: `stored` у `SET` Valkey, `messenger.s3.result`, `error.type` = код у 5xx без исключения,
|
||
атрибуты процесса обработки (п. 3);
|
||
- закрытие SDK — по потоку на провайдер (п. 4); подтверждение доставки — внутри места конкуренции (п. 5);
|
||
- Grafana: выключены 15 встроенных источников, кроме prometheus, loki, tempo; сверх решения — получение ключей
|
||
плагинов, внешние снимки, ссылки обратной связи, gravatar (п. 6);
|
||
- `level=error` Loki «empty ring» на старте и Tempo «no jobs found» в простое — шум, не отказ (п. 7);
|
||
- `stand-from-scratch` останавливает рабочий стенд на время проверки (`make stop` / `docker compose start`) (п. 10);
|
||
- лимиты решения 7 подтверждены замером, не менялись (п. 11).
|
||
- Правки по verify (2026-11-11, design, «Уточнения apply», п. 13–18):
|
||
- дренаж API 9 с с включённой телеметрией — ошибка настроек с именем `app.graceful_shutdown_seconds` (8 + 1 с SDK ≤ 9
|
||
с), без телеметрии 9 с допустимы; у worker закрытие SDK — внутри прежнего окна 0,5 с (п. 13);
|
||
- экспортёры OTLP — своя `requests.Session` с `trust_env=False`: прокси окружения не действуют (п. 14);
|
||
- сценарий «Необычный метод и неизвестный путь» — на `PROPFIND` и `GET`, `BREW` — ограничение (п. 15);
|
||
- `telemetry-check`: ссылки лог ↔ трасса источников Grafana, нет рядов health, `service.instance.id` worker (п. 16);
|
||
- `stand-from-scratch --project` — только `mtusi-lab6-scratch[-…]`, иначе код 2 до docker (п. 17).
|
||
|
||
### Вопросы
|
||
|
||
Не блокируют работу; ответ меняет только указанное место.
|
||
|
||
1. Преподавателю: класс статуса HTTP («method, route template, status class») — допустимо ли выводить его из кода статуса в
|
||
запросах (`http_response_status_code=~"5.."`) без отдельной метки? Иначе — атрибут `http.response.status_class` в
|
||
middleware и в запросах dashboard.
|
||
2. Преподавателю: restart hook перезапускает API и хранилища бизнес-данных, но не хранилища телеметрии; сохранность истории
|
||
телеметрии показана отдельно (`evidence/telemetry/check.md`). Достаточно ли так? Иначе — строка в `scripts/restart.sh`.
|
||
3. Преподавателю: `service.version` — версия контракта, а не ревизия сборки. Иначе — аргумент сборки и четыре пути сборки
|
||
(design, решение 9).
|
||
4. Преподавателю: ответы, которые генерирует HAProxy (502, 503, 504), в метрики API не попадают, метрик HAProxy на уровне 3
|
||
нет. Для SLO уровня 4 это решает change `slo-alerts`.
|
||
**Решается в change `slo-alerts` (design, решение 2):** метрики HAProxy через Collector, SLI доступности — по ответам LB
|
||
клиентам; вопрос преподавателю о такой трактовке — `## slo-alerts`, вопрос 2.
|
||
5. **Отвечено 2026-11-11: с включённой телеметрией** («Ответы пользователя перед прогоном»). Пользователю: метки последнего шага (`make bench_uploads`, `make bench_queue`) по методике `bench/` снимаются с
|
||
выключенным SDK: «код лабы 6 с телеметрией» — код есть, телеметрия выключена. Если нужны метки с включённой телеметрией —
|
||
это профиль трека 1 (change `track1-telemetry-cost`) и другая методика.
|
||
6. Преподавателю (apply): сценарий `observability` «Необычный метод и неизвестный путь» назван методом `BREW`, а его
|
||
uvicorn отклоняет до приложения (400 не в формате контракта, `KNOWN_ISSUES.md`). Достаточно ли `_OTHER` на методе,
|
||
который доходит до приложения (`PROPFIND`)? Иначе — `http="h11"` у uvicorn или правило HAProxy (отдельный change).
|
||
7. Пользователю (apply): перед замерами для отчёта переснять `telemetry-check`, `telemetry-outage`,
|
||
`stand-from-scratch` и бюджет на закоммиченном коде — evidence сняты на незакоммиченном дереве поверх `9b35c25`.
|
||
Сделано частично: `telemetry-check` и `telemetry-outage` пересняты на `68f1e97`; замер бюджета на нём поднял лимиты
|
||
Tempo и Grafana (design, «Уточнения apply», п. 19); `budget.md` переснят на `4178b3d`. `stand-from-scratch` не
|
||
переснят: запуск команды агентом 2026-11-11 отклонил классификатор режима auto (вопрос 8), `evidence/stand/
|
||
from-scratch.md` — прежний, с рабочего дерева поверх `9b35c25`. Нужен запуск пользователем (`make stop`, `python3
|
||
.claude/skills/run-mtusi-messenger/driver.py stand-from-scratch --runs 2`, `docker compose start`) или разрешение.
|
||
8. Пользователю (verify W4): `driver.py stand-from-scratch` сам удаляет volumes своего проекта (`docker compose -p
|
||
mtusi-lab6-scratch… down -v` в начале, после каждого прогона и при Ctrl+C), а deny-правила `.claude/settings.local.json`
|
||
запрещают агенту `down -v`. Подтвердите, что так можно для одноразового проекта `mtusi-lab6-scratch*` (как у `make
|
||
failure_checks` со своим `<рабочий>-failures`). Имя проекта команда теперь принимает только по шаблону
|
||
`^mtusi-lab6-scratch(-[a-z0-9]+)?$`, иначе код 2 до вызовов docker. Настройки разрешений не менялись. Иначе —
|
||
убирать проект scratch руками пользователя, а команда только печатает команду уборки.
|
||
|
||
### Предложения на потом
|
||
|
||
Найдено verify, решено не исправлять в этом change.
|
||
|
||
- S2: evidence для сценария «Restart hook не трогает телеметрию» — по коду выполняется (`scripts/restart.sh` сервисы
|
||
телеметрии не называет), но вывода нет. Предложение: в `telemetry-check` или отдельной пробе — `StartedAt` сервисов
|
||
телеметрии до и после `make test-persistence ACTION_SCRIPT=scripts/restart.sh` (задача 11.5 его уже сверяет на глаз).
|
||
- S4: relay и уборщик SDK не запускают, но загружают его модули через `SqlAlchemyUnitOfWork` (`src/infra/db/uow.py` →
|
||
`src/infra/telemetry`): 139 модулей, RSS уборщика ~100 МиБ при ~90 МиБ в `docker.md`. Предложение для change 2: ленивый
|
||
импорт SDK в `src/infra/telemetry` (до `start`) или замер `memory.peak` relay и уборщика и правка `docker.md`.
|
||
Решено в change `job-trace-propagation` (design, решение 7): ленивый импорт.
|
||
|
||
## job-trace-propagation
|
||
|
||
Change `openspec/changes/archive/2026-11-11-job-trace-propagation/` (propose и архив 2026-11-11). Номера — решения design.
|
||
|
||
### Решения
|
||
|
||
- Развилки `PLAN.md` (раздел «2. `job-trace-propagation`»):
|
||
- parent или link — consumer span дочерний к контексту сообщения и с link на него (2): обработка по одному сообщению без
|
||
объемлющего span, semantic conventions messaging это допускают и требуют link; одна трасса на загрузку и цельная выборка
|
||
цепочки при head sampling трека 1. Span producer — на каждую публикацию, в клиенте брокера, дочерний к контексту загрузки,
|
||
сохранённому в задании (3, 4);
|
||
- источник очереди — relay: снимок по PostgreSQL раз в 5 с одним запросом по частичным индексам (проба — 0,31 мс), стадии
|
||
`scheduled`, `outbox`, `published`, `processing`, возраст старейшего незавершённого от устойчивого приёма (9); не
|
||
приёмник Collector (пароль PostgreSQL у Collector) и не метрики брокера (нет outbox и возраста);
|
||
- смесь версий при `make rolling_update` — строки и сообщения без контекста: span producer нет, consumer span — корень, как
|
||
на уровне 3; ни одна комбинация версий не даёт ошибки (6);
|
||
- `docker.sock` у Collector отвергнут (доступ к API Docker — root на ВМ): CPU и память — из cgroup v2 изнутри контейнеров
|
||
API, worker и relay (12).
|
||
- Carrier — заголовки AMQP `traceparent` и `tracestate`, тело сообщения по `contracts/jobs.schema.json` не меняется (1):
|
||
неверное значение в теле сделало бы сообщение «не по схеме» (`dropped`), а заголовок просто игнорируется;
|
||
`contracts/attachment-states.md` native headers допускает, отображение полей — в `REPORT.md`.
|
||
- Контекст в задании — колонки `attachment_jobs.traceparent`, `tracestate` (`text NULL`, CHECK `NOT VALID`), пишет загрузка
|
||
через зависимость API; сервис телеметрию не импортирует (4).
|
||
- Sampler — `ParentBased(ALWAYS_ON)`: при 100 % то же, флаг выборки контекста задания соблюдается; baggage не переносится (5).
|
||
- SDK в relay (`messenger-relay`); у уборщика и команды replay SDK нет; модули SDK грузятся только при запуске телеметрии —
|
||
закрывает S4 change `otel-telemetry` (проба: −322 модуля и −10 МиБ RSS) (7).
|
||
- `handle()` worker возвращает DTO итога доставки (исход, попытка, причина, код ошибки, время до готовности); время до
|
||
готовности — от записи задания до фиксации `ready`, задания после replay не учитываются (8).
|
||
- Пул — `db.client.connection.*` semantic conventions; ожидающие и отказы по сроку считает пул `CountingQueuePool` (публичный
|
||
`Pool.connect()`), фабрика engine о телеметрии не знает (10).
|
||
- Насыщение worker — занятые места, ёмкость, ожидающие места доставки и среднее за окно по сумме длительностей (11).
|
||
- Без `messaging.message.id` и без span Create и Settle: `id` задания в span — против решения 12 change `otel-telemetry`,
|
||
подтверждение — внутри consumer span (13, Non-Goals).
|
||
- Новых параметров `[telemetry]` нет: интервал и срок свежести снимка очереди, границы времени до готовности — константы.
|
||
- Dashboard уровня 4 — тот же `messenger-overview.json` (без нового bind mount и `configs` CI) (14); проверка — одна команда
|
||
драйвера `trace-chain` (16).
|
||
- Apply (design, «Уточнения apply»): redis-py 8.1 сам грузит модули метрик SDK — тест ленивого импорта сравнивает с `import
|
||
redis.asyncio` (п. 1); запись о недоступных метриках контейнера — только stdout (п. 3); раскладка модулей пакета (п. 4);
|
||
поля итога у `skipped` и `requeued` (п. 5); снимок после полного пакета (п. 6); Tempo собирает трассу повтора и replay — решение
|
||
2 прежнее (п. 7); `trace-chain` складывает счётчики двух процессов worker и запускает их `docker start` (п. 8); relay в
|
||
`telemetry-outage` (п. 9); память уборщика (п. 10); логгер пула на WARNING (п. 11); бюджет relay без изменения лимита (п. 12);
|
||
evidence раздела 12 на `72cfa9a`: «ревизия до и после» через откат реплик на `ff0073e` и `downgrade -1` (п. 13), Grafana
|
||
сверх правила 1,5 × пика (п. 14, вопрос 6), предусловие `trace-chain` на нетихом стенде (п. 15), возврат сигналов relay
|
||
после `docker start` в `telemetry-outage` (п. 16).
|
||
|
||
### Вопросы
|
||
|
||
Не блокируют работу; ответ меняет только указанное место.
|
||
|
||
1. Преподавателю: «End-to-end time to ready — от durable acceptance до публикации ready» измеряется от записи задания (та же
|
||
транзакция, что `queued`, до ответа 202) до фиксации `ready`, а задания после replay не учитываются: их приём — действие
|
||
оператора. Достаточно ли так? Иначе — время replay из аудита `attachment_job_replays` (worker, решение 8).
|
||
2. Преподавателю: «process/container CPU/RAM» — только у процессов с SDK (реплики API, worker вместе с процессами обработки,
|
||
relay), из их cgroup; PostgreSQL, S3, брокер, LB и уборщик не представлены, потому что сокет Docker у Collector — root на
|
||
ВМ. Достаточно ли? Иначе — `docker_stats` или cAdvisor с названной ценой (решение 12).
|
||
3. Преподавателю: «Queue depth» — логическая очередь заданий по стадиям из PostgreSQL (outbox, отложенные повторы, в брокере,
|
||
в обработке), а не счётчик очереди RabbitMQ: очередь брокера — стадия `published`. Достаточно ли? Иначе — плагин
|
||
`rabbitmq_prometheus` и доступ к брокеру из сети телеметрии (решение 9).
|
||
4. Пользователю (apply): сценарий `observability` «Модули SDK без телеметрии не загружаются» буквально не выполним, пока
|
||
установлен SDK: redis-py 8.1 при импорте сам грузит `opentelemetry.sdk.metrics` (35 модулей). Экспортёра, провайдеров
|
||
трасс и логов, protobuf и `requests` нет; экономия ленивого импорта — ~6,5 МиБ и ~200 модулей. Принять как есть (тест
|
||
сравнивает с `import redis.asyncio`) или уточнить сценарий в archive («кроме модулей, которые загружают сторонние
|
||
библиотеки»)? Ответ меняет только формулировку сценария и докстринг теста (design, «Уточнения apply», п. 1).
|
||
**Закрыт на verify (W1):** сценарий и требование переформулированы по фактической проверке — нет провайдеров и модулей
|
||
SDK трасс и журнала, экспортёра, protobuf и `requests`, модулей SDK метрик не больше, чем у `import redis.asyncio`
|
||
(design, «Уточнения apply», п. 17); тест прежний.
|
||
5. Пользователю (apply): `memory.peak` уборщика на рабочем стенде — 176 МиБ при лимите 256 (плановая сверка при старте);
|
||
правило «лимит ≥ 1,5 × пика» для него не выполнено (264). Поднять лимит до 288 МиБ (сумма стенда +32 МиБ, до ВМ остаётся
|
||
222 МиБ) или оставить: пик — сверка, а не этот change? Ответ — правка `docker-compose.yml`, `docker.md` и `REPORT.md`
|
||
(design, «Уточнения apply», п. 10). Замер задачи 12.4 на `72cfa9a` (свежая cgroup, плановая сверка при старте, затем
|
||
`make test` + `make load` + `make student_test` + `trace-chain`) — пик 107,7 МиБ, правило выполнено (162 ≤ 256): 176 МиБ
|
||
был у прежнего контейнера, пик зависит от прохода сверки (`evidence/telemetry/budget.md`, раздел change).
|
||
6. Пользователю (apply, задача 12.4): `memory.peak` Grafana — 343,2 МиБ при лимите 512 (1,5 × пик = 515 > 512), в замерах
|
||
`otel-telemetry` — 248–294. Пик набран сразу после рестарта Grafana в `telemetry-outage` и включает файловый кэш (`anon`
|
||
188, `file` 95 МиБ; `docker stats` — до 261). По правилу `telemetry.md` (`memory.peak`) лимит не выполнен на 3 МиБ;
|
||
лимит Grafana — не предмет change, код и compose не менялись. Поднять до 576 МиБ (сумма стенда +64 МиБ, до ВМ остаётся
|
||
190 МиБ), мерить без кэша (`anon` + `kernel`) или оставить? Ответ — правка `docker-compose.yml`, `docker.md`,
|
||
`REPORT.md` и `budget.md` (решает verify).
|
||
**Закрыт на verify (W5):** мерить без кэша — `memory.peak` включает файловый кэш, который ядро освобождает до OOM;
|
||
неосвобождаемая часть `anon` + `kernel` + `shmem` ≈ 197 МиБ, 1,5 × ≈ 296 ≤ 512, лимит не меняется. Правило «что считать
|
||
пиком» — `telemetry.md` и `docker.md`, вывод `budget.md` и `REPORT.md` исправлены (design, «Уточнения apply», п. 21).
|
||
|
||
### Решения apply по verify
|
||
|
||
- W2–W4, S2–S4 исправлены (design, «Уточнения apply», п. 18–20, 22–24; `tasks.md`, раздел 13). Без пользователя решено:
|
||
`telemetry-outage` проверяет возврат сигналов в первом окне каждого вида и останавливает процессы во втором окне того же
|
||
вида (команда ~3,5 мин); непредвиденная ошибка снимка очереди relay повторяется не чаще интервала снимка (5 с), а не на
|
||
каждом проходе; панель пула — две оси с разными единицами, а не две панели (раскладка строки «Saturation» прежняя);
|
||
`trace-chain` на нетихом стенде — код 2, как «нет стенда».
|
||
|
||
### Предложения на потом
|
||
|
||
- S1 (verify, для change `slo-alerts`): `increase()` недосчитывает после рестарта worker — новый процесс начинает
|
||
counter с нуля под тем же `instance`, и если он насчитал больше прежнего, Prometheus сброса не видит (`trace-chain`
|
||
складывает «тихие» значения двух процессов, «Уточнения apply», п. 8). Для правил SLO и alert это занижение ошибок и
|
||
готовых заданий. Варианты: created timestamps Prometheus 3 (`created-timestamp-zero-ingestion`: Collector-экспортёр
|
||
должен отдавать `_created`, проверить) или окна правил длиннее типичного времени жизни процесса с оговоркой в runbook;
|
||
либо `service.instance.id` с суффиксом запуска процесса (меняет число рядов — цена в кардинальности).
|
||
Решается в change `slo-alerts` (design, решение 6): экспортёр Collector отдаёт время начала ряда только в protobuf —
|
||
scrape `PrometheusProto` и `created-timestamp-zero-ingestion`, срок рядов экспортёра 1 мин; быстрый перезапуск того же
|
||
процесса (быстрее ~75 с) остаётся ограничением.
|
||
|
||
## slo-alerts
|
||
|
||
Change `openspec/changes/archive/2026-11-14-slo-alerts/` (propose 2026-11-11, заархивирован 2026-11-14). Номера — решения
|
||
design.
|
||
|
||
### Решения
|
||
|
||
- Пользователь (2026-11-11, на propose, через основную сессию): бюджет ВМ — не ограничение при выборе; новые сервисы
|
||
(Alertmanager и любые другие) брать, если они дают пользу, и не отвергать вариант из-за суммы лимитов. Сумма лимитов
|
||
по-прежнему считается и записывается (`docker.md`, `REPORT.md`), даже если она больше ВМ.
|
||
- Пользователь (2026-11-11): ресурсы ВМ Docker Desktop можно увеличить; если сумма лимитов стенда превышает ВМ (12 CPU /
|
||
7934 МиБ) или запаса не хватает, решение не урезается, а отчёт называет отдельной строкой, сколько CPU и памяти нужно ВМ и
|
||
почему (вопрос 1).
|
||
- Развилки `PLAN.md` (раздел «3. `slo-alerts`»):
|
||
- правила Prometheus (файл в git, `promtool test rules`), а не правила Grafana (3);
|
||
- Alertmanager не ставится — по функции, а не по бюджету: доставки нет, состояние и история firing / resolved — в
|
||
Prometheus (`ALERTS`) и Grafana, подавление зависимых оповещений нужно в одном месте и выражено в условии (3).
|
||
- SLI доступности — на публичном frontend LB, вместе с ответами самого LB (502, 503, 504); источник — встроенный экспортёр
|
||
HAProxy, его забирает Collector (приёмник `prometheus`), сеть хранилищ прежняя (2). Закрывает вопрос 4 `## otel-telemetry`.
|
||
- SLO: доступность 99,5 %, задержка «лёгких» ручек не дольше 0,25 с — 99 %, время до `ready` не дольше 30 с — 99 %; окно —
|
||
скользящие 7 суток (срок хранения Prometheus); правила записи — приращения событий за 5 мин (1).
|
||
- Оповещения — семь, пороговые, окна 2 мин, `for` от 30 с до 2 мин; runbook — файл `infra/otel/runbooks/<имя>.md`,
|
||
`runbook_url` — путь в репозитории (4, 5).
|
||
- S1 `## job-trace-propagation`: время начала рядов экспортёра Collector по protobuf и `created-timestamp-zero-ingestion`
|
||
Prometheus, срок рядов экспортёра 1 мин (6); проба — `resets` 1 и `increase` 25,5 при 25 настоящих против 0 и 15,6.
|
||
- Collector: очереди экспорта Loki 16 МиБ и Tempo 8 МиБ по байтам, два отправителя, повторы до 30 с, без блокировки приёма
|
||
(7).
|
||
- SDK: очереди и сроки прежние; внутренние метрики SDK (`otel.sdk.*`) включает код на время конструирования, а не поле
|
||
`[telemetry]` и не внешняя `OTEL_*` (8).
|
||
- Учёт потерь — сумма счётчиков по процессу, а не `increase()`: первая потеря нового ряда учитывается (9).
|
||
- Без histogram длительности запросов PostgreSQL: для инцидента 2 хватает span БД, пула и CPU реплик (Non-Goals, как
|
||
JTP-10).
|
||
- Проверки — `make alerts_test` (и в CI), команды драйвера `alerts-check` и `backend-outage`; медленная БД — блокировка
|
||
таблицы сообщений в отдельной сессии PostgreSQL, а не лимит CPU контейнера (11).
|
||
- Пользователь (2026-11-11, во время apply): ВМ Docker Desktop перезапущена с памятью 12 ГБ — `docker info`: 12 CPU,
|
||
MemTotal 11 902 МиБ. Это ответ на вопрос 1: строки бюджета в `docker.md` и `REPORT.md` — по новой ВМ.
|
||
|
||
### Решения apply
|
||
|
||
Без пользователя; подробности и отклонения — design, «Уточнения apply».
|
||
|
||
- Тест внутренних метрик экспортёра OTLP — через `Exporters(spans=None, logs=None)` и подставную `requests.Session.send`;
|
||
`otlp_exporters()` разделён на три функции (п. 1).
|
||
- Глобальные протоколы scrape — список Prometheus 3.15.1 по умолчанию, снятый с `/api/v1/status/config` (п. 4).
|
||
- Нагрузка драйвера — 6 потоков записи и 1 чтения: иначе блокировка таблицы сообщений не даёт 10 % медленных «лёгких»
|
||
запросов (п. 7).
|
||
- `telemetry-check` проверяет ещё метрики LB (сценарии «Метрики балансировщика без доступа к сети хранилищ» и
|
||
`load-balancing` «Метрики балансировщика»), а обход панелей всех команд подменяет `$__range` на `1h` (пп. 5, 6).
|
||
- Span PostgreSQL с ошибкой при остановленной БД — наблюдение, не проверка: отказ на выдаче соединения span запроса не
|
||
создаёт (п. 9).
|
||
- Сверка SLI за час «по исходным счётчикам» — сумма `increase(…[5m])` исходных селекторов в тех же окнах, что у правил;
|
||
`increase` за час одним окном — наблюдение: непересекающиеся окна теряют приращение на границах, а при остановленном
|
||
Prometheus окна нет (п. 12). Пауза блокировки 0,2 с вместо 0,5, нагрузка — чтение раз в 1 с, 3 потока входа, 20
|
||
хороших загрузок перед шагами (п. 7, 12).
|
||
- «Ожидающих соединения пула нет» проверяется как «пул не занят целиком и отказов по сроку нет»: счёт `pending` включает
|
||
проверку при выдаче и открытие соединения (п. 14).
|
||
|
||
Вопрос verify: устраивает ли такая трактовка двух сценариев спека («SLO считается» — те же окна; «Медленный handler» —
|
||
место в пуле, а не мгновенный `pending`)? Иначе — правка спека или новый счётчик «ждут места» отдельно от открытия.
|
||
**Ответ verify (2026-11-14):** трактовка устраивает, новых счётчиков не нужно — исправлен текст двух сценариев дельты
|
||
`observability` под проверку; у доступности и задержки `alerts-check` сверяет ещё и с `increase` одним окном часа
|
||
(design, «Уточнения apply», п. 18).
|
||
- Evidence раздела 11 — на commit `15ea156` без правок кода; `rules-test.md` от 2026-11-11 оставлен (повторный прогон —
|
||
тот же вывод); пик Collector в долгом отказе хранилища — по `docker stats` и метрикам Collector, а не по
|
||
`memory.peak`: шаг отказа Collector в той же команде начинает новую cgroup (design, «Уточнения apply», п. 16).
|
||
|
||
### Решения apply по verify
|
||
|
||
Без пользователя (verify 2026-11-14, tasks, раздел 12); подробности — design, «Уточнения apply», пп. 17–22.
|
||
|
||
- Ноль ряда потерь процесса SDK — по ряду ёмкости очереди span (`… or sum by (job, instance)
|
||
(otel_sdk_processor_span_queue_capacity) * 0`), как предложил verify; у Collector отдельной части не нужно: его ряды
|
||
`otelcol_receiver_refused_*` есть с нуля со старта (п. 17).
|
||
- Описание с текущим значением там, где `$value` пустое по смыслу (`absent()`, `up == 0`), — возраст последнего снимка
|
||
очереди и число недоступных целей шаблоном `query` (п. 21).
|
||
- Проверка «Без потерь» в `telemetry-check` ждёт тихого стенда до 330 с (окно `rate()` панели 5 мин), а не падает сразу:
|
||
иначе прогон сразу после `backend-outage` видел бы его потери (п. 22).
|
||
- Срок медленной БД — 4 мин в спеке и драйвере (п. 20).
|
||
- Гонка `relay_pass_records` в `telemetry-check` (пересъёмка на `ef60b47`, правка разрешена основной сессией): ожидание
|
||
Loki — пока все записи прохода relay из stdout не придут, со сроком 60 с; по сроку — прежний отказ и недостающие
|
||
записи; проверка не ослаблена (п. 23).
|
||
|
||
### Вопросы
|
||
|
||
Не блокируют работу; ответ меняет только указанное место.
|
||
|
||
1. Пользователю: ресурсы ВМ Docker Desktop. Сейчас у ВМ 12 CPU (все ядра хоста) и 7934 МиБ из 18 ГиБ хоста; лимиты стенда —
|
||
постоянные 11,5 CPU / 7296 МиБ, с одноразовыми 12,5 CPU / 7680 МиБ (до замера этого change: новых сервисов нет, лимит
|
||
Collector может вырасти по замеру), а контейнеры `make test_isolated` рядом (API, worker и relay теста) добавляют
|
||
2,25 CPU / 1792 МиБ. CPU больше не дать: лимиты — доли времени, сумма больше 12 значит конкуренцию, а не отказ. Памяти,
|
||
чтобы лимиты стенда с одноразовыми и `make test_isolated` помещались вместе с накладными ВМ (~0,5–1 ГиБ), нужно не меньше
|
||
~11 ГиБ; рекомендация — 12 ГиБ. Точные числа — после замера apply (`docker.md`, `REPORT.md`). Увеличить память ВМ?
|
||
Ответ меняет только строку ВМ в `REPORT.md` и `docker.md`. **Ответ (2026-11-11):** пользователь увеличил память ВМ до
|
||
12 ГБ (MemTotal 11 902 МиБ); с одноразовыми и `make test_isolated` — 9472 МиБ лимитов, запас ~2,4 ГиБ.
|
||
2. Преподавателю: SLI доступности и оповещение о доле ошибок считаются по ответам клиентам на LB (включая сгенерированные LB
|
||
502, 503, 504 и health через LB), а «доля ошибок» контракта (5xx API / бизнес-запросы без health) осталась отдельной
|
||
панелью. Допустимо? Иначе — SLI по метрикам API с отдельным счётом ответов LB в числителе (правила записи и панель).
|
||
|
||
## track1-telemetry-cost
|
||
|
||
Change `openspec/changes/archive/2026-11-15-track1-telemetry-cost/` (propose 2026-11-14, заархивирован 2026-11-15). Номера
|
||
— решения design.
|
||
|
||
### Решения
|
||
|
||
- Решения пользователя из промпта propose (не пересматриваются): трек 1; Prometheus, Loki, Tempo и Grafana; Collector contrib;
|
||
включение телеметрии на стенде `mtusi-bench` строится здесь и нужно `make bench_uploads` и `make bench_queue` последнего шага —
|
||
оба с включённой телеметрией; прежние профили по умолчанию — как сейчас; бюджет ВМ не ограничение; замеры — apply после коммитов
|
||
кода и гипотез, рабочий стенд перед `bench/` — `make stop`.
|
||
- Варианты (2): `off`, `full` (рабочий стенд), `full-aa` (A/A — копия в той же метке, а не вторая метка: без дрейфа хоста между
|
||
метками), `head` (доля 0,1), `tail` — **типовой** tail sampling (ошибки, трассы ≥ 0,25 с, 10 % остальных, ожидание 30 с по
|
||
умолчанию), `metrics` (интервал 30 с, грубые границы, отбор лишних рядов), `balanced` (5); 3 повтора кругами, свежий стенд на
|
||
прогон (1).
|
||
- Выбор в голове — поле `[telemetry] trace_sample_ratio` (`ParentBased(TraceIdRatioBased)`, при 1 — прежний
|
||
`ParentBased(ALWAYS_ON)`), не `OTEL_TRACES_SAMPLER` (OT-8); журнал не выбирается: записи невыбранных запросов уходят в Loki с
|
||
`trace_id` и флагами `02` (проба) — мера H5, не дефект (3).
|
||
- Счёт начатых span по решению выборки (`otel.sdk.span.started`) включается на рабочем стенде тоже: отброшенное в голове
|
||
отличается от потерь, правило потерь не меняется; `otel.sdk.span.live` не отдаётся (3).
|
||
- Наборы границ histogram `default` / `coarse` — поле `metric_buckets`, оба с границами SLO 0,25 с и 30 с; интервал отправки
|
||
метрик — не больше 30 с (половина срока рядов экспортёра Collector) (4).
|
||
- «Лишние инструменты» варианта агрегации — собственные ряды хранилищ: 80 % рядов Prometheus рабочего стенда (проба TSDB), их не
|
||
читает ни панель, ни правило, ни драйвер; инструментов приложения без читателя нет (2, 7).
|
||
- Сбалансированная конфигурация (5) — tail sampling под эту систему: правило исхода задания (у `failed` нет статуса ошибки span),
|
||
медленный server span ≥ 0,25 с или consumer span ≥ 5 с через OTTL вместо длительности трассы (она больше 0,25 с у каждой
|
||
асинхронной цепочки загрузки), 10 % остальных, ожидание 10 с, кэш решений только сохранённых трасс; плюс отбор лишних рядов.
|
||
Рабочий стенд остаётся со 100 % трасс: проверки уровней 3–4 ищут свой запрос; конфигурация — проверенная рекомендация в
|
||
`bench/otel/`.
|
||
- Слои Collector — второй `--config` (проба: карты сливаются, списки заменяются), проверка `validate` и сравнением
|
||
`print-config --format=json`; конфигурация Prometheus с отбором — копия рабочей с размеченными блоками и построчной сверкой (6, 7).
|
||
- Редкие события (8): 500 API — одна строка вложения без объекта `\copy` (как профиль сверки); неудачное задание — класс `bad` (`s`
|
||
с точностью 12 бит в SOF, как `jpeg_precision_12` тестов); редкий медленный маршрут — регистрация (вход требовал бы пароля стенда
|
||
за пределами `prepare.js`); медленные запросы быстрого маршрута — блокировка `messages` `IN SHARE MODE` 0,6 с трижды в окне
|
||
отказов. Заморозка S3 отвергнута: недетерминированный счёт worker и всплеск хвоста.
|
||
- Новые исключения границы чёрного ящика — только профиль цены телеметрии: строка вложения, блокировка таблицы, счёт незавершённых
|
||
заданий, чтение Prometheus, Loki, Tempo и метрик Collector из контейнера `mtusi-bench-lookup` (образ стенда, stdlib), размер
|
||
volume только на чтение (9).
|
||
- Grafana на стенде `bench/` не запускается: не в пути данных (1).
|
||
- Рост хранилищ на диске — журнал предзаписи: в Tempo 3.1.1 нет `/flush`, Loki режет чанки через 30 мин (9).
|
||
- Выключатель `TELEMETRY=on` у `uploads` и `queue` — поле профиля, а не отладочное переопределение (`RESUME` сверяет режим);
|
||
сумма лимитов CPU больше ВМ с телеметрией — предупреждение в паспорте, а не код 2 (очередь — 12,25 CPU при 12) (13).
|
||
- Результаты — `evidence/telemetry-cost/<метка>/` (12); правило «если `balanced` не прошёл критерии» — заранее, по параметру на
|
||
нарушение, новая метка целиком (12).
|
||
|
||
### Решения apply
|
||
|
||
Подробно — design, «Уточнения apply» (номера в скобках); всё, кроме интенсивностей (16), — до коммита гипотез, пороги не
|
||
менялись.
|
||
|
||
- Регистрация на стенде — ~85 мс, а не 0,3–1 с (Argon2id параметров кода): редкий **быстрый** маршрут. Правила выбора трасс
|
||
решают по span, поэтому полнота в B1, H3 и H5 (`tail`, `balanced`) требуется у 500, записей, **медленных по серверу**
|
||
(`duration_ms` записи доступа ≥ 0,25 с; из медленных по клиенту 20 из 25 — медленные и по серверу) и цепочек `bad`; у
|
||
регистраций — доля справочно (что теряет выбор после завершения трассы). Правила «редкий маршрут — всегда» в `balanced` нет:
|
||
подгонка под внесённое событие. Дельты спеков `load-benchmark` (B1) и `observability` (сценарий) поправлены (1).
|
||
- Запись о старте — `telemetry.startup_fields` у трёх процессов; `Tracer` собирает `sdk.build` в окне внутренних метрик (2, 3).
|
||
- Стенд профиля — компоненты и лимиты профиля очереди без её `queue.compose.yml`; разогрев — `queue_warm` (4, 5).
|
||
- `bad`: Pillow его не открывает и для размеров — размеры из SOF (6).
|
||
- Лимиты и паспорт — по режиму телеметрии (`limits_by_mode`, `stand`, `stand_telemetry`) (7).
|
||
- Счёт в метрике — значение в конце прогона; у регистраций в нём ещё пользователи `prepare.js` (8).
|
||
- Выборка — пачки по 40 id, повтор на обрыв соединения и 5xx (Tempo под пулом запросов закрывал соединение) (9).
|
||
- `plots.py` самопроверки не имеет — в 9.1 проверяются шесть модулей (11).
|
||
- Метка `baseline` на `509afca` не снята (20 из 21), каталог удалён, новая — `baseline2` (16): разогрев «24 из 12» — файл
|
||
консоли k6 от убитого процесса (k6 дописывает; правка — удаление до старта, уборка `.work` в начале запуска,
|
||
`evidence/**/.work/` в `.gitignore`); DNS в выборке metrics-r3 — Tempo завершился посреди выборки, вероятно OOM под её
|
||
запросами, не доказано (правка — проверка сервисов телеметрии до и после выборки с журналом погибшего в `raw/`, не больше
|
||
3 запросов к Tempo разом, пики памяти после выборки). Интенсивности лёгких классов +15 % (`full` на тихом хосте — 28–29,5 %
|
||
при границе 30 %) — после коммита гипотез, но до первой метки, решение основной сессии; пороги не менялись.
|
||
- **Решение пользователя (2026-11-15):** выгрузку хоста в swap во время метки профиля цены телеметрии (`swapouts_delta`,
|
||
пометки `host_swap`, предупреждение «rerun») игнорировать: свободной памяти на хосте достаточно, память ВМ Docker вряд ли
|
||
уходит в swap. Это не повод переснимать метку (`baseline2` и далее): значения остаются в паспорте и `runs.csv`, в
|
||
`REPORT.md` — одна фраза с этим решением. Остальные пометки (`saturated`, `storage_down`, `oom`, `dropped` и др.) — как в
|
||
`bench.md`.
|
||
|
||
### Решения основной сессии
|
||
|
||
Без пользователя; подробности — design, «Уточнения apply», пп. 16–17, правки verify — `tasks.md`, раздел 13.
|
||
|
||
- Интенсивности лёгких классов +15 % (`read` 126,5, `write` 23, `me` 34,5, `card` 34,5) — **после коммита гипотез**, до первой
|
||
метки: на тихом хосте `full` занимал реплику на 28,1–29,5 % при нижней границе калибровки 30 %. Правило design («Risks»:
|
||
интенсивности — только до коммита гипотез) нарушено сознательно; пороги H1–H8 и B1–B5 относительные и не менялись, меток до
|
||
правки нет (п. 16).
|
||
- Метка `baseline2` принята с пометкой `saturated` у full-r3 (28,4 % CPU реплики при границе 30 %), без пересъёмки (verify W1).
|
||
Основание — указание пользователя 2026-10-31 (`AGENTS.md`): предупреждения о хосте, которые явно не влияют на результат замера,
|
||
прогон не останавливают. Решение о swap от 2026-11-15 эту пометку не покрывает. Пометка — недогрузка из-за сдвига хоста внутри
|
||
третьего круга (с balanced-r3 CPU на запрос у всех вариантов с телеметрией ниже на ~9 %), а не насыщение; медианы устойчивы
|
||
(`full` — 31,3 %). Цена решения: разброс повторов шире (у `full` 2,473–3,228 мс на запрос), и разница вариантов с SDK уходит
|
||
в шум (п. 17).
|
||
|
||
### Вопросы
|
||
|
||
Не блокируют работу; ответ меняет только указанное место.
|
||
|
||
1. Пользователю: переводить ли рабочий стенд на сбалансированную конфигурацию после метки? Меняет `infra/otel/` и делает проверки
|
||
`telemetry-check`, `trace-chain`, `alerts-check` вероятностными (свой запрос сохраняется с вероятностью 10 %). По умолчанию —
|
||
нет: рекомендация с условиями в `REPORT.md` (design, решение 5).
|
||
2. Пользователю: быстрый профиль — ~20 мин (шесть вариантов на свежем стенде), дольше прочих быстрых; для шага защиты «для 5» —
|
||
`make bench_telemetry_quick VARIANTS=off,full,tail` (~10 мин, отладочное переопределение). Устраивает? Иначе — меньше вариантов
|
||
в быстром профиле (тогда часть путей кода проверяет только полный).
|
||
3. Пользователю: `make bench_queue TELEMETRY=on` — сумма лимитов CPU 12,25 при 12 у ВМ (два worker в блоках `w2-*` и сервисы
|
||
телеметрии): по решению о бюджете — предупреждение, а не отказ. Подтвердите. Иначе — отказ и меньший лимит одного из сервисов.
|
||
4. Преподавателю: достаточно ли трёх настроек (выбор в голове 10 %, типовой tail sampling, агрегация метрик) и проверенной
|
||
сбалансированной конфигурации на одной нагрузке ниже насыщения? Иначе — вторая интенсивность (ещё одна метка ~1 ч 50 мин).
|
||
5. Преподавателю: «известное число» редких ошибок и медленных запросов внесено строкой вложения без объекта (500), недекодируемым
|
||
JPEG (`failed`), регистрацией (Argon2id) и короткой блокировкой таблицы сообщений — допустимы ли такие управляемые воздействия?
|
||
6. Пользователю (apply): регистрация оказалась быстрой (~85 мс), и `balanced` по своим правилам её не сохраняет полностью —
|
||
критерий B1 переформулирован до гипотез («медленные по серверу» записи, регистрация справочно). Устраивает? Иначе — либо
|
||
правило «редкий маршрут POST /api/v1/users — всегда» в `balanced` (ценой подгонки под событие), либо другой медленный редкий
|
||
маршрут (его в API нет без искусственной задержки).
|
||
7. Пользователю (apply): хост во время пробных прогонов выгружал память в swap (swap занят 10,7 из 11 ГиБ, ВМ 11,6 из 18 ГиБ ОЗУ;
|
||
`host_swap` у каждого пробного прогона). Быстрые метки калибровки это не портит (они не результат), но метку `baseline`
|
||
(~1 ч 50 мин) стоит снимать на освобождённом хосте (закрыть лишние приложения, остановить посторонние `domains-*`), иначе
|
||
пометки `host_swap` и пересъёмка (`bench.md`, «Результаты»).
|
||
8. Пользователю (verify W1): переснять ли метку профиля цены телеметрии из-за пометки `saturated` у full-r3 (~1 ч 25 мин, новая
|
||
метка, `baseline2` остаётся записью)? По умолчанию — нет: метка принята с пометкой («Решения основной сессии»). Ответ «да»
|
||
меняет числа раздела «Результаты» в `REPORT.md` и шапку раздела.
|
||
|
||
### Предложения на потом
|
||
|
||
- S1 (verify): учёт потерь Tempo после distributor — счётчики отказов приёма и записи Tempo (`tempo_discarded_spans_total`,
|
||
`tempo_live_store_*failed*`) в `TOTALS` выборки (`bench/telemetry_lookup.py`) и в условие H6; для недостающих трасс выборка хранит, кроме `trace_id`, ещё
|
||
`duration_ms` записи доступа и `trace_id` журнала — тогда случай «74 из 75» у `tail` (design, «Уточнения apply», п. 17) можно
|
||
разобрать по сохранённым данным.
|
||
- S4 (verify): в тест `OTEL_*` (`service-tests/unit/test_telemetry.py`) добавить `OTEL_TRACES_SAMPLER` и
|
||
`OTEL_TRACES_SAMPLER_ARG` — удаляются с `warning` и не меняют сэмплер; проверка рядов SLI при `metric_buckets = coarse` —
|
||
правила записи и `rules.test.yml` на рядах с границами `coarse` (`le="0.25"`, `le="30.0"` есть, остальных границ нет).
|
||
|
||
## Последний шаг
|
||
|
||
Без отдельного change (`PLAN.md`, «Последний шаг», решение 5). Ветка `feat/lab6-final` от `solution/bvt2301-safronov`
|
||
(`b3a5ab8`). Агент без пользователя; коммиты и push — основная сессия.
|
||
|
||
### Решения
|
||
|
||
- **Метка очереди — `baseline4`** (`make bench_queue TELEMETRY=on QUEUE_LABEL=baseline4`): исключения `queue-overload`
|
||
в `student-tests/spec_coverage.py` ссылаются на `evidence/queue/baseline4/summary.md`. В репозитории лабы 6 этого
|
||
каталога не было, поэтому метка с тем же именем — новая, снята на стенде лабы 6; текст исключений и тест не менялись.
|
||
Метка `baseline4` лабы 5 осталась в её репозитории, с этой не сравнивается (в лабе 6 телеметрия включена).
|
||
- **Метка загрузок — `baseline`** (`make bench_uploads TELEMETRY=on`), имя называет исключение `attachments`.
|
||
- **Обе метки — подряд одной командой** (`make bench_uploads …; make bench_queue …`), хост: питание от сети, свободной
|
||
памяти 59 %, контейнеры `domains-*` остановлены на время замеров и запущены после, рабочий стенд — `make stop`.
|
||
`swapouts_delta` 0 и `slept_seconds` 0 у обеих, у загрузок `host_warnings` пусты, у очереди — одно предупреждение о
|
||
сумме лимитов CPU (12,25 при 12 у ВМ), его разрешает решение о бюджете (вопрос 3 `## track1-telemetry-cost`).
|
||
- **`dirty: true` у метки очереди — принято, без пересъёмки.** Код обеих меток — `b3a5ab8`. Метка загрузок снята на
|
||
чистом дереве (`dirty: false`). Метку очереди команда начала сразу после неё, и в рабочем дереве было две вещи: каталог
|
||
`evidence/uploads/baseline/` (результат предыдущей метки, не закоммичен) и правка `REPORT.md` агентом во время
|
||
замера (новые разделы «Архитектура и решения», «Ограничения», «Источники»). Ни то, ни другое `bench/` и образ не
|
||
читают (образ копирует только `src/`, `migrations/`, `alembic.ini` и lock, `evidence` и `*.md` — в `.dockerignore`);
|
||
других изменений нет —
|
||
`git status --porcelain` после метки: ` M REPORT.md`, `?? evidence/queue/`, `?? evidence/uploads/`. Числа
|
||
воспроизводятся из `b3a5ab8` (правило `bench.md`, «Измеренное состояние — commit»). Пересъёмка — ещё ~2 ч 20 мин
|
||
хоста без изменения кода; нарушение порядка («чистое дерево») — ошибка агента, названа здесь и в `REPORT.md`.
|
||
- **Вердикты меток — как есть, гипотезы не пересматривались** (они записаны в лабах 4 и 5):
|
||
- загрузки: H1 и H4 — да; H2 — нет (вариант «до» — `9cc6c0c`, где места загрузки уже есть, как и в лабе 5); H3 — нет
|
||
(1 MiB: «с лимитом» 89–90 % «без лимита» при пороге 90 %, на 10 MiB — 112–117 %; в лабе 5 — 85–89 %). Сценарий
|
||
`load-benchmark` «Буферы соединений ограничены» (вне сверки покрытия) — нет: 1,05 MiB на клиента при пороге 1 MiB
|
||
(LB 0,57 + `sock` 0,49); у метки лабы 5 этой строки ещё не было. Оба сценария `attachments` исключений выполнены:
|
||
«без лимита» — 1,21 тела на загрузку (порог 1,5), «с лимитом» — 182,6 / 189,4 / 193,6 МиБ при 10 / 20 / 40 клиентах,
|
||
OOM 0, 5xx 0;
|
||
- очередь: H3, H5–H9 подтверждены (девять сценариев исключений `queue-overload` опираются на H6–H9 и блоки);
|
||
H1 и H2 — нет, обе только на `lp` (4, 4): ядро завершало процесс worker (`oom_kill` 55 и 97, 2 и 11 перезапусков
|
||
в r2 и r3), CPU worker в окне `over` у r3 — 0,795 при пороге 0,85, `memory.peak` r1 — 870 МиБ при условии ≥ 95 %
|
||
лимита во всех повторах, отношение длительностей 0,869 при пороге 1,5. В лабе 5 на той же ячейке условие тоже было
|
||
неустойчивым (`baseline3` — H2 «нет»); с телеметрией перезапусков больше (13 против 5 у `baseline4` лабы 5), у
|
||
lp-c4p4-r3 — пометка `failed` (задания `retry_exhausted`). Рекомендация правила прежняя — (2, 2).
|
||
- **Хост в перерыве.** Агент продолжил после сброса лимита основной сессии; контейнеры `domains-*` к этому моменту уже
|
||
запустила команда замера (последний шаг цепочки).
|
||
|
||
### Вопросы
|
||
|
||
Пока нет.
|