Files
mtusi2026lab6/QUESTIONS.md
T
ricoromaandClaude Opus 5.5 ef60b47246 fix: address slo-alerts verify findings
Count the first SDK telemetry loss on the loss panel, print pending
moments on every alerts-check step, check the loss panel on a quiet
stand, align two scenarios and the SLI cross-check text with what the
driver verifies.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
2026-11-14 04:08:13 +03:00

397 lines
45 KiB
Markdown
Raw Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
# Вопросы и решения лабы 6
Решения, принятые без пользователя, и вопросы, которые не блокируют работу.
Раздел на каждый change: `## <change>`, внутри «Решения» и «Вопросы».
Вопросы преподавателю дублируются в `REPORT.md`. План изменений лабы —
`PLAN.md`.
## Ответы пользователя перед прогоном (2026-11-11)
- Оценка — 5, трек 1 «Цена наблюдаемости».
- Хранилища — Prometheus (метрики), Loki (логи), Tempo (трассы), отдельными
сервисами; интерфейс — Grafana.
- Уровень 4 — два change: `job-trace-propagation`, затем `slo-alerts`.
- Без пользователя можно (как в лабе 5): коммиты на ветках `feat/<change>`,
ff-merge в `solution/bvt2301-safronov`, архивация, установка зависимостей и
образов, запуск стенда и замеров, в конце `git push` ветки решения в свой
fork. PR не открывать. Разрешения — `.claude/settings.local.json`.
- Длинные замеры исключений (`make bench_uploads`, `make bench_queue`) — в
последнем шаге, на коде лабы 6 с телеметрией.
- Ответ на вопрос 5 `## otel-telemetry` (2026-11-11): эти замеры — с
**включённой** телеметрией (SDK в реплике, worker и relay, Collector и
хранилища на стенде `mtusi-bench`), как на рабочем стенде. Мерит по-прежнему
внешний прибор (k6, сэмплер cgroup), телеметрия — часть измеряемой системы.
Выключатель в `bench/` делает `track1-telemetry-cost`: он годится и для
профилей `uploads` и `queue`. Вариант «до» `bench_uploads` (образ
`9cc6c0c` без SDK) — смешанное сравнение, назвать в сводке; сумму лимитов
`bench_queue` с телеметрией проверить до прогона.
## Перенос из лабы 5
Источник: `mtusi2026lab5-safronov`, ветка `solution/bvt2301-safronov`,
commit `046ec9e`. Перенос — 2026-11-11.
### Решения
- Перенесены отслеживаемые файлы по AGENTS.md, «Переход в следующую лабу»,
`git archive 046ec9e`: `src/`, `student-tests/`, `service-tests/`,
`migrations/`, `alembic.ini`, `Dockerfile`, `docker-compose.yml`,
`infra/valkey/`, `infra/haproxy/`, `infra/s3/`, `infra/rabbitmq/`,
`infra/rollback/` (на него ссылаются `balancer.md` и откат реплик; в списке
переноса его не было — список дополнен), свои `scripts/restart.sh`,
`scripts/stop-one.sh`, `scripts/rolling-update.sh`, `pyproject.toml`,
`uv.lock`, `.python-version`, `config_example.toml`, `AGENTS.md`,
`CLAUDE.md`, `.claude/`, `openspec/`, `.graphifyignore`, `bench/`,
`KNOWN_ISSUES.md`, `.github/workflows/application.yml`, `.github/ci/`.
- Не перенесены: `README.md`, `COURSE.md`, `tests/`, `contracts/`, `lab.json`,
`REPORT.md`, `evidence/`, `graphify-out/`, `QUESTIONS.md` (этот файл —
новый), `.env`, `config.toml`, `.venv`.
- `Makefile`, `.gitignore`, `.dockerignore` skeleton лаб 5 и 6 совпадают
побайтно, поэтому взяты целиком из лабы 5 (skeleton + свои секции).
- `.env.example` — свой файл лабы 5 без правок. Новые имена skeleton
(`OTEL_SERVICE_NAME`, `OTEL_EXPORTER_OTLP_ENDPOINT`,
`OTEL_EXPORTER_OTLP_PROTOCOL`, `OTEL_RESOURCE_ATTRIBUTES`) сопоставляет
первый change лабы (`PLAN.md`), как `BROKER_URL_FILE` и др. в лабе 5.
- Контракт API лабы 6 не изменился: `contracts/openapi.json` отличается только
`info` (заголовок, версия 1.6.0), `contracts/README.md` и `tests/` совпадают
с лабой 5. Новое — `contracts/observability.md`, три роли в
`contracts/infrastructure.json` (`otel_collector`, `telemetry_storage` с
persistent volume, `grafana` с provisioning в git), `infra/otel/README.md`.
`tests/client.py` для лабы 6 ведёт себя как для лабы 5 (загрузка — 202).
- Имя проекта compose и образ — `mtusi-lab6`, `mtusi-messenger:lab6`
(`docker-compose.yml`, спеки `container-run` и `container-image`, правила
`docker.md` и `balancer.md`, драйвер и `SKILL.md`, комментарии override CI
и стенда отказов), префикс проектов CI — `mtusi-lab6-safronov-ci-`. Иначе
стенд лабы 6 подключился бы к volumes лабы 5.
- `.claude/settings.local.json` (не в git) — только запреты: удаление
volumes лаб 5 и 6, `make wipe_data`, `down -v`, force push. Разрешения
прогона лабы 5 (commit, merge, push) не перенесены: для лабы 6 их даёт
пользователь перед прогоном (`PLAN.md`, «Что решает пользователь»).
- Commit «до» профилей `rollout`, `uploads`, `reconcile` стенда `bench/`
(`Profile.rollout_from`, `uploads_before`, `reconcile_before`) указывали на
commit лабы 5 (`7f38948`, `04f8592`), которых в истории лабы 6 нет: профили
отказали бы с кодом 2 до стенда. Они переведены на commit переноса `9cc6c0c`
отдельным коммитом, как `cc33a03` в лабе 5. Там же код успеха варианта «до»
профиля `uploads` — 202 вместо 201 (`uploads_success_codes`): «до» теперь код
лабы 5, его загрузка отвечает 202; с 201 вариант насчитал бы ноль успешных.
- Проверено на рабочем дереве после переноса: `make check` — PASS; `ruff
check` и `ruff format --check` — чисто (545 файлов); `make service_test` —
215 passed; `make run_docker` на новом проекте `mtusi-lab6` — см. дефект
ниже, после повторного `docker compose up -d --wait` все сервисы `healthy`
/ `running`; `make test` — PASS («lab6 public API scenario»); `make
student_test` — 223 passed, 1 failed: `test_exclusion_evidence_exists`
(ожидаемо, evidence не переносится). Нет 10 файлов:
`evidence/attachments/failover.md`, `evidence/attachments/storage.md`,
`evidence/auth/passwords-and-tokens.md`, `evidence/broker/isolated.md`,
`evidence/broker/stand.md`, `evidence/cache/hits.md`,
`evidence/idempotency/replay-after-restart.md`,
`evidence/queue/baseline4/summary.md`,
`evidence/replicas/test-persistence.md`,
`evidence/uploads/baseline/summary.md`. Сверка становится зелёной, когда
они сняты заново на стенде лабы 6 (`PLAN.md`, шаг 0 и последний шаг).
- Найден дефект первого старта RabbitMQ на пустом volume (`eacces` на
`.erlang.cookie` из-за healthcheck от root): `make run_docker` из чистого
clone падает на «dependency failed to start». Записан в `KNOWN_ISSUES.md`
с предложением правки, не исправлен: правка входит в первый change
(`PLAN.md`).
### Вопросы
Пока нет: решения пользователя — раздел «Ответы пользователя перед прогоном».
## otel-telemetry
Change `openspec/changes/archive/2026-11-11-otel-telemetry/` (propose и архив 2026-11-11). Номера —
решения design.
### Решения
- Развилки `PLAN.md` (раздел «1. `otel-telemetry`»): Collector — contrib 0.164.0, ради `tail_sampling` трека 1 (1); логи —
из SDK, процессором structlog в обеих цепочках, а не `filelog` по журналам Docker (2); метрики — `prometheus` exporter
Collector и scrape Prometheus, а не OTLP-приёмник Prometheus и не remote write (3); инструментирование — вручную в
единственных точках вызова, библиотек автоинструментирования нет: `instrumentation-sqlalchemy` 0.66b2 требует
`sqlalchemy<2.1`, а в lock 2.1.1 (4); relay и уборщик — без SDK до change 2 (5); `scripts/restart.sh` сервисы телеметрии
не трогает, история проверяется `telemetry-check` (6); начальные лимиты телеметрии — 2,5 CPU и 2048 МиБ, итог — по
замеру (7).
- Версии — последние патчи линий, вышедшие хотя бы за две недели до прогона: Prometheus v3.15.1, Loki 3.7.9, Tempo 3.1.1;
Grafana 13.3.1 — патч всех линий от 10.11 (1).
- Настройки — секция `[telemetry]`, по умолчанию выключено; стенд включает её окружением `api` и `worker`. Имена skeleton
`OTEL_*` не настройки: SDK собирается из явных значений, переменные `OTEL_*` удаляются из окружения процесса с `warning`
(8).
- `service.version` — версия контракта `1.6.0` (заодно `FastAPI(version=…)` вместо устаревшего 1.5.0), а не commit сборки
(9).
- API не продолжает входящий `traceparent` клиента: публичная точка входа (10).
- Класс статуса HTTP — первая цифра `http.response.status_code` в запросах; отдельной метки нет (10).
- Исход доставки worker (`ready`, `failed`, `retry`, `skipped`, `requeued`, `dropped`, `error`) возвращает сервис, метрику
и span пишет точка входа; меняется тип результата `handle` и быстрые тесты сервиса (11).
- Текст исключений в span не пишется — только класс ошибки; traceback — в журнале (10, 12).
- Закрытие SDK — со своим сроком в отдельном потоке: пробы — до 6 с на `shutdown()` при замороженном Collector (13).
- Grafana — без состояния (tmpfs), без загрузки плагинов, лишние встроенные источники выключены (проба: 368 → 251 МиБ) (16).
- Хранилища и Grafana — в отдельной сети `telemetry`, наружу — только Grafana на `127.0.0.1` (17).
- Collector, Loki и Tempo без healthcheck Docker: в образах нет оболочки и HTTP-клиента; живость — `up` в Prometheus (18).
- Брокер: healthcheck от пользователя брокера (`gosu rabbitmq`) — закрывает дефект первого старта (19).
- Консоль, `make test_isolated`, стенд отказов и `bench/` — без телеметрии (20).
- Проверка «стенд с нуля» — команда драйвера со своим проектом compose, которая сама удаляет свои volumes:
`make wipe_data` и `down -v` агенту запрещены (21).
- Apply (2026-11-11), подробности — design, «Уточнения apply»:
- `BREW` не доходит до приложения (парсер uvicorn, 400 текстом): `_OTHER` проверен на `PROPFIND`, дефект — в
`KNOWN_ISSUES.md` (п. 2);
- атрибуты сверх решения 12: `stored` у `SET` Valkey, `messenger.s3.result`, `error.type` = код у 5xx без исключения,
атрибуты процесса обработки (п. 3);
- закрытие SDK — по потоку на провайдер (п. 4); подтверждение доставки — внутри места конкуренции (п. 5);
- Grafana: выключены 15 встроенных источников, кроме prometheus, loki, tempo; сверх решения — получение ключей
плагинов, внешние снимки, ссылки обратной связи, gravatar (п. 6);
- `level=error` Loki «empty ring» на старте и Tempo «no jobs found» в простое — шум, не отказ (п. 7);
- `stand-from-scratch` останавливает рабочий стенд на время проверки (`make stop` / `docker compose start`) (п. 10);
- лимиты решения 7 подтверждены замером, не менялись (п. 11).
- Правки по verify (2026-11-11, design, «Уточнения apply», п. 13–18):
- дренаж API 9 с с включённой телеметрией — ошибка настроек с именем `app.graceful_shutdown_seconds` (8 + 1 с SDK ≤ 9
с), без телеметрии 9 с допустимы; у worker закрытие SDK — внутри прежнего окна 0,5 с (п. 13);
- экспортёры OTLP — своя `requests.Session` с `trust_env=False`: прокси окружения не действуют (п. 14);
- сценарий «Необычный метод и неизвестный путь» — на `PROPFIND` и `GET`, `BREW` — ограничение (п. 15);
- `telemetry-check`: ссылки лог ↔ трасса источников Grafana, нет рядов health, `service.instance.id` worker (п. 16);
- `stand-from-scratch --project` — только `mtusi-lab6-scratch[-…]`, иначе код 2 до docker (п. 17).
### Вопросы
Не блокируют работу; ответ меняет только указанное место.
1. Преподавателю: класс статуса HTTP («method, route template, status class») — допустимо ли выводить его из кода статуса в
запросах (`http_response_status_code=~"5.."`) без отдельной метки? Иначе — атрибут `http.response.status_class` в
middleware и в запросах dashboard.
2. Преподавателю: restart hook перезапускает API и хранилища бизнес-данных, но не хранилища телеметрии; сохранность истории
телеметрии показана отдельно (`evidence/telemetry/check.md`). Достаточно ли так? Иначе — строка в `scripts/restart.sh`.
3. Преподавателю: `service.version` — версия контракта, а не ревизия сборки. Иначе — аргумент сборки и четыре пути сборки
(design, решение 9).
4. Преподавателю: ответы, которые генерирует HAProxy (502, 503, 504), в метрики API не попадают, метрик HAProxy на уровне 3
нет. Для SLO уровня 4 это решает change `slo-alerts`.
**Решается в change `slo-alerts` (design, решение 2):** метрики HAProxy через Collector, SLI доступности — по ответам LB
клиентам; вопрос преподавателю о такой трактовке — `## slo-alerts`, вопрос 2.
5. **Отвечено 2026-11-11: с включённой телеметрией** («Ответы пользователя перед прогоном»). Пользователю: метки последнего шага (`make bench_uploads`, `make bench_queue`) по методике `bench/` снимаются с
выключенным SDK: «код лабы 6 с телеметрией» — код есть, телеметрия выключена. Если нужны метки с включённой телеметрией —
это профиль трека 1 (change `track1-telemetry-cost`) и другая методика.
6. Преподавателю (apply): сценарий `observability` «Необычный метод и неизвестный путь» назван методом `BREW`, а его
uvicorn отклоняет до приложения (400 не в формате контракта, `KNOWN_ISSUES.md`). Достаточно ли `_OTHER` на методе,
который доходит до приложения (`PROPFIND`)? Иначе — `http="h11"` у uvicorn или правило HAProxy (отдельный change).
7. Пользователю (apply): перед замерами для отчёта переснять `telemetry-check`, `telemetry-outage`,
`stand-from-scratch` и бюджет на закоммиченном коде — evidence сняты на незакоммиченном дереве поверх `9b35c25`.
Сделано частично: `telemetry-check` и `telemetry-outage` пересняты на `68f1e97`; замер бюджета на нём поднял лимиты
Tempo и Grafana (design, «Уточнения apply», п. 19); `budget.md` переснят на `4178b3d`. `stand-from-scratch` не
переснят: запуск команды агентом 2026-11-11 отклонил классификатор режима auto (вопрос 8), `evidence/stand/
from-scratch.md` — прежний, с рабочего дерева поверх `9b35c25`. Нужен запуск пользователем (`make stop`, `python3
.claude/skills/run-mtusi-messenger/driver.py stand-from-scratch --runs 2`, `docker compose start`) или разрешение.
8. Пользователю (verify W4): `driver.py stand-from-scratch` сам удаляет volumes своего проекта (`docker compose -p
mtusi-lab6-scratch… down -v` в начале, после каждого прогона и при Ctrl+C), а deny-правила `.claude/settings.local.json`
запрещают агенту `down -v`. Подтвердите, что так можно для одноразового проекта `mtusi-lab6-scratch*` (как у `make
failure_checks` со своим `<рабочий>-failures`). Имя проекта команда теперь принимает только по шаблону
`^mtusi-lab6-scratch(-[a-z0-9]+)?$`, иначе код 2 до вызовов docker. Настройки разрешений не менялись. Иначе —
убирать проект scratch руками пользователя, а команда только печатает команду уборки.
### Предложения на потом
Найдено verify, решено не исправлять в этом change.
- S2: evidence для сценария «Restart hook не трогает телеметрию» — по коду выполняется (`scripts/restart.sh` сервисы
телеметрии не называет), но вывода нет. Предложение: в `telemetry-check` или отдельной пробе — `StartedAt` сервисов
телеметрии до и после `make test-persistence ACTION_SCRIPT=scripts/restart.sh` (задача 11.5 его уже сверяет на глаз).
- S4: relay и уборщик SDK не запускают, но загружают его модули через `SqlAlchemyUnitOfWork` (`src/infra/db/uow.py` →
`src/infra/telemetry`): 139 модулей, RSS уборщика ~100 МиБ при ~90 МиБ в `docker.md`. Предложение для change 2: ленивый
импорт SDK в `src/infra/telemetry` (до `start`) или замер `memory.peak` relay и уборщика и правка `docker.md`.
Решено в change `job-trace-propagation` (design, решение 7): ленивый импорт.
## job-trace-propagation
Change `openspec/changes/archive/2026-11-11-job-trace-propagation/` (propose и архив 2026-11-11). Номера — решения design.
### Решения
- Развилки `PLAN.md` (раздел «2. `job-trace-propagation`»):
- parent или link — consumer span дочерний к контексту сообщения и с link на него (2): обработка по одному сообщению без
объемлющего span, semantic conventions messaging это допускают и требуют link; одна трасса на загрузку и цельная выборка
цепочки при head sampling трека 1. Span producer — на каждую публикацию, в клиенте брокера, дочерний к контексту загрузки,
сохранённому в задании (3, 4);
- источник очереди — relay: снимок по PostgreSQL раз в 5 с одним запросом по частичным индексам (проба — 0,31 мс), стадии
`scheduled`, `outbox`, `published`, `processing`, возраст старейшего незавершённого от устойчивого приёма (9); не
приёмник Collector (пароль PostgreSQL у Collector) и не метрики брокера (нет outbox и возраста);
- смесь версий при `make rolling_update` — строки и сообщения без контекста: span producer нет, consumer span — корень, как
на уровне 3; ни одна комбинация версий не даёт ошибки (6);
- `docker.sock` у Collector отвергнут (доступ к API Docker — root на ВМ): CPU и память — из cgroup v2 изнутри контейнеров
API, worker и relay (12).
- Carrier — заголовки AMQP `traceparent` и `tracestate`, тело сообщения по `contracts/jobs.schema.json` не меняется (1):
неверное значение в теле сделало бы сообщение «не по схеме» (`dropped`), а заголовок просто игнорируется;
`contracts/attachment-states.md` native headers допускает, отображение полей — в `REPORT.md`.
- Контекст в задании — колонки `attachment_jobs.traceparent`, `tracestate` (`text NULL`, CHECK `NOT VALID`), пишет загрузка
через зависимость API; сервис телеметрию не импортирует (4).
- Sampler — `ParentBased(ALWAYS_ON)`: при 100 % то же, флаг выборки контекста задания соблюдается; baggage не переносится (5).
- SDK в relay (`messenger-relay`); у уборщика и команды replay SDK нет; модули SDK грузятся только при запуске телеметрии —
закрывает S4 change `otel-telemetry` (проба: −322 модуля и −10 МиБ RSS) (7).
- `handle()` worker возвращает DTO итога доставки (исход, попытка, причина, код ошибки, время до готовности); время до
готовности — от записи задания до фиксации `ready`, задания после replay не учитываются (8).
- Пул — `db.client.connection.*` semantic conventions; ожидающие и отказы по сроку считает пул `CountingQueuePool` (публичный
`Pool.connect()`), фабрика engine о телеметрии не знает (10).
- Насыщение worker — занятые места, ёмкость, ожидающие места доставки и среднее за окно по сумме длительностей (11).
- Без `messaging.message.id` и без span Create и Settle: `id` задания в span — против решения 12 change `otel-telemetry`,
подтверждение — внутри consumer span (13, Non-Goals).
- Новых параметров `[telemetry]` нет: интервал и срок свежести снимка очереди, границы времени до готовности — константы.
- Dashboard уровня 4 — тот же `messenger-overview.json` (без нового bind mount и `configs` CI) (14); проверка — одна команда
драйвера `trace-chain` (16).
- Apply (design, «Уточнения apply»): redis-py 8.1 сам грузит модули метрик SDK — тест ленивого импорта сравнивает с `import
redis.asyncio` (п. 1); запись о недоступных метриках контейнера — только stdout (п. 3); раскладка модулей пакета (п. 4);
поля итога у `skipped` и `requeued` (п. 5); снимок после полного пакета (п. 6); Tempo собирает трассу повтора и replay — решение
2 прежнее (п. 7); `trace-chain` складывает счётчики двух процессов worker и запускает их `docker start` (п. 8); relay в
`telemetry-outage` (п. 9); память уборщика (п. 10); логгер пула на WARNING (п. 11); бюджет relay без изменения лимита (п. 12);
evidence раздела 12 на `72cfa9a`: «ревизия до и после» через откат реплик на `ff0073e` и `downgrade -1` (п. 13), Grafana
сверх правила 1,5 × пика (п. 14, вопрос 6), предусловие `trace-chain` на нетихом стенде (п. 15), возврат сигналов relay
после `docker start` в `telemetry-outage` (п. 16).
### Вопросы
Не блокируют работу; ответ меняет только указанное место.
1. Преподавателю: «End-to-end time to ready — от durable acceptance до публикации ready» измеряется от записи задания (та же
транзакция, что `queued`, до ответа 202) до фиксации `ready`, а задания после replay не учитываются: их приём — действие
оператора. Достаточно ли так? Иначе — время replay из аудита `attachment_job_replays` (worker, решение 8).
2. Преподавателю: «process/container CPU/RAM» — только у процессов с SDK (реплики API, worker вместе с процессами обработки,
relay), из их cgroup; PostgreSQL, S3, брокер, LB и уборщик не представлены, потому что сокет Docker у Collector — root на
ВМ. Достаточно ли? Иначе — `docker_stats` или cAdvisor с названной ценой (решение 12).
3. Преподавателю: «Queue depth» — логическая очередь заданий по стадиям из PostgreSQL (outbox, отложенные повторы, в брокере,
в обработке), а не счётчик очереди RabbitMQ: очередь брокера — стадия `published`. Достаточно ли? Иначе — плагин
`rabbitmq_prometheus` и доступ к брокеру из сети телеметрии (решение 9).
4. Пользователю (apply): сценарий `observability` «Модули SDK без телеметрии не загружаются» буквально не выполним, пока
установлен SDK: redis-py 8.1 при импорте сам грузит `opentelemetry.sdk.metrics` (35 модулей). Экспортёра, провайдеров
трасс и логов, protobuf и `requests` нет; экономия ленивого импорта — ~6,5 МиБ и ~200 модулей. Принять как есть (тест
сравнивает с `import redis.asyncio`) или уточнить сценарий в archive («кроме модулей, которые загружают сторонние
библиотеки»)? Ответ меняет только формулировку сценария и докстринг теста (design, «Уточнения apply», п. 1).
**Закрыт на verify (W1):** сценарий и требование переформулированы по фактической проверке — нет провайдеров и модулей
SDK трасс и журнала, экспортёра, protobuf и `requests`, модулей SDK метрик не больше, чем у `import redis.asyncio`
(design, «Уточнения apply», п. 17); тест прежний.
5. Пользователю (apply): `memory.peak` уборщика на рабочем стенде — 176 МиБ при лимите 256 (плановая сверка при старте);
правило «лимит ≥ 1,5 × пика» для него не выполнено (264). Поднять лимит до 288 МиБ (сумма стенда +32 МиБ, до ВМ остаётся
222 МиБ) или оставить: пик — сверка, а не этот change? Ответ — правка `docker-compose.yml`, `docker.md` и `REPORT.md`
(design, «Уточнения apply», п. 10). Замер задачи 12.4 на `72cfa9a` (свежая cgroup, плановая сверка при старте, затем
`make test` + `make load` + `make student_test` + `trace-chain`) — пик 107,7 МиБ, правило выполнено (162 ≤ 256): 176 МиБ
был у прежнего контейнера, пик зависит от прохода сверки (`evidence/telemetry/budget.md`, раздел change).
6. Пользователю (apply, задача 12.4): `memory.peak` Grafana — 343,2 МиБ при лимите 512 (1,5 × пик = 515 > 512), в замерах
`otel-telemetry` — 248–294. Пик набран сразу после рестарта Grafana в `telemetry-outage` и включает файловый кэш (`anon`
188, `file` 95 МиБ; `docker stats` — до 261). По правилу `telemetry.md` (`memory.peak`) лимит не выполнен на 3 МиБ;
лимит Grafana — не предмет change, код и compose не менялись. Поднять до 576 МиБ (сумма стенда +64 МиБ, до ВМ остаётся
190 МиБ), мерить без кэша (`anon` + `kernel`) или оставить? Ответ — правка `docker-compose.yml`, `docker.md`,
`REPORT.md` и `budget.md` (решает verify).
**Закрыт на verify (W5):** мерить без кэша — `memory.peak` включает файловый кэш, который ядро освобождает до OOM;
неосвобождаемая часть `anon` + `kernel` + `shmem` ≈ 197 МиБ, 1,5 × ≈ 296 ≤ 512, лимит не меняется. Правило «что считать
пиком» — `telemetry.md` и `docker.md`, вывод `budget.md` и `REPORT.md` исправлены (design, «Уточнения apply», п. 21).
### Решения apply по verify
- W2–W4, S2–S4 исправлены (design, «Уточнения apply», п. 18–20, 22–24; `tasks.md`, раздел 13). Без пользователя решено:
`telemetry-outage` проверяет возврат сигналов в первом окне каждого вида и останавливает процессы во втором окне того же
вида (команда ~3,5 мин); непредвиденная ошибка снимка очереди relay повторяется не чаще интервала снимка (5 с), а не на
каждом проходе; панель пула — две оси с разными единицами, а не две панели (раскладка строки «Saturation» прежняя);
`trace-chain` на нетихом стенде — код 2, как «нет стенда».
### Предложения на потом
- S1 (verify, для change `slo-alerts`): `increase()` недосчитывает после рестарта worker — новый процесс начинает
counter с нуля под тем же `instance`, и если он насчитал больше прежнего, Prometheus сброса не видит (`trace-chain`
складывает «тихие» значения двух процессов, «Уточнения apply», п. 8). Для правил SLO и alert это занижение ошибок и
готовых заданий. Варианты: created timestamps Prometheus 3 (`created-timestamp-zero-ingestion`: Collector-экспортёр
должен отдавать `_created`, проверить) или окна правил длиннее типичного времени жизни процесса с оговоркой в runbook;
либо `service.instance.id` с суффиксом запуска процесса (меняет число рядов — цена в кардинальности).
Решается в change `slo-alerts` (design, решение 6): экспортёр Collector отдаёт время начала ряда только в protobuf —
scrape `PrometheusProto` и `created-timestamp-zero-ingestion`, срок рядов экспортёра 1 мин; быстрый перезапуск того же
процесса (быстрее ~75 с) остаётся ограничением.
## slo-alerts
Change `openspec/changes/slo-alerts/` (propose 2026-11-11). Номера — решения design.
### Решения
- Пользователь (2026-11-11, на propose, через основную сессию): бюджет ВМ — не ограничение при выборе; новые сервисы
(Alertmanager и любые другие) брать, если они дают пользу, и не отвергать вариант из-за суммы лимитов. Сумма лимитов
по-прежнему считается и записывается (`docker.md`, `REPORT.md`), даже если она больше ВМ.
- Пользователь (2026-11-11): ресурсы ВМ Docker Desktop можно увеличить; если сумма лимитов стенда превышает ВМ (12 CPU /
7934 МиБ) или запаса не хватает, решение не урезается, а отчёт называет отдельной строкой, сколько CPU и памяти нужно ВМ и
почему (вопрос 1).
- Развилки `PLAN.md` (раздел «3. `slo-alerts`»):
- правила Prometheus (файл в git, `promtool test rules`), а не правила Grafana (3);
- Alertmanager не ставится — по функции, а не по бюджету: доставки нет, состояние и история firing / resolved — в
Prometheus (`ALERTS`) и Grafana, подавление зависимых оповещений нужно в одном месте и выражено в условии (3).
- SLI доступности — на публичном frontend LB, вместе с ответами самого LB (502, 503, 504); источник — встроенный экспортёр
HAProxy, его забирает Collector (приёмник `prometheus`), сеть хранилищ прежняя (2). Закрывает вопрос 4 `## otel-telemetry`.
- SLO: доступность 99,5 %, задержка «лёгких» ручек не дольше 0,25 с — 99 %, время до `ready` не дольше 30 с — 99 %; окно —
скользящие 7 суток (срок хранения Prometheus); правила записи — приращения событий за 5 мин (1).
- Оповещения — семь, пороговые, окна 2 мин, `for` от 30 с до 2 мин; runbook — файл `infra/otel/runbooks/<имя>.md`,
`runbook_url` — путь в репозитории (4, 5).
- S1 `## job-trace-propagation`: время начала рядов экспортёра Collector по protobuf и `created-timestamp-zero-ingestion`
Prometheus, срок рядов экспортёра 1 мин (6); проба — `resets` 1 и `increase` 25,5 при 25 настоящих против 0 и 15,6.
- Collector: очереди экспорта Loki 16 МиБ и Tempo 8 МиБ по байтам, два отправителя, повторы до 30 с, без блокировки приёма
(7).
- SDK: очереди и сроки прежние; внутренние метрики SDK (`otel.sdk.*`) включает код на время конструирования, а не поле
`[telemetry]` и не внешняя `OTEL_*` (8).
- Учёт потерь — сумма счётчиков по процессу, а не `increase()`: первая потеря нового ряда учитывается (9).
- Без histogram длительности запросов PostgreSQL: для инцидента 2 хватает span БД, пула и CPU реплик (Non-Goals, как
JTP-10).
- Проверки — `make alerts_test` (и в CI), команды драйвера `alerts-check` и `backend-outage`; медленная БД — блокировка
таблицы сообщений в отдельной сессии PostgreSQL, а не лимит CPU контейнера (11).
- Пользователь (2026-11-11, во время apply): ВМ Docker Desktop перезапущена с памятью 12 ГБ — `docker info`: 12 CPU,
MemTotal 11 902 МиБ. Это ответ на вопрос 1: строки бюджета в `docker.md` и `REPORT.md` — по новой ВМ.
### Решения apply
Без пользователя; подробности и отклонения — design, «Уточнения apply».
- Тест внутренних метрик экспортёра OTLP — через `Exporters(spans=None, logs=None)` и подставную `requests.Session.send`;
`otlp_exporters()` разделён на три функции (п. 1).
- Глобальные протоколы scrape — список Prometheus 3.15.1 по умолчанию, снятый с `/api/v1/status/config` (п. 4).
- Нагрузка драйвера — 6 потоков записи и 1 чтения: иначе блокировка таблицы сообщений не даёт 10 % медленных «лёгких»
запросов (п. 7).
- `telemetry-check` проверяет ещё метрики LB (сценарии «Метрики балансировщика без доступа к сети хранилищ» и
`load-balancing` «Метрики балансировщика»), а обход панелей всех команд подменяет `$__range` на `1h` (пп. 5, 6).
- Span PostgreSQL с ошибкой при остановленной БД — наблюдение, не проверка: отказ на выдаче соединения span запроса не
создаёт (п. 9).
- Сверка SLI за час «по исходным счётчикам» — сумма `increase(…[5m])` исходных селекторов в тех же окнах, что у правил;
`increase` за час одним окном — наблюдение: непересекающиеся окна теряют приращение на границах, а при остановленном
Prometheus окна нет (п. 12). Пауза блокировки 0,2 с вместо 0,5, нагрузка — чтение раз в 1 с, 3 потока входа, 20
хороших загрузок перед шагами (п. 7, 12).
- «Ожидающих соединения пула нет» проверяется как «пул не занят целиком и отказов по сроку нет»: счёт `pending` включает
проверку при выдаче и открытие соединения (п. 14).
Вопрос verify: устраивает ли такая трактовка двух сценариев спека («SLO считается» — те же окна; «Медленный handler» —
место в пуле, а не мгновенный `pending`)? Иначе — правка спека или новый счётчик «ждут места» отдельно от открытия.
**Ответ verify (2026-11-14):** трактовка устраивает, новых счётчиков не нужно — исправлен текст двух сценариев дельты
`observability` под проверку; у доступности и задержки `alerts-check` сверяет ещё и с `increase` одним окном часа
(design, «Уточнения apply», п. 18).
- Evidence раздела 11 — на commit `15ea156` без правок кода; `rules-test.md` от 2026-11-11 оставлен (повторный прогон —
тот же вывод); пик Collector в долгом отказе хранилища — по `docker stats` и метрикам Collector, а не по
`memory.peak`: шаг отказа Collector в той же команде начинает новую cgroup (design, «Уточнения apply», п. 16).
### Решения apply по verify
Без пользователя (verify 2026-11-14, tasks, раздел 12); подробности — design, «Уточнения apply», пп. 17–22.
- Ноль ряда потерь процесса SDK — по ряду ёмкости очереди span (`… or sum by (job, instance)
(otel_sdk_processor_span_queue_capacity) * 0`), как предложил verify; у Collector отдельной части не нужно: его ряды
`otelcol_receiver_refused_*` есть с нуля со старта (п. 17).
- Описание с текущим значением там, где `$value` пустое по смыслу (`absent()`, `up == 0`), — возраст последнего снимка
очереди и число недоступных целей шаблоном `query` (п. 21).
- Проверка «Без потерь» в `telemetry-check` ждёт тихого стенда до 330 с (окно `rate()` панели 5 мин), а не падает сразу:
иначе прогон сразу после `backend-outage` видел бы его потери (п. 22).
- Срок медленной БД — 4 мин в спеке и драйвере (п. 20).
### Вопросы
Не блокируют работу; ответ меняет только указанное место.
1. Пользователю: ресурсы ВМ Docker Desktop. Сейчас у ВМ 12 CPU (все ядра хоста) и 7934 МиБ из 18 ГиБ хоста; лимиты стенда —
постоянные 11,5 CPU / 7296 МиБ, с одноразовыми 12,5 CPU / 7680 МиБ (до замера этого change: новых сервисов нет, лимит
Collector может вырасти по замеру), а контейнеры `make test_isolated` рядом (API, worker и relay теста) добавляют
2,25 CPU / 1792 МиБ. CPU больше не дать: лимиты — доли времени, сумма больше 12 значит конкуренцию, а не отказ. Памяти,
чтобы лимиты стенда с одноразовыми и `make test_isolated` помещались вместе с накладными ВМ (~0,5–1 ГиБ), нужно не меньше
~11 ГиБ; рекомендация — 12 ГиБ. Точные числа — после замера apply (`docker.md`, `REPORT.md`). Увеличить память ВМ?
Ответ меняет только строку ВМ в `REPORT.md` и `docker.md`. **Ответ (2026-11-11):** пользователь увеличил память ВМ до
12 ГБ (MemTotal 11 902 МиБ); с одноразовыми и `make test_isolated` — 9472 МиБ лимитов, запас ~2,4 ГиБ.
2. Преподавателю: SLI доступности и оповещение о доле ошибок считаются по ответам клиентам на LB (включая сгенерированные LB
502, 503, 504 и health через LB), а «доля ошибок» контракта (5xx API / бизнес-запросы без health) осталась отдельной
панелью. Допустимо? Иначе — SLI по метрикам API с отдельным счётом ответов LB в числителе (правила записи и панель).