ЛР 6 — БВТ2301 — Сафронов — на 5 #62

Open
ricoroma wants to merge 37 commits from ricoroma/mtusi2026lab6-safronov:solution/bvt2301-safronov into main
First-time contributor

Лабораторная 6

Автор / группа: Сафронов Роман Николаевич, БВТ2301
Целевая оценка (3/4/5): 5
Трек 5, если заявлен: трек 1 «Цена наблюдаемости»

Что реализовано и что перенесено

Перенесено из лабы 5 (mtusi2026lab5-safronov, commit 046ec9e; перенос — commit 9cc6c0c) без изменения бизнес-API:
≥ 2 реплики API за HAProxy, PostgreSQL, кэш Valkey, приватный S3 (SeaweedFS), RabbitMQ, relay (outbox), worker, уборщик,
идемпотентность, make rolling_update. contracts/openapi.json лабы 6 отличается от лабы 5 только info, публичные tests/
те же.

Сделано в лабе 6 — четыре change OpenSpec (openspec/changes/archive/):

  • otel-telemetry (уровень 3): SDK OpenTelemetry 1.45.2 в API и worker, Collector contrib 0.164.0, Prometheus 3.15.1,
    Loki 3.7.9, Tempo 3.1.1, Grafana 13.3.1 с provisioning из git; сигналы уровня 3; логи с trace_id / span_id.
  • job-trace-propagation (уровень 4): контекст W3C загрузки сохраняется в задании → relay создаёт span producer и кладёт
    traceparent / tracestate в заголовки AMQP → worker создаёт consumer span (parent + link). Одна трасса на загрузку,
    включая повторы и replay. Метрики: время до ready, глубина и возраст очереди, пул БД, насыщение worker, CPU и память
    контейнеров из cgroup (без сокета Docker).
  • slo-alerts (уровень 4): три SLI / SLO с окном 7 суток (доступность на LB 99,5 %, задержка «лёгких» ручек ≤ 0,25 с
    для 99 %, время до ready ≤ 30 с для 99 %), 7 оповещений Prometheus с тестами promtool и runbooks, метрики HAProxy,
    ограниченные очереди экспорта Collector, учёт потерь телеметрии.
  • track1-telemetry-cost (уровень 5, трек 1): head sampling и набор границ histogram настройками, профиль
    make bench_telemetry, сбалансированная конфигурация bench/otel/.

Где что лежит (по разделу README «Что должно быть в PR»):

Что Где
Конфигурация Collector infra/otel/collector.yaml
Конфиги хранилищ infra/otel/prometheus/prometheus.yml, infra/otel/loki/loki.yaml, infra/otel/tempo/tempo.yaml
Provisioning и dashboard Grafana infra/otel/grafana/datasources.yaml, dashboards.yaml, dashboards/messenger-overview.json
Alert rules infra/otel/prometheus/rules.yml, тесты rules.test.yml, runbooks infra/otel/runbooks/
Схема сигналов REPORT.md, раздел «Наблюдаемость»: сигналы уровней 3 и 4, ресурс, соответствие OTEL_*
Отчёт об инцидентах REPORT.md, раздел «SLO, оповещения и инциденты»

Команды запуска из чистого clone

git checkout solution/bvt2301-safronov
make run_docker      # .env и config.toml со случайными секретами, сборка, стенд с телеметрией
make replicas        # дождаться healthy реплик
make check && make test
make student_test
make test-persistence ACTION_SCRIPT=scripts/restart.sh
make test-failover ACTION_SCRIPT=scripts/stop-one.sh && make replicas
make alerts_test

Действий оператора нет. Grafana — http://127.0.0.1:3000, пользователь admin, пароль — GRAFANA_ADMIN_PASSWORD из .env;
dashboard «Messenger overview» загружается из provisioning. Подробно, включая остановку и удаление данных, —
REPORT.md, «Запуск из чистого clone».

Результаты проверок

Отчёт — REPORT.md, сводная таблица — раздел «Доказательства критериев». Реальный вывод команд — в evidence/.

  • make check, make validate, make lint, make alerts_test — PASS (evidence/tests/final-checks.md).
  • make test при включённой телеметрии — PASS: lab6 public API scenario (evidence/tests/clean-clone.md,
    evidence/telemetry/collector-outage.md).
  • make student_test через LB — 224 passed; make test_isolated — 218 passed, 6 skipped; make failure_checks — 147 passed;
    make service_test / service_test_db — 335 / 88 passed (evidence/tests/).
  • make test-persistence и make test-failover (stop и kill) — PASS (evidence/replicas/test-persistence.md,
    evidence/failover/test-failover.md).
  • Стенд из чистого clone и с нуля одной командой — evidence/tests/clean-clone.md, evidence/stand/from-scratch.md.
  • CI — свой job .github/workflows/application.yml на Gitea, success (evidence/tests/ci-application.md).
  • Уровень 3 — evidence/telemetry/check.md: свой запрос → запись в Loki → трасса в Tempo, задание → трасса и запись worker.
  • Уровень 4:
    • evidence/telemetry/trace-chain.md — одна трасса загрузки с повтором и replay;
    • evidence/alerts/check.md — оповещения firing → resolved: остановленный worker, медленная и недоступная БД
      (медленная БД отличена от медленного handler);
    • evidence/telemetry/backend-outage.md — отказ Loki, Tempo, Prometheus и Collector под нагрузкой: 5xx 0, память
      ограничена, потери телеметрии посчитаны.
  • Уровень 5 — evidence/telemetry-cost/baseline2/summary.md, 7 вариантов × 3 повтора при одной нагрузке:
    • полная телеметрия против выключенной — +26 % CPU реплик на запрос и +31 мс к p99;
    • head sampling 10 % — +11 %, но теряется ~90 % трасс ошибок;
    • tail sampling и сбалансированная конфигурация — приём Tempo 12 % и 11 % от полной, все внесённые ошибки сохранены,
      цена в приложении как у полной;
    • гипотезы H1, H2, H4, H6, H8 подтверждены; H3, H5, H7 — нет, разбор в отчёте.

Ограничения / известные ошибки

  • Сбалансированная конфигурация не прошла собственный критерий B4: правила Collector не снижают цену в приложении,
    снижает её только head sampling. Рабочий стенд оставлен со 100 % трасс.
  • При типовом tail sampling одна трасса медленной записи из 75 не дошла до Tempo, причина не установлена (поэтому H3 и H5
    не подтверждены).
  • Оповещения пороговые, без burn-rate (трек 2 не выбран); Alertmanager и доставки наружу нет, состояние firing / resolved —
    в Prometheus и Grafana.
  • OTLP без аутентификации и TLS — до лабы 7.
  • CPU и память видны только у процессов с SDK (API, worker, relay): сокет Docker никому не монтируется.
  • Метка evidence/queue/baseline4/ снята с dirty: true: в рабочем дереве были только незакоммиченные отчёт и каталог
    предыдущей метки, образ их не читает. Разбор — в REPORT.md.
  • KNOWN_ISSUES.md — 11 открытых записей, у каждой — предложение правки.
  • Согласования с преподавателем лаб 1–4 действуют, новых в лабе 6 нет.

Источники и использование ИИ

Документация из README задания (OTel Collector configuration, OTel propagation, W3C Trace Context, Prometheus histograms,
Grafana provisioning), semantic conventions OpenTelemetry (HTTP, database, messaging), документация tail_sampling,
правил Prometheus и promtool, Loki и Tempo. Новые библиотеки — opentelemetry-api, opentelemetry-sdk,
opentelemetry-exporter-otlp-proto-http 1.45.2, без автоинструментирования.

Код, тесты, конфигурации, снятие доказательств и отчёт сделаны с помощью Claude Code (Anthropic) по циклу OpenSpec:
предложение → реализация → проверка → правки → архивация. Выбор оценки, трека, хранилищ и ключевые решения — мои. Каждый
файл evidence/ снят командой из его шапки на стенде этой лабы. Подробно — REPORT.md, последний раздел.

Вопросы преподавателю

Ни один не блокирует: сделан названный вариант, другой ответ — небольшая правка.

Лаба 6

  1. Класс статуса HTTP в метриках. Контракт требует измерение «класс статуса». Мы пишем точный код ответа (как в
    OpenTelemetry), а класс получаем в запросе Prometheus (http_response_status_code=~"5.."). Это засчитывается, или нужна
    отдельная метка класса?
  2. Restart hook и хранилища телеметрии. scripts/restart.sh перезапускает API, PostgreSQL, Valkey, S3 и брокер, но не
    Prometheus, Loki и Tempo. То, что их история переживает рестарт, проверено отдельно (evidence/telemetry/check.md). Нужно
    ли добавить их в hook?
  3. service.version. Сейчас это версия контракта API (1.6.0). Или лучше git commit образа?
  4. Нестандартный HTTP-метод. BREW до приложения не доходит: uvicorn сам отвечает 400. Поэтому попадание в метрики как
    _OTHER проверено на PROPFIND. Это засчитывается?
  5. Начало отсчёта «времени до ready». Считаем от записи задания в PostgreSQL (после неё клиент получает 202) до
    фиксации ready. Задания после ручного replay не учитываются. Так правильно?
  6. CPU и память каких контейнеров показывать. Показываем только API, worker и relay — каждый читает свою cgroup. Для
    PostgreSQL, S3, брокера и LB нужен сокет Docker, а это root на ВМ. Достаточно?
  7. Глубина очереди. Считаем все незавершённые задания по стадиям из PostgreSQL (не отправлены, ждут повтора, в брокере,
    в обработке), а не счётчик RabbitMQ: при упавшем relay очередь брокера пуста, а работа копится. Так можно?
  8. Доступность для SLO. SLO 99,5 % считаем по ответам клиентам на HAProxy, вместе с его 502/503/504: когда все реплики
    лежат, метрики API ошибок не видят. Доля ошибок по определению контракта (5xx API / бизнес-запросы) — отдельная панель.
    Так можно?
  9. Трек 1: объём эксперимента. Одна интенсивность ниже насыщения, 7 вариантов × 3 повтора. Этого достаточно, или нужна
    вторая интенсивность?
  10. Трек 1: внесённые редкие события. Ошибки и медленные запросы созданы нарочно, в известном числе: вложение без
    объекта в S3 (500), недекодируемый JPEG (failed), регистрация, короткая блокировка таблицы сообщений. Допустимы такие
    воздействия?

Перенесены из лаб 4 и 5, ответа пока нет

  1. Перегрузка загрузок (заняты все места или больше 250 незавершённых заданий) — 429 с Retry-After, а не 503: зависимости
    живы, а здоровая реплика должна оставаться в LB. Так можно?
  2. Оригинал вложения пропал из S3 и сверка пометила его потерянным: метаданные — 200, скачивание — 404, прикрепление к
    новому сообщению — 201. Контракт этот случай не описывает. Так можно?
  3. Сообщение отправлено, потом его вложение ушло в failed, клиент повторяет с тем же Idempotency-Key — возвращаем
    прежний 201 (приоритет у идемпотентности), хотя прикреплять failed нельзя (409). Так правильно?
  4. EXIF-поворот у crop и optimized тоже, хотя контракт требует его только у thumbnail; crop (JPEG) — на белом фоне,
    optimized (WebP) сохраняет прозрачность. Так можно?
  5. Replay — make replay в контейнере, HTTP-ручки нет: в API нет роли оператора. Так можно?
  6. Картинка не уложилась в лимиты процесса обработки (время или память) — код invalid_image, точная причина — в журнале.
    Или нужен отдельный код в enum контракта?
  7. Варианты, которые неудачная попытка успела записать в S3, удаляются по тому же сроку, что неуспешные исходники;
    метаданные failed остаются. Так можно?
  8. При остановленном worker загрузки принимаются (202), пока незавершённых заданий меньше 250, дальше — 429. Так можно?
  9. Процесс декодирования может прочитать окружение worker через /proc/1/environ. Закрывается одной строкой
    (PR_SET_DUMPABLE=0). Нужно ли это на уровне лабы?

Чек-лист

  • Весь обязательный минимум текущей и предыдущих работ сохранён с объявленными переходами.
  • Контракт и публичные тесты не ослаблены.
  • make check и make test выполнены; приложен реальный вывод.
  • Сценарии отказов/безопасности своего уровня воспроизведены.
  • Все секреты и приватные ключи находятся вне Git; отчёт не содержит tokens.
  • README задания сохранён, REPORT.md содержит инструкцию именно моего решения.
## Лабораторная 6 Автор / группа: Сафронов Роман Николаевич, БВТ2301 Целевая оценка (3/4/5): 5 Трек 5, если заявлен: трек 1 «Цена наблюдаемости» ### Что реализовано и что перенесено **Перенесено из лабы 5** (`mtusi2026lab5-safronov`, commit `046ec9e`; перенос — commit `9cc6c0c`) без изменения бизнес-API: ≥ 2 реплики API за HAProxy, PostgreSQL, кэш Valkey, приватный S3 (SeaweedFS), RabbitMQ, relay (outbox), worker, уборщик, идемпотентность, `make rolling_update`. `contracts/openapi.json` лабы 6 отличается от лабы 5 только `info`, публичные `tests/` те же. **Сделано в лабе 6** — четыре change OpenSpec (`openspec/changes/archive/`): - `otel-telemetry` (уровень 3): SDK OpenTelemetry 1.45.2 в API и worker, Collector contrib 0.164.0, Prometheus 3.15.1, Loki 3.7.9, Tempo 3.1.1, Grafana 13.3.1 с provisioning из git; сигналы уровня 3; логи с `trace_id` / `span_id`. - `job-trace-propagation` (уровень 4): контекст W3C загрузки сохраняется в задании → relay создаёт span producer и кладёт `traceparent` / `tracestate` в заголовки AMQP → worker создаёт consumer span (parent + link). Одна трасса на загрузку, включая повторы и replay. Метрики: время до `ready`, глубина и возраст очереди, пул БД, насыщение worker, CPU и память контейнеров из cgroup (без сокета Docker). - `slo-alerts` (уровень 4): три SLI / SLO с окном 7 суток (доступность на LB 99,5 %, задержка «лёгких» ручек ≤ 0,25 с для 99 %, время до `ready` ≤ 30 с для 99 %), 7 оповещений Prometheus с тестами `promtool` и runbooks, метрики HAProxy, ограниченные очереди экспорта Collector, учёт потерь телеметрии. - `track1-telemetry-cost` (уровень 5, трек 1): head sampling и набор границ histogram настройками, профиль `make bench_telemetry`, сбалансированная конфигурация `bench/otel/`. **Где что лежит** (по разделу README «Что должно быть в PR»): | Что | Где | | --- | --- | | Конфигурация Collector | `infra/otel/collector.yaml` | | Конфиги хранилищ | `infra/otel/prometheus/prometheus.yml`, `infra/otel/loki/loki.yaml`, `infra/otel/tempo/tempo.yaml` | | Provisioning и dashboard Grafana | `infra/otel/grafana/datasources.yaml`, `dashboards.yaml`, `dashboards/messenger-overview.json` | | Alert rules | `infra/otel/prometheus/rules.yml`, тесты `rules.test.yml`, runbooks `infra/otel/runbooks/` | | Схема сигналов | `REPORT.md`, раздел «Наблюдаемость»: сигналы уровней 3 и 4, ресурс, соответствие `OTEL_*` | | Отчёт об инцидентах | `REPORT.md`, раздел «SLO, оповещения и инциденты» | ### Команды запуска из чистого clone ```sh git checkout solution/bvt2301-safronov make run_docker # .env и config.toml со случайными секретами, сборка, стенд с телеметрией make replicas # дождаться healthy реплик make check && make test make student_test make test-persistence ACTION_SCRIPT=scripts/restart.sh make test-failover ACTION_SCRIPT=scripts/stop-one.sh && make replicas make alerts_test ``` Действий оператора нет. Grafana — `http://127.0.0.1:3000`, пользователь `admin`, пароль — `GRAFANA_ADMIN_PASSWORD` из `.env`; dashboard «Messenger overview» загружается из provisioning. Подробно, включая остановку и удаление данных, — `REPORT.md`, «Запуск из чистого clone». ### Результаты проверок Отчёт — `REPORT.md`, сводная таблица — раздел «Доказательства критериев». Реальный вывод команд — в `evidence/`. - `make check`, `make validate`, `make lint`, `make alerts_test` — PASS (`evidence/tests/final-checks.md`). - `make test` при включённой телеметрии — `PASS: lab6 public API scenario` (`evidence/tests/clean-clone.md`, `evidence/telemetry/collector-outage.md`). - `make student_test` через LB — 224 passed; `make test_isolated` — 218 passed, 6 skipped; `make failure_checks` — 147 passed; `make service_test` / `service_test_db` — 335 / 88 passed (`evidence/tests/`). - `make test-persistence` и `make test-failover` (stop и kill) — PASS (`evidence/replicas/test-persistence.md`, `evidence/failover/test-failover.md`). - Стенд из чистого clone и с нуля одной командой — `evidence/tests/clean-clone.md`, `evidence/stand/from-scratch.md`. - CI — свой job `.github/workflows/application.yml` на Gitea, `success` (`evidence/tests/ci-application.md`). - Уровень 3 — `evidence/telemetry/check.md`: свой запрос → запись в Loki → трасса в Tempo, задание → трасса и запись worker. - Уровень 4: - `evidence/telemetry/trace-chain.md` — одна трасса загрузки с повтором и replay; - `evidence/alerts/check.md` — оповещения firing → resolved: остановленный worker, медленная и недоступная БД (медленная БД отличена от медленного handler); - `evidence/telemetry/backend-outage.md` — отказ Loki, Tempo, Prometheus и Collector под нагрузкой: 5xx 0, память ограничена, потери телеметрии посчитаны. - Уровень 5 — `evidence/telemetry-cost/baseline2/summary.md`, 7 вариантов × 3 повтора при одной нагрузке: - полная телеметрия против выключенной — +26 % CPU реплик на запрос и +31 мс к p99; - head sampling 10 % — +11 %, но теряется ~90 % трасс ошибок; - tail sampling и сбалансированная конфигурация — приём Tempo 12 % и 11 % от полной, все внесённые ошибки сохранены, цена в приложении как у полной; - гипотезы H1, H2, H4, H6, H8 подтверждены; H3, H5, H7 — нет, разбор в отчёте. ### Ограничения / известные ошибки - Сбалансированная конфигурация не прошла собственный критерий B4: правила Collector не снижают цену в приложении, снижает её только head sampling. Рабочий стенд оставлен со 100 % трасс. - При типовом tail sampling одна трасса медленной записи из 75 не дошла до Tempo, причина не установлена (поэтому H3 и H5 не подтверждены). - Оповещения пороговые, без burn-rate (трек 2 не выбран); Alertmanager и доставки наружу нет, состояние firing / resolved — в Prometheus и Grafana. - OTLP без аутентификации и TLS — до лабы 7. - CPU и память видны только у процессов с SDK (API, worker, relay): сокет Docker никому не монтируется. - Метка `evidence/queue/baseline4/` снята с `dirty: true`: в рабочем дереве были только незакоммиченные отчёт и каталог предыдущей метки, образ их не читает. Разбор — в `REPORT.md`. - `KNOWN_ISSUES.md` — 11 открытых записей, у каждой — предложение правки. - Согласования с преподавателем лаб 1–4 действуют, новых в лабе 6 нет. ### Источники и использование ИИ Документация из README задания (OTel Collector configuration, OTel propagation, W3C Trace Context, Prometheus histograms, Grafana provisioning), semantic conventions OpenTelemetry (HTTP, database, messaging), документация `tail_sampling`, правил Prometheus и `promtool`, Loki и Tempo. Новые библиотеки — `opentelemetry-api`, `opentelemetry-sdk`, `opentelemetry-exporter-otlp-proto-http` 1.45.2, без автоинструментирования. Код, тесты, конфигурации, снятие доказательств и отчёт сделаны с помощью Claude Code (Anthropic) по циклу OpenSpec: предложение → реализация → проверка → правки → архивация. Выбор оценки, трека, хранилищ и ключевые решения — мои. Каждый файл `evidence/` снят командой из его шапки на стенде этой лабы. Подробно — `REPORT.md`, последний раздел. ### Вопросы преподавателю Ни один не блокирует: сделан названный вариант, другой ответ — небольшая правка. **Лаба 6** 1. **Класс статуса HTTP в метриках.** Контракт требует измерение «класс статуса». Мы пишем точный код ответа (как в OpenTelemetry), а класс получаем в запросе Prometheus (`http_response_status_code=~"5.."`). Это засчитывается, или нужна отдельная метка класса? 2. **Restart hook и хранилища телеметрии.** `scripts/restart.sh` перезапускает API, PostgreSQL, Valkey, S3 и брокер, но не Prometheus, Loki и Tempo. То, что их история переживает рестарт, проверено отдельно (`evidence/telemetry/check.md`). Нужно ли добавить их в hook? 3. **`service.version`.** Сейчас это версия контракта API (`1.6.0`). Или лучше git commit образа? 4. **Нестандартный HTTP-метод.** `BREW` до приложения не доходит: uvicorn сам отвечает 400. Поэтому попадание в метрики как `_OTHER` проверено на `PROPFIND`. Это засчитывается? 5. **Начало отсчёта «времени до `ready`».** Считаем от записи задания в PostgreSQL (после неё клиент получает 202) до фиксации `ready`. Задания после ручного replay не учитываются. Так правильно? 6. **CPU и память каких контейнеров показывать.** Показываем только API, worker и relay — каждый читает свою cgroup. Для PostgreSQL, S3, брокера и LB нужен сокет Docker, а это root на ВМ. Достаточно? 7. **Глубина очереди.** Считаем все незавершённые задания по стадиям из PostgreSQL (не отправлены, ждут повтора, в брокере, в обработке), а не счётчик RabbitMQ: при упавшем relay очередь брокера пуста, а работа копится. Так можно? 8. **Доступность для SLO.** SLO 99,5 % считаем по ответам клиентам на HAProxy, вместе с его 502/503/504: когда все реплики лежат, метрики API ошибок не видят. Доля ошибок по определению контракта (5xx API / бизнес-запросы) — отдельная панель. Так можно? 9. **Трек 1: объём эксперимента.** Одна интенсивность ниже насыщения, 7 вариантов × 3 повтора. Этого достаточно, или нужна вторая интенсивность? 10. **Трек 1: внесённые редкие события.** Ошибки и медленные запросы созданы нарочно, в известном числе: вложение без объекта в S3 (500), недекодируемый JPEG (`failed`), регистрация, короткая блокировка таблицы сообщений. Допустимы такие воздействия? **Перенесены из лаб 4 и 5, ответа пока нет** 11. Перегрузка загрузок (заняты все места или больше 250 незавершённых заданий) — 429 с `Retry-After`, а не 503: зависимости живы, а здоровая реплика должна оставаться в LB. Так можно? 12. Оригинал вложения пропал из S3 и сверка пометила его потерянным: метаданные — 200, скачивание — 404, прикрепление к новому сообщению — 201. Контракт этот случай не описывает. Так можно? 13. Сообщение отправлено, потом его вложение ушло в `failed`, клиент повторяет с тем же `Idempotency-Key` — возвращаем прежний 201 (приоритет у идемпотентности), хотя прикреплять `failed` нельзя (409). Так правильно? 14. EXIF-поворот у `crop` и `optimized` тоже, хотя контракт требует его только у `thumbnail`; `crop` (JPEG) — на белом фоне, `optimized` (WebP) сохраняет прозрачность. Так можно? 15. Replay — `make replay` в контейнере, HTTP-ручки нет: в API нет роли оператора. Так можно? 16. Картинка не уложилась в лимиты процесса обработки (время или память) — код `invalid_image`, точная причина — в журнале. Или нужен отдельный код в enum контракта? 17. Варианты, которые неудачная попытка успела записать в S3, удаляются по тому же сроку, что неуспешные исходники; метаданные `failed` остаются. Так можно? 18. При остановленном worker загрузки принимаются (202), пока незавершённых заданий меньше 250, дальше — 429. Так можно? 19. Процесс декодирования может прочитать окружение worker через `/proc/1/environ`. Закрывается одной строкой (`PR_SET_DUMPABLE=0`). Нужно ли это на уровне лабы? ### Чек-лист - [x] Весь обязательный минимум текущей и предыдущих работ сохранён с объявленными переходами. - [x] Контракт и публичные тесты не ослаблены. - [x] make check и make test выполнены; приложен реальный вывод. - [x] Сценарии отказов/безопасности своего уровня воспроизведены. - [x] Все секреты и приватные ключи находятся вне Git; отчёт не содержит tokens. - [x] README задания сохранён, REPORT.md содержит инструкцию именно моего решения.
ricoroma added 36 commits 2026-11-20 19:44:59 +03:00
Source: mtusi2026lab5-safronov, solution/bvt2301-safronov, 046ec9e.
Contracts, public tests and evidence of lab 5 are not carried over.
The compose project, image and CI prefix are renamed to lab6; the first
broker start defect is recorded in KNOWN_ISSUES.md; PLAN.md outlines the
OpenSpec changes of lab 6.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
Commits of lab 5 are not in the history of this repository. The before
image of the uploads profile is now lab 5 code, so its success code is
202 instead of 201.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
Collector (contrib), Prometheus, Loki, Tempo and Grafana with provisioning
from git; SDK in API and worker with level 3 metrics, traces and logs
carrying trace_id/span_id; telemetry off by default outside the stand;
broker healthcheck runs as the broker user so a fresh stand starts once.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
Shutdown budget leaves room for SDK shutdown, stand-from-scratch accepts only
its throwaway project, OTLP exporters ignore proxy environment, telemetry-check
covers log/trace links, health series and worker instance id; spec deltas
match what the parser and SDK lifetime allow.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
Peaks under make test + load + student_test left Tempo and Grafana below
1.5x headroom; re-capture telemetry-check and collector-outage evidence on
68f1e97.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
HAProxy /metrics scraped by the Collector, recording rules and seven alerts with promtool tests and runbooks (make alerts_test, CI step), byte-sized Collector export queues with 30 s retries, SDK internal metrics, SLO/LB/pipeline dashboard rows, driver commands alerts-check and backend-outage (change slo-alerts).

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
Count the first SDK telemetry loss on the loss panel, print pending
moments on every alerts-check step, check the loss panel on a quiet
stand, align two scenarios and the SLI cross-check text with what the
driver verifies.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
- [telemetry] trace_sample_ratio (ParentBased(TraceIdRatioBased), 1 keeps
  ParentBased(ALWAYS_ON)) and metric_buckets (default|coarse with SLO bounds),
  export interval <= 30 s; otel.sdk.span.started, span.live dropped; startup
  records name ratio, buckets and interval
- bench: telemetry services on mtusi-bench, TELEMETRY=on switch for uploads
  and queue, make bench_telemetry[_quick] with off/full/full-aa/head/tail/
  metrics/balanced, rare events, lookup from Tempo/Loki/Prometheus, cost
  sampler, verdicts H1-H8 and B1-B5; collector layers and lean Prometheus in
  bench/otel with preflight checks
- REPORT: telemetry cost hypotheses and criteria before the label

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
k6 --console-output appends, so a run killed before cleanup left
<run>.warm.k6 in .work and the resumed warmup counted 24 of 12.
Remove the console file before each k6 run and a stale .work at
start; ignore evidence/**/.work/.

A telemetry storage that exits during the lookup (Tempo in
metrics-r3: name no longer resolvable) now fails the run with the
container state, OOMKilled flag and its log tail saved to raw/;
Tempo requests of the lookup are limited to 3 at a time and
memory peaks after the lookup are recorded.

Raise the light classes of the telemetry cost load by 15 % (read
126.5, write 23, me 34.5, card 34.5 per second): on a quiet host
`full` kept the replicas at 28-29.5 % CPU, below the 30 %
calibration bound.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
21/21 runs on 68e14b6. balanced passes B1-B3 and B5, so no
decision-12 fix is needed; B4 fails (replica CPU per request +27 %,
light p99 +30.7 ms) and H7 with it. H3 and H5 fail on one missing
slow-write trace of 75 under typical tail sampling. Host swap-outs
are ignored by the user's decision of 2026-11-15.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
Fill the track 1 section of REPORT.md from evidence/telemetry-cost/
baseline2/summary.md: latency and CPU per variant, ingest with per-day
and 7-day projections, losses by hop, what each variant keeps, quantile
accuracy, H1-H8 and B1-B5 verdicts (B4 and H7 fail; H3 and H5 fail on
one missing slow-write trace under typical tail sampling), the
saturated full-r3 run, Tempo memory at its limit, recommendation with
conditions and limits. Point the lab 6 defense step at
bench_telemetry_quick and close tasks 12.3-12.5.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
Base accepting the saturated full-r3 run on the user's 2026-10-31 host
warning rule instead of the swap decision and ask whether to re-shoot;
complete the report section with limits, metric freshness at 30 s and
per-class and per-component tables; correct derived numbers and the
quantile error wording; align H6 in design with the report; fix the
quantile_error docstring; park S1 and S4 as later proposals.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
make bench_uploads TELEMETRY=on (label baseline) and make bench_queue
TELEMETRY=on QUEUE_LABEL=baseline4 on b3a5ab8 for the coverage
exclusions; record last-step decisions and draft report sections.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
Coverage-exclusion evidence on the lab 6 stand (db3340d), failure checks,
isolated and LB test runs, clean clone and secrets check; fill REPORT.md
from the skeleton template, drop PLAN.md (last version db3340d).

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
The Gitea Actions page of the private fork needs a login or token and
the browser extension was not connected; list the job steps and the
expected result for the user to confirm.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
The user allowed stand-from-scratch to drop the volumes of its own
throwaway project; record the answers to the open questions (no label
re-shoots, working stand keeps all traces, quick profile unchanged)
and that Actions are now enabled in the fork.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
Keep the open questions to the teacher in a local file outside git at
the user's request; point the rules at it and update report lines on
questions the user has answered.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
The Application job on Gitea passed for b651e0a, as confirmed by the
user in the fork's Actions.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
ricoroma added 1 commit 2026-11-20 19:45:55 +03:00
You are not authorized to merge this pull request.
This pull request can be merged automatically.
View command line instructions

Checkout

From your project repository, check out a new branch and test the changes.
git fetch -u https://gitea.privcloud.tech/ricoroma/mtusi2026lab6-safronov solution/bvt2301-safronov:ricoroma-solution/bvt2301-safronov
git checkout ricoroma-solution/bvt2301-safronov
Sign in to join this conversation.
No Reviewers
No labels
1 Participants
Notifications
Due Date
No due date set.
Dependencies

No dependencies set.

Reference: mtusi2026/mtusi2026lab6#62