Автор / группа: Сафронов Роман Николаевич, БВТ2301
Целевая оценка (3/4/5): 5
Трек 5, если заявлен: трек 1 «Цена наблюдаемости»
Что реализовано и что перенесено
Перенесено из лабы 5 (mtusi2026lab5-safronov, commit 046ec9e; перенос — commit 9cc6c0c) без изменения бизнес-API:
≥ 2 реплики API за HAProxy, PostgreSQL, кэш Valkey, приватный S3 (SeaweedFS), RabbitMQ, relay (outbox), worker, уборщик,
идемпотентность, make rolling_update. contracts/openapi.json лабы 6 отличается от лабы 5 только info, публичные tests/
те же.
Сделано в лабе 6 — четыре change OpenSpec (openspec/changes/archive/):
otel-telemetry (уровень 3): SDK OpenTelemetry 1.45.2 в API и worker, Collector contrib 0.164.0, Prometheus 3.15.1,
Loki 3.7.9, Tempo 3.1.1, Grafana 13.3.1 с provisioning из git; сигналы уровня 3; логи с trace_id / span_id.
job-trace-propagation (уровень 4): контекст W3C загрузки сохраняется в задании → relay создаёт span producer и кладёт traceparent / tracestate в заголовки AMQP → worker создаёт consumer span (parent + link). Одна трасса на загрузку,
включая повторы и replay. Метрики: время до ready, глубина и возраст очереди, пул БД, насыщение worker, CPU и память
контейнеров из cgroup (без сокета Docker).
slo-alerts (уровень 4): три SLI / SLO с окном 7 суток (доступность на LB 99,5 %, задержка «лёгких» ручек ≤ 0,25 с
для 99 %, время до ready ≤ 30 с для 99 %), 7 оповещений Prometheus с тестами promtool и runbooks, метрики HAProxy,
ограниченные очереди экспорта Collector, учёт потерь телеметрии.
track1-telemetry-cost (уровень 5, трек 1): head sampling и набор границ histogram настройками, профиль make bench_telemetry, сбалансированная конфигурация bench/otel/.
Где что лежит (по разделу README «Что должно быть в PR»):
REPORT.md, раздел «Наблюдаемость»: сигналы уровней 3 и 4, ресурс, соответствие OTEL_*
Отчёт об инцидентах
REPORT.md, раздел «SLO, оповещения и инциденты»
Команды запуска из чистого clone
git checkout solution/bvt2301-safronov
make run_docker # .env и config.toml со случайными секретами, сборка, стенд с телеметрией
make replicas # дождаться healthy реплик
make check && make test
make student_test
make test-persistence ACTION_SCRIPT=scripts/restart.sh
make test-failover ACTION_SCRIPT=scripts/stop-one.sh && make replicas
make alerts_test
Действий оператора нет. Grafana — http://127.0.0.1:3000, пользователь admin, пароль — GRAFANA_ADMIN_PASSWORD из .env;
dashboard «Messenger overview» загружается из provisioning. Подробно, включая остановку и удаление данных, — REPORT.md, «Запуск из чистого clone».
Результаты проверок
Отчёт — REPORT.md, сводная таблица — раздел «Доказательства критериев». Реальный вывод команд — в evidence/.
make check, make validate, make lint, make alerts_test — PASS (evidence/tests/final-checks.md).
make test при включённой телеметрии — PASS: lab6 public API scenario (evidence/tests/clean-clone.md, evidence/telemetry/collector-outage.md).
make student_test через LB — 224 passed; make test_isolated — 218 passed, 6 skipped; make failure_checks — 147 passed; make service_test / service_test_db — 335 / 88 passed (evidence/tests/).
make test-persistence и make test-failover (stop и kill) — PASS (evidence/replicas/test-persistence.md, evidence/failover/test-failover.md).
Стенд из чистого clone и с нуля одной командой — evidence/tests/clean-clone.md, evidence/stand/from-scratch.md.
CI — свой job .github/workflows/application.yml на Gitea, success (evidence/tests/ci-application.md).
Уровень 3 — evidence/telemetry/check.md: свой запрос → запись в Loki → трасса в Tempo, задание → трасса и запись worker.
Уровень 4:
evidence/telemetry/trace-chain.md — одна трасса загрузки с повтором и replay;
evidence/alerts/check.md — оповещения firing → resolved: остановленный worker, медленная и недоступная БД
(медленная БД отличена от медленного handler);
evidence/telemetry/backend-outage.md — отказ Loki, Tempo, Prometheus и Collector под нагрузкой: 5xx 0, память
ограничена, потери телеметрии посчитаны.
Уровень 5 — evidence/telemetry-cost/baseline2/summary.md, 7 вариантов × 3 повтора при одной нагрузке:
полная телеметрия против выключенной — +26 % CPU реплик на запрос и +31 мс к p99;
head sampling 10 % — +11 %, но теряется ~90 % трасс ошибок;
tail sampling и сбалансированная конфигурация — приём Tempo 12 % и 11 % от полной, все внесённые ошибки сохранены,
цена в приложении как у полной;
гипотезы H1, H2, H4, H6, H8 подтверждены; H3, H5, H7 — нет, разбор в отчёте.
Ограничения / известные ошибки
Сбалансированная конфигурация не прошла собственный критерий B4: правила Collector не снижают цену в приложении,
снижает её только head sampling. Рабочий стенд оставлен со 100 % трасс.
При типовом tail sampling одна трасса медленной записи из 75 не дошла до Tempo, причина не установлена (поэтому H3 и H5
не подтверждены).
Оповещения пороговые, без burn-rate (трек 2 не выбран); Alertmanager и доставки наружу нет, состояние firing / resolved —
в Prometheus и Grafana.
OTLP без аутентификации и TLS — до лабы 7.
CPU и память видны только у процессов с SDK (API, worker, relay): сокет Docker никому не монтируется.
Метка evidence/queue/baseline4/ снята с dirty: true: в рабочем дереве были только незакоммиченные отчёт и каталог
предыдущей метки, образ их не читает. Разбор — в REPORT.md.
KNOWN_ISSUES.md — 11 открытых записей, у каждой — предложение правки.
Согласования с преподавателем лаб 1–4 действуют, новых в лабе 6 нет.
Источники и использование ИИ
Документация из README задания (OTel Collector configuration, OTel propagation, W3C Trace Context, Prometheus histograms,
Grafana provisioning), semantic conventions OpenTelemetry (HTTP, database, messaging), документация tail_sampling,
правил Prometheus и promtool, Loki и Tempo. Новые библиотеки — opentelemetry-api, opentelemetry-sdk, opentelemetry-exporter-otlp-proto-http 1.45.2, без автоинструментирования.
Код, тесты, конфигурации, снятие доказательств и отчёт сделаны с помощью Claude Code (Anthropic) по циклу OpenSpec:
предложение → реализация → проверка → правки → архивация. Выбор оценки, трека, хранилищ и ключевые решения — мои. Каждый
файл evidence/ снят командой из его шапки на стенде этой лабы. Подробно — REPORT.md, последний раздел.
Вопросы преподавателю
Ни один не блокирует: сделан названный вариант, другой ответ — небольшая правка.
Лаба 6
Класс статуса HTTP в метриках. Контракт требует измерение «класс статуса». Мы пишем точный код ответа (как в
OpenTelemetry), а класс получаем в запросе Prometheus (http_response_status_code=~"5.."). Это засчитывается, или нужна
отдельная метка класса?
Restart hook и хранилища телеметрии.scripts/restart.sh перезапускает API, PostgreSQL, Valkey, S3 и брокер, но не
Prometheus, Loki и Tempo. То, что их история переживает рестарт, проверено отдельно (evidence/telemetry/check.md). Нужно
ли добавить их в hook?
service.version. Сейчас это версия контракта API (1.6.0). Или лучше git commit образа?
Нестандартный HTTP-метод.BREW до приложения не доходит: uvicorn сам отвечает 400. Поэтому попадание в метрики как _OTHER проверено на PROPFIND. Это засчитывается?
Начало отсчёта «времени до ready». Считаем от записи задания в PostgreSQL (после неё клиент получает 202) до
фиксации ready. Задания после ручного replay не учитываются. Так правильно?
CPU и память каких контейнеров показывать. Показываем только API, worker и relay — каждый читает свою cgroup. Для
PostgreSQL, S3, брокера и LB нужен сокет Docker, а это root на ВМ. Достаточно?
Глубина очереди. Считаем все незавершённые задания по стадиям из PostgreSQL (не отправлены, ждут повтора, в брокере,
в обработке), а не счётчик RabbitMQ: при упавшем relay очередь брокера пуста, а работа копится. Так можно?
Доступность для SLO. SLO 99,5 % считаем по ответам клиентам на HAProxy, вместе с его 502/503/504: когда все реплики
лежат, метрики API ошибок не видят. Доля ошибок по определению контракта (5xx API / бизнес-запросы) — отдельная панель.
Так можно?
Трек 1: объём эксперимента. Одна интенсивность ниже насыщения, 7 вариантов × 3 повтора. Этого достаточно, или нужна
вторая интенсивность?
Трек 1: внесённые редкие события. Ошибки и медленные запросы созданы нарочно, в известном числе: вложение без
объекта в S3 (500), недекодируемый JPEG (failed), регистрация, короткая блокировка таблицы сообщений. Допустимы такие
воздействия?
Перенесены из лаб 4 и 5, ответа пока нет
Перегрузка загрузок (заняты все места или больше 250 незавершённых заданий) — 429 с Retry-After, а не 503: зависимости
живы, а здоровая реплика должна оставаться в LB. Так можно?
Оригинал вложения пропал из S3 и сверка пометила его потерянным: метаданные — 200, скачивание — 404, прикрепление к
новому сообщению — 201. Контракт этот случай не описывает. Так можно?
Сообщение отправлено, потом его вложение ушло в failed, клиент повторяет с тем же Idempotency-Key — возвращаем
прежний 201 (приоритет у идемпотентности), хотя прикреплять failed нельзя (409). Так правильно?
EXIF-поворот у crop и optimized тоже, хотя контракт требует его только у thumbnail; crop (JPEG) — на белом фоне, optimized (WebP) сохраняет прозрачность. Так можно?
Replay — make replay в контейнере, HTTP-ручки нет: в API нет роли оператора. Так можно?
Картинка не уложилась в лимиты процесса обработки (время или память) — код invalid_image, точная причина — в журнале.
Или нужен отдельный код в enum контракта?
Варианты, которые неудачная попытка успела записать в S3, удаляются по тому же сроку, что неуспешные исходники;
метаданные failed остаются. Так можно?
При остановленном worker загрузки принимаются (202), пока незавершённых заданий меньше 250, дальше — 429. Так можно?
Процесс декодирования может прочитать окружение worker через /proc/1/environ. Закрывается одной строкой
(PR_SET_DUMPABLE=0). Нужно ли это на уровне лабы?
Чек-лист
Весь обязательный минимум текущей и предыдущих работ сохранён с объявленными переходами.
Контракт и публичные тесты не ослаблены.
make check и make test выполнены; приложен реальный вывод.
Сценарии отказов/безопасности своего уровня воспроизведены.
Все секреты и приватные ключи находятся вне Git; отчёт не содержит tokens.
README задания сохранён, REPORT.md содержит инструкцию именно моего решения.
## Лабораторная 6
Автор / группа: Сафронов Роман Николаевич, БВТ2301
Целевая оценка (3/4/5): 5
Трек 5, если заявлен: трек 1 «Цена наблюдаемости»
### Что реализовано и что перенесено
**Перенесено из лабы 5** (`mtusi2026lab5-safronov`, commit `046ec9e`; перенос — commit `9cc6c0c`) без изменения бизнес-API:
≥ 2 реплики API за HAProxy, PostgreSQL, кэш Valkey, приватный S3 (SeaweedFS), RabbitMQ, relay (outbox), worker, уборщик,
идемпотентность, `make rolling_update`. `contracts/openapi.json` лабы 6 отличается от лабы 5 только `info`, публичные `tests/`
те же.
**Сделано в лабе 6** — четыре change OpenSpec (`openspec/changes/archive/`):
- `otel-telemetry` (уровень 3): SDK OpenTelemetry 1.45.2 в API и worker, Collector contrib 0.164.0, Prometheus 3.15.1,
Loki 3.7.9, Tempo 3.1.1, Grafana 13.3.1 с provisioning из git; сигналы уровня 3; логи с `trace_id` / `span_id`.
- `job-trace-propagation` (уровень 4): контекст W3C загрузки сохраняется в задании → relay создаёт span producer и кладёт
`traceparent` / `tracestate` в заголовки AMQP → worker создаёт consumer span (parent + link). Одна трасса на загрузку,
включая повторы и replay. Метрики: время до `ready`, глубина и возраст очереди, пул БД, насыщение worker, CPU и память
контейнеров из cgroup (без сокета Docker).
- `slo-alerts` (уровень 4): три SLI / SLO с окном 7 суток (доступность на LB 99,5 %, задержка «лёгких» ручек ≤ 0,25 с
для 99 %, время до `ready` ≤ 30 с для 99 %), 7 оповещений Prometheus с тестами `promtool` и runbooks, метрики HAProxy,
ограниченные очереди экспорта Collector, учёт потерь телеметрии.
- `track1-telemetry-cost` (уровень 5, трек 1): head sampling и набор границ histogram настройками, профиль
`make bench_telemetry`, сбалансированная конфигурация `bench/otel/`.
**Где что лежит** (по разделу README «Что должно быть в PR»):
| Что | Где |
| --- | --- |
| Конфигурация Collector | `infra/otel/collector.yaml` |
| Конфиги хранилищ | `infra/otel/prometheus/prometheus.yml`, `infra/otel/loki/loki.yaml`, `infra/otel/tempo/tempo.yaml` |
| Provisioning и dashboard Grafana | `infra/otel/grafana/datasources.yaml`, `dashboards.yaml`, `dashboards/messenger-overview.json` |
| Alert rules | `infra/otel/prometheus/rules.yml`, тесты `rules.test.yml`, runbooks `infra/otel/runbooks/` |
| Схема сигналов | `REPORT.md`, раздел «Наблюдаемость»: сигналы уровней 3 и 4, ресурс, соответствие `OTEL_*` |
| Отчёт об инцидентах | `REPORT.md`, раздел «SLO, оповещения и инциденты» |
### Команды запуска из чистого clone
```sh
git checkout solution/bvt2301-safronov
make run_docker # .env и config.toml со случайными секретами, сборка, стенд с телеметрией
make replicas # дождаться healthy реплик
make check && make test
make student_test
make test-persistence ACTION_SCRIPT=scripts/restart.sh
make test-failover ACTION_SCRIPT=scripts/stop-one.sh && make replicas
make alerts_test
```
Действий оператора нет. Grafana — `http://127.0.0.1:3000`, пользователь `admin`, пароль — `GRAFANA_ADMIN_PASSWORD` из `.env`;
dashboard «Messenger overview» загружается из provisioning. Подробно, включая остановку и удаление данных, —
`REPORT.md`, «Запуск из чистого clone».
### Результаты проверок
Отчёт — `REPORT.md`, сводная таблица — раздел «Доказательства критериев». Реальный вывод команд — в `evidence/`.
- `make check`, `make validate`, `make lint`, `make alerts_test` — PASS (`evidence/tests/final-checks.md`).
- `make test` при включённой телеметрии — `PASS: lab6 public API scenario` (`evidence/tests/clean-clone.md`,
`evidence/telemetry/collector-outage.md`).
- `make student_test` через LB — 224 passed; `make test_isolated` — 218 passed, 6 skipped; `make failure_checks` — 147 passed;
`make service_test` / `service_test_db` — 335 / 88 passed (`evidence/tests/`).
- `make test-persistence` и `make test-failover` (stop и kill) — PASS (`evidence/replicas/test-persistence.md`,
`evidence/failover/test-failover.md`).
- Стенд из чистого clone и с нуля одной командой — `evidence/tests/clean-clone.md`, `evidence/stand/from-scratch.md`.
- CI — свой job `.github/workflows/application.yml` на Gitea, `success` (`evidence/tests/ci-application.md`).
- Уровень 3 — `evidence/telemetry/check.md`: свой запрос → запись в Loki → трасса в Tempo, задание → трасса и запись worker.
- Уровень 4:
- `evidence/telemetry/trace-chain.md` — одна трасса загрузки с повтором и replay;
- `evidence/alerts/check.md` — оповещения firing → resolved: остановленный worker, медленная и недоступная БД
(медленная БД отличена от медленного handler);
- `evidence/telemetry/backend-outage.md` — отказ Loki, Tempo, Prometheus и Collector под нагрузкой: 5xx 0, память
ограничена, потери телеметрии посчитаны.
- Уровень 5 — `evidence/telemetry-cost/baseline2/summary.md`, 7 вариантов × 3 повтора при одной нагрузке:
- полная телеметрия против выключенной — +26 % CPU реплик на запрос и +31 мс к p99;
- head sampling 10 % — +11 %, но теряется ~90 % трасс ошибок;
- tail sampling и сбалансированная конфигурация — приём Tempo 12 % и 11 % от полной, все внесённые ошибки сохранены,
цена в приложении как у полной;
- гипотезы H1, H2, H4, H6, H8 подтверждены; H3, H5, H7 — нет, разбор в отчёте.
### Ограничения / известные ошибки
- Сбалансированная конфигурация не прошла собственный критерий B4: правила Collector не снижают цену в приложении,
снижает её только head sampling. Рабочий стенд оставлен со 100 % трасс.
- При типовом tail sampling одна трасса медленной записи из 75 не дошла до Tempo, причина не установлена (поэтому H3 и H5
не подтверждены).
- Оповещения пороговые, без burn-rate (трек 2 не выбран); Alertmanager и доставки наружу нет, состояние firing / resolved —
в Prometheus и Grafana.
- OTLP без аутентификации и TLS — до лабы 7.
- CPU и память видны только у процессов с SDK (API, worker, relay): сокет Docker никому не монтируется.
- Метка `evidence/queue/baseline4/` снята с `dirty: true`: в рабочем дереве были только незакоммиченные отчёт и каталог
предыдущей метки, образ их не читает. Разбор — в `REPORT.md`.
- `KNOWN_ISSUES.md` — 11 открытых записей, у каждой — предложение правки.
- Согласования с преподавателем лаб 1–4 действуют, новых в лабе 6 нет.
### Источники и использование ИИ
Документация из README задания (OTel Collector configuration, OTel propagation, W3C Trace Context, Prometheus histograms,
Grafana provisioning), semantic conventions OpenTelemetry (HTTP, database, messaging), документация `tail_sampling`,
правил Prometheus и `promtool`, Loki и Tempo. Новые библиотеки — `opentelemetry-api`, `opentelemetry-sdk`,
`opentelemetry-exporter-otlp-proto-http` 1.45.2, без автоинструментирования.
Код, тесты, конфигурации, снятие доказательств и отчёт сделаны с помощью Claude Code (Anthropic) по циклу OpenSpec:
предложение → реализация → проверка → правки → архивация. Выбор оценки, трека, хранилищ и ключевые решения — мои. Каждый
файл `evidence/` снят командой из его шапки на стенде этой лабы. Подробно — `REPORT.md`, последний раздел.
### Вопросы преподавателю
Ни один не блокирует: сделан названный вариант, другой ответ — небольшая правка.
**Лаба 6**
1. **Класс статуса HTTP в метриках.** Контракт требует измерение «класс статуса». Мы пишем точный код ответа (как в
OpenTelemetry), а класс получаем в запросе Prometheus (`http_response_status_code=~"5.."`). Это засчитывается, или нужна
отдельная метка класса?
2. **Restart hook и хранилища телеметрии.** `scripts/restart.sh` перезапускает API, PostgreSQL, Valkey, S3 и брокер, но не
Prometheus, Loki и Tempo. То, что их история переживает рестарт, проверено отдельно (`evidence/telemetry/check.md`). Нужно
ли добавить их в hook?
3. **`service.version`.** Сейчас это версия контракта API (`1.6.0`). Или лучше git commit образа?
4. **Нестандартный HTTP-метод.** `BREW` до приложения не доходит: uvicorn сам отвечает 400. Поэтому попадание в метрики как
`_OTHER` проверено на `PROPFIND`. Это засчитывается?
5. **Начало отсчёта «времени до `ready`».** Считаем от записи задания в PostgreSQL (после неё клиент получает 202) до
фиксации `ready`. Задания после ручного replay не учитываются. Так правильно?
6. **CPU и память каких контейнеров показывать.** Показываем только API, worker и relay — каждый читает свою cgroup. Для
PostgreSQL, S3, брокера и LB нужен сокет Docker, а это root на ВМ. Достаточно?
7. **Глубина очереди.** Считаем все незавершённые задания по стадиям из PostgreSQL (не отправлены, ждут повтора, в брокере,
в обработке), а не счётчик RabbitMQ: при упавшем relay очередь брокера пуста, а работа копится. Так можно?
8. **Доступность для SLO.** SLO 99,5 % считаем по ответам клиентам на HAProxy, вместе с его 502/503/504: когда все реплики
лежат, метрики API ошибок не видят. Доля ошибок по определению контракта (5xx API / бизнес-запросы) — отдельная панель.
Так можно?
9. **Трек 1: объём эксперимента.** Одна интенсивность ниже насыщения, 7 вариантов × 3 повтора. Этого достаточно, или нужна
вторая интенсивность?
10. **Трек 1: внесённые редкие события.** Ошибки и медленные запросы созданы нарочно, в известном числе: вложение без
объекта в S3 (500), недекодируемый JPEG (`failed`), регистрация, короткая блокировка таблицы сообщений. Допустимы такие
воздействия?
**Перенесены из лаб 4 и 5, ответа пока нет**
11. Перегрузка загрузок (заняты все места или больше 250 незавершённых заданий) — 429 с `Retry-After`, а не 503: зависимости
живы, а здоровая реплика должна оставаться в LB. Так можно?
12. Оригинал вложения пропал из S3 и сверка пометила его потерянным: метаданные — 200, скачивание — 404, прикрепление к
новому сообщению — 201. Контракт этот случай не описывает. Так можно?
13. Сообщение отправлено, потом его вложение ушло в `failed`, клиент повторяет с тем же `Idempotency-Key` — возвращаем
прежний 201 (приоритет у идемпотентности), хотя прикреплять `failed` нельзя (409). Так правильно?
14. EXIF-поворот у `crop` и `optimized` тоже, хотя контракт требует его только у `thumbnail`; `crop` (JPEG) — на белом фоне,
`optimized` (WebP) сохраняет прозрачность. Так можно?
15. Replay — `make replay` в контейнере, HTTP-ручки нет: в API нет роли оператора. Так можно?
16. Картинка не уложилась в лимиты процесса обработки (время или память) — код `invalid_image`, точная причина — в журнале.
Или нужен отдельный код в enum контракта?
17. Варианты, которые неудачная попытка успела записать в S3, удаляются по тому же сроку, что неуспешные исходники;
метаданные `failed` остаются. Так можно?
18. При остановленном worker загрузки принимаются (202), пока незавершённых заданий меньше 250, дальше — 429. Так можно?
19. Процесс декодирования может прочитать окружение worker через `/proc/1/environ`. Закрывается одной строкой
(`PR_SET_DUMPABLE=0`). Нужно ли это на уровне лабы?
### Чек-лист
- [x] Весь обязательный минимум текущей и предыдущих работ сохранён с объявленными переходами.
- [x] Контракт и публичные тесты не ослаблены.
- [x] make check и make test выполнены; приложен реальный вывод.
- [x] Сценарии отказов/безопасности своего уровня воспроизведены.
- [x] Все секреты и приватные ключи находятся вне Git; отчёт не содержит tokens.
- [x] README задания сохранён, REPORT.md содержит инструкцию именно моего решения.
Source: mtusi2026lab5-safronov, solution/bvt2301-safronov, 046ec9e.
Contracts, public tests and evidence of lab 5 are not carried over.
The compose project, image and CI prefix are renamed to lab6; the first
broker start defect is recorded in KNOWN_ISSUES.md; PLAN.md outlines the
OpenSpec changes of lab 6.
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
Commits of lab 5 are not in the history of this repository. The before
image of the uploads profile is now lab 5 code, so its success code is
202 instead of 201.
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
Collector (contrib), Prometheus, Loki, Tempo and Grafana with provisioning
from git; SDK in API and worker with level 3 metrics, traces and logs
carrying trace_id/span_id; telemetry off by default outside the stand;
broker healthcheck runs as the broker user so a fresh stand starts once.
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
Shutdown budget leaves room for SDK shutdown, stand-from-scratch accepts only
its throwaway project, OTLP exporters ignore proxy environment, telemetry-check
covers log/trace links, health series and worker instance id; spec deltas
match what the parser and SDK lifetime allow.
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
Peaks under make test + load + student_test left Tempo and Grafana below
1.5x headroom; re-capture telemetry-check and collector-outage evidence on
68f1e97.
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
HAProxy /metrics scraped by the Collector, recording rules and seven alerts with promtool tests and runbooks (make alerts_test, CI step), byte-sized Collector export queues with 30 s retries, SDK internal metrics, SLO/LB/pipeline dashboard rows, driver commands alerts-check and backend-outage (change slo-alerts).
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
Count the first SDK telemetry loss on the loss panel, print pending
moments on every alerts-check step, check the loss panel on a quiet
stand, align two scenarios and the SLI cross-check text with what the
driver verifies.
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
- [telemetry] trace_sample_ratio (ParentBased(TraceIdRatioBased), 1 keeps
ParentBased(ALWAYS_ON)) and metric_buckets (default|coarse with SLO bounds),
export interval <= 30 s; otel.sdk.span.started, span.live dropped; startup
records name ratio, buckets and interval
- bench: telemetry services on mtusi-bench, TELEMETRY=on switch for uploads
and queue, make bench_telemetry[_quick] with off/full/full-aa/head/tail/
metrics/balanced, rare events, lookup from Tempo/Loki/Prometheus, cost
sampler, verdicts H1-H8 and B1-B5; collector layers and lean Prometheus in
bench/otel with preflight checks
- REPORT: telemetry cost hypotheses and criteria before the label
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
k6 --console-output appends, so a run killed before cleanup left
<run>.warm.k6 in .work and the resumed warmup counted 24 of 12.
Remove the console file before each k6 run and a stale .work at
start; ignore evidence/**/.work/.
A telemetry storage that exits during the lookup (Tempo in
metrics-r3: name no longer resolvable) now fails the run with the
container state, OOMKilled flag and its log tail saved to raw/;
Tempo requests of the lookup are limited to 3 at a time and
memory peaks after the lookup are recorded.
Raise the light classes of the telemetry cost load by 15 % (read
126.5, write 23, me 34.5, card 34.5 per second): on a quiet host
`full` kept the replicas at 28-29.5 % CPU, below the 30 %
calibration bound.
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
21/21 runs on 68e14b6. balanced passes B1-B3 and B5, so no
decision-12 fix is needed; B4 fails (replica CPU per request +27 %,
light p99 +30.7 ms) and H7 with it. H3 and H5 fail on one missing
slow-write trace of 75 under typical tail sampling. Host swap-outs
are ignored by the user's decision of 2026-11-15.
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
Fill the track 1 section of REPORT.md from evidence/telemetry-cost/
baseline2/summary.md: latency and CPU per variant, ingest with per-day
and 7-day projections, losses by hop, what each variant keeps, quantile
accuracy, H1-H8 and B1-B5 verdicts (B4 and H7 fail; H3 and H5 fail on
one missing slow-write trace under typical tail sampling), the
saturated full-r3 run, Tempo memory at its limit, recommendation with
conditions and limits. Point the lab 6 defense step at
bench_telemetry_quick and close tasks 12.3-12.5.
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
Base accepting the saturated full-r3 run on the user's 2026-10-31 host
warning rule instead of the swap decision and ask whether to re-shoot;
complete the report section with limits, metric freshness at 30 s and
per-class and per-component tables; correct derived numbers and the
quantile error wording; align H6 in design with the report; fix the
quantile_error docstring; park S1 and S4 as later proposals.
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
make bench_uploads TELEMETRY=on (label baseline) and make bench_queue
TELEMETRY=on QUEUE_LABEL=baseline4 on b3a5ab8 for the coverage
exclusions; record last-step decisions and draft report sections.
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
Coverage-exclusion evidence on the lab 6 stand (db3340d), failure checks,
isolated and LB test runs, clean clone and secrets check; fill REPORT.md
from the skeleton template, drop PLAN.md (last version db3340d).
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
The Gitea Actions page of the private fork needs a login or token and
the browser extension was not connected; list the job steps and the
expected result for the user to confirm.
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
The user allowed stand-from-scratch to drop the volumes of its own
throwaway project; record the answers to the open questions (no label
re-shoots, working stand keeps all traces, quick profile unchanged)
and that Actions are now enabled in the fork.
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
Keep the open questions to the teacher in a local file outside git at
the user's request; point the rules at it and update report lines on
questions the user has answered.
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
The Application job on Gitea passed for b651e0a, as confirmed by the
user in the fork's Actions.
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
Blocking a user prevents them from interacting with repositories, such as opening or commenting on pull requests or issues. Learn more about blocking a user.
Лабораторная 6
Автор / группа: Сафронов Роман Николаевич, БВТ2301
Целевая оценка (3/4/5): 5
Трек 5, если заявлен: трек 1 «Цена наблюдаемости»
Что реализовано и что перенесено
Перенесено из лабы 5 (
mtusi2026lab5-safronov, commit046ec9e; перенос — commit9cc6c0c) без изменения бизнес-API:≥ 2 реплики API за HAProxy, PostgreSQL, кэш Valkey, приватный S3 (SeaweedFS), RabbitMQ, relay (outbox), worker, уборщик,
идемпотентность,
make rolling_update.contracts/openapi.jsonлабы 6 отличается от лабы 5 толькоinfo, публичныеtests/те же.
Сделано в лабе 6 — четыре change OpenSpec (
openspec/changes/archive/):otel-telemetry(уровень 3): SDK OpenTelemetry 1.45.2 в API и worker, Collector contrib 0.164.0, Prometheus 3.15.1,Loki 3.7.9, Tempo 3.1.1, Grafana 13.3.1 с provisioning из git; сигналы уровня 3; логи с
trace_id/span_id.job-trace-propagation(уровень 4): контекст W3C загрузки сохраняется в задании → relay создаёт span producer и кладётtraceparent/tracestateв заголовки AMQP → worker создаёт consumer span (parent + link). Одна трасса на загрузку,включая повторы и replay. Метрики: время до
ready, глубина и возраст очереди, пул БД, насыщение worker, CPU и памятьконтейнеров из cgroup (без сокета Docker).
slo-alerts(уровень 4): три SLI / SLO с окном 7 суток (доступность на LB 99,5 %, задержка «лёгких» ручек ≤ 0,25 сдля 99 %, время до
ready≤ 30 с для 99 %), 7 оповещений Prometheus с тестамиpromtoolи runbooks, метрики HAProxy,ограниченные очереди экспорта Collector, учёт потерь телеметрии.
track1-telemetry-cost(уровень 5, трек 1): head sampling и набор границ histogram настройками, профильmake bench_telemetry, сбалансированная конфигурацияbench/otel/.Где что лежит (по разделу README «Что должно быть в PR»):
infra/otel/collector.yamlinfra/otel/prometheus/prometheus.yml,infra/otel/loki/loki.yaml,infra/otel/tempo/tempo.yamlinfra/otel/grafana/datasources.yaml,dashboards.yaml,dashboards/messenger-overview.jsoninfra/otel/prometheus/rules.yml, тестыrules.test.yml, runbooksinfra/otel/runbooks/REPORT.md, раздел «Наблюдаемость»: сигналы уровней 3 и 4, ресурс, соответствиеOTEL_*REPORT.md, раздел «SLO, оповещения и инциденты»Команды запуска из чистого clone
Действий оператора нет. Grafana —
http://127.0.0.1:3000, пользовательadmin, пароль —GRAFANA_ADMIN_PASSWORDиз.env;dashboard «Messenger overview» загружается из provisioning. Подробно, включая остановку и удаление данных, —
REPORT.md, «Запуск из чистого clone».Результаты проверок
Отчёт —
REPORT.md, сводная таблица — раздел «Доказательства критериев». Реальный вывод команд — вevidence/.make check,make validate,make lint,make alerts_test— PASS (evidence/tests/final-checks.md).make testпри включённой телеметрии —PASS: lab6 public API scenario(evidence/tests/clean-clone.md,evidence/telemetry/collector-outage.md).make student_testчерез LB — 224 passed;make test_isolated— 218 passed, 6 skipped;make failure_checks— 147 passed;make service_test/service_test_db— 335 / 88 passed (evidence/tests/).make test-persistenceиmake test-failover(stop и kill) — PASS (evidence/replicas/test-persistence.md,evidence/failover/test-failover.md).evidence/tests/clean-clone.md,evidence/stand/from-scratch.md..github/workflows/application.ymlна Gitea,success(evidence/tests/ci-application.md).evidence/telemetry/check.md: свой запрос → запись в Loki → трасса в Tempo, задание → трасса и запись worker.evidence/telemetry/trace-chain.md— одна трасса загрузки с повтором и replay;evidence/alerts/check.md— оповещения firing → resolved: остановленный worker, медленная и недоступная БД(медленная БД отличена от медленного handler);
evidence/telemetry/backend-outage.md— отказ Loki, Tempo, Prometheus и Collector под нагрузкой: 5xx 0, памятьограничена, потери телеметрии посчитаны.
evidence/telemetry-cost/baseline2/summary.md, 7 вариантов × 3 повтора при одной нагрузке:цена в приложении как у полной;
Ограничения / известные ошибки
снижает её только head sampling. Рабочий стенд оставлен со 100 % трасс.
не подтверждены).
в Prometheus и Grafana.
evidence/queue/baseline4/снята сdirty: true: в рабочем дереве были только незакоммиченные отчёт и каталогпредыдущей метки, образ их не читает. Разбор — в
REPORT.md.KNOWN_ISSUES.md— 11 открытых записей, у каждой — предложение правки.Источники и использование ИИ
Документация из README задания (OTel Collector configuration, OTel propagation, W3C Trace Context, Prometheus histograms,
Grafana provisioning), semantic conventions OpenTelemetry (HTTP, database, messaging), документация
tail_sampling,правил Prometheus и
promtool, Loki и Tempo. Новые библиотеки —opentelemetry-api,opentelemetry-sdk,opentelemetry-exporter-otlp-proto-http1.45.2, без автоинструментирования.Код, тесты, конфигурации, снятие доказательств и отчёт сделаны с помощью Claude Code (Anthropic) по циклу OpenSpec:
предложение → реализация → проверка → правки → архивация. Выбор оценки, трека, хранилищ и ключевые решения — мои. Каждый
файл
evidence/снят командой из его шапки на стенде этой лабы. Подробно —REPORT.md, последний раздел.Вопросы преподавателю
Ни один не блокирует: сделан названный вариант, другой ответ — небольшая правка.
Лаба 6
OpenTelemetry), а класс получаем в запросе Prometheus (
http_response_status_code=~"5.."). Это засчитывается, или нужнаотдельная метка класса?
scripts/restart.shперезапускает API, PostgreSQL, Valkey, S3 и брокер, но неPrometheus, Loki и Tempo. То, что их история переживает рестарт, проверено отдельно (
evidence/telemetry/check.md). Нужноли добавить их в hook?
service.version. Сейчас это версия контракта API (1.6.0). Или лучше git commit образа?BREWдо приложения не доходит: uvicorn сам отвечает 400. Поэтому попадание в метрики как_OTHERпроверено наPROPFIND. Это засчитывается?ready». Считаем от записи задания в PostgreSQL (после неё клиент получает 202) дофиксации
ready. Задания после ручного replay не учитываются. Так правильно?PostgreSQL, S3, брокера и LB нужен сокет Docker, а это root на ВМ. Достаточно?
в обработке), а не счётчик RabbitMQ: при упавшем relay очередь брокера пуста, а работа копится. Так можно?
лежат, метрики API ошибок не видят. Доля ошибок по определению контракта (5xx API / бизнес-запросы) — отдельная панель.
Так можно?
вторая интенсивность?
объекта в S3 (500), недекодируемый JPEG (
failed), регистрация, короткая блокировка таблицы сообщений. Допустимы такиевоздействия?
Перенесены из лаб 4 и 5, ответа пока нет
Retry-After, а не 503: зависимостиживы, а здоровая реплика должна оставаться в LB. Так можно?
новому сообщению — 201. Контракт этот случай не описывает. Так можно?
failed, клиент повторяет с тем жеIdempotency-Key— возвращаемпрежний 201 (приоритет у идемпотентности), хотя прикреплять
failedнельзя (409). Так правильно?cropиoptimizedтоже, хотя контракт требует его только уthumbnail;crop(JPEG) — на белом фоне,optimized(WebP) сохраняет прозрачность. Так можно?make replayв контейнере, HTTP-ручки нет: в API нет роли оператора. Так можно?invalid_image, точная причина — в журнале.Или нужен отдельный код в enum контракта?
метаданные
failedостаются. Так можно?/proc/1/environ. Закрывается одной строкой(
PR_SET_DUMPABLE=0). Нужно ли это на уровне лабы?Чек-лист
4178b3df9642864c472cfa9aeaa1161cad72e2598c1055b4d6c15ea156107fe7f033ef60b47a92dff30fd4a2f9c9af4e47b55c28b1704and record user answers 90d89d2b37View command line instructions
Checkout
From your project repository, check out a new branch and test the changes.