forked from mtusi2026/mtusi2026lab6
docs(observability): record completed SLO study and incident diagnostics
This commit is contained in:
@@ -1,18 +1,21 @@
|
||||
## Лабораторная 6
|
||||
|
||||
Автор / группа: TODO
|
||||
Целевая оценка (3/4/5): TODO
|
||||
Трек 5, если заявлен: TODO
|
||||
Автор / группа: Маслов, БВТ2301.
|
||||
Целевая оценка:5. Трек2 — SLO и обнаружение инцидентов.
|
||||
|
||||
Что реализовано и что перенесено: TODO
|
||||
Команды запуска из чистого clone: TODO
|
||||
Результаты проверок и ссылка на REPORT.md: TODO
|
||||
Ограничения / известные ошибки: TODO
|
||||
Источники и использование ИИ: TODO
|
||||
Собственная ЛР5: устойчивые jobs/outbox/relay/worker, четыре варианта, retry/replay/версии/cleanup. Добавлены OTel instrumentation API/relay/consumer/isolated child/DB/S3, persistent Prometheus/Loki/Tempo, Grafana provisioning18панелей, low-cardinality/privacy, конечные буферы Collector и multi-window burn-rate alerts.
|
||||
|
||||
- [ ] Весь обязательный минимум текущей и предыдущих работ сохранён с объявленными переходами.
|
||||
- [ ] Контракт и публичные тесты не ослаблены.
|
||||
- [ ] make check и make test выполнены; приложен реальный вывод.
|
||||
- [ ] Сценарии отказов/безопасности своего уровня воспроизведены.
|
||||
- [ ] Все секреты и приватные ключи находятся вне Git; отчёт не содержит tokens.
|
||||
- [ ] README задания сохранён, REPORT.md содержит инструкцию именно моего решения.
|
||||
Запуск: `uv sync --locked`, `make bootstrap`, `VCS_REF=$(git rev-parse HEAD) docker compose up -d --build --wait`; API localhost8086/Grafana3006. Команды/определения/источники: [REPORT](../REPORT.md).
|
||||
|
||||
Реальные проверки:112HTTP/26unit; normal/retry causal traces и связанные logs; privacy canaries; реальные запросы Grafana. Полный SLO опыт1823.238с:6370подтверждённых сообщений и359файлов сохранены; краткие сбои0critical paging, warning API был; длинные инциденты firing/resolved измерены;90с отказ Loki/Tempo, queue≤64/RSS<384MiB и360успешных writes. Сводки/CSV/график в evidence. Проверка полного свежего clone ещё выполняется отдельно и не заявляется завершённой.
|
||||
|
||||
Ограничения: один host/одиночные stateful сервисы, учебные30mокна, цель99% намеренно нарушена контролируемыми сбоями; в конце опыта4неплановых503 сохранены в raw данных. Возможна потеря telemetry при отказе backend. HTTP только локальный; TLS/mTLS — ЛР7.
|
||||
|
||||
Источники: собственная ЛР5, задание, официальная документация OTel/Grafana/Prometheus. Использована помощь ИИ при проектировании, реализации, проверках и подготовке отчёта; чужие студенческие решения не использовались.
|
||||
|
||||
- [ ] Весь обязательный минимум подтверждён повторной полной регрессией из чистого клона.
|
||||
- [x] Контракт и публичные тесты не ослаблены.
|
||||
- [x] make check и make test выполнены; реальные receipts приложены.
|
||||
- [x] Отказы observability/SLO своего уровня воспроизведены.
|
||||
- [x] Секреты и приватные ключи вне Git; значения не включены в отчёт.
|
||||
- [x] README задания сохранён, REPORT описывает своё решение.
|
||||
|
||||
@@ -1,72 +1,90 @@
|
||||
# Лабораторная6 — Маслов, БВТ2301
|
||||
# Лабораторная 6 — Маслов, БВТ2301
|
||||
|
||||
Цель:5, трек2 — SLO и обнаружение инцидентов. Собственная ЛР5 перенесена
|
||||
поверх текущего skeleton с независимой историей; contracts/tests/README
|
||||
и исходные check/validate сохранены. Эта версия — начало runtime-проверок:
|
||||
результаты исследования, clean clone и публикация пока не подтверждены.
|
||||
Цель — оценка 5, трек 2: SLO и обнаружение инцидентов. Собственный код ЛР5 перенесён поверх независимого skeleton ЛР6. Исходные README/COURSE/контракты/публичные tests и check/validate сохранены. Бизнес-API и устойчивый pipeline файлов продолжают работать; добавлена наблюдаемость всех стадий.
|
||||
|
||||
## Запуск
|
||||
## Воспроизведение
|
||||
|
||||
Нужны Docker Desktop с Compose v2, Git и uv0.13.7. Python3.14.7;
|
||||
SDK OpenTelemetry1.45.2, Collector0.165.0, Prometheus3.16.0, Loki3.7.10,
|
||||
Tempo3.1.1, Grafana13.3.1. Lock и digest в Git; MinIO/mc собираются из
|
||||
точных upstream commits собственной ЛР5 с проверкой GoSumDB.
|
||||
Нужны Docker Desktop/Compose v2, Git и uv0.13.7. Python3.14.7, SDK OpenTelemetry1.45.2, Collector0.165.0, Prometheus3.16.0, Loki3.7.10, Tempo3.1.1, Grafana13.3.1. Версии и image digests закреплены. MinIO/mc собираются из точных upstream commits с GoSumDB.
|
||||
|
||||
```sh
|
||||
uv sync --locked
|
||||
make bootstrap
|
||||
VCS_REF=$(git rev-parse HEAD) docker compose up -d --build --wait
|
||||
make check validate lint unit PYTHON=.venv/bin/python
|
||||
NO_PROXY=localhost,127.0.0.1 no_proxy=localhost,127.0.0.1 make test PYTHON=.venv/bin/python
|
||||
make test BASE_URL=http://127.0.0.1:8086 PYTHON=.venv/bin/python
|
||||
make test-student
|
||||
uv run --locked python -m scripts.verify_telemetry --output evidence/telemetry-repeat.json
|
||||
uv run --locked python -m scripts.verify_observability_persistence --causal-evidence evidence/telemetry-repeat.json --output evidence/persistence-repeat.json
|
||||
uv run --locked python -m scripts.research_slo --output evidence/slo-repeat.json
|
||||
uv run --locked python -m research.analyze_slo evidence/slo-repeat.json --output evidence/slo-analysis-repeat
|
||||
```
|
||||
|
||||
API http://127.0.0.1:8086, Grafana http://127.0.0.1:3006, user admin,
|
||||
локальный пароль secrets/grafana_password. Bootstrap сохраняет прежние файлы
|
||||
и не печатает значения. Datasources/dashboard импортируются автоматически.
|
||||
Остальные telemetry ports внутренние. docker compose down сохраняет volumes.
|
||||
Fault hooks включаются только явным compose.test.yaml.
|
||||
API: http://127.0.0.1:8086. Grafana: http://127.0.0.1:3006, admin, пароль в локальном `secrets/grafana_password`. Bootstrap сохраняет прежние файлы и не печатает значения. Provisioning трёх datasources и dashboard выполняется автоматически. Внутренние OTLP/metrics/backend ports на host не публикуются. `docker compose down` сохраняет данные; secrets и volumes не входят в Git. Fault hooks включаются только явным `compose.test.yaml`.
|
||||
|
||||
## Архитектура и измерения
|
||||
Проверка чистого клона: `uv run --locked python scripts/verify_clean.py --output evidence/clean-clone-repeat.json`. Она создаёт собственные временные clone/venv/secrets/volumes/ports/image, выполняет полную регрессию и удаляет только временный проект. Основной стенд перед ней следует остановить, сохранив тома. Имена output должны быть новыми: предыдущие результаты не перезаписываются.
|
||||
|
||||
API/worker/relay/observer → OTLP/HTTP → Collector → Prometheus/Loki/Tempo;
|
||||
Grafana — интерфейс запросов, а не хранилище трёх сигналов. История backend
|
||||
сохраняется в отдельных томах. Сессии/ACL/идемпотентность/S3/outbox/worker
|
||||
сохранены. Migration005 добавляет W3C context и однократные SLI-решения jobs.
|
||||
Контекст идёт от server span в принимающую транзакцию и outbox, через relay
|
||||
producer span к consumer и дочернему процессу с S3/DB spans, включая retry.
|
||||
## Архитектура и сигналы
|
||||
|
||||
Логи имеют allowlist полей. Тела/пароли/Authorization/SQL/rawURL не экспортируются;
|
||||
exception messages/stack traces не добавляются к spans. Метрики используют
|
||||
route template, ограниченный HTTP method и status class, job type/outcome.
|
||||
Технические IDs допустимы только в логах/трассах синтетических данных.
|
||||
API/relay/worker/observer → OTLP/HTTP → Collector → Prometheus/Loki/Tempo → запросы Grafana. Grafana показывает данные; сама она не заменяет хранилища трёх сигналов. Каждый backend и Grafana имеют отдельный persistent volume. API-реплики, PG, S3, broker, worker, сессии, ACL и идемпотентность сохранены.
|
||||
|
||||
Dashboard содержит18панелей. p50/p95/p99 вычисляются из общих histogram buckets;
|
||||
SDK HTTP duration измеряет ASGI response. API availability SLI берётся с
|
||||
HAProxy business backend, включая ingress503; health идёт отдельным backend.
|
||||
Ready SLI включает и незавершённые после10s задания. SDK queues512records,
|
||||
timeout0.75s; Collector memory limiter192MiB/batch≤256/queues32/finite retry10s.
|
||||
Политика SLO99%/30m, учебный профиль, окна burn rate и шаги диагностики:
|
||||
[RUNBOOK](infra/otel/RUNBOOK.md), [rules](infra/otel/alerts.yaml).
|
||||
Фактические имена/единицы панелей будут сверены перед финальным отчётом.
|
||||
Migration005 сохраняет W3C context в принимающей транзакции вместе с jobs/outbox. Relay создаёт producer span и передаёт его контекст в stream. Worker создаёт consumer span, передаёт carrier изолированному дочернему процессу; в trace видны обработка изображения, S3 и PostgreSQL. Повторная попытка сохраняет причинную связь. `traceparent` сохраняется при отбрасывании слишком длинного `tracestate`, чтобы не нарушать строгую схему jobs.
|
||||
|
||||
## Результаты начальной проверки
|
||||
Логи структурные: event/service/trace/span/request/технический job ID. Экспорт полей задан allowlist. Тела сообщений, изображения, пароли, Authorization, SQL-тексты, raw URL и exception message/stack не экспортируются. Идентификаторы пользователей/чатов/сообщений не становятся labels. Метрики используют route template, ограниченный HTTP method/status class, job type/outcome, service instance/version.
|
||||
|
||||
Offline/OpenAPI/lint и25unit PASS. Новые unit проверяют перенос causal context
|
||||
между завершёнными producer/consumer spans и отсутствие чувствительных данных.
|
||||
Сначала исправлены импорт Observation из API SDK и сериализация enum severity
|
||||
в тестовом приёмнике; privacy assertions сохранены. Runtime evidence появится
|
||||
только после реального запуска; конфигурация не считается результатом.
|
||||
Dashboard `messenger-lab6` содержит 18 панелей: RPS, 5xx, HTTP p50/p95/p99, jobs/duration, время до ready, очередь/возраст, worker busy/capacity, DB pool used/waiting, память/CPU и Collector. Percentile в dashboard вычисляется `histogram_quantile` по сумме bucket rates с сохранённым le; значения разных реплик сначала объединяются. Определения и единицы находятся в импортируемом JSON. HTTP SDK duration измеряет ASGI response; end-to-end клиентские quantiles в исследовании — отдельные величины, вычисленные nearest rank по успешным HTTP запросам.
|
||||
|
||||
## Источники и границы
|
||||
SDK traces/logs: очередь 512 записей, batch64, конечные таймауты. Collector: memory limiter192MiB/spike32, batch≤256, очереди logs/traces по32 пакета, один отправитель, конечные повторы до10с, nonblocking overflow. Collector CPU0.5/RAM384MiB, Tempo CPU0.5/RAM768MiB. Потери telemetry при длительном отказе допустимы и наблюдаемы; не заявляется надёжная доставка каждого span.
|
||||
|
||||
Текущее задание, собственная ЛР5, pinned libraries и официальные материалы:
|
||||
[Python OTLP](https://opentelemetry.io/docs/languages/python/exporters/),
|
||||
[Loki OTLP](https://grafana.com/docs/loki/latest/send-data/otel/),
|
||||
[Tempo3.1.1](https://github.com/grafana/tempo/blob/v3.1.1/example/docker-compose/single-binary/tempo.yaml),
|
||||
[Collector exporter](https://github.com/open-telemetry/opentelemetry-collector/tree/v0.165.0/exporter/otlphttpexporter),
|
||||
[Prometheus alerts](https://prometheus.io/docs/prometheus/latest/configuration/alerting_rules/).
|
||||
Помощь ИИ использована при проектировании, реализации, проверках и отчёте.
|
||||
Чужие студенческие решения/истории/измерения не использовались.
|
||||
Один host/PG/S3/broker/LB остаются SPOF; нет защиты от потери диска. HTTP только
|
||||
локальный с синтетическими данными. TLS/mTLS вводятся независимо в ЛР7.
|
||||
## SLI/SLO и гипотеза
|
||||
|
||||
Две учебные цели 99% за окно30мин: ответы business ingress без5xx и готовность принятого файла не позднее10с. API SLI берётся с HAProxy business backend, включая ingress503; health использует отдельный backend. Ready SLI сравнивает PG created_at принимающей транзакции с committed_at публикации результата. Начальная граница консервативно включает завершение принимающей транзакции.
|
||||
|
||||
Незавершённые после10с и failed учитываются как bad, а не исчезают из знаменателя. Решение сохраняется однократно в PG; replay не стирает прежний bad, obsolete до решения исключён. Histogram времени готовности содержит только завершения и не заменяет этот SLI.
|
||||
|
||||
Гипотеза: сочетание короткого и длинного окна в burn-rate rule отсечёт краткий всплеск от критического оповещения и обнаружит длительное нарушение обоих SLO. Burn rate — доля плохих событий/0.01. Fast: >14.4 одновременно в30с и2мин, for45с. Slow: >6 в2мин и5мин, for60с. Дополнительно warning ApiHighErrorRate и QueueLagGrowing. Это ускоренный учебный профиль; значения не выдаются за универсальную production policy.
|
||||
|
||||
## Методика и результаты исследования
|
||||
|
||||
Полный успешный опыт — `evidence/slo-research-verified.json`, CSV запросов и `evidence/slo-analysis-verified/summary.json`, таблица фаз и [график](evidence/slo-analysis-verified/slo-timeline.png). Длительность1823.238с. Нагрузка: открытое планирование4 message POST/с, максимум16 in-flight; PNG320×200 каждые5с. Docker VM:8CPU и фактический объём памяти в receipt; все service quotas сохранены там же.
|
||||
|
||||
После разогрева300с воспроизводятся короткие и длительные сбои. Для API — задержка SQL INSERT только синтетического чата, превышающая statement_timeout. Для ready — остановка worker. Затем оба telemetry хранилища Loki/Tempo останавливаются на90с, при этом сообщения и задания продолжают приниматься. После восстановления найдены свежие trace и log. В конце прекращается нагрузка и через публичный API проверяются все подтверждённые данные.
|
||||
|
||||
| Длительный инцидент / оповещение | Обнаружение, с после действия | Снятие, с после восстановления компонента |
|
||||
|---|---:|---:|
|
||||
| API / FastBurn |73.368|39.261|
|
||||
| API / SlowBurn |84.651|127.152|
|
||||
| API / HighErrorRate warning |44.859|127.152|
|
||||
| Worker / QueueLag warning |47.281|181.174|
|
||||
| Worker / FastBurn |76.710|235.563|
|
||||
| Worker / SlowBurn |85.981|303.950|
|
||||
|
||||
При коротких сбоях критических paging событий0. Короткий API сбой всё же вызвал warning ApiHighErrorRate во время восстановления: не утверждается отсутствие всех оповещений. Очередь и окна не очищаются мгновенно после запуска worker; время снятия включает дренирование и исчезновение старых нарушений из окон.
|
||||
|
||||
В ходе90с отказа telemetry сохранены360 успешных message POST, Collector queue достигла64 при суммарной ёмкости64. Его RSS в опыте238.918–239.035MiB при лимите384MiB. После восстановления очередь0, новая trace/log доступны. Счётчик неуспешных отправок показывает попытки, а не уникально потерянные spans; точное количество потерянных spans не выводится из него.
|
||||
|
||||
В конце доступны все6370 подтверждённых сообщений, все359 принятых файлов находятся в ready; проверенные исходники побайтно совпадают. Это проверка сохранности подтверждённых операций, а не утверждение, что все запросы были успешны. Во время преднамеренных сбоев SLI API89.925%, ready79.832%; цель99% специально нарушена, что и должны обнаружить правила. В заключительной фазе также зарегистрированы4 ответа503; они не скрываются из CSV или расчётов.
|
||||
|
||||
Частота scrape/evaluation5с и экспорт ограничивают разрешение, а реальный polling наблюдателя дал промежутки5.111–38.223с, медиана9.663с. Три десятичных знака — арифметика временных меток, не миллисекундная точность обнаружения. Клиентские фазовые сводки используют start timestamp внутри фактически измеренного hold; промежутки orchestration исключены, raw CSV сохранён.
|
||||
|
||||
## Проверка и разбор инцидентов
|
||||
|
||||
Реальные результаты до clean clone:112 HTTP tests PASS416.52с (`http-first.json`),26 unit, smoke/offline/full OpenAPI/lint. `telemetry-first.json` подтверждает цепочку normal upload25spans/1attempt и retry33spans/2attempts; реальные parent IDs API→producer→consumer→child→DB/S3, связанные Loki trace/span/request IDs, privacy canaries,1131 ограниченных metric series,18панелей/3 datasource health и реальные Grafana query frames.
|
||||
|
||||
Для API инцидента сохранена ошибочная трасса с db.postgresql ≥2с и ERROR, при этом очередь не объясняет деградацию. Для worker инцидента upload202 продолжает работать, возраст и очередь растут, worker spans прекращаются; после запуска для того же attachment появляется consumer/processing chain и ready. Диагностировать следует по этим наблюдениям, а не одному коду500. Пошаговые действия и точные запросы: [RUNBOOK](infra/otel/RUNBOOK.md).
|
||||
|
||||
Предварительные неуспешные опыты сохранены с complete=false. Они выявили имя actual RSS metric, недостаточный запас памяти, слишком раннее фиксированное ожидание resolved и строковый тип Compose mem_limit. Последнее исправлено нормализацией чисел. Ни один неполный опыт не выдан за успешный30минутный.
|
||||
|
||||
Полный fresh clone с повторением telemetry persistence/cluster/pipeline/cleanup ещё выполняется отдельно; до его успешного receipt воспроизводимость из чистого клона не заявляется.
|
||||
|
||||
## Ответы на контрольные вопросы
|
||||
|
||||
1. Метрика показывает масштаб/время проблемы: например доля5xx или возраст очереди. Лог — конкретное событие и технические ID. Trace — путь одного запроса/задания и длительности отдельных стадий. Вместе они позволяют перейти от общей деградации к причине.
|
||||
2. Каждый новый chat_id создаёт отдельный временной ряд для каждой комбинации labels. Рост чатов умножает число рядов и стоимость RAM/индекса/запросов. Поэтому chat_id оставляют в техническом логе/trace, а метрику группируют по ограниченным признакам.
|
||||
3. Контекст traceparent/tracestate сохраняется вместе с заданием, relay создаёт producer span и записывает его carrier в уведомление. Worker извлекает его и создаёт consumer span с правильным parent; передача в child не теряется при смене процесса. Durable outbox отделяет сохранение задания от доставки уведомления.
|
||||
4. Среднее скрывает редкие долгие ответы; p99 описывает хвост. Усреднять p99 реплик нельзя: разные объёмы запросов и распределения не восстанавливаются из двух quantiles. Нужно сложить совместимые histogram buckets реплик и вычислить общий percentile.
|
||||
|
||||
## Источники и ограничения
|
||||
|
||||
Задание, собственная ЛР5 и официальные материалы: [OTLP Python](https://opentelemetry.io/docs/languages/python/exporters/), [Loki OTLP](https://grafana.com/docs/loki/latest/send-data/otel/), [Tempo3.1.1 config](https://github.com/grafana/tempo/blob/v3.1.1/example/docker-compose/single-binary/tempo.yaml), [Collector](https://opentelemetry.io/docs/collector/configuration/), [Prometheus alerting](https://prometheus.io/docs/prometheus/latest/configuration/alerting_rules/). При проектировании, реализации, проверках и подготовке отчёта использована помощь ИИ. Чужие студенческие решения/истории/измерения не использовались.
|
||||
|
||||
Один host и одиночные PG/S3/broker/LB остаются SPOF; нет защиты от потери диска. SLO исследован один раз полностью на данном профиле; статистическая обобщаемость не заявляется. Остались явные потери запросов/telemetry при искусственных отказах; они отражены в raw receipts. HTTP используется только локально с синтетическими данными; TLS/mTLS вводятся независимо в ЛР7.
|
||||
|
||||
@@ -0,0 +1,13 @@
|
||||
phase,seconds,started_requests,statuses,successful_rps,success_p50_ms,success_p95_ms,success_p99_ms,critical_firing_names,warning_firing_names
|
||||
warmup,300.238,1200,{'201': 1200},3.997,18.907,154.932,396.121,[],[]
|
||||
api_brief,8.531,34,"{'503': 32, '-1': 2}",0.0,,,,[],[]
|
||||
api_brief_recovery,120.002,480,"{'201': 479, '0': 1}",3.992,27.665,229.005,791.96,[],['ApiHighErrorRate']
|
||||
api_sustained,185.636,743,{'503': 743},0.0,,,,"['ApiFastBurn', 'ApiSlowBurn']",['ApiHighErrorRate']
|
||||
api_recovery,156.766,627,{'201': 627},4.0,23.464,250.67,1807.065,"['ApiFastBurn', 'ApiSlowBurn']",['ApiHighErrorRate']
|
||||
ready_brief,5.004,20,{'201': 20},3.997,18.589,41.825,59.7,[],[]
|
||||
ready_brief_recovery,59.986,240,{'201': 240},4.001,29.034,194.65,396.574,[],[]
|
||||
ready_sustained,152.489,610,{'201': 610},4.0,21.872,150.518,429.458,"['ReadyFastBurn', 'ReadySlowBurn']",['QueueLagGrowing']
|
||||
ready_recovery,303.953,1216,"{'201': 1215, '0': 1}",3.997,31.974,256.132,866.055,"['ReadyFastBurn', 'ReadySlowBurn']",['QueueLagGrowing']
|
||||
backend_unavailable,90.001,360,{'201': 360},4.0,21.961,123.103,221.753,[],[]
|
||||
backend_recovery,59.999,240,{'201': 240},4.0,27.369,154.043,469.609,[],[]
|
||||
steady_after_recovery,268.806,1075,"{'201': 1071, '503': 4}",3.984,27.293,514.282,1556.851,[],[]
|
||||
|
Binary file not shown.
|
After Width: | Height: | Size: 187 KiB |
@@ -0,0 +1,404 @@
|
||||
{
|
||||
"source_commit": "7282aa8b18cc33cf243cc8d82ff2fdd71079766a",
|
||||
"runtime_versions": [
|
||||
"752a5e6c0d33c2856f7ac8e66074e4adfb9a699d"
|
||||
],
|
||||
"elapsed_seconds": 1823.238,
|
||||
"sample_count": 172,
|
||||
"sample_gap_seconds": {
|
||||
"min": 5.110785245895386,
|
||||
"median": 9.663292169570923,
|
||||
"max": 38.223085165023804
|
||||
},
|
||||
"client_quantile_method": "nearest rank of successful end-to-end writes; not histogram interpolation",
|
||||
"phase_assignment": "request start timestamp inside measured hold; orchestration gaps excluded",
|
||||
"phases": [
|
||||
{
|
||||
"phase": "warmup",
|
||||
"seconds": 300.238,
|
||||
"started_requests": 1200,
|
||||
"statuses": {
|
||||
"201": 1200
|
||||
},
|
||||
"successful_rps": 3.997,
|
||||
"success_p50_ms": 18.907,
|
||||
"success_p95_ms": 154.932,
|
||||
"success_p99_ms": 396.121,
|
||||
"critical_firing_names": [],
|
||||
"warning_firing_names": []
|
||||
},
|
||||
{
|
||||
"phase": "api_brief",
|
||||
"seconds": 8.531,
|
||||
"started_requests": 34,
|
||||
"statuses": {
|
||||
"503": 32,
|
||||
"-1": 2
|
||||
},
|
||||
"successful_rps": 0.0,
|
||||
"success_p50_ms": null,
|
||||
"success_p95_ms": null,
|
||||
"success_p99_ms": null,
|
||||
"critical_firing_names": [],
|
||||
"warning_firing_names": []
|
||||
},
|
||||
{
|
||||
"phase": "api_brief_recovery",
|
||||
"seconds": 120.002,
|
||||
"started_requests": 480,
|
||||
"statuses": {
|
||||
"201": 479,
|
||||
"0": 1
|
||||
},
|
||||
"successful_rps": 3.992,
|
||||
"success_p50_ms": 27.665,
|
||||
"success_p95_ms": 229.005,
|
||||
"success_p99_ms": 791.96,
|
||||
"critical_firing_names": [],
|
||||
"warning_firing_names": [
|
||||
"ApiHighErrorRate"
|
||||
]
|
||||
},
|
||||
{
|
||||
"phase": "api_sustained",
|
||||
"seconds": 185.636,
|
||||
"started_requests": 743,
|
||||
"statuses": {
|
||||
"503": 743
|
||||
},
|
||||
"successful_rps": 0.0,
|
||||
"success_p50_ms": null,
|
||||
"success_p95_ms": null,
|
||||
"success_p99_ms": null,
|
||||
"critical_firing_names": [
|
||||
"ApiFastBurn",
|
||||
"ApiSlowBurn"
|
||||
],
|
||||
"warning_firing_names": [
|
||||
"ApiHighErrorRate"
|
||||
]
|
||||
},
|
||||
{
|
||||
"phase": "api_recovery",
|
||||
"seconds": 156.766,
|
||||
"started_requests": 627,
|
||||
"statuses": {
|
||||
"201": 627
|
||||
},
|
||||
"successful_rps": 4.0,
|
||||
"success_p50_ms": 23.464,
|
||||
"success_p95_ms": 250.67,
|
||||
"success_p99_ms": 1807.065,
|
||||
"critical_firing_names": [
|
||||
"ApiFastBurn",
|
||||
"ApiSlowBurn"
|
||||
],
|
||||
"warning_firing_names": [
|
||||
"ApiHighErrorRate"
|
||||
]
|
||||
},
|
||||
{
|
||||
"phase": "ready_brief",
|
||||
"seconds": 5.004,
|
||||
"started_requests": 20,
|
||||
"statuses": {
|
||||
"201": 20
|
||||
},
|
||||
"successful_rps": 3.997,
|
||||
"success_p50_ms": 18.589,
|
||||
"success_p95_ms": 41.825,
|
||||
"success_p99_ms": 59.7,
|
||||
"critical_firing_names": [],
|
||||
"warning_firing_names": []
|
||||
},
|
||||
{
|
||||
"phase": "ready_brief_recovery",
|
||||
"seconds": 59.986,
|
||||
"started_requests": 240,
|
||||
"statuses": {
|
||||
"201": 240
|
||||
},
|
||||
"successful_rps": 4.001,
|
||||
"success_p50_ms": 29.034,
|
||||
"success_p95_ms": 194.65,
|
||||
"success_p99_ms": 396.574,
|
||||
"critical_firing_names": [],
|
||||
"warning_firing_names": []
|
||||
},
|
||||
{
|
||||
"phase": "ready_sustained",
|
||||
"seconds": 152.489,
|
||||
"started_requests": 610,
|
||||
"statuses": {
|
||||
"201": 610
|
||||
},
|
||||
"successful_rps": 4.0,
|
||||
"success_p50_ms": 21.872,
|
||||
"success_p95_ms": 150.518,
|
||||
"success_p99_ms": 429.458,
|
||||
"critical_firing_names": [
|
||||
"ReadyFastBurn",
|
||||
"ReadySlowBurn"
|
||||
],
|
||||
"warning_firing_names": [
|
||||
"QueueLagGrowing"
|
||||
]
|
||||
},
|
||||
{
|
||||
"phase": "ready_recovery",
|
||||
"seconds": 303.953,
|
||||
"started_requests": 1216,
|
||||
"statuses": {
|
||||
"201": 1215,
|
||||
"0": 1
|
||||
},
|
||||
"successful_rps": 3.997,
|
||||
"success_p50_ms": 31.974,
|
||||
"success_p95_ms": 256.132,
|
||||
"success_p99_ms": 866.055,
|
||||
"critical_firing_names": [
|
||||
"ReadyFastBurn",
|
||||
"ReadySlowBurn"
|
||||
],
|
||||
"warning_firing_names": [
|
||||
"QueueLagGrowing"
|
||||
]
|
||||
},
|
||||
{
|
||||
"phase": "backend_unavailable",
|
||||
"seconds": 90.001,
|
||||
"started_requests": 360,
|
||||
"statuses": {
|
||||
"201": 360
|
||||
},
|
||||
"successful_rps": 4.0,
|
||||
"success_p50_ms": 21.961,
|
||||
"success_p95_ms": 123.103,
|
||||
"success_p99_ms": 221.753,
|
||||
"critical_firing_names": [],
|
||||
"warning_firing_names": []
|
||||
},
|
||||
{
|
||||
"phase": "backend_recovery",
|
||||
"seconds": 59.999,
|
||||
"started_requests": 240,
|
||||
"statuses": {
|
||||
"201": 240
|
||||
},
|
||||
"successful_rps": 4.0,
|
||||
"success_p50_ms": 27.369,
|
||||
"success_p95_ms": 154.043,
|
||||
"success_p99_ms": 469.609,
|
||||
"critical_firing_names": [],
|
||||
"warning_firing_names": []
|
||||
},
|
||||
{
|
||||
"phase": "steady_after_recovery",
|
||||
"seconds": 268.806,
|
||||
"started_requests": 1075,
|
||||
"statuses": {
|
||||
"201": 1071,
|
||||
"503": 4
|
||||
},
|
||||
"successful_rps": 3.984,
|
||||
"success_p50_ms": 27.293,
|
||||
"success_p95_ms": 514.282,
|
||||
"success_p99_ms": 1556.851,
|
||||
"critical_firing_names": [],
|
||||
"warning_firing_names": []
|
||||
}
|
||||
],
|
||||
"incidents": [
|
||||
{
|
||||
"signal": "api",
|
||||
"action_started": 1795185997.2563121,
|
||||
"action_finished": 1795185997.581769,
|
||||
"restore_started": 1795186183.218286,
|
||||
"restore_finished": 1795186185.962821,
|
||||
"timings": {
|
||||
"ApiFastBurn": {
|
||||
"detect_seconds": 73.368,
|
||||
"resolve_seconds": 39.261
|
||||
},
|
||||
"ApiHighErrorRate": {
|
||||
"detect_seconds": 44.859,
|
||||
"resolve_seconds": 127.152
|
||||
},
|
||||
"ApiSlowBurn": {
|
||||
"detect_seconds": 84.651,
|
||||
"resolve_seconds": 127.152
|
||||
}
|
||||
}
|
||||
},
|
||||
{
|
||||
"signal": "ready",
|
||||
"action_started": 1795186414.030848,
|
||||
"action_finished": 1795186415.9932559,
|
||||
"restore_started": 1795186568.482792,
|
||||
"restore_finished": 1795186569.2213361,
|
||||
"timings": {
|
||||
"QueueLagGrowing": {
|
||||
"detect_seconds": 47.281,
|
||||
"resolve_seconds": 181.174
|
||||
},
|
||||
"ReadyFastBurn": {
|
||||
"detect_seconds": 76.71,
|
||||
"resolve_seconds": 235.563
|
||||
},
|
||||
"ReadySlowBurn": {
|
||||
"detect_seconds": 85.981,
|
||||
"resolve_seconds": 303.95
|
||||
}
|
||||
}
|
||||
}
|
||||
],
|
||||
"firing_intervals_unix_seconds": {
|
||||
"ApiFastBurn": [
|
||||
[
|
||||
1795186070.950197,
|
||||
1795186225.223615
|
||||
]
|
||||
],
|
||||
"ApiHighErrorRate": [
|
||||
[
|
||||
1795185908.024147,
|
||||
1795185996.921485
|
||||
],
|
||||
[
|
||||
1795186042.440471,
|
||||
1795186313.1144419
|
||||
]
|
||||
],
|
||||
"ApiSlowBurn": [
|
||||
[
|
||||
1795186082.232623,
|
||||
1795186313.1144419
|
||||
]
|
||||
],
|
||||
"QueueLagGrowing": [
|
||||
[
|
||||
1795186463.2738628,
|
||||
1795186750.3954089
|
||||
]
|
||||
],
|
||||
"ReadyFastBurn": [
|
||||
[
|
||||
1795186492.702774,
|
||||
1795186804.783844
|
||||
]
|
||||
],
|
||||
"ReadySlowBurn": [
|
||||
[
|
||||
1795186501.9744341,
|
||||
1795186873.1713321
|
||||
]
|
||||
]
|
||||
},
|
||||
"short_spikes": [
|
||||
{
|
||||
"signal": "api",
|
||||
"action_started": 1795185864.820739,
|
||||
"paging_events": 0
|
||||
},
|
||||
{
|
||||
"signal": "ready",
|
||||
"action_started": 1795186346.6159208,
|
||||
"paging_events": 0
|
||||
}
|
||||
],
|
||||
"collector_rss_mib": {
|
||||
"min": 238.91796875,
|
||||
"max": 239.03515625
|
||||
},
|
||||
"collector_max_queued_packets_sum": 64.0,
|
||||
"collector_queue_capacity_sum": 64.0,
|
||||
"backend_outage": {
|
||||
"started": 1795186883.262524,
|
||||
"finished": 1795186974.814038,
|
||||
"before": {
|
||||
"at": 1795186883.262471,
|
||||
"phase": "backend_before",
|
||||
"signals": {
|
||||
"api_error_ratio_1m": 0.0,
|
||||
"queue_depth": 0.0,
|
||||
"oldest_job_age": 0.582676,
|
||||
"worker_busy": 1.0,
|
||||
"worker_attempts": 92.0,
|
||||
"pool_used": 0.0,
|
||||
"pool_waiting": 0.0,
|
||||
"http_p95": 0.14903846153846165,
|
||||
"slo_good": 646.0,
|
||||
"slo_bad": 225.0,
|
||||
"collector_received_spans": 163009.0,
|
||||
"collector_sent_spans": 160474.0,
|
||||
"collector_received_logs": 15246.0,
|
||||
"collector_sent_logs": 14928.0,
|
||||
"collector_failed_spans": 402.0,
|
||||
"collector_queue": 0.0,
|
||||
"collector_queue_capacity": 64.0,
|
||||
"collector_memory": 250630144.0,
|
||||
"app_memory": 452972544.0
|
||||
},
|
||||
"alerts": []
|
||||
},
|
||||
"after": {
|
||||
"at": 1795187083.355521,
|
||||
"phase": "backend_after",
|
||||
"signals": {
|
||||
"api_error_ratio_1m": 0.0,
|
||||
"queue_depth": 0.0,
|
||||
"oldest_job_age": 1.890634,
|
||||
"worker_busy": 1.0,
|
||||
"worker_attempts": 132.0,
|
||||
"pool_used": 0.0,
|
||||
"pool_waiting": 0.0,
|
||||
"http_p95": 0.20124999999999976,
|
||||
"slo_good": 684.0,
|
||||
"slo_bad": 226.0,
|
||||
"collector_received_spans": 170729.0,
|
||||
"collector_sent_spans": 165537.0,
|
||||
"collector_received_logs": 16224.0,
|
||||
"collector_sent_logs": 15564.0,
|
||||
"collector_failed_spans": 826.0,
|
||||
"collector_queue": 0.0,
|
||||
"collector_queue_capacity": 64.0,
|
||||
"collector_memory": 250642432.0,
|
||||
"app_memory": 452603904.0
|
||||
},
|
||||
"alerts": []
|
||||
},
|
||||
"ready_count_before_backend_recovery": 890,
|
||||
"successful_writes_during_outage": 360,
|
||||
"restored_trace_id": "60fba0bcea6e4b9fa2aead15e786b16c",
|
||||
"queue_bounded": true,
|
||||
"collector_rss_below_limit": true,
|
||||
"send_failure_counter_counts_attempts_not_unique_loss": true
|
||||
},
|
||||
"preservation": {
|
||||
"acknowledged_messages": 6370,
|
||||
"accessible_messages": 6370,
|
||||
"accepted_uploads": 359,
|
||||
"all_accepted_uploads_ready": true,
|
||||
"sampled_originals_match": true
|
||||
},
|
||||
"final_30m_sli": {
|
||||
"api_good_ratio": [
|
||||
{
|
||||
"metric": {},
|
||||
"value": [
|
||||
1795187374.124,
|
||||
"0.8992513640400964"
|
||||
]
|
||||
}
|
||||
],
|
||||
"ready_good_ratio": [
|
||||
{
|
||||
"metric": {},
|
||||
"value": [
|
||||
1795187374.131,
|
||||
"0.7983193277310924"
|
||||
]
|
||||
}
|
||||
]
|
||||
}
|
||||
}
|
||||
File diff suppressed because it is too large
Load Diff
File diff suppressed because it is too large
Load Diff
@@ -1,7 +1,9 @@
|
||||
# Конфигурация наблюдаемости — реализовать
|
||||
# Конфигурация наблюдаемости
|
||||
|
||||
Добавьте `collector.yaml` с OTLP receivers, processors и exporters выбранной версии Collector. Укажите явные bind endpoints, внутренние сети, memory limits/batch и поведение при backpressure по уровню. Сопоставьте все три pipeline с реально развёрнутыми backend.
|
||||
`collector.yaml`: OTLP/HTTP4318 внутри Compose, memory limiter/batch, три pipelines. Prometheus exporter8889 для приложения, self metrics8888. Log pipeline отправляется в Loki native OTLP, trace pipeline — в Tempo. Конечные очереди и повторные отправки сохраняют ограничение RAM при отказах. Эти ports на host не публикуются.
|
||||
|
||||
Добавьте конфигурации storage, Grafana provisioning/datasources, provisioning/dashboards и импортируемые dashboard JSON. На 4 — alert rules и runbooks. Пустой dashboard или debug exporter, который только печатает данные в stdout, не заменяют хранилища/доказательства из `contracts/observability.md`.
|
||||
`prometheus.yaml`: scrape/evaluation5с, приложение/Collector/HAProxy/Tempo/Loki. `alerts.yaml`: API/ready multi-window burn и предупреждения о5xx/возрасте очереди. [RUNBOOK](RUNBOOK.md) содержит шаги диагностики и определения SLO.
|
||||
|
||||
Не публикуйте OTLP/metrics/административные ports в общую сеть без необходимости. В lab7 реализуйте TLS/mTLS по trust matrix; экспорт Authorization и message bodies запрещён.
|
||||
`loki.yaml` и `tempo.yaml`: локальные persistent storage/WAL, provisioning Grafana находится в `infra/grafana`. Dashboard JSON импортируется автоматически, uid messenger-lab6,18панелей/3datasources. Версии/digests закреплены в Compose.
|
||||
|
||||
Результаты: [REPORT](../../REPORT.md), causal/privacy/Grafana proof `evidence/telemetry-first.json`, полный30минутный опыт `evidence/slo-research-verified.json`, анализ/график `evidence/slo-analysis-verified/`. Неполные предыдущие опыты сохранены с complete=false и не заменяют успешный результат. Отдельный clean-clone receipt должен подтвердить перезапуск и сохранение истории каждого backend.
|
||||
|
||||
@@ -37,7 +37,7 @@ batch≤256, очереди logs/traces по32пакета, один sender и f
|
||||
|
||||
## SLO и окна
|
||||
|
||||
Учебный профиль: синтетические PNG320×200, upload не чаще одного каждые3s,
|
||||
Учебный профиль: синтетические PNG320×200, upload каждые5s,
|
||||
закреплённые CPU/RAM. API цель99%ответов без5xx за30m на ingress. Jobs цель99%
|
||||
ready≤10s от PG created_at принимающей транзакции до committed_at публикации.
|
||||
Начальная граница консервативно включает завершение принимающей транзакции.
|
||||
@@ -47,4 +47,4 @@ Burn rate = доля плохих событий/0.01. Быстрое прави
|
||||
непрерывно45s. Длительное: burn>6 в2m и5m, непрерывно60s. Короткие окна выбраны
|
||||
для воспроизводимого стенда, а не универсальной production paging policy.
|
||||
Измеряются краткий всплеск/длительная деградация/firing/resolved/ложные события.
|
||||
Точность времени ограничена polling2s, scrape/evaluation5s и экспортом.
|
||||
Точность времени ограничена scrape/evaluation5s, экспортом и реальным polling: в полном опыте медиана9.663s, максимум38.223s.
|
||||
|
||||
@@ -36,7 +36,13 @@ def main():
|
||||
origin = samples[0]["at"]
|
||||
summaries = []
|
||||
for phase in report["phases"]:
|
||||
rows = [r for r in requests if r["phase"] == phase["name"]]
|
||||
# Labels remain unchanged while orchestration waits between holds.
|
||||
# Attribute writes by their actual start time inside the measured hold.
|
||||
rows = [
|
||||
r
|
||||
for r in requests
|
||||
if phase["start"] <= float(r["timestamp"]) < phase["end"]
|
||||
]
|
||||
successful = [
|
||||
float(r["seconds"]) for r in rows if r["status"] == "201"
|
||||
]
|
||||
@@ -116,6 +122,7 @@ def main():
|
||||
"max": max(gap),
|
||||
},
|
||||
"client_quantile_method": "nearest rank of successful end-to-end writes; not histogram interpolation",
|
||||
"phase_assignment": "request start timestamp inside measured hold; orchestration gaps excluded",
|
||||
"phases": summaries,
|
||||
"incidents": report["incidents"],
|
||||
"firing_intervals_unix_seconds": intervals,
|
||||
|
||||
Reference in New Issue
Block a user