docs(observability): record completed SLO study and incident diagnostics

This commit is contained in:
2026-11-20 18:14:38 +03:00
parent 7282aa8b18
commit 2c7b89bb8e
10 changed files with 16748 additions and 73 deletions
+17 -14
View File
@@ -1,18 +1,21 @@
## Лабораторная 6
Автор / группа: TODO
Целевая оценка (3/4/5): TODO
Трек 5, если заявлен: TODO
Автор / группа: Маслов, БВТ2301.
Целевая оценка:5. Трек2 — SLO и обнаружение инцидентов.
Что реализовано и что перенесено: TODO
Команды запуска из чистого clone: TODO
Результаты проверок и ссылка на REPORT.md: TODO
Ограничения / известные ошибки: TODO
Источники и использование ИИ: TODO
Собственная ЛР5: устойчивые jobs/outbox/relay/worker, четыре варианта, retry/replay/версии/cleanup. Добавлены OTel instrumentation API/relay/consumer/isolated child/DB/S3, persistent Prometheus/Loki/Tempo, Grafana provisioning18панелей, low-cardinality/privacy, конечные буферы Collector и multi-window burn-rate alerts.
- [ ] Весь обязательный минимум текущей и предыдущих работ сохранён с объявленными переходами.
- [ ] Контракт и публичные тесты не ослаблены.
- [ ] make check и make test выполнены; приложен реальный вывод.
- [ ] Сценарии отказов/безопасности своего уровня воспроизведены.
- [ ] Все секреты и приватные ключи находятся вне Git; отчёт не содержит tokens.
- [ ] README задания сохранён, REPORT.md содержит инструкцию именно моего решения.
Запуск: `uv sync --locked`, `make bootstrap`, `VCS_REF=$(git rev-parse HEAD) docker compose up -d --build --wait`; API localhost8086/Grafana3006. Команды/определения/источники: [REPORT](../REPORT.md).
Реальные проверки:112HTTP/26unit; normal/retry causal traces и связанные logs; privacy canaries; реальные запросы Grafana. Полный SLO опыт1823.238с:6370подтверждённых сообщений и359файлов сохранены; краткие сбои0critical paging, warning API был; длинные инциденты firing/resolved измерены;90с отказ Loki/Tempo, queue≤64/RSS<384MiB и360успешных writes. Сводки/CSV/график в evidence. Проверка полного свежего clone ещё выполняется отдельно и не заявляется завершённой.
Ограничения: один host/одиночные stateful сервисы, учебные30mокна, цель99% намеренно нарушена контролируемыми сбоями; в конце опыта4неплановых503 сохранены в raw данных. Возможна потеря telemetry при отказе backend. HTTP только локальный; TLS/mTLS — ЛР7.
Источники: собственная ЛР5, задание, официальная документация OTel/Grafana/Prometheus. Использована помощь ИИ при проектировании, реализации, проверках и подготовке отчёта; чужие студенческие решения не использовались.
- [ ] Весь обязательный минимум подтверждён повторной полной регрессией из чистого клона.
- [x] Контракт и публичные тесты не ослаблены.
- [x] make check и make test выполнены; реальные receipts приложены.
- [x] Отказы observability/SLO своего уровня воспроизведены.
- [x] Секреты и приватные ключи вне Git; значения не включены в отчёт.
- [x] README задания сохранён, REPORT описывает своё решение.
+70 -52
View File
@@ -1,72 +1,90 @@
# Лабораторная6 — Маслов, БВТ2301
# Лабораторная 6 — Маслов, БВТ2301
Цель:5, трек2 — SLO и обнаружение инцидентов. Собственная ЛР5 перенесена
поверх текущего skeleton с независимой историей; contracts/tests/README
и исходные check/validate сохранены. Эта версия — начало runtime-проверок:
результаты исследования, clean clone и публикация пока не подтверждены.
Цель — оценка 5, трек 2: SLO и обнаружение инцидентов. Собственный код ЛР5 перенесён поверх независимого skeleton ЛР6. Исходные README/COURSE/контракты/публичные tests и check/validate сохранены. Бизнес-API и устойчивый pipeline файлов продолжают работать; добавлена наблюдаемость всех стадий.
## Запуск
## Воспроизведение
Нужны Docker Desktop с Compose v2, Git и uv0.13.7. Python3.14.7;
SDK OpenTelemetry1.45.2, Collector0.165.0, Prometheus3.16.0, Loki3.7.10,
Tempo3.1.1, Grafana13.3.1. Lock и digest в Git; MinIO/mc собираются из
точных upstream commits собственной ЛР5 с проверкой GoSumDB.
Нужны Docker Desktop/Compose v2, Git и uv0.13.7. Python3.14.7, SDK OpenTelemetry1.45.2, Collector0.165.0, Prometheus3.16.0, Loki3.7.10, Tempo3.1.1, Grafana13.3.1. Версии и image digests закреплены. MinIO/mc собираются из точных upstream commits с GoSumDB.
```sh
uv sync --locked
make bootstrap
VCS_REF=$(git rev-parse HEAD) docker compose up -d --build --wait
make check validate lint unit PYTHON=.venv/bin/python
NO_PROXY=localhost,127.0.0.1 no_proxy=localhost,127.0.0.1 make test PYTHON=.venv/bin/python
make test BASE_URL=http://127.0.0.1:8086 PYTHON=.venv/bin/python
make test-student
uv run --locked python -m scripts.verify_telemetry --output evidence/telemetry-repeat.json
uv run --locked python -m scripts.verify_observability_persistence --causal-evidence evidence/telemetry-repeat.json --output evidence/persistence-repeat.json
uv run --locked python -m scripts.research_slo --output evidence/slo-repeat.json
uv run --locked python -m research.analyze_slo evidence/slo-repeat.json --output evidence/slo-analysis-repeat
```
API http://127.0.0.1:8086, Grafana http://127.0.0.1:3006, user admin,
локальный пароль secrets/grafana_password. Bootstrap сохраняет прежние файлы
и не печатает значения. Datasources/dashboard импортируются автоматически.
Остальные telemetry ports внутренние. docker compose down сохраняет volumes.
Fault hooks включаются только явным compose.test.yaml.
API: http://127.0.0.1:8086. Grafana: http://127.0.0.1:3006, admin, пароль в локальном `secrets/grafana_password`. Bootstrap сохраняет прежние файлы и не печатает значения. Provisioning трёх datasources и dashboard выполняется автоматически. Внутренние OTLP/metrics/backend ports на host не публикуются. `docker compose down` сохраняет данные; secrets и volumes не входят в Git. Fault hooks включаются только явным `compose.test.yaml`.
## Архитектура и измерения
Проверка чистого клона: `uv run --locked python scripts/verify_clean.py --output evidence/clean-clone-repeat.json`. Она создаёт собственные временные clone/venv/secrets/volumes/ports/image, выполняет полную регрессию и удаляет только временный проект. Основной стенд перед ней следует остановить, сохранив тома. Имена output должны быть новыми: предыдущие результаты не перезаписываются.
API/worker/relay/observer → OTLP/HTTP → Collector → Prometheus/Loki/Tempo;
Grafana — интерфейс запросов, а не хранилище трёх сигналов. История backend
сохраняется в отдельных томах. Сессии/ACL/идемпотентность/S3/outbox/worker
сохранены. Migration005 добавляет W3C context и однократные SLI-решения jobs.
Контекст идёт от server span в принимающую транзакцию и outbox, через relay
producer span к consumer и дочернему процессу с S3/DB spans, включая retry.
## Архитектура и сигналы
Логи имеют allowlist полей. Тела/пароли/Authorization/SQL/rawURL не экспортируются;
exception messages/stack traces не добавляются к spans. Метрики используют
route template, ограниченный HTTP method и status class, job type/outcome.
Технические IDs допустимы только в логах/трассах синтетических данных.
API/relay/worker/observer → OTLP/HTTP → Collector → Prometheus/Loki/Tempo → запросы Grafana. Grafana показывает данные; сама она не заменяет хранилища трёх сигналов. Каждый backend и Grafana имеют отдельный persistent volume. API-реплики, PG, S3, broker, worker, сессии, ACL и идемпотентность сохранены.
Dashboard содержит18панелей. p50/p95/p99 вычисляются из общих histogram buckets;
SDK HTTP duration измеряет ASGI response. API availability SLI берётся с
HAProxy business backend, включая ingress503; health идёт отдельным backend.
Ready SLI включает и незавершённые после10s задания. SDK queues512records,
timeout0.75s; Collector memory limiter192MiB/batch≤256/queues32/finite retry10s.
Политика SLO99%/30m, учебный профиль, окна burn rate и шаги диагностики:
[RUNBOOK](infra/otel/RUNBOOK.md), [rules](infra/otel/alerts.yaml).
Фактические имена/единицы панелей будут сверены перед финальным отчётом.
Migration005 сохраняет W3C context в принимающей транзакции вместе с jobs/outbox. Relay создаёт producer span и передаёт его контекст в stream. Worker создаёт consumer span, передаёт carrier изолированному дочернему процессу; в trace видны обработка изображения, S3 и PostgreSQL. Повторная попытка сохраняет причинную связь. `traceparent` сохраняется при отбрасывании слишком длинного `tracestate`, чтобы не нарушать строгую схему jobs.
## Результаты начальной проверки
Логи структурные: event/service/trace/span/request/технический job ID. Экспорт полей задан allowlist. Тела сообщений, изображения, пароли, Authorization, SQL-тексты, raw URL и exception message/stack не экспортируются. Идентификаторы пользователей/чатов/сообщений не становятся labels. Метрики используют route template, ограниченный HTTP method/status class, job type/outcome, service instance/version.
Offline/OpenAPI/lint и25unit PASS. Новые unit проверяют перенос causal context
между завершёнными producer/consumer spans и отсутствие чувствительных данных.
Сначала исправлены импорт Observation из API SDK и сериализация enum severity
в тестовом приёмнике; privacy assertions сохранены. Runtime evidence появится
только после реального запуска; конфигурация не считается результатом.
Dashboard `messenger-lab6` содержит 18 панелей: RPS, 5xx, HTTP p50/p95/p99, jobs/duration, время до ready, очередь/возраст, worker busy/capacity, DB pool used/waiting, память/CPU и Collector. Percentile в dashboard вычисляется `histogram_quantile` по сумме bucket rates с сохранённым le; значения разных реплик сначала объединяются. Определения и единицы находятся в импортируемом JSON. HTTP SDK duration измеряет ASGI response; end-to-end клиентские quantiles в исследовании — отдельные величины, вычисленные nearest rank по успешным HTTP запросам.
## Источники и границы
SDK traces/logs: очередь 512 записей, batch64, конечные таймауты. Collector: memory limiter192MiB/spike32, batch≤256, очереди logs/traces по32 пакета, один отправитель, конечные повторы до10с, nonblocking overflow. Collector CPU0.5/RAM384MiB, Tempo CPU0.5/RAM768MiB. Потери telemetry при длительном отказе допустимы и наблюдаемы; не заявляется надёжная доставка каждого span.
Текущее задание, собственная ЛР5, pinned libraries и официальные материалы:
[Python OTLP](https://opentelemetry.io/docs/languages/python/exporters/),
[Loki OTLP](https://grafana.com/docs/loki/latest/send-data/otel/),
[Tempo3.1.1](https://github.com/grafana/tempo/blob/v3.1.1/example/docker-compose/single-binary/tempo.yaml),
[Collector exporter](https://github.com/open-telemetry/opentelemetry-collector/tree/v0.165.0/exporter/otlphttpexporter),
[Prometheus alerts](https://prometheus.io/docs/prometheus/latest/configuration/alerting_rules/).
Помощь ИИ использована при проектировании, реализации, проверках и отчёте.
Чужие студенческие решения/истории/измерения не использовались.
Один host/PG/S3/broker/LB остаются SPOF; нет защиты от потери диска. HTTP только
локальный с синтетическими данными. TLS/mTLS вводятся независимо в ЛР7.
## SLI/SLO и гипотеза
Две учебные цели 99% за окно30мин: ответы business ingress без5xx и готовность принятого файла не позднее10с. API SLI берётся с HAProxy business backend, включая ingress503; health использует отдельный backend. Ready SLI сравнивает PG created_at принимающей транзакции с committed_at публикации результата. Начальная граница консервативно включает завершение принимающей транзакции.
Незавершённые после10с и failed учитываются как bad, а не исчезают из знаменателя. Решение сохраняется однократно в PG; replay не стирает прежний bad, obsolete до решения исключён. Histogram времени готовности содержит только завершения и не заменяет этот SLI.
Гипотеза: сочетание короткого и длинного окна в burn-rate rule отсечёт краткий всплеск от критического оповещения и обнаружит длительное нарушение обоих SLO. Burn rate — доля плохих событий/0.01. Fast: >14.4 одновременно в30с и2мин, for45с. Slow: >6 в2мин и5мин, for60с. Дополнительно warning ApiHighErrorRate и QueueLagGrowing. Это ускоренный учебный профиль; значения не выдаются за универсальную production policy.
## Методика и результаты исследования
Полный успешный опыт — `evidence/slo-research-verified.json`, CSV запросов и `evidence/slo-analysis-verified/summary.json`, таблица фаз и [график](evidence/slo-analysis-verified/slo-timeline.png). Длительность1823.238с. Нагрузка: открытое планирование4 message POST/с, максимум16 in-flight; PNG320×200 каждые5с. Docker VM:8CPU и фактический объём памяти в receipt; все service quotas сохранены там же.
После разогрева300с воспроизводятся короткие и длительные сбои. Для API — задержка SQL INSERT только синтетического чата, превышающая statement_timeout. Для ready — остановка worker. Затем оба telemetry хранилища Loki/Tempo останавливаются на90с, при этом сообщения и задания продолжают приниматься. После восстановления найдены свежие trace и log. В конце прекращается нагрузка и через публичный API проверяются все подтверждённые данные.
| Длительный инцидент / оповещение | Обнаружение, с после действия | Снятие, с после восстановления компонента |
|---|---:|---:|
| API / FastBurn |73.368|39.261|
| API / SlowBurn |84.651|127.152|
| API / HighErrorRate warning |44.859|127.152|
| Worker / QueueLag warning |47.281|181.174|
| Worker / FastBurn |76.710|235.563|
| Worker / SlowBurn |85.981|303.950|
При коротких сбоях критических paging событий0. Короткий API сбой всё же вызвал warning ApiHighErrorRate во время восстановления: не утверждается отсутствие всех оповещений. Очередь и окна не очищаются мгновенно после запуска worker; время снятия включает дренирование и исчезновение старых нарушений из окон.
В ходе90с отказа telemetry сохранены360 успешных message POST, Collector queue достигла64 при суммарной ёмкости64. Его RSS в опыте238.918–239.035MiB при лимите384MiB. После восстановления очередь0, новая trace/log доступны. Счётчик неуспешных отправок показывает попытки, а не уникально потерянные spans; точное количество потерянных spans не выводится из него.
В конце доступны все6370 подтверждённых сообщений, все359 принятых файлов находятся в ready; проверенные исходники побайтно совпадают. Это проверка сохранности подтверждённых операций, а не утверждение, что все запросы были успешны. Во время преднамеренных сбоев SLI API89.925%, ready79.832%; цель99% специально нарушена, что и должны обнаружить правила. В заключительной фазе также зарегистрированы4 ответа503; они не скрываются из CSV или расчётов.
Частота scrape/evaluation5с и экспорт ограничивают разрешение, а реальный polling наблюдателя дал промежутки5.111–38.223с, медиана9.663с. Три десятичных знака — арифметика временных меток, не миллисекундная точность обнаружения. Клиентские фазовые сводки используют start timestamp внутри фактически измеренного hold; промежутки orchestration исключены, raw CSV сохранён.
## Проверка и разбор инцидентов
Реальные результаты до clean clone:112 HTTP tests PASS416.52с (`http-first.json`),26 unit, smoke/offline/full OpenAPI/lint. `telemetry-first.json` подтверждает цепочку normal upload25spans/1attempt и retry33spans/2attempts; реальные parent IDs API→producer→consumer→child→DB/S3, связанные Loki trace/span/request IDs, privacy canaries,1131 ограниченных metric series,18панелей/3 datasource health и реальные Grafana query frames.
Для API инцидента сохранена ошибочная трасса с db.postgresql ≥2с и ERROR, при этом очередь не объясняет деградацию. Для worker инцидента upload202 продолжает работать, возраст и очередь растут, worker spans прекращаются; после запуска для того же attachment появляется consumer/processing chain и ready. Диагностировать следует по этим наблюдениям, а не одному коду500. Пошаговые действия и точные запросы: [RUNBOOK](infra/otel/RUNBOOK.md).
Предварительные неуспешные опыты сохранены с complete=false. Они выявили имя actual RSS metric, недостаточный запас памяти, слишком раннее фиксированное ожидание resolved и строковый тип Compose mem_limit. Последнее исправлено нормализацией чисел. Ни один неполный опыт не выдан за успешный30минутный.
Полный fresh clone с повторением telemetry persistence/cluster/pipeline/cleanup ещё выполняется отдельно; до его успешного receipt воспроизводимость из чистого клона не заявляется.
## Ответы на контрольные вопросы
1. Метрика показывает масштаб/время проблемы: например доля5xx или возраст очереди. Лог — конкретное событие и технические ID. Trace — путь одного запроса/задания и длительности отдельных стадий. Вместе они позволяют перейти от общей деградации к причине.
2. Каждый новый chat_id создаёт отдельный временной ряд для каждой комбинации labels. Рост чатов умножает число рядов и стоимость RAM/индекса/запросов. Поэтому chat_id оставляют в техническом логе/trace, а метрику группируют по ограниченным признакам.
3. Контекст traceparent/tracestate сохраняется вместе с заданием, relay создаёт producer span и записывает его carrier в уведомление. Worker извлекает его и создаёт consumer span с правильным parent; передача в child не теряется при смене процесса. Durable outbox отделяет сохранение задания от доставки уведомления.
4. Среднее скрывает редкие долгие ответы; p99 описывает хвост. Усреднять p99 реплик нельзя: разные объёмы запросов и распределения не восстанавливаются из двух quantiles. Нужно сложить совместимые histogram buckets реплик и вычислить общий percentile.
## Источники и ограничения
Задание, собственная ЛР5 и официальные материалы: [OTLP Python](https://opentelemetry.io/docs/languages/python/exporters/), [Loki OTLP](https://grafana.com/docs/loki/latest/send-data/otel/), [Tempo3.1.1 config](https://github.com/grafana/tempo/blob/v3.1.1/example/docker-compose/single-binary/tempo.yaml), [Collector](https://opentelemetry.io/docs/collector/configuration/), [Prometheus alerting](https://prometheus.io/docs/prometheus/latest/configuration/alerting_rules/). При проектировании, реализации, проверках и подготовке отчёта использована помощь ИИ. Чужие студенческие решения/истории/измерения не использовались.
Один host и одиночные PG/S3/broker/LB остаются SPOF; нет защиты от потери диска. SLO исследован один раз полностью на данном профиле; статистическая обобщаемость не заявляется. Остались явные потери запросов/telemetry при искусственных отказах; они отражены в raw receipts. HTTP используется только локально с синтетическими данными; TLS/mTLS вводятся независимо в ЛР7.
+13
View File
@@ -0,0 +1,13 @@
phase,seconds,started_requests,statuses,successful_rps,success_p50_ms,success_p95_ms,success_p99_ms,critical_firing_names,warning_firing_names
warmup,300.238,1200,{'201': 1200},3.997,18.907,154.932,396.121,[],[]
api_brief,8.531,34,"{'503': 32, '-1': 2}",0.0,,,,[],[]
api_brief_recovery,120.002,480,"{'201': 479, '0': 1}",3.992,27.665,229.005,791.96,[],['ApiHighErrorRate']
api_sustained,185.636,743,{'503': 743},0.0,,,,"['ApiFastBurn', 'ApiSlowBurn']",['ApiHighErrorRate']
api_recovery,156.766,627,{'201': 627},4.0,23.464,250.67,1807.065,"['ApiFastBurn', 'ApiSlowBurn']",['ApiHighErrorRate']
ready_brief,5.004,20,{'201': 20},3.997,18.589,41.825,59.7,[],[]
ready_brief_recovery,59.986,240,{'201': 240},4.001,29.034,194.65,396.574,[],[]
ready_sustained,152.489,610,{'201': 610},4.0,21.872,150.518,429.458,"['ReadyFastBurn', 'ReadySlowBurn']",['QueueLagGrowing']
ready_recovery,303.953,1216,"{'201': 1215, '0': 1}",3.997,31.974,256.132,866.055,"['ReadyFastBurn', 'ReadySlowBurn']",['QueueLagGrowing']
backend_unavailable,90.001,360,{'201': 360},4.0,21.961,123.103,221.753,[],[]
backend_recovery,59.999,240,{'201': 240},4.0,27.369,154.043,469.609,[],[]
steady_after_recovery,268.806,1075,"{'201': 1071, '503': 4}",3.984,27.293,514.282,1556.851,[],[]
1 phase seconds started_requests statuses successful_rps success_p50_ms success_p95_ms success_p99_ms critical_firing_names warning_firing_names
2 warmup 300.238 1200 {'201': 1200} 3.997 18.907 154.932 396.121 [] []
3 api_brief 8.531 34 {'503': 32, '-1': 2} 0.0 [] []
4 api_brief_recovery 120.002 480 {'201': 479, '0': 1} 3.992 27.665 229.005 791.96 [] ['ApiHighErrorRate']
5 api_sustained 185.636 743 {'503': 743} 0.0 ['ApiFastBurn', 'ApiSlowBurn'] ['ApiHighErrorRate']
6 api_recovery 156.766 627 {'201': 627} 4.0 23.464 250.67 1807.065 ['ApiFastBurn', 'ApiSlowBurn'] ['ApiHighErrorRate']
7 ready_brief 5.004 20 {'201': 20} 3.997 18.589 41.825 59.7 [] []
8 ready_brief_recovery 59.986 240 {'201': 240} 4.001 29.034 194.65 396.574 [] []
9 ready_sustained 152.489 610 {'201': 610} 4.0 21.872 150.518 429.458 ['ReadyFastBurn', 'ReadySlowBurn'] ['QueueLagGrowing']
10 ready_recovery 303.953 1216 {'201': 1215, '0': 1} 3.997 31.974 256.132 866.055 ['ReadyFastBurn', 'ReadySlowBurn'] ['QueueLagGrowing']
11 backend_unavailable 90.001 360 {'201': 360} 4.0 21.961 123.103 221.753 [] []
12 backend_recovery 59.999 240 {'201': 240} 4.0 27.369 154.043 469.609 [] []
13 steady_after_recovery 268.806 1075 {'201': 1071, '503': 4} 3.984 27.293 514.282 1556.851 [] []
Binary file not shown.

After

Width:  |  Height:  |  Size: 187 KiB

+404
View File
@@ -0,0 +1,404 @@
{
"source_commit": "7282aa8b18cc33cf243cc8d82ff2fdd71079766a",
"runtime_versions": [
"752a5e6c0d33c2856f7ac8e66074e4adfb9a699d"
],
"elapsed_seconds": 1823.238,
"sample_count": 172,
"sample_gap_seconds": {
"min": 5.110785245895386,
"median": 9.663292169570923,
"max": 38.223085165023804
},
"client_quantile_method": "nearest rank of successful end-to-end writes; not histogram interpolation",
"phase_assignment": "request start timestamp inside measured hold; orchestration gaps excluded",
"phases": [
{
"phase": "warmup",
"seconds": 300.238,
"started_requests": 1200,
"statuses": {
"201": 1200
},
"successful_rps": 3.997,
"success_p50_ms": 18.907,
"success_p95_ms": 154.932,
"success_p99_ms": 396.121,
"critical_firing_names": [],
"warning_firing_names": []
},
{
"phase": "api_brief",
"seconds": 8.531,
"started_requests": 34,
"statuses": {
"503": 32,
"-1": 2
},
"successful_rps": 0.0,
"success_p50_ms": null,
"success_p95_ms": null,
"success_p99_ms": null,
"critical_firing_names": [],
"warning_firing_names": []
},
{
"phase": "api_brief_recovery",
"seconds": 120.002,
"started_requests": 480,
"statuses": {
"201": 479,
"0": 1
},
"successful_rps": 3.992,
"success_p50_ms": 27.665,
"success_p95_ms": 229.005,
"success_p99_ms": 791.96,
"critical_firing_names": [],
"warning_firing_names": [
"ApiHighErrorRate"
]
},
{
"phase": "api_sustained",
"seconds": 185.636,
"started_requests": 743,
"statuses": {
"503": 743
},
"successful_rps": 0.0,
"success_p50_ms": null,
"success_p95_ms": null,
"success_p99_ms": null,
"critical_firing_names": [
"ApiFastBurn",
"ApiSlowBurn"
],
"warning_firing_names": [
"ApiHighErrorRate"
]
},
{
"phase": "api_recovery",
"seconds": 156.766,
"started_requests": 627,
"statuses": {
"201": 627
},
"successful_rps": 4.0,
"success_p50_ms": 23.464,
"success_p95_ms": 250.67,
"success_p99_ms": 1807.065,
"critical_firing_names": [
"ApiFastBurn",
"ApiSlowBurn"
],
"warning_firing_names": [
"ApiHighErrorRate"
]
},
{
"phase": "ready_brief",
"seconds": 5.004,
"started_requests": 20,
"statuses": {
"201": 20
},
"successful_rps": 3.997,
"success_p50_ms": 18.589,
"success_p95_ms": 41.825,
"success_p99_ms": 59.7,
"critical_firing_names": [],
"warning_firing_names": []
},
{
"phase": "ready_brief_recovery",
"seconds": 59.986,
"started_requests": 240,
"statuses": {
"201": 240
},
"successful_rps": 4.001,
"success_p50_ms": 29.034,
"success_p95_ms": 194.65,
"success_p99_ms": 396.574,
"critical_firing_names": [],
"warning_firing_names": []
},
{
"phase": "ready_sustained",
"seconds": 152.489,
"started_requests": 610,
"statuses": {
"201": 610
},
"successful_rps": 4.0,
"success_p50_ms": 21.872,
"success_p95_ms": 150.518,
"success_p99_ms": 429.458,
"critical_firing_names": [
"ReadyFastBurn",
"ReadySlowBurn"
],
"warning_firing_names": [
"QueueLagGrowing"
]
},
{
"phase": "ready_recovery",
"seconds": 303.953,
"started_requests": 1216,
"statuses": {
"201": 1215,
"0": 1
},
"successful_rps": 3.997,
"success_p50_ms": 31.974,
"success_p95_ms": 256.132,
"success_p99_ms": 866.055,
"critical_firing_names": [
"ReadyFastBurn",
"ReadySlowBurn"
],
"warning_firing_names": [
"QueueLagGrowing"
]
},
{
"phase": "backend_unavailable",
"seconds": 90.001,
"started_requests": 360,
"statuses": {
"201": 360
},
"successful_rps": 4.0,
"success_p50_ms": 21.961,
"success_p95_ms": 123.103,
"success_p99_ms": 221.753,
"critical_firing_names": [],
"warning_firing_names": []
},
{
"phase": "backend_recovery",
"seconds": 59.999,
"started_requests": 240,
"statuses": {
"201": 240
},
"successful_rps": 4.0,
"success_p50_ms": 27.369,
"success_p95_ms": 154.043,
"success_p99_ms": 469.609,
"critical_firing_names": [],
"warning_firing_names": []
},
{
"phase": "steady_after_recovery",
"seconds": 268.806,
"started_requests": 1075,
"statuses": {
"201": 1071,
"503": 4
},
"successful_rps": 3.984,
"success_p50_ms": 27.293,
"success_p95_ms": 514.282,
"success_p99_ms": 1556.851,
"critical_firing_names": [],
"warning_firing_names": []
}
],
"incidents": [
{
"signal": "api",
"action_started": 1795185997.2563121,
"action_finished": 1795185997.581769,
"restore_started": 1795186183.218286,
"restore_finished": 1795186185.962821,
"timings": {
"ApiFastBurn": {
"detect_seconds": 73.368,
"resolve_seconds": 39.261
},
"ApiHighErrorRate": {
"detect_seconds": 44.859,
"resolve_seconds": 127.152
},
"ApiSlowBurn": {
"detect_seconds": 84.651,
"resolve_seconds": 127.152
}
}
},
{
"signal": "ready",
"action_started": 1795186414.030848,
"action_finished": 1795186415.9932559,
"restore_started": 1795186568.482792,
"restore_finished": 1795186569.2213361,
"timings": {
"QueueLagGrowing": {
"detect_seconds": 47.281,
"resolve_seconds": 181.174
},
"ReadyFastBurn": {
"detect_seconds": 76.71,
"resolve_seconds": 235.563
},
"ReadySlowBurn": {
"detect_seconds": 85.981,
"resolve_seconds": 303.95
}
}
}
],
"firing_intervals_unix_seconds": {
"ApiFastBurn": [
[
1795186070.950197,
1795186225.223615
]
],
"ApiHighErrorRate": [
[
1795185908.024147,
1795185996.921485
],
[
1795186042.440471,
1795186313.1144419
]
],
"ApiSlowBurn": [
[
1795186082.232623,
1795186313.1144419
]
],
"QueueLagGrowing": [
[
1795186463.2738628,
1795186750.3954089
]
],
"ReadyFastBurn": [
[
1795186492.702774,
1795186804.783844
]
],
"ReadySlowBurn": [
[
1795186501.9744341,
1795186873.1713321
]
]
},
"short_spikes": [
{
"signal": "api",
"action_started": 1795185864.820739,
"paging_events": 0
},
{
"signal": "ready",
"action_started": 1795186346.6159208,
"paging_events": 0
}
],
"collector_rss_mib": {
"min": 238.91796875,
"max": 239.03515625
},
"collector_max_queued_packets_sum": 64.0,
"collector_queue_capacity_sum": 64.0,
"backend_outage": {
"started": 1795186883.262524,
"finished": 1795186974.814038,
"before": {
"at": 1795186883.262471,
"phase": "backend_before",
"signals": {
"api_error_ratio_1m": 0.0,
"queue_depth": 0.0,
"oldest_job_age": 0.582676,
"worker_busy": 1.0,
"worker_attempts": 92.0,
"pool_used": 0.0,
"pool_waiting": 0.0,
"http_p95": 0.14903846153846165,
"slo_good": 646.0,
"slo_bad": 225.0,
"collector_received_spans": 163009.0,
"collector_sent_spans": 160474.0,
"collector_received_logs": 15246.0,
"collector_sent_logs": 14928.0,
"collector_failed_spans": 402.0,
"collector_queue": 0.0,
"collector_queue_capacity": 64.0,
"collector_memory": 250630144.0,
"app_memory": 452972544.0
},
"alerts": []
},
"after": {
"at": 1795187083.355521,
"phase": "backend_after",
"signals": {
"api_error_ratio_1m": 0.0,
"queue_depth": 0.0,
"oldest_job_age": 1.890634,
"worker_busy": 1.0,
"worker_attempts": 132.0,
"pool_used": 0.0,
"pool_waiting": 0.0,
"http_p95": 0.20124999999999976,
"slo_good": 684.0,
"slo_bad": 226.0,
"collector_received_spans": 170729.0,
"collector_sent_spans": 165537.0,
"collector_received_logs": 16224.0,
"collector_sent_logs": 15564.0,
"collector_failed_spans": 826.0,
"collector_queue": 0.0,
"collector_queue_capacity": 64.0,
"collector_memory": 250642432.0,
"app_memory": 452603904.0
},
"alerts": []
},
"ready_count_before_backend_recovery": 890,
"successful_writes_during_outage": 360,
"restored_trace_id": "60fba0bcea6e4b9fa2aead15e786b16c",
"queue_bounded": true,
"collector_rss_below_limit": true,
"send_failure_counter_counts_attempts_not_unique_loss": true
},
"preservation": {
"acknowledged_messages": 6370,
"accessible_messages": 6370,
"accepted_uploads": 359,
"all_accepted_uploads_ready": true,
"sampled_originals_match": true
},
"final_30m_sli": {
"api_good_ratio": [
{
"metric": {},
"value": [
1795187374.124,
"0.8992513640400964"
]
}
],
"ready_good_ratio": [
{
"metric": {},
"value": [
1795187374.131,
"0.7983193277310924"
]
}
]
}
}
File diff suppressed because it is too large Load Diff
File diff suppressed because it is too large Load Diff
+6 -4
View File
@@ -1,7 +1,9 @@
# Конфигурация наблюдаемости — реализовать
# Конфигурация наблюдаемости
Добавьте `collector.yaml` с OTLP receivers, processors и exporters выбранной версии Collector. Укажите явные bind endpoints, внутренние сети, memory limits/batch и поведение при backpressure по уровню. Сопоставьте все три pipeline с реально развёрнутыми backend.
`collector.yaml`: OTLP/HTTP4318 внутри Compose, memory limiter/batch, три pipelines. Prometheus exporter8889 для приложения, self metrics8888. Log pipeline отправляется в Loki native OTLP, trace pipeline — в Tempo. Конечные очереди и повторные отправки сохраняют ограничение RAM при отказах. Эти ports на host не публикуются.
Добавьте конфигурации storage, Grafana provisioning/datasources, provisioning/dashboards и импортируемые dashboard JSON. На 4 — alert rules и runbooks. Пустой dashboard или debug exporter, который только печатает данные в stdout, не заменяют хранилища/доказательства из `contracts/observability.md`.
`prometheus.yaml`: scrape/evaluation5с, приложение/Collector/HAProxy/Tempo/Loki. `alerts.yaml`: API/ready multi-window burn и предупреждения о5xx/возрасте очереди. [RUNBOOK](RUNBOOK.md) содержит шаги диагностики и определения SLO.
Не публикуйте OTLP/metrics/административные ports в общую сеть без необходимости. В lab7 реализуйте TLS/mTLS по trust matrix; экспорт Authorization и message bodies запрещён.
`loki.yaml` и `tempo.yaml`: локальные persistent storage/WAL, provisioning Grafana находится в `infra/grafana`. Dashboard JSON импортируется автоматически, uid messenger-lab6,18панелей/3datasources. Версии/digests закреплены в Compose.
Результаты: [REPORT](../../REPORT.md), causal/privacy/Grafana proof `evidence/telemetry-first.json`, полный30минутный опыт `evidence/slo-research-verified.json`, анализ/график `evidence/slo-analysis-verified/`. Неполные предыдущие опыты сохранены с complete=false и не заменяют успешный результат. Отдельный clean-clone receipt должен подтвердить перезапуск и сохранение истории каждого backend.
+2 -2
View File
@@ -37,7 +37,7 @@ batch≤256, очереди logs/traces по32пакета, один sender и f
## SLO и окна
Учебный профиль: синтетические PNG320×200, upload не чаще одного каждые3s,
Учебный профиль: синтетические PNG320×200, upload каждые5s,
закреплённые CPU/RAM. API цель99%ответов без5xx за30m на ingress. Jobs цель99%
ready≤10s от PG created_at принимающей транзакции до committed_at публикации.
Начальная граница консервативно включает завершение принимающей транзакции.
@@ -47,4 +47,4 @@ Burn rate = доля плохих событий/0.01. Быстрое прави
непрерывно45s. Длительное: burn>6 в2m и5m, непрерывно60s. Короткие окна выбраны
для воспроизводимого стенда, а не универсальной production paging policy.
Измеряются краткий всплеск/длительная деградация/firing/resolved/ложные события.
Точность времени ограничена polling2s, scrape/evaluation5s и экспортом.
Точность времени ограничена scrape/evaluation5s, экспортом и реальным polling: в полном опыте медиана9.663s, максимум38.223s.
+8 -1
View File
@@ -36,7 +36,13 @@ def main():
origin = samples[0]["at"]
summaries = []
for phase in report["phases"]:
rows = [r for r in requests if r["phase"] == phase["name"]]
# Labels remain unchanged while orchestration waits between holds.
# Attribute writes by their actual start time inside the measured hold.
rows = [
r
for r in requests
if phase["start"] <= float(r["timestamp"]) < phase["end"]
]
successful = [
float(r["seconds"]) for r in rows if r["status"] == "201"
]
@@ -116,6 +122,7 @@ def main():
"max": max(gap),
},
"client_quantile_method": "nearest rank of successful end-to-end writes; not histogram interpolation",
"phase_assignment": "request start timestamp inside measured hold; orchestration gaps excluded",
"phases": summaries,
"incidents": report["incidents"],
"firing_intervals_unix_seconds": intervals,