17 KiB
ЛР6 — Парамонов Глеб, БВТ2301
Целевая оценка 5, трек2: SLO и обнаружение инцидентов. Ветка solution/bvt2301-paramonov. Бизнес-контракт ЛР5 сохранён: две API, PostgreSQL, profile cache, private S3, durable outbox, Valkey Streams, отдельный worker, versioned image pipeline и bounded retries. Исходные README/COURSE/contracts/public tests не изменены. Код, эксперименты и оформление подготовлены с помощью OpenAI Codex; все заявленные измерения получены на локальном стенде.
Воспроизведение
Prerequisites: Git, Docker Compose v2, Python3.12+ и доступ к официальным образам/пакетам. Проверено Windows10 + Docker Desktop/WSL2; i5-11400H/8GB, WSL4CPU/3GB/4GBswap. Стенды других лабораторных остановить: порт8080 общий.
python -m venv .venv
# Windows вместо .venv/bin/python: .venv/Scripts/python.exe
.venv/bin/python -m pip install -r requirements-dev.txt -r requirements-test.txt
.venv/bin/python scripts/bootstrap.py
docker compose config --quiet
docker compose up -d --build --wait
.venv/bin/python scripts/check_contract.py
.venv/bin/python scripts/validate_openapi.py
.venv/bin/python -X utf8 tests/smoke.py
.venv/bin/python -X utf8 scripts/verify_telemetry.py
.venv/bin/python -X utf8 scripts/verify_stack.py
.venv/bin/python -X utf8 scripts/incidents.py
.venv/bin/python -X utf8 scripts/plot_incidents.py
docker compose down
make check/validate/test эквивалентны соответствующим Python-командам. up --wait подтверждает readiness бизнес-сервисов; telemetry query script дополнительно ждёт появления реальных данных. Миграции и storage/telemetry volume initialization автоматические. Повтор bootstrap не ротирует credentials, неполную конфигурацию не перезаписывает. Файлы пишутся с LF и на Windows: CRLF в file-based password не должен стать частью пароля.
down сохраняет данные. Намеренное удаление учебных данных только этого Compose project: docker compose down -v. Все persistent dependencies включены в compose. verify_stack.py перезапускает бизнес-контейнеры/volumes, incidents.py временно нарушает конкретные зависимости и восстанавливает их. Имена project автоматически берутся из текущего clone; соседние лабы не затрагиваются.
Grafana http://localhost:3000, admin, пароль в ignored secrets/grafana-password; dashboard MTUSI / MTUSI Messenger - signals and SLO. Prometheus http://localhost:9090, alerts /alerts; Loki3100/Tempo3200 доступны на loopback для проверки. OTLP4318, PG, broker и S3 не опубликованы на хост. Это локальный учебный стенд; TLS/public access не заявляются. Не выводить docker compose config с env: используйте config --quiet.
Версии и компоненты
Python3.12.15, FastAPI0.143.2, OTel API/SDK/exporter1.45.1, semantic-conventions0.66b1; полный lock в requirements.txt. PostgreSQL17.11, Valkey8.1 (cache и отдельный durable broker), HAProxy3.0, SeaweedFS4.48. Telemetry: Prometheus3.15.0, Loki3.6.7, Tempo2.10.0, Grafana13.2.4. Collector digest образа с tag0.140.0; сам бинарник сообщает0.140.1, это проверено docker compose exec otel-collector /otelcol-contrib --version. Реальным pin является digest, не tag.
Образы официальных проектов через mirror.gcr.io закреплены digest. Docker Hub возвращал403; у новых Collector/Loki manifests существовали, но pull некоторых layers возвращал404. Использованы версии, которые реально скачаны и запущены. Tempo2.10 выбран как single-binary local backend; актуальность более новых релизов не является заявлением этого отчёта.
Prometheus хранит ряды и вычисляет PromQL/alerts, Loki хранит JSON logs через OTLP endpoint, Tempo хранит реальные traces. Grafana лишь запрашивает эти три источника. Persistent volumes отдельные; retention24h, Prometheus также256MB. Datasources/dashboard/rules полностью в Git, ручной импорт не нужен. Dashboard generator — scripts/dashboard.py, committed JSON — infra/grafana/dashboards/messenger.json.
Инструментация и соответствие контракту
| Сигнал | Реальное имя / запрос и единица |
|---|---|
| HTTP counter | http_server_requests_total, method/route template/status_class |
| RPS | sum(rate(http_server_requests_total[1m])), запросы/сек |
| Errors | (sum(rate(http_server_requests_total{status_class="5xx"}[1m])) or vector(0)) / clamp_min(sum(rate(http_server_requests_total[1m])),0.001), доля |
| API p95 | histogram_quantile(.95,sum by(le)(rate(http_server_duration_seconds_bucket[1m]))), секунды |
| Jobs | jobs_processed_total, job_type/outcome: ready/retry/failed/noop/superseded |
| Worker duration | job_processing_duration_seconds_bucket, секунды |
| Acceptance→ready | attachment_time_to_ready_seconds_bucket, секунды |
| Backlog | queue_depth, число queued/processing в источнике истиныPG, а не длина повторных stream deliveries |
| Oldest | queue_oldest_age_seconds, возраст старейшего unfinished intent |
| Pool | db_pool_used, db_pool_waiting, соединения/ожидающие |
| Saturation | sum(worker_busy)/clamp_min(sum(worker_capacity),1), доля |
| RAM / CPU | process_rss_bytes; deriv(process_cpu_time_seconds[1m]), CPU seconds per wall second |
| SLO cohorts | attachment_slo_eligible, attachment_slo_bad, window=60/300, количество |
Для p50/p95/p99 используется одна histogram со boundaries.005/.01/.025/.05/.1/.25/.5/1/2.5/5/10/30/60/120s; агрегация buckets всех реплик, не среднее percentiles. CPU gauge накопительный, новый process_instance при рестарте отделяет reset. Prometheus собственные target labels job/instance сохранены; resource service.name/instance экспортируются как exported_job/exported_instance. Дополнительная process_instance не конфликтует с ними.
Resource service.name=messenger-api/worker/dispatcher, version=lab6-v1, environment=lab. HTTP health не создаёт business spans/counters. Route всегда шаблон; отсутствуют user/chat/message/attachment/request IDs, filename, raw URL в metric labels. JSON events содержат timestamp/severity/service.name/event/trace_id/span_id; HTTP X-Request-Id связывает ответ с логом. В логах допустимы лишь синтетические технические IDs, outcome, тип ошибки; body, Authorization, credentials, exception text, SQL params и image bytes не записываются.
W3C traceparent и tracestate сохраняются с durable job в той же PG-транзакции, восстанавливаются dispatcher перед PRODUCER span; его carrier идёт через stream в CONSUMER. Retry создаёт новый producer/consumer в исходном trace. Дочерние spans image.render, s3.get/put, db.attachment.commit; HTTP auth и message commit имеют отдельные DB spans. Не создаются искусственные готовые traces: evidence содержит результаты реальных запросов.
Ограниченная телеметрия
SDK: очереди traces/logs256, batch64, интервал1s, timeout2s; metrics каждые5s, export timeout3s. Collector: memory_limiter192MiB/spike48, контейнер256MiB, max batch128, отдельные exporter queues32 batches/2 consumers, retry max30s/timeout2s. Ошибка экспорта не является ошибкой бизнес-запроса. При долгой недоступности backend часть telemetry теряется; queues не являются durable хранилищем.
API caps512MiB на реплику, worker768MiB и renderer subprocess640MiB/CPU20s/wall25s, PG256MiB, S3 512MiB; значения остальных caps в compose. Grafana512MiB/GOMEMLIMIT384MiB, Collector256MiB/GOMEMLIMIT192MiB. Это caps, не обещание одновременной суммы резидентной памяти. Стенд используется последовательно с другими лабами.
Исследование SLO
Гипотеза: многооконный burn-rate + время pending подавит короткий всплеск, но обнаружит длительную деградацию; отдельные queue/DB signals и traces позволят различить причины. Бизнес-работа продолжится при недоступных Loki/Tempo, при ограниченной памяти и измеримой потере telemetry.
Цели для учебного профиля: API99.5% (5xx/все бизнес-запросы), ready<=30s для99% durable accepted uploads. API burn>10 одновременно20s/60s, for30s; ready burn>10 одновременно60s/300s eligible cohorts, for15s. Возраст<30s не объявляется преждевременно успешным; failed/unfinished старше30s входят в bad. QueueLag: age>30s и depth>0, for10s. Никакой внешний канал уведомлений не требуется: фиксируются локальные pending/firing/resolved. Полные определения и диагностические шаги: RUNBOOK.md.
Методика scripts/incidents.py: 4 closed-loop клиента POST messages с паузой.2s, все requests/errors/latencies записаны; baseline45s, exclusive lock sessions5s (наблюдение45s), settle35s, lock70s (наблюдение75s), recovery70s. Затем worker stop,8 PNG uploads,85s наблюдения, start/drain/recovery110s. Loki+Tempo stop80s, recovery45s. Метрики/alerts опрашиваются примерно каждые5s; query overhead добавляет погрешность, времена берутся из реальных timestamps. Блокировка bounded pg_sleep завершается самостоятельно. HTTP readiness SELECT1 остаётся работоспособной во время блокировки sessions, что отделяет DB auth latency от отсутствия API replica.
Сырые результаты и итоговая таблица формируются после прогона в evidence/incidents/; графики строятся только из timeline.json, без вручную нарисованных значений. Короткие окна нужны для воспроизводимости; это не подтверждение production SLO за30дней. Малый объём upload делает доли шумными. Closed-loop/паузы и один ноутбук ограничивают обобщение throughput.
Первый полный прогон, 17 октября
evidence/integration.json: public smoke/persistence/failover и весь fault/retry/version pipeline PASS с включённой телеметрией. Failover:91 успешная запись,3 неудачных попытки, первое восстановление8.594s; подтверждённые данные сохранены. evidence/telemetry.json, upload-trace.json, upload-logs.json, metric-samples.json:15 обязательных метрик, parent-child через broker, retry→ready, сохранённый tracestate, request_id correlation, отсутствие секретов и запрещённых labels — PASS. Все3 Grafana datasource health проверены OK, dashboard17 panels.
evidence/incidents/timeline.json, requests.json и db-error-trace.json содержат полный первый эксперимент:
| Воздействие | Наблюдение |
|---|---|
| Lock sessions5s | 6 HTTP ошибок, APIAvailabilityBurn не перешёл в firing:0 ложных срабатываний |
| Lock sessions70s | 225 ошибок, API burn firing через55.049s от начала наблюдения; после восстановления1204/1204 writes |
| Диагностика DB | ERROR span db.session.authenticate1.001631s, а не только медленный общий HTTP span |
| Worker stopped | 8 accepted attachments; QueueLag через55.276s, ReadyBurn через64.328s;1487/1487 message writes продолжились |
| Worker restored | Все8 ready за6.822s после старта; затем оба алерта снялись |
| Loki+Tempo stopped80s | 1517/1517 business writes,18.076RPS, p95 успешных36.578ms |
| Bounded exporter | Queue max32/32; Collector RSS74.449MiB во время outage,75.320MiB максимум recovery, cap256MiB |
| Потери | После исчерпания retry явно отброшено384 span-records и96 log-records, подтверждено collector-drops.txt; это не все потери при queue full |
При последнем scrape первого прогона accepted−sent=10496 span-records и1080 log-records, queue=0, но трафик ещё шёл: это снимок разрыва счётчиков с погрешностью in-flight/batch, а не точное количество уникальных потерянных traces. Финальная методика дополнительно останавливает трафик и снимает счётчики после15s flush. Первые baseline samples содержат ещё firing ReadyBurn от предшествующих намеренно медленных pipeline tests; это реальный предыдущий breach, не ложный API alert. Перед финальным повтором добавлено120s settling и явная проверка отсутствия firing.
Графики: timeline.png. В первом прогоне sample intervals фактически около9s из-за создания HTTP-клиента на каждый PromQL; первичные timestamps сохранены. Финальный опрос переиспользует соединение. Также отключена встроенная инструментация FastAPI: первоначальная трасса содержала дублирующий SERVER span/operation spans; окончательный код использует только явные инструменты с проверкой одного SERVER span и исключением health. Поэтому два прогона не сравниваются как benchmark цены telemetry; повтор проверяет корректность исправленной конфигурации.
Первичные материалы
- OpenTelemetry Python exporters, propagation, W3C Trace Context.
- Collector configuration, Loki OTLP.
- Prometheus histograms, Grafana provisioning.
- Контракты и COURSE.md этого репозитория; собственная реализация ЛР1–5, фактические версии image/runtime и локальные evidence.