feat: add bounded observability and verified SLO incident alerts

This commit is contained in:
Vladislav Agapov
2026-10-29 18:01:11 +03:00
parent 470d9d6f1e
commit 6c7601802d
325 changed files with 24988 additions and 44 deletions
+27
View File
@@ -0,0 +1,27 @@
# Фактическая конфигурация
`.env.example` задания содержит логические предложения. Программа не загружает его автоматически и не читает переменные с суффиксом `_FILE`. Helm передаёт значения из Kubernetes Secrets в env; локальный test-local создаёт отдельные синтетические credentials и удаляет их после запуска.
| Настройка задания | Реальная настройка |
| --- | --- |
| DATABASE_URL_FILE | DATABASE_URL из messenger-secrets |
| SESSION_STORE | PostgreSQL, сессии не находятся только в Valkey |
| CACHE_URL_FILE | VALKEY_SHARDS: именованные host:port, consistent hashing |
| API_REPLICAS | Helm replicaCount / autoscaling minReplicas |
| APP_HOST/PORT | APP_HOST и APP_PORT |
| SESSION_TTL_SECONDS | Одноимённая переменная, по умолчанию 3600 |
| IDEMPOTENCY_TTL_SECONDS | Фиксированные контрактные 24 часа |
| S3_ENDPOINT | host:port без схемы; S3_TLS=false для приватного учебного HTTP |
| S3_ACCESS_KEY_ID_FILE / S3_SECRET_ACCESS_KEY_FILE | S3_ACCESS_KEY / S3_SECRET_KEY из messenger-s3 |
| S3_BUCKET | attachments; bootstrap отдельной административной identity |
| MAX_UPLOAD_BYTES / MAX_IMAGE_PIXELS | Именованные константы 10 MiB / 40 миллионов |
| BROKER_URL_FILE | BROKER_ADDRESS, отдельный Valkey Streams |
| WORKER_CONCURRENCY | Один обработчик в процессе; Helm worker.replicas масштабирует процессы |
| JOB_MAX_ATTEMPTS / JOB_TIMEOUT_SECONDS | Пять попыток / 45 s операции; lease 120 s |
| STAGING_RETENTION_SECONDS | Семь дней после terminal transition; orphan grace час |
| OTEL_SERVICE_NAME / RESOURCE_ATTRIBUTES | Явные SDK resource attributes messenger-api/worker, версия APP_VERSION, уникальный instance, environment=lab |
| OTEL_EXPORTER_OTLP_ENDPOINT | HTTP(S) base URL Collector; пусто отключает export |
| OTEL_EXPORTER_OTLP_PROTOCOL | Реализован OTLP HTTP/protobuf |
| Sampling | OTEL_SAMPLE_RATIO в [0,1], по умолчанию 1 |
Значения политик, не читаемые из env, нельзя менять вымышленными переменными. Фактические limits/resources/image digests находятся в chart values и Go-конфигурации. CURSOR_SIGNING_KEY берётся из Secret и сохраняется между обновлениями.
+24
View File
@@ -0,0 +1,24 @@
# Проверка обязательных контрактов
Источники: неизменённые README, COURSE, contracts/README.md, OpenAPI и observability.md. Проверка не сводится к публичному smoke. Унаследованные требования проверяются на текущем коде; результаты предыдущих репозиториев не выдаются за результаты lab6.
| Контракт | Реализация и проверка |
| --- | --- |
| Строгий JSON, UUID, Unicode, pagination, общая ошибка | strictjson, service/production, controller/http/fiber; Go regression tests и публичный smoke |
| Basic только при login, Bearer, expiry/revoke, игнорирование X-User-Id | service/authentication, postgres/sessions; session tests, smoke и persistence |
| X-Request-Id и X-Instance-Id, включая 413 | controller/http/fiber/errors.go; tests ранних transport errors |
| Две API, видимость записи, атомарная идемпотентность 24h | PostgreSQL unique key + транзакция; TestMessageRetryRace/Conflict/Expiry/Rollback, failover |
| 10 MiB / 40M pixels, MIME и filename, приватные bytes | media/validation, ограниченное чтение, objectstore; validation/ACL/private bucket tests |
| 202 только после S3 staging + durable SQL intent | QueueAttachment; fault matrix и реальный restart при остановленном worker |
| queued/processing можно прикреплять; failed запрещён; content до ready — 409 | media и PostgreSQL message transaction; attachments/pipeline tests, smoke |
| Неизменный original, JPEG fit256, alpha/EXIF, crop128, WebP fit1280 | imageprocessor tests + checksum/размеры в smoke и durable |
| At-least-once, bounded retry, fencing, replay, retention | pipeline, streamqueue, jobs/retention tests с настоящими SQL/S3 |
| OTLP API/worker, три backend, provisioning и PVC | charts/messenger; сохранённые live metric names, trace, logs, dashboard API |
| Parent chain и retry | trace-probe.sh, trace-retry.sh, OTLP tests; JSON traces в evidence/current |
| Histogram percentiles, bounded labels, queue/pool/CPU/RAM | telemetry + dashboard; histogram границы проверены по живому Prometheus |
| Multiwindow SLO, DB/worker/backend incidents | observability-incidents.sh, ready-slo.sh; raw evidence и разбор REPORT |
| Graceful lifecycle и ≥90% каждого Go-файла | coverage.sh: race tests + инструментированный настоящий процесс |
## Формальная граница
В infrastructure.json требуется Compose/Swarm. Реализован Helm/Kubernetes по принятому направлению проекта; эквивалентные роли и bootstrap доступны, но разрешение преподавателя на замену не подтверждено. Это открытое расхождение задания, а не доказанный пункт соответствия. Обязательные контракты и публичные tests не изменялись.
+10
View File
@@ -0,0 +1,10 @@
# План lab6
1. L6-01/02 — выполнено: перенос lab5, owned SDK providers, durable W3C propagation, реальная цепочка upload и retry.
2. L6-03 — выполнено: histogram/counters/saturation, три backend, provisioning14panels; проверены реальные dev имена/источники.
3. L6-04 — выполнено в заявленных границах: конечные очереди/timeouts,2000spans failure test, реальная остановка Tempo с работающим business smoke. Длительный soak не проводился.
4. L6-05/06 — выполнено: raw инциденты, API lagged firing/resolved, исправленный ready alert отдельно проверен STOP/CONT, promtool regression; REPORT сохраняет первоначальные ошибки сценария.
5. Проверки — race, per-file≥90%, lint, Helm/static, HTTPS dev smoke прошли. Общий release lab2 revision45.
6. Описание PR подготовлено в корне рабочего каталога. Публикация фиксируется отдельным Git commit; remote SHA проверяется после push.
Открытый внешний вопрос: принятие Kubernetes вместо Compose/Swarm. Remote CI и оценка преподавателя не подтверждены.
+12
View File
@@ -0,0 +1,12 @@
# Спецификация lab6
Источники: README, COURSE, contracts/README.md и contracts/observability.md. Бизнес-контракт lab5 сохраняется. Цель — уровни 3/4 и трек 5.2.
- L6-01: API/worker отправляют OTLP traces, metrics, logs в Collector; Prometheus/Loki/Tempo/Grafana разворачиваются тем же Helm release с PVC и provisioning.
- L6-02: W3C context проходит HTTP → SQL outbox → producer → broker → consumer → S3/DB. Логи содержат trace/span/request IDs, не содержат credentials, body и filename.
- L6-03: bounded labels, histogram HTTP/job/e2e в секундах, queue depth/oldest, DB used/waiting, worker busy/capacity, CPU/RAM. Dashboard с реальными именами и p50/p95/p99 из bucket aggregation.
- L6-04: bounded SDK/export queues и Collector memory limiter/batch. Отказ telemetry backend не меняет бизнес-готовность API и не приводит к неограниченному накоплению.
- L6-05: проверяемые SLO API и ready; multiwindow burn alerts и queue lag, runbook. Подтверждены firing/resolved, краткий всплеск и длительная деградация, измерено время реакции.
- L6-06: реальные инциденты остановки worker и отказа DB, связь логов/трасс; smoke с telemetry, race, coverage ≥90% каждого Go-файла, raw evidence и ограничения.
Границы: namespace highload-applications, release lab2, context dev, hl.agapov.space. Чужой monitoring не изменяется. Kubernetes substitution требует подтверждения преподавателя. Внешняя отправка уведомлений не настраивается.