diff --git a/REPORT.md b/REPORT.md index 38511cb..c2cdea2 100644 --- a/REPORT.md +++ b/REPORT.md @@ -60,7 +60,7 @@ API ───────────────────────── Grafana ``` -Приложения экспортируют OTLP только в Collector. Они не знают адреса Loki и Tempo. Collector выполняет `memory_limiter` до `batch`, ограничивает очереди exporter и прекращает retry через 30 секунд. Недоступность telemetry backend поэтому не блокирует бизнес-запросы и не вызывает неограниченный рост памяти. +Приложения экспортируют OTLP только в Collector. Они не знают адреса Loki и Tempo. Collector выполняет `memory_limiter` до `batch`, ограничивает очереди exporter и прекращает retry через 30 секунд. Evidence проверяет queue size/capacity, failures и drops отдельно для `otlp_grpc/tempo` и `otlp_http/loki`, а память — по пиковому RSS за двухминутное окно. Недоступность telemetry backend поэтому не блокирует бизнес-запросы и не вызывает неограниченный рост памяти. Prometheus, Loki, Tempo и Grafana используют отдельные volumes. Retention локальных logs/traces — 7 суток; Prometheus хранит 7 суток. Collector является транспортом и процессором, а не долговременным хранилищем. @@ -107,7 +107,8 @@ Grafana provisioning создаёт Prometheus, Loki и Tempo без ручно | --- | --- | | HTTP requests | `messenger_http_requests_total{method,route,status_class}`, requests | | HTTP duration | `messenger_http_request_duration_seconds_bucket`, seconds | -| Jobs processed / failed | `messenger_attachment_worker_jobs_total{job_type,result}`, jobs | +| Delivery outcomes | `messenger_attachment_worker_jobs_total{job_type,result}`, deliveries | +| Terminal job transitions | `messenger_attachment_terminal_transitions_total{status}`, first durable outcome per job | | Job duration | `messenger_attachment_worker_job_duration_seconds_bucket`, seconds | | Time to ready | `messenger_attachment_time_to_ready_seconds_bucket`, seconds | | Queue states | `messenger_attachment_jobs_count{status}`, jobs | @@ -137,7 +138,7 @@ error budget = 0.5% ### Время готовности вложений -SLI — доля завершённых attachment jobs, достигших `ready` не позднее 30 секунд. `failed` и ready позже 30 секунд являются bad events. +SLI — доля уникальных durable attachment jobs, чей первый terminal outcome равен `ready` и наступил не позднее 30 секунд после acceptance. Время acceptance назначает PostgreSQL при создании job, поэтому начало и конец интервала принадлежат одному clock domain. PostgreSQL записывает первый outcome в append-only ledger в той же транзакции, что и переход job. Миграция переносит уже завершённые jobs с `accepted_at = created_at` и `terminal_at = updated_at`. Повторная delivery и ручной replay не меняют уже учтённый результат: job, впервые завершившаяся `failed`, остаётся bad event даже после успешного replay. ```text bad = failed + ready later than 30s @@ -147,6 +148,8 @@ SLO = 99% за 30 дней error budget = 1% ``` +`messenger_attachment_terminal_transitions_total` и cumulative buckets `messenger_attachment_time_to_ready_seconds_bucket` экспортируются из ledger. Bucket `le="+Inf"` является durable количеством первых outcomes `ready` и используется как знаменатель ready jobs. + 30 секунд отделяют нормальную асинхронную обработку от видимой пользователю задержки и существенно превышают обычное время небольшого синтетического изображения. ### Multi-window burn-rate alerts @@ -226,14 +229,14 @@ make test-lab6 ## Результаты прогона -Полный прогон `2026-11-01` сохранён локально в `evidence/runtime/lab6-20261101T135321Z` и прошёл schema validation без ошибок. Обезличенная сводка включена в `evidence/lab6-results.json`. Время обнаружения является верхней границей: сценарий опрашивает alert после выдержки заданной длительности отказа. +Полный прогон `2026-11-04` сохранён локально в `evidence/runtime/lab6-20261104T174049Z` и прошёл schema validation без ошибок. Обезличенная сводка включена в `evidence/lab6-results.json`. Время обнаружения является верхней границей: сценарий опрашивает alert после выдержки заданной длительности отказа. | Инцидент | Наблюдение | Обнаружение | Восстановление | | --- | --- | ---: | ---: | -| Worker, короткий | `AttachmentWorkerUnavailable` firing, очередь затем обработана | не более 76 с | alert resolved через 15 с, полное наблюдение 36 с | -| PostgreSQL | operational 5xx и fast burn-rate firing, 4 DB error traces связаны с логами | не более 76 с | operational alert resolved через 127 с, API стабилен через 148 с | -| Worker, длительный | oldest queued age рос; backlog, fast и slow burn alerts firing | не более 180 с | alert resolved через 15 с, backlog обработан за 65 с | -| Loki и Tempo | Collector использовал ограниченные retry/queue, бизнес-путь продолжил работу | 30 с отказа | `/health/ready` вернул 200, backends healthy через 31 с | +| Worker, короткий | `AttachmentWorkerUnavailable` firing, очередь затем обработана | не более 76 с | alert resolved через 13 с, полное наблюдение 33 с | +| PostgreSQL | operational 5xx и fast burn-rate firing; сохранены 3 DB error traces, один связан с API-логом | не более 78 с | operational alert resolved через 134 с, API стабилен через 154 с | +| Worker, длительный | oldest queued age рос; backlog, fast и slow burn alerts firing | не более 181 с | alert resolved через 20 с, backlog обработан за 91 с | +| Loki и Tempo | очереди выросли до 15/512 и 16/512, затем дренировались до нуля; peak RSS 226.7 MB | 30 с отказа | `/health/ready` вернул 200, backends healthy через 31 с | Перед первым fault список firing alerts был пуст. Burn-rate alerts после инцидента закономерно остаются активными дольше оперативных alerts: их длинные окна сохраняют уже потраченный error budget. Это не считается ложным срабатыванием следующей фазы. diff --git a/evidence/lab6-results.json b/evidence/lab6-results.json index 3ae353c..c09c6b9 100644 --- a/evidence/lab6-results.json +++ b/evidence/lab6-results.json @@ -1,46 +1,46 @@ { "schema_version": 1, - "captured_at": "2026-11-01T14:05:43Z", + "captured_at": "2026-11-04T17:53:52Z", "baseline": { - "api_request_rate_per_second": 1.1485206460733426, + "api_request_rate_per_second": 1.014325, "firing_alerts": 0, "traces_by_service": { - "messenger-api": 39, - "messenger-worker": 23, - "messenger-dispatcher": 22 + "messenger-api": 100, + "messenger-worker": 72, + "messenger-dispatcher": 64 }, "logs_by_service": { - "messenger-api": 162, - "messenger-worker": 40, + "messenger-api": 207, + "messenger-worker": 41, "messenger-dispatcher": 1 }, - "api_worker_shared_traces": 3, - "traces_with_correlated_logs": 37 + "api_worker_shared_traces": 22, + "traces_with_correlated_logs": 101 }, "incidents": [ { "name": "worker_unavailable_short", "injected_duration_seconds": 76, "alert_detection_upper_bound_seconds": 76, - "alert_resolution_seconds": 15, - "recovery_observation_seconds": 36 + "alert_resolution_seconds": 13, + "recovery_observation_seconds": 33 }, { "name": "postgres_unavailable", - "injected_duration_seconds": 76, - "alert_detection_upper_bound_seconds": 76, - "operational_alert_resolution_seconds": 127, - "recovery_observation_seconds": 148, + "injected_duration_seconds": 78, + "alert_detection_upper_bound_seconds": 78, + "operational_alert_resolution_seconds": 134, + "recovery_observation_seconds": 154, "fast_burn_alert_observed": true, - "database_error_traces": 4, - "database_error_traces_with_logs": 4 + "database_error_traces": 3, + "database_error_traces_with_logs": 1 }, { "name": "worker_unavailable_long", - "injected_duration_seconds": 180, - "alert_detection_upper_bound_seconds": 180, - "alert_resolution_seconds": 15, - "recovery_observation_seconds": 65, + "injected_duration_seconds": 181, + "alert_detection_upper_bound_seconds": 181, + "alert_resolution_seconds": 20, + "recovery_observation_seconds": 91, "fast_burn_alert_observed": true, "slow_burn_alert_observed": true }, @@ -48,7 +48,28 @@ "name": "telemetry_backends_unavailable", "injected_duration_seconds": 30, "api_ready_http_status": 200, - "recovery_observation_seconds": 31 + "recovery_observation_seconds": 31, + "exporters": { + "otlp_grpc/tempo": { + "capacity": 512, + "degraded_queue_size": 15, + "recovered_queue_size": 0, + "export_failures": 16, + "dropped_records": 0 + }, + "otlp_http/loki": { + "capacity": 512, + "degraded_queue_size": 16, + "recovered_queue_size": 0, + "export_failures": 8, + "dropped_records": 0 + } + }, + "collector_peak_rss_bytes": { + "baseline": 225923072, + "degraded": 226549760, + "recovered": 226746368 + } } ], "validation": {