fix: refresh Lab 6 evidence

This commit is contained in:
2026-11-04 20:56:35 +03:00
parent 323d1e9294
commit 8c8a0302c9
2 changed files with 54 additions and 30 deletions
+11 -8
View File
@@ -60,7 +60,7 @@ API ─────────────────────────
Grafana
```
Приложения экспортируют OTLP только в Collector. Они не знают адреса Loki и Tempo. Collector выполняет `memory_limiter` до `batch`, ограничивает очереди exporter и прекращает retry через 30 секунд. Недоступность telemetry backend поэтому не блокирует бизнес-запросы и не вызывает неограниченный рост памяти.
Приложения экспортируют OTLP только в Collector. Они не знают адреса Loki и Tempo. Collector выполняет `memory_limiter` до `batch`, ограничивает очереди exporter и прекращает retry через 30 секунд. Evidence проверяет queue size/capacity, failures и drops отдельно для `otlp_grpc/tempo` и `otlp_http/loki`, а память — по пиковому RSS за двухминутное окно. Недоступность telemetry backend поэтому не блокирует бизнес-запросы и не вызывает неограниченный рост памяти.
Prometheus, Loki, Tempo и Grafana используют отдельные volumes. Retention локальных logs/traces — 7 суток; Prometheus хранит 7 суток. Collector является транспортом и процессором, а не долговременным хранилищем.
@@ -107,7 +107,8 @@ Grafana provisioning создаёт Prometheus, Loki и Tempo без ручно
| --- | --- |
| HTTP requests | `messenger_http_requests_total{method,route,status_class}`, requests |
| HTTP duration | `messenger_http_request_duration_seconds_bucket`, seconds |
| Jobs processed / failed | `messenger_attachment_worker_jobs_total{job_type,result}`, jobs |
| Delivery outcomes | `messenger_attachment_worker_jobs_total{job_type,result}`, deliveries |
| Terminal job transitions | `messenger_attachment_terminal_transitions_total{status}`, first durable outcome per job |
| Job duration | `messenger_attachment_worker_job_duration_seconds_bucket`, seconds |
| Time to ready | `messenger_attachment_time_to_ready_seconds_bucket`, seconds |
| Queue states | `messenger_attachment_jobs_count{status}`, jobs |
@@ -137,7 +138,7 @@ error budget = 0.5%
### Время готовности вложений
SLI — доля завершённых attachment jobs, достигших `ready` не позднее 30 секунд. `failed` и ready позже 30 секунд являются bad events.
SLI — доля уникальных durable attachment jobs, чей первый terminal outcome равен `ready` и наступил не позднее 30 секунд после acceptance. Время acceptance назначает PostgreSQL при создании job, поэтому начало и конец интервала принадлежат одному clock domain. PostgreSQL записывает первый outcome в append-only ledger в той же транзакции, что и переход job. Миграция переносит уже завершённые jobs с `accepted_at = created_at` и `terminal_at = updated_at`. Повторная delivery и ручной replay не меняют уже учтённый результат: job, впервые завершившаяся `failed`, остаётся bad event даже после успешного replay.
```text
bad = failed + ready later than 30s
@@ -147,6 +148,8 @@ SLO = 99% за 30 дней
error budget = 1%
```
`messenger_attachment_terminal_transitions_total` и cumulative buckets `messenger_attachment_time_to_ready_seconds_bucket` экспортируются из ledger. Bucket `le="+Inf"` является durable количеством первых outcomes `ready` и используется как знаменатель ready jobs.
30 секунд отделяют нормальную асинхронную обработку от видимой пользователю задержки и существенно превышают обычное время небольшого синтетического изображения.
### Multi-window burn-rate alerts
@@ -226,14 +229,14 @@ make test-lab6
## Результаты прогона
Полный прогон `2026-11-01` сохранён локально в `evidence/runtime/lab6-20261101T135321Z` и прошёл schema validation без ошибок. Обезличенная сводка включена в `evidence/lab6-results.json`. Время обнаружения является верхней границей: сценарий опрашивает alert после выдержки заданной длительности отказа.
Полный прогон `2026-11-04` сохранён локально в `evidence/runtime/lab6-20261104T174049Z` и прошёл schema validation без ошибок. Обезличенная сводка включена в `evidence/lab6-results.json`. Время обнаружения является верхней границей: сценарий опрашивает alert после выдержки заданной длительности отказа.
| Инцидент | Наблюдение | Обнаружение | Восстановление |
| --- | --- | ---: | ---: |
| Worker, короткий | `AttachmentWorkerUnavailable` firing, очередь затем обработана | не более 76 с | alert resolved через 15 с, полное наблюдение 36 с |
| PostgreSQL | operational 5xx и fast burn-rate firing, 4 DB error traces связаны с логами | не более 76 с | operational alert resolved через 127 с, API стабилен через 148 с |
| Worker, длительный | oldest queued age рос; backlog, fast и slow burn alerts firing | не более 180 с | alert resolved через 15 с, backlog обработан за 65 с |
| Loki и Tempo | Collector использовал ограниченные retry/queue, бизнес-путь продолжил работу | 30 с отказа | `/health/ready` вернул 200, backends healthy через 31 с |
| Worker, короткий | `AttachmentWorkerUnavailable` firing, очередь затем обработана | не более 76 с | alert resolved через 13 с, полное наблюдение 33 с |
| PostgreSQL | operational 5xx и fast burn-rate firing; сохранены 3 DB error traces, один связан с API-логом | не более 78 с | operational alert resolved через 134 с, API стабилен через 154 с |
| Worker, длительный | oldest queued age рос; backlog, fast и slow burn alerts firing | не более 181 с | alert resolved через 20 с, backlog обработан за 91 с |
| Loki и Tempo | очереди выросли до 15/512 и 16/512, затем дренировались до нуля; peak RSS 226.7 MB | 30 с отказа | `/health/ready` вернул 200, backends healthy через 31 с |
Перед первым fault список firing alerts был пуст. Burn-rate alerts после инцидента закономерно остаются активными дольше оперативных alerts: их длинные окна сохраняют уже потраченный error budget. Это не считается ложным срабатыванием следующей фазы.
+43 -22
View File
@@ -1,46 +1,46 @@
{
"schema_version": 1,
"captured_at": "2026-11-01T14:05:43Z",
"captured_at": "2026-11-04T17:53:52Z",
"baseline": {
"api_request_rate_per_second": 1.1485206460733426,
"api_request_rate_per_second": 1.014325,
"firing_alerts": 0,
"traces_by_service": {
"messenger-api": 39,
"messenger-worker": 23,
"messenger-dispatcher": 22
"messenger-api": 100,
"messenger-worker": 72,
"messenger-dispatcher": 64
},
"logs_by_service": {
"messenger-api": 162,
"messenger-worker": 40,
"messenger-api": 207,
"messenger-worker": 41,
"messenger-dispatcher": 1
},
"api_worker_shared_traces": 3,
"traces_with_correlated_logs": 37
"api_worker_shared_traces": 22,
"traces_with_correlated_logs": 101
},
"incidents": [
{
"name": "worker_unavailable_short",
"injected_duration_seconds": 76,
"alert_detection_upper_bound_seconds": 76,
"alert_resolution_seconds": 15,
"recovery_observation_seconds": 36
"alert_resolution_seconds": 13,
"recovery_observation_seconds": 33
},
{
"name": "postgres_unavailable",
"injected_duration_seconds": 76,
"alert_detection_upper_bound_seconds": 76,
"operational_alert_resolution_seconds": 127,
"recovery_observation_seconds": 148,
"injected_duration_seconds": 78,
"alert_detection_upper_bound_seconds": 78,
"operational_alert_resolution_seconds": 134,
"recovery_observation_seconds": 154,
"fast_burn_alert_observed": true,
"database_error_traces": 4,
"database_error_traces_with_logs": 4
"database_error_traces": 3,
"database_error_traces_with_logs": 1
},
{
"name": "worker_unavailable_long",
"injected_duration_seconds": 180,
"alert_detection_upper_bound_seconds": 180,
"alert_resolution_seconds": 15,
"recovery_observation_seconds": 65,
"injected_duration_seconds": 181,
"alert_detection_upper_bound_seconds": 181,
"alert_resolution_seconds": 20,
"recovery_observation_seconds": 91,
"fast_burn_alert_observed": true,
"slow_burn_alert_observed": true
},
@@ -48,7 +48,28 @@
"name": "telemetry_backends_unavailable",
"injected_duration_seconds": 30,
"api_ready_http_status": 200,
"recovery_observation_seconds": 31
"recovery_observation_seconds": 31,
"exporters": {
"otlp_grpc/tempo": {
"capacity": 512,
"degraded_queue_size": 15,
"recovered_queue_size": 0,
"export_failures": 16,
"dropped_records": 0
},
"otlp_http/loki": {
"capacity": 512,
"degraded_queue_size": 16,
"recovered_queue_size": 0,
"export_failures": 8,
"dropped_records": 0
}
},
"collector_peak_rss_bytes": {
"baseline": 225923072,
"degraded": 226549760,
"recovered": 226746368
}
}
],
"validation": {