forked from mtusi2026/mtusi2026lab6
fix: refresh Lab 6 evidence
This commit is contained in:
@@ -60,7 +60,7 @@ API ─────────────────────────
|
||||
Grafana
|
||||
```
|
||||
|
||||
Приложения экспортируют OTLP только в Collector. Они не знают адреса Loki и Tempo. Collector выполняет `memory_limiter` до `batch`, ограничивает очереди exporter и прекращает retry через 30 секунд. Недоступность telemetry backend поэтому не блокирует бизнес-запросы и не вызывает неограниченный рост памяти.
|
||||
Приложения экспортируют OTLP только в Collector. Они не знают адреса Loki и Tempo. Collector выполняет `memory_limiter` до `batch`, ограничивает очереди exporter и прекращает retry через 30 секунд. Evidence проверяет queue size/capacity, failures и drops отдельно для `otlp_grpc/tempo` и `otlp_http/loki`, а память — по пиковому RSS за двухминутное окно. Недоступность telemetry backend поэтому не блокирует бизнес-запросы и не вызывает неограниченный рост памяти.
|
||||
|
||||
Prometheus, Loki, Tempo и Grafana используют отдельные volumes. Retention локальных logs/traces — 7 суток; Prometheus хранит 7 суток. Collector является транспортом и процессором, а не долговременным хранилищем.
|
||||
|
||||
@@ -107,7 +107,8 @@ Grafana provisioning создаёт Prometheus, Loki и Tempo без ручно
|
||||
| --- | --- |
|
||||
| HTTP requests | `messenger_http_requests_total{method,route,status_class}`, requests |
|
||||
| HTTP duration | `messenger_http_request_duration_seconds_bucket`, seconds |
|
||||
| Jobs processed / failed | `messenger_attachment_worker_jobs_total{job_type,result}`, jobs |
|
||||
| Delivery outcomes | `messenger_attachment_worker_jobs_total{job_type,result}`, deliveries |
|
||||
| Terminal job transitions | `messenger_attachment_terminal_transitions_total{status}`, first durable outcome per job |
|
||||
| Job duration | `messenger_attachment_worker_job_duration_seconds_bucket`, seconds |
|
||||
| Time to ready | `messenger_attachment_time_to_ready_seconds_bucket`, seconds |
|
||||
| Queue states | `messenger_attachment_jobs_count{status}`, jobs |
|
||||
@@ -137,7 +138,7 @@ error budget = 0.5%
|
||||
|
||||
### Время готовности вложений
|
||||
|
||||
SLI — доля завершённых attachment jobs, достигших `ready` не позднее 30 секунд. `failed` и ready позже 30 секунд являются bad events.
|
||||
SLI — доля уникальных durable attachment jobs, чей первый terminal outcome равен `ready` и наступил не позднее 30 секунд после acceptance. Время acceptance назначает PostgreSQL при создании job, поэтому начало и конец интервала принадлежат одному clock domain. PostgreSQL записывает первый outcome в append-only ledger в той же транзакции, что и переход job. Миграция переносит уже завершённые jobs с `accepted_at = created_at` и `terminal_at = updated_at`. Повторная delivery и ручной replay не меняют уже учтённый результат: job, впервые завершившаяся `failed`, остаётся bad event даже после успешного replay.
|
||||
|
||||
```text
|
||||
bad = failed + ready later than 30s
|
||||
@@ -147,6 +148,8 @@ SLO = 99% за 30 дней
|
||||
error budget = 1%
|
||||
```
|
||||
|
||||
`messenger_attachment_terminal_transitions_total` и cumulative buckets `messenger_attachment_time_to_ready_seconds_bucket` экспортируются из ledger. Bucket `le="+Inf"` является durable количеством первых outcomes `ready` и используется как знаменатель ready jobs.
|
||||
|
||||
30 секунд отделяют нормальную асинхронную обработку от видимой пользователю задержки и существенно превышают обычное время небольшого синтетического изображения.
|
||||
|
||||
### Multi-window burn-rate alerts
|
||||
@@ -226,14 +229,14 @@ make test-lab6
|
||||
|
||||
## Результаты прогона
|
||||
|
||||
Полный прогон `2026-11-01` сохранён локально в `evidence/runtime/lab6-20261101T135321Z` и прошёл schema validation без ошибок. Обезличенная сводка включена в `evidence/lab6-results.json`. Время обнаружения является верхней границей: сценарий опрашивает alert после выдержки заданной длительности отказа.
|
||||
Полный прогон `2026-11-04` сохранён локально в `evidence/runtime/lab6-20261104T174049Z` и прошёл schema validation без ошибок. Обезличенная сводка включена в `evidence/lab6-results.json`. Время обнаружения является верхней границей: сценарий опрашивает alert после выдержки заданной длительности отказа.
|
||||
|
||||
| Инцидент | Наблюдение | Обнаружение | Восстановление |
|
||||
| --- | --- | ---: | ---: |
|
||||
| Worker, короткий | `AttachmentWorkerUnavailable` firing, очередь затем обработана | не более 76 с | alert resolved через 15 с, полное наблюдение 36 с |
|
||||
| PostgreSQL | operational 5xx и fast burn-rate firing, 4 DB error traces связаны с логами | не более 76 с | operational alert resolved через 127 с, API стабилен через 148 с |
|
||||
| Worker, длительный | oldest queued age рос; backlog, fast и slow burn alerts firing | не более 180 с | alert resolved через 15 с, backlog обработан за 65 с |
|
||||
| Loki и Tempo | Collector использовал ограниченные retry/queue, бизнес-путь продолжил работу | 30 с отказа | `/health/ready` вернул 200, backends healthy через 31 с |
|
||||
| Worker, короткий | `AttachmentWorkerUnavailable` firing, очередь затем обработана | не более 76 с | alert resolved через 13 с, полное наблюдение 33 с |
|
||||
| PostgreSQL | operational 5xx и fast burn-rate firing; сохранены 3 DB error traces, один связан с API-логом | не более 78 с | operational alert resolved через 134 с, API стабилен через 154 с |
|
||||
| Worker, длительный | oldest queued age рос; backlog, fast и slow burn alerts firing | не более 181 с | alert resolved через 20 с, backlog обработан за 91 с |
|
||||
| Loki и Tempo | очереди выросли до 15/512 и 16/512, затем дренировались до нуля; peak RSS 226.7 MB | 30 с отказа | `/health/ready` вернул 200, backends healthy через 31 с |
|
||||
|
||||
Перед первым fault список firing alerts был пуст. Burn-rate alerts после инцидента закономерно остаются активными дольше оперативных alerts: их длинные окна сохраняют уже потраченный error budget. Это не считается ложным срабатыванием следующей фазы.
|
||||
|
||||
|
||||
+43
-22
@@ -1,46 +1,46 @@
|
||||
{
|
||||
"schema_version": 1,
|
||||
"captured_at": "2026-11-01T14:05:43Z",
|
||||
"captured_at": "2026-11-04T17:53:52Z",
|
||||
"baseline": {
|
||||
"api_request_rate_per_second": 1.1485206460733426,
|
||||
"api_request_rate_per_second": 1.014325,
|
||||
"firing_alerts": 0,
|
||||
"traces_by_service": {
|
||||
"messenger-api": 39,
|
||||
"messenger-worker": 23,
|
||||
"messenger-dispatcher": 22
|
||||
"messenger-api": 100,
|
||||
"messenger-worker": 72,
|
||||
"messenger-dispatcher": 64
|
||||
},
|
||||
"logs_by_service": {
|
||||
"messenger-api": 162,
|
||||
"messenger-worker": 40,
|
||||
"messenger-api": 207,
|
||||
"messenger-worker": 41,
|
||||
"messenger-dispatcher": 1
|
||||
},
|
||||
"api_worker_shared_traces": 3,
|
||||
"traces_with_correlated_logs": 37
|
||||
"api_worker_shared_traces": 22,
|
||||
"traces_with_correlated_logs": 101
|
||||
},
|
||||
"incidents": [
|
||||
{
|
||||
"name": "worker_unavailable_short",
|
||||
"injected_duration_seconds": 76,
|
||||
"alert_detection_upper_bound_seconds": 76,
|
||||
"alert_resolution_seconds": 15,
|
||||
"recovery_observation_seconds": 36
|
||||
"alert_resolution_seconds": 13,
|
||||
"recovery_observation_seconds": 33
|
||||
},
|
||||
{
|
||||
"name": "postgres_unavailable",
|
||||
"injected_duration_seconds": 76,
|
||||
"alert_detection_upper_bound_seconds": 76,
|
||||
"operational_alert_resolution_seconds": 127,
|
||||
"recovery_observation_seconds": 148,
|
||||
"injected_duration_seconds": 78,
|
||||
"alert_detection_upper_bound_seconds": 78,
|
||||
"operational_alert_resolution_seconds": 134,
|
||||
"recovery_observation_seconds": 154,
|
||||
"fast_burn_alert_observed": true,
|
||||
"database_error_traces": 4,
|
||||
"database_error_traces_with_logs": 4
|
||||
"database_error_traces": 3,
|
||||
"database_error_traces_with_logs": 1
|
||||
},
|
||||
{
|
||||
"name": "worker_unavailable_long",
|
||||
"injected_duration_seconds": 180,
|
||||
"alert_detection_upper_bound_seconds": 180,
|
||||
"alert_resolution_seconds": 15,
|
||||
"recovery_observation_seconds": 65,
|
||||
"injected_duration_seconds": 181,
|
||||
"alert_detection_upper_bound_seconds": 181,
|
||||
"alert_resolution_seconds": 20,
|
||||
"recovery_observation_seconds": 91,
|
||||
"fast_burn_alert_observed": true,
|
||||
"slow_burn_alert_observed": true
|
||||
},
|
||||
@@ -48,7 +48,28 @@
|
||||
"name": "telemetry_backends_unavailable",
|
||||
"injected_duration_seconds": 30,
|
||||
"api_ready_http_status": 200,
|
||||
"recovery_observation_seconds": 31
|
||||
"recovery_observation_seconds": 31,
|
||||
"exporters": {
|
||||
"otlp_grpc/tempo": {
|
||||
"capacity": 512,
|
||||
"degraded_queue_size": 15,
|
||||
"recovered_queue_size": 0,
|
||||
"export_failures": 16,
|
||||
"dropped_records": 0
|
||||
},
|
||||
"otlp_http/loki": {
|
||||
"capacity": 512,
|
||||
"degraded_queue_size": 16,
|
||||
"recovered_queue_size": 0,
|
||||
"export_failures": 8,
|
||||
"dropped_records": 0
|
||||
}
|
||||
},
|
||||
"collector_peak_rss_bytes": {
|
||||
"baseline": 225923072,
|
||||
"degraded": 226549760,
|
||||
"recovered": 226746368
|
||||
}
|
||||
}
|
||||
],
|
||||
"validation": {
|
||||
|
||||
Reference in New Issue
Block a user