30 lines
6.2 KiB
Markdown
30 lines
6.2 KiB
Markdown
# Результаты проверки наблюдаемости
|
||
|
||
Проверка 2026-11-05 на локальном Docker Compose; данные синтетические. Это отдельный учебный стенд, результаты не доказывают отказоустойчивость одного Docker-host. Конфигурация и команды повторения — [docs/observability.md](../docs/observability.md). Данные Prometheus/Loki/Tempo хранятся в локальных Docker volumes и не включены в Git.
|
||
|
||
## Базовый сценарий и retry
|
||
|
||
- `make test` — PASS. Проверены конфигурации Collector, Loki и Tempo штатными командами их образов. Grafana API вернул три datasource и dashboard `Messenger — observability`.
|
||
- Трасса `f16ae0c9583b3e1c68ad7e160af8f9ff`: Tempo вернул 17 spans, включая upload, producer, consumer, операции S3 и PostgreSQL; Loki вернул по одному или более потоку API и worker с этим trace ID. Метрики HTTP, jobs, очереди и pool присутствовали в Prometheus.
|
||
- С `WORKER_FAULT_AFTER_S3_PUT=1` команда `python3 student-tests/trace_retry.py` создала трассу `606a4c671b000b9da623c47ca04e9d15`: задача стала ready за 61,474 с. В БД `attempt=2`, Docker показал один рестарт worker. Tempo вернул 21 span, включая две публикации, две обработки и фиксацию результата. После проверки обычная конфигурация worker восстановлена. Процесс, завершённый через `os._exit`, может потерять ещё не экспортированные spans.
|
||
|
||
## Инцидент 1: worker остановлен
|
||
|
||
Команды: `docker compose stop worker`, `python3 student-tests/queue_incident.py`, затем `docker compose start worker`. Три задания приняты, в Prometheus наблюдались queue depth=3 и рост возраста; `MessengerQueueLag` перешёл в `firing`. После запуска worker depth стал 0 и активных alerts не осталось. Точная длительность обнаружения и восстановления не зафиксирована; замер не следует трактовать как SLA.
|
||
|
||
## Инцидент 2: блокировка БД
|
||
|
||
На фоне `python3 tests/load.py --duration 150 --concurrency 8 --output evidence/db-incident-load-repeat.json` таблица users была заблокирована транзакцией на 90 секунд. `MessengerHighErrorRate` перешёл в `firing`; после завершения транзакции активных alerts не осталось. В Loki найден API log со status 503 и trace ID `691ac053578c1fbfe02abeac1f222dfd`: в Tempo span `postgres.user_for_token` длился 5,007 с, весь POST — 5,009 с. Из этого конкретного trace видно ожидание на DB-операции, а не только длительный HTTP handler.
|
||
|
||
Повторная нагрузка: 32 056 успешных и 142 ошибочных запроса; ошибка 142 / (32 056 + 142) = 0,004410, успешные RPS 32 056 / 150,009 с = 213,694. Полные результаты и ограничения closed-loop генератора — в [db-incident-load-repeat.json](db-incident-load-repeat.json). Клиентские timeout не обязательно соответствуют HTTP 5xx, поэтому это не значение SLI из Prometheus.
|
||
|
||
## Недоступен Tempo
|
||
|
||
На время smoke Tempo был остановлен: `make test` прошёл, затем Tempo восстановлен. В отдельном 75-секундном испытании без Tempo генератор с concurrency=4 получил 40 677 успешных запросов и 0 ошибок за 75,049 с: 40 677 / 75,049 = 542,003 успешных RPS. Полные данные — в [tempo-outage-load.json](tempo-outage-load.json).
|
||
|
||
Память Collector по `docker stats --no-stream`: 83,43 MiB в начале, 97,18 MiB около 35-й секунды и 115,6 MiB после нагрузки при лимите 256 MiB. Очередь экспортёра Tempo достигла 128/128 batches. После восстановления Tempo очередь снизилась до 1. При последующем запросе накопленные с запуска Collector счётчики составили `otelcol_exporter_enqueue_failed_spans_total=56361` и `otelcol_exporter_send_failed_spans_total=639`; журналы содержали `sending queue is full`. До испытания значения счётчиков не были сохранены, поэтому эти числа нельзя приписать только данному запуску или суммировать как уникальные потерянные spans. Результат показывает ограничение очереди и реальную потерю телеметрии, но три замера не доказывают ограниченность памяти для произвольной длительности отказа.
|
||
|
||
## Сохранность и отказ реплики
|
||
|
||
`make test-persistence ACTION_SCRIPT=scripts/restart.sh` — PASS: тест подтвердил данные и прежнюю сессию. Hook перезапускает PostgreSQL, S3, broker, worker, outbox, reconcile, API и LB с сохранением volumes; отдельный снимок состояний до/после не сохранён. `make test-failover ACTION_SCRIPT=scripts/stop-one.sh` — PASS: до отказа тест видел 2 реплики, записал 113 подтверждённых сообщений, 1 попытка завершилась ошибкой, первое восстановление за 5,605 с. После сценария обе реплики запущены и healthy.
|