Files
mtusi2026lab6/evidence/observability.md
T
2026-11-05 22:23:52 +03:00

30 lines
6.2 KiB
Markdown
Raw Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
# Результаты проверки наблюдаемости
Проверка 2026-11-05 на локальном Docker Compose; данные синтетические. Это отдельный учебный стенд, результаты не доказывают отказоустойчивость одного Docker-host. Конфигурация и команды повторения — [docs/observability.md](../docs/observability.md). Данные Prometheus/Loki/Tempo хранятся в локальных Docker volumes и не включены в Git.
## Базовый сценарий и retry
- `make test` — PASS. Проверены конфигурации Collector, Loki и Tempo штатными командами их образов. Grafana API вернул три datasource и dashboard `Messenger — observability`.
- Трасса `f16ae0c9583b3e1c68ad7e160af8f9ff`: Tempo вернул 17 spans, включая upload, producer, consumer, операции S3 и PostgreSQL; Loki вернул по одному или более потоку API и worker с этим trace ID. Метрики HTTP, jobs, очереди и pool присутствовали в Prometheus.
- С `WORKER_FAULT_AFTER_S3_PUT=1` команда `python3 student-tests/trace_retry.py` создала трассу `606a4c671b000b9da623c47ca04e9d15`: задача стала ready за 61,474 с. В БД `attempt=2`, Docker показал один рестарт worker. Tempo вернул 21 span, включая две публикации, две обработки и фиксацию результата. После проверки обычная конфигурация worker восстановлена. Процесс, завершённый через `os._exit`, может потерять ещё не экспортированные spans.
## Инцидент 1: worker остановлен
Команды: `docker compose stop worker`, `python3 student-tests/queue_incident.py`, затем `docker compose start worker`. Три задания приняты, в Prometheus наблюдались queue depth=3 и рост возраста; `MessengerQueueLag` перешёл в `firing`. После запуска worker depth стал 0 и активных alerts не осталось. Точная длительность обнаружения и восстановления не зафиксирована; замер не следует трактовать как SLA.
## Инцидент 2: блокировка БД
На фоне `python3 tests/load.py --duration 150 --concurrency 8 --output evidence/db-incident-load-repeat.json` таблица users была заблокирована транзакцией на 90 секунд. `MessengerHighErrorRate` перешёл в `firing`; после завершения транзакции активных alerts не осталось. В Loki найден API log со status 503 и trace ID `691ac053578c1fbfe02abeac1f222dfd`: в Tempo span `postgres.user_for_token` длился 5,007 с, весь POST — 5,009 с. Из этого конкретного trace видно ожидание на DB-операции, а не только длительный HTTP handler.
Повторная нагрузка: 32 056 успешных и 142 ошибочных запроса; ошибка 142 / (32 056 + 142) = 0,004410, успешные RPS 32 056 / 150,009 с = 213,694. Полные результаты и ограничения closed-loop генератора — в [db-incident-load-repeat.json](db-incident-load-repeat.json). Клиентские timeout не обязательно соответствуют HTTP 5xx, поэтому это не значение SLI из Prometheus.
## Недоступен Tempo
На время smoke Tempo был остановлен: `make test` прошёл, затем Tempo восстановлен. В отдельном 75-секундном испытании без Tempo генератор с concurrency=4 получил 40 677 успешных запросов и 0 ошибок за 75,049 с: 40 677 / 75,049 = 542,003 успешных RPS. Полные данные — в [tempo-outage-load.json](tempo-outage-load.json).
Память Collector по `docker stats --no-stream`: 83,43 MiB в начале, 97,18 MiB около 35-й секунды и 115,6 MiB после нагрузки при лимите 256 MiB. Очередь экспортёра Tempo достигла 128/128 batches. После восстановления Tempo очередь снизилась до 1. При последующем запросе накопленные с запуска Collector счётчики составили `otelcol_exporter_enqueue_failed_spans_total=56361` и `otelcol_exporter_send_failed_spans_total=639`; журналы содержали `sending queue is full`. До испытания значения счётчиков не были сохранены, поэтому эти числа нельзя приписать только данному запуску или суммировать как уникальные потерянные spans. Результат показывает ограничение очереди и реальную потерю телеметрии, но три замера не доказывают ограниченность памяти для произвольной длительности отказа.
## Сохранность и отказ реплики
`make test-persistence ACTION_SCRIPT=scripts/restart.sh` — PASS: тест подтвердил данные и прежнюю сессию. Hook перезапускает PostgreSQL, S3, broker, worker, outbox, reconcile, API и LB с сохранением volumes; отдельный снимок состояний до/после не сохранён. `make test-failover ACTION_SCRIPT=scripts/stop-one.sh` — PASS: до отказа тест видел 2 реплики, записал 113 подтверждённых сообщений, 1 попытка завершилась ошибкой, первое восстановление за 5,605 с. После сценария обе реплики запущены и healthy.