6.2 KiB
Результаты проверки наблюдаемости
Проверка 2026-11-05 на локальном Docker Compose; данные синтетические. Это отдельный учебный стенд, результаты не доказывают отказоустойчивость одного Docker-host. Конфигурация и команды повторения — docs/observability.md. Данные Prometheus/Loki/Tempo хранятся в локальных Docker volumes и не включены в Git.
Базовый сценарий и retry
make test— PASS. Проверены конфигурации Collector, Loki и Tempo штатными командами их образов. Grafana API вернул три datasource и dashboardMessenger — observability.- Трасса
f16ae0c9583b3e1c68ad7e160af8f9ff: Tempo вернул 17 spans, включая upload, producer, consumer, операции S3 и PostgreSQL; Loki вернул по одному или более потоку API и worker с этим trace ID. Метрики HTTP, jobs, очереди и pool присутствовали в Prometheus. - С
WORKER_FAULT_AFTER_S3_PUT=1командаpython3 student-tests/trace_retry.pyсоздала трассу606a4c671b000b9da623c47ca04e9d15: задача стала ready за 61,474 с. В БДattempt=2, Docker показал один рестарт worker. Tempo вернул 21 span, включая две публикации, две обработки и фиксацию результата. После проверки обычная конфигурация worker восстановлена. Процесс, завершённый черезos._exit, может потерять ещё не экспортированные spans.
Инцидент 1: worker остановлен
Команды: docker compose stop worker, python3 student-tests/queue_incident.py, затем docker compose start worker. Три задания приняты, в Prometheus наблюдались queue depth=3 и рост возраста; MessengerQueueLag перешёл в firing. После запуска worker depth стал 0 и активных alerts не осталось. Точная длительность обнаружения и восстановления не зафиксирована; замер не следует трактовать как SLA.
Инцидент 2: блокировка БД
На фоне python3 tests/load.py --duration 150 --concurrency 8 --output evidence/db-incident-load-repeat.json таблица users была заблокирована транзакцией на 90 секунд. MessengerHighErrorRate перешёл в firing; после завершения транзакции активных alerts не осталось. В Loki найден API log со status 503 и trace ID 691ac053578c1fbfe02abeac1f222dfd: в Tempo span postgres.user_for_token длился 5,007 с, весь POST — 5,009 с. Из этого конкретного trace видно ожидание на DB-операции, а не только длительный HTTP handler.
Повторная нагрузка: 32 056 успешных и 142 ошибочных запроса; ошибка 142 / (32 056 + 142) = 0,004410, успешные RPS 32 056 / 150,009 с = 213,694. Полные результаты и ограничения closed-loop генератора — в db-incident-load-repeat.json. Клиентские timeout не обязательно соответствуют HTTP 5xx, поэтому это не значение SLI из Prometheus.
Недоступен Tempo
На время smoke Tempo был остановлен: make test прошёл, затем Tempo восстановлен. В отдельном 75-секундном испытании без Tempo генератор с concurrency=4 получил 40 677 успешных запросов и 0 ошибок за 75,049 с: 40 677 / 75,049 = 542,003 успешных RPS. Полные данные — в tempo-outage-load.json.
Память Collector по docker stats --no-stream: 83,43 MiB в начале, 97,18 MiB около 35-й секунды и 115,6 MiB после нагрузки при лимите 256 MiB. Очередь экспортёра Tempo достигла 128/128 batches. После восстановления Tempo очередь снизилась до 1. При последующем запросе накопленные с запуска Collector счётчики составили otelcol_exporter_enqueue_failed_spans_total=56361 и otelcol_exporter_send_failed_spans_total=639; журналы содержали sending queue is full. До испытания значения счётчиков не были сохранены, поэтому эти числа нельзя приписать только данному запуску или суммировать как уникальные потерянные spans. Результат показывает ограничение очереди и реальную потерю телеметрии, но три замера не доказывают ограниченность памяти для произвольной длительности отказа.
Сохранность и отказ реплики
make test-persistence ACTION_SCRIPT=scripts/restart.sh — PASS: тест подтвердил данные и прежнюю сессию. Hook перезапускает PostgreSQL, S3, broker, worker, outbox, reconcile, API и LB с сохранением volumes; отдельный снимок состояний до/после не сохранён. make test-failover ACTION_SCRIPT=scripts/stop-one.sh — PASS: до отказа тест видел 2 реплики, записал 113 подтверждённых сообщений, 1 попытка завершилась ошибкой, первое восстановление за 5,605 с. После сценария обе реплики запущены и healthy.