Files
2026-11-18 21:37:25 +03:00

6.2 KiB
Raw Permalink Blame History

Разбор контролируемых инцидентов

Команда: python3 scripts/observability_faults.py. Успешный полный прогон: evidence/lab6-faults-run.txt, итог PASS в evidence/lab6-faults.json. Агрегаты: evidence/lab6-incidents-summary.json. История метрик: evidence/lab6-incident-metrics.json. Времена в JSON записаны в UTC. Все данные синтетические.

Очередь растёт, HTTP-приём работает

Наблюдения:6 загрузок получили 202, возраст незавершённых заданий растёт, QueueLagGrowing впервые наблюдался firing через 20,18s. Максимальный возраст в серии до восстановления —26,18s. Worker capacity/busy перестают обновляться. Логи publish уже есть, consumer completion ещё нет. Это указывает на отсутствие обработки после приёма, а не на отказ HTTP-handler или потерю принятой job.

После запуска worker временно недоступен S3. Ошибочные S3 GET spans и outcomes storage_unavailable отделяют этот второй этап от остановки worker. Контекст исходной загрузки сохраняется при retry. В trace 3c112fa1787d40898e457423046b2e97 видны 4 producer и 4 consumer spans, ошибки S3, затем успешные PUT, UPDATE/COMMIT результата. Сохранены 80 реальных spans и 9 потоков связанных логов. Все 6 заданий стали ready, depth вернулся к 0, QueueLagGrowing снялся. Подтверждённые загрузки не потеряны.202 само по себе этого не доказывало: проверялось конечное ready.

Файлы: trace, logs.

API отвечает 503 из-за ожидания БД

Наблюдения:28 запросов получили 503; длительность каждого около 2s, максимум 2,051s. APIHighErrorRate перешёл в firing. В server trace находится ошибочный PostgreSQL SELECT span примерно той же длительности. HTTP span в этой трассе длится 2,008s. Задержка локализуется в обращении к PostgreSQL, а не в отдельной медленной обработке HTTP после БД.

Воздействие:45-секундная ACCESS EXCLUSIVE блокировка таблицы messages. API ограничивает ожидание запроса примерно 2s. Это объясняет 503 до окончания блокировки. После снятия блокировки новые записи получили 201. Alert очистился на 10-й проверке с шагом 5s после первой успешной записи; восстановление самого сервиса и очистка окна alert — разные моменты. История состояний firing/resolved сохранена в recovery_alerts; финальный список alerts пуст.

Файлы: trace, logs.

Недоступно хранилище telemetry

В основном fault suite Tempo остановлен, но 30 записей сообщений завершились успешно. Очередь Collector выросла и после восстановления опустела. Память остаётся ограниченной cgroup. Отдельный опыт python3 scripts/observability_backend.py измеряет реальные отсутствующие request traces после более длительного отказа; результаты находятся в evidence/lab6-backend-outage.json. Он отделяет отсутствие telemetry от потери подтверждённых бизнес-записей.

Отдельный опыт завершился PASS: 35 успешных записей, 32 найденные request traces и 3 отсутствующие. Максимум очереди — 27 из 256 batches; после восстановления — 0. Максимальный наблюдавшийся RSS Collector — 81666048 bytes при cgroup201326592 bytes, OOM отсутствует. Счётчик failed spans вырос на 312, refused spans — на 0. 312 — значение счётчика экспорта, а не число уникальных потерянных request traces. Список 35 trace ID и результаты повторного поиска сохранены в JSON; ID сопоставлены с HTTP201 logs.

Первый прогон выявил OOM Tempo при лимите 256MiB. Это было настоящей ошибкой стенда: она мешала получить доказательства корреляции. Лимит увеличен до 512MiB, Go heap ограничен 320MiB. Повторный полный fault suite успешно получил обе трассы и соответствующие логи из backend. Неуспешные начальные журналы сохранены как evidence/lab6-faults-initial.* и -recovery-initial.. Они не считаются успешным итоговым прогоном.

Повторение диагностики

Пользуйтесь RUNBOOK.md: сначала alert/метрики, затем структурный лог и trace. Для вывода о причине достаточно сохранённых наблюдений. Команды внедрения отказа дают независимую проверку диагноза. Задержки в таблицах измерены с шагом 5s и включают задержки SDK/Collector/scrape/evaluation.