6.2 KiB
Разбор контролируемых инцидентов
Команда: python3 scripts/observability_faults.py.
Успешный полный прогон: evidence/lab6-faults-run.txt, итог PASS в evidence/lab6-faults.json.
Агрегаты: evidence/lab6-incidents-summary.json. История метрик: evidence/lab6-incident-metrics.json.
Времена в JSON записаны в UTC. Все данные синтетические.
Очередь растёт, HTTP-приём работает
Наблюдения:6 загрузок получили 202, возраст незавершённых заданий растёт, QueueLagGrowing впервые наблюдался firing через 20,18s. Максимальный возраст в серии до восстановления —26,18s. Worker capacity/busy перестают обновляться. Логи publish уже есть, consumer completion ещё нет. Это указывает на отсутствие обработки после приёма, а не на отказ HTTP-handler или потерю принятой job.
После запуска worker временно недоступен S3. Ошибочные S3 GET spans и outcomes storage_unavailable
отделяют этот второй этап от остановки worker. Контекст исходной загрузки сохраняется при retry.
В trace 3c112fa1787d40898e457423046b2e97 видны 4 producer и 4 consumer spans,
ошибки S3, затем успешные PUT, UPDATE/COMMIT результата.
Сохранены 80 реальных spans и 9 потоков связанных логов.
Все 6 заданий стали ready, depth вернулся к 0, QueueLagGrowing снялся.
Подтверждённые загрузки не потеряны.202 само по себе этого не доказывало: проверялось конечное ready.
API отвечает 503 из-за ожидания БД
Наблюдения:28 запросов получили 503; длительность каждого около 2s, максимум 2,051s. APIHighErrorRate перешёл в firing. В server trace находится ошибочный PostgreSQL SELECT span примерно той же длительности. HTTP span в этой трассе длится 2,008s. Задержка локализуется в обращении к PostgreSQL, а не в отдельной медленной обработке HTTP после БД.
Воздействие:45-секундная ACCESS EXCLUSIVE блокировка таблицы messages. API ограничивает ожидание запроса примерно 2s. Это объясняет 503 до окончания блокировки. После снятия блокировки новые записи получили 201. Alert очистился на 10-й проверке с шагом 5s после первой успешной записи; восстановление самого сервиса и очистка окна alert — разные моменты. История состояний firing/resolved сохранена в recovery_alerts; финальный список alerts пуст.
Недоступно хранилище telemetry
В основном fault suite Tempo остановлен, но 30 записей сообщений завершились успешно.
Очередь Collector выросла и после восстановления опустела. Память остаётся ограниченной cgroup.
Отдельный опыт python3 scripts/observability_backend.py измеряет реальные отсутствующие request traces
после более длительного отказа; результаты находятся в evidence/lab6-backend-outage.json.
Он отделяет отсутствие telemetry от потери подтверждённых бизнес-записей.
Отдельный опыт завершился PASS: 35 успешных записей, 32 найденные request traces и 3 отсутствующие. Максимум очереди — 27 из 256 batches; после восстановления — 0. Максимальный наблюдавшийся RSS Collector — 81666048 bytes при cgroup201326592 bytes, OOM отсутствует. Счётчик failed spans вырос на 312, refused spans — на 0. 312 — значение счётчика экспорта, а не число уникальных потерянных request traces. Список 35 trace ID и результаты повторного поиска сохранены в JSON; ID сопоставлены с HTTP201 logs.
Первый прогон выявил OOM Tempo при лимите 256MiB. Это было настоящей ошибкой стенда: она мешала получить доказательства корреляции. Лимит увеличен до 512MiB, Go heap ограничен 320MiB. Повторный полный fault suite успешно получил обе трассы и соответствующие логи из backend. Неуспешные начальные журналы сохранены как evidence/lab6-faults-initial.* и -recovery-initial.. Они не считаются успешным итоговым прогоном.
Повторение диагностики
Пользуйтесь RUNBOOK.md: сначала alert/метрики, затем структурный лог и trace. Для вывода о причине достаточно сохранённых наблюдений. Команды внедрения отказа дают независимую проверку диагноза. Задержки в таблицах измерены с шагом 5s и включают задержки SDK/Collector/scrape/evaluation.