Files
mtusi2026lab6/RUNBOOK.md

15 KiB
Raw Permalink Blame History

Диагностика учебного мессенджера

SLI API — доля бизнес-запросов без5xx, цель99% за минуту; health исключён. SLI обработки — доля принятых файлов, впервые достигших ready за10с, цель99% в5-минутной когорте с уже истёкшим10-секундным сроком. SQL использует immutable accepted_at/first_ready_at; replay/advance не переписывают первый исход. Legacy строки без acceptance не измеряются. Это учебные цели, не обещание production SLA.

Текущий runtime — API/worker → отдельный Collector → OpenObserve1.1.2. Настоящий Grafana13.3.1 проверен с18 dashboard panels, trace42spans, обоими log↔trace UI links и переходами Alerting→Normal при bounded отказах PostgreSQL/worker. Fresh-volume startup с original smoke прошёл; финальные source/artifact review receipts перечислены в REPORT.md. Точные текущие результаты и ограничения находятся в REPORT.md.

Запуск и безопасная остановка

Команды выполняются из корня lab6 на omarchy. Docker data и builds находятся под /mnt/data; используйте background.slice с низким приоритетом по правилам workspace. ./scripts/up.sh проверяет pinned cached OpenObserve/Collector/Grafana и verified plugin bytes, сохраняет существующий bootstrap, проверяет обе dedicated SA и запускает core и Grafana, сохраняя encrypted owner archive до первого использования. ./scripts/stop.sh останавливает только закреплённый project mtuci-vp6-medvedev, включая его профили, и сохраняет volumes. Не используйте чужой COMPOSE_FILE или unqualified docker compose.

Loopback endpoints: приложение28206, operator OpenObserve28406, query gateway28906, Collector OTLP28706 и internal metrics28806. Grafana28306 запускается up.sh через исторически названный профиль grafana-pending после проверки pinned image/plugin. Обычная форма owner login временно включена; anonymous остаётсяViewer. Raw endpoint28406 нужен operator/bootstrap, он не является адресом datasource Grafana. Grafana состоит только в отдельной grafana-query-v2 с HAProxy; raw storage/Collector в этой сети отсутствуют. Host публикация28306 и UI проверены настоящим authenticated Chromium.

Поиск причины инцидента

  1. В Messenger dashboard проверьте RPS,5xx ratio и p50/p95/p99. Counter называется http_requests; histogram — http_duration_bucket. Фактические labels: method/route/status_class/service_name.401 при неверном пароле не означает отказ БД. Отсутствующий5xx series даёт0 только в числителе при существующем контроле нагрузки; потеря метрик не объявляется здоровой нагрузкой.
  2. В Grafana Explore выберите OpenObserve Logs and Traces. Логи используют stream messenger и event/service_name/request_id/trace_id/span_id. Найдите конкретный HTTP trace_id из лога и откройте trace_id query того же stream. Канонические start_time/end_time — наносекунды, parent — reference_parent_span_id. Optional duration-filter UI готового plugin имеет известную несовместимость единиц и в принимаемый путь не входит. Для SQL mode native duration>5000 означает более5мс.
  3. В цепочке upload найдите attachment.publish → attachment.process, postgres.acquire/query и s3.put/get/stat. Job переносит W3C traceparent/tracestate, поэтому worker продолжает trace API. request_id есть в HTTP-логе, но не является metric label. Тела сообщений, пароли и tokens не экспортируются.
  4. При MessengerQueueLag проверьте queue_depth/queue_oldest_age_seconds, worker_busy/capacity и новые consumer spans. Queue age берётся из created_at текущей attachment_jobs версии. Она не начинается во время HTTP upload и не наследует возраст initial acceptance после advance.
  5. При database_observer_up=0 либо отсутствии свежих observer/cohort samples не трактуйте прежние gauges как здоровый SLO. Dashboard/rules фильтруют samples старше10с. HTTP/process metrics продолжают экспорт; postgres.acquire, db_pool_pending_acquires и db_pool_acquire_duration показывают ожидание пула. Alert MessengerDatabaseObserverUnavailable отделяет потерю наблюдения от нулевой очереди.
  6. Для ready SLO проверьте matured/timely cohort и первый COMMIT, а не только histogram завершённых попыток. time_to_ready измеряется до post-commit staging cleanup; failed/stuck остаются в denominator. OpenObserve добавляет разный start_time label каждому instrument, поэтому arithmetic и observer joins используют on(service_name,service_instance_id). Для общего shared DB берётся max копий cohort, а не их сумма.
  7. После восстановления worker/БД проверьте уменьшение backlog и свежие gauges, повторите тот же запрос пользователя и сохраните UTC timestamps. Фактические переходы и UTC timestamps находятся в REPORT.md и evidence/grafana/incidents-causal-readback.json. Исходная whole command exit1 сохранена отдельно из-за phase-name oracle; запуск процесса не означает готовность backlog. Старые23 native syntax checks и17 positive controls не подменяют реальные Grafana receipts.

Отказ telemetry и восстановление

OpenObserve имеет отдельный named volume и не является зависимостью успешного сообщения/обработки изображения. Настоящий bounded outage примерно114,541с прошёл с публичным API smoke; Collector queue после восстановления вернулась177781 →0байт, OOM=false. Это не доказательство отсутствия потерь telemetry или работы при бесконечном отказе.

SDK: очереди128, batch32, export timeout1с, retry выключен. Collector: memory_limiter128МиБ, hard container limit256МиБ, batch64/128,8МиБ queue на каждый из3 сигналов, retry максимум5с, timeout2с. Native queue capacity суммарно25165824байт. Exporter failed counters отражают попытки/components, а не точное количество уникально потерянных событий. Не сравнивайте рабочую память cgroup с process RSS как одну и ту же метрику.

Для проверки сохранности использовалась одна прежняя trace/log/metric generation без нового producer:42 spans,3 correlated logs и point-in-time HTTP counter127. Fingerprint до/после рестарта совпал. student-tests/openobserve-persisted.ts читает исторический fixture текущего стенда; на новом пустом volume этот fixture отсутствует и не должен выдавать PASS.

Учётки и частичный bootstrap

Native Community service_account умеет и query, и ingest; это не native read-only роль. Два отдельных SA используются Collector и Grafana, gateway ограничивает query methods/paths/org/window. Owner/root не передаётся Grafana. Authorization-файл Collector содержит точные Basic bytes без CR/LF; после изменения credential нужен restart Collector и actual authenticated export.

up.sh вызывает production provisioner с отдельной required-port factory. Он сохраняет intent до POST, raw/partial response до JSON parse, затем checkpoint каждого token до следующего create. Только после live role=service_account, ingest200, search200 с известным собственным event и admin-rotation403 для обеих SA публикуются canonical/derived credentials. Проверка сначала создаёт свой identity_probe event и не требует messenger stream на первом запуске.

Private records находятся в .local/openobserve-account-ingest.json, query.json и соответствующих .intent.json; intent ссылается на claimed operation/create-*.raw.private. Повторный запуск использует checkpoint либо валидный captured native response и перепроверяет token. Если ответ не восстановим или token получил401/503/неверный admin status, запуск завершается ошибкой до core startup. Не удаляйте intent и не повторяйте account POST: сохраните private каталог и разберите неоднозначный исход. Автоматическая rotation/takeover не выполняется; несовпадающие generated credentials также закрываются без перезаписи.

Границы безопасности и объёма

HAProxy query gateway проверяет identity, методы и exact paths. Search requested size0–1000 либо отсутствиеsize и окно до3600с не гарантируют число возвращённых SQL строк: native SQL LIMIT имеет приоритет. Provisioned SQL должен иметь явный bounded LIMIT; для Grafana задан bytecap1048576 и native engine budget5с/256МиБ. Go SDK отклонил2МиБ, browser proxy до guard вернул2097625байт. Existing HAProxy теперь требует identity и распознанный normalized одиночный Content-Length≤1048576 без CE/TE; тот же browser query получает502/35байт. Это не универсальный streaming counter.14 native response classes и ordinary positives сохранены отдельно. GET range консервативно ограничен floor-window1–3599с, ambiguous duplicate params закрываются. Body inspection64КиБ; измеренные incomplete/delayed bodies завершились408, oversized413, JSON duplicates422.

При запросе trace→logs откройте operation row, затем Span details → View logs for trace. Ссылка выбирает span time window; worker window может содержать одну worker.job строку, тогда как более широкий trace window содержит3 лога. Chain icon рядом operation открывает References, это другой control.

Один host и один PostgreSQL не защищают от потери host. Любые fault checks запускаются только на owned stand с синтетическими пользователями; не останавливайте shared runners, Azur или соседнюю lab7. После проверки остановите свой stand, сохранив volumes и evidence.

Воспроизводимость dependencies и проверок

На проверенном omarchy images и unchanged plugin уже подготовлены. Выполните bun scripts/preflight-openobserve-images.ts --grafana, затем ./scripts/up.sh; это cache-only старт, а не команда неограниченного скачивания. Image source refs/amd64 digests и sizes находятся в IMAGE-MANIFEST.json, фактические aliases/IDs и plugin SHA — в evidence/grafana/cache-ready.json и OPENOBSERVE-IDENTITIES.json. Grafana cold wait ограничен600с: на HDD fresh migrations превысили прежние120с.

На новом Docker29 host отдельно получите public linux/amd64 leaf images из IMAGE-MANIFEST.json и присвойте три local aliases, которые проверяет preflight. Не переносите private generated credentials. Готовый ZIP plugin берётся из Windforce17/openobserve-grafana-plugin release1.0.1; ожидаемые52781711байт/SHAe0c2cbcc7cf6d05bcfaa606db39e52249eb0dd234376e45a3f896353831c2fd5. Распакуйте public каталог openobserve в .local/grafana-plugins; plugin.json/module.js/nativebinary повторно проверяются до старта. Установка зависимостей на новом host требует его собственного допустимого бюджета; фактическая current600МБ approval не означает новый повторный pull. Новая установка на другом host не объявляется проверенной этим отчётом; пустые volumes на текущем проверены целиком.

Для source validation: make check, bun test student-tests, bun scripts/check-backend-unchanged.ts; public runtime smoke — make test BASE_URL=http://127.0.0.1:28206. Explicit fault/browser helpers перечислены в HELPERS.md; historical readback требует сохранённой fixture generation и не должен выдаватьPASS на пустом volume. Real browser helpers используют установленный Chromium/Playwright на omarchy, без скачивания browser.

Не повторяйте DB/worker/fresh/retry workload ради icon diagnostic: обязательные business scenarios уже имеют receipts. Strict browser helper сохраняет один canceled static icon как отдельный Network outcome; его aggregate exit1 не скрывает functional3/3 и console0 и не является доказательством отказа приложения.