7.3 KiB
7.3 KiB
Проверка по критериям README
Проверялись README, контракт наблюдаемости, исходный REPORT, код и локальный Docker-стенд. Автоматический smoke не выставляет оценку за наблюдаемость.
Итог по уровням
- 3: подтверждён после исправлений. Короткие проверки, публичные persistence/failover, коррелированные логи API/worker и trace.
- 4: подтверждён в проверенном локальном стенде. Разбор инцидентов и отказа Tempo, QueueLag/ready, проверка retry-дерева, сохранность trace после рестарта Tempo.
- 5: техническая часть трека 2 проверена, полный зачёт не подтверждён. Повторные измерения и runbook есть; независимый диагноз другого студента не задокументирован. Итоговая подтверждённая оценка этой проверки — 4.
Исправления
| Уровень | Найденная ошибка | Исправление и проверка |
|---|---|---|
| 3 | Allowlist применялся только к stdout; OTLP LoggingHandler получал произвольные extra и exception | Фильтр до обоих handlers; тест реального SDK log exporter с секретом в extra и exception — telemetry_unit.py |
| 3 | Произвольные HTTP method могли создавать новые metric labels | Стандартные методы и _OTHER; шаблон маршрута сохранён — main.py, telemetry.py |
| 3 | Повторная доставка без нового результата считалась успешной job | Отдельный исход skipped; success только после commit ready — worker.py, pipeline_critical.py |
| 4 | Исключение publish оставляло producer span без ERROR | ERROR без экспорта текста исключения; regression test — broker.py, telemetry_unit.py |
| 4 | Histogram ready начинался до durable acceptance и использовал часы worker | Оба конца — commit timestamps PostgreSQL; миграция 009, изолированный интеграционный тест |
| 4 | Queue gauge не имел queue name и мог незаметно устареть | Label queue, timestamp последнего обновления и stale/absent alert; telemetry.py, правила |
| 4 | Потери Tempo приписывались накопленным счётчикам без baseline | Повторяемый опыт с baseline, дельтами, ID Collector и замерами памяти — tempo_outage.py |
| 5 | Ready SLO зависел от изменяемых status/updated_at | Отдельная зрелая когорта с однократно зафиксированным bad; retry/replay не меняют результат — postgres.py |
| 5 | Старые временные результаты использовались при расхождении UTC/monotonic | Старые отсчёты сохранены в pre-review; анализатор выявил расхождение 83,075 с и пометил их непригодными для elapsed-time выводов; причина не установлена |
| 5 | При исключении сценарий мог зависнуть, ожидая бесконечные клиентские потоки | STOP устанавливается до выхода из ThreadPoolExecutor, включая исключения — slo_incidents.py |
Дополнительный прогон выявил дефект теста очереди: требовалось одновременное firing Fast и QueueLag, хотя их окна различаются. Кроме того, выбирался первый metric series старого outbox после пересоздания. Неудачный прогон сохранён; сценарий теперь проверяет наблюдение обоих сигналов и снятие каждого, а абсолютные DB-счётчики читает через max по экземплярам (они представляют одну БД).
Ограничения, которые нельзя скрыть оценкой
- Прохождение runbook другим студентом не подтверждено. Подготовлен протокол независимой проверки; собственная проверка не заменяет внешнюю.
- 99%/24 часа — учебная цель; короткий опыт не доказывает выполнение суточного SLO. Baseline оценивает наблюдавшиеся ложные тревоги только за этот интервал.
- Старые задания до миграции 009 не имеют восстановимых commit timestamps и исключены из новой когорты. Исторические Prometheus-ряды до миграции нельзя смешивать с новой методикой для доказательства SLO.
- PostgreSQL не хранит commit timestamps бессрочно. Outbox сохраняет их в таблицу; если потерял источник до материализации, unknown alert показывает неполноту данных. При перезапуске экспортёра
increaseможет не учесть события в разрыве наблюдения. - Histogram sample может потеряться при crash после commit ready; durable DB-когорта сохраняется. Collector с ограниченной очередью также может терять spans. Это не «нулевые потери».
Источник границ commit timestamps: PostgreSQL 17. Источник критериев оценки — локальные README и contracts, ссылки выше.