Files
mtusi2026lab6/docs/review.md
T
2026-11-06 11:12:38 +03:00

7.3 KiB
Raw Blame History

Проверка по критериям README

Проверялись README, контракт наблюдаемости, исходный REPORT, код и локальный Docker-стенд. Автоматический smoke не выставляет оценку за наблюдаемость.

Итог по уровням

Исправления

Уровень Найденная ошибка Исправление и проверка
3 Allowlist применялся только к stdout; OTLP LoggingHandler получал произвольные extra и exception Фильтр до обоих handlers; тест реального SDK log exporter с секретом в extra и exception — telemetry_unit.py
3 Произвольные HTTP method могли создавать новые metric labels Стандартные методы и _OTHER; шаблон маршрута сохранён — main.py, telemetry.py
3 Повторная доставка без нового результата считалась успешной job Отдельный исход skipped; success только после commit ready — worker.py, pipeline_critical.py
4 Исключение publish оставляло producer span без ERROR ERROR без экспорта текста исключения; regression test — broker.py, telemetry_unit.py
4 Histogram ready начинался до durable acceptance и использовал часы worker Оба конца — commit timestamps PostgreSQL; миграция 009, изолированный интеграционный тест
4 Queue gauge не имел queue name и мог незаметно устареть Label queue, timestamp последнего обновления и stale/absent alert; telemetry.py, правила
4 Потери Tempo приписывались накопленным счётчикам без baseline Повторяемый опыт с baseline, дельтами, ID Collector и замерами памяти — tempo_outage.py
5 Ready SLO зависел от изменяемых status/updated_at Отдельная зрелая когорта с однократно зафиксированным bad; retry/replay не меняют результат — postgres.py
5 Старые временные результаты использовались при расхождении UTC/monotonic Старые отсчёты сохранены в pre-review; анализатор выявил расхождение 83,075 с и пометил их непригодными для elapsed-time выводов; причина не установлена
5 При исключении сценарий мог зависнуть, ожидая бесконечные клиентские потоки STOP устанавливается до выхода из ThreadPoolExecutor, включая исключения — slo_incidents.py

Дополнительный прогон выявил дефект теста очереди: требовалось одновременное firing Fast и QueueLag, хотя их окна различаются. Кроме того, выбирался первый metric series старого outbox после пересоздания. Неудачный прогон сохранён; сценарий теперь проверяет наблюдение обоих сигналов и снятие каждого, а абсолютные DB-счётчики читает через max по экземплярам (они представляют одну БД).

Ограничения, которые нельзя скрыть оценкой

  • Прохождение runbook другим студентом не подтверждено. Подготовлен протокол независимой проверки; собственная проверка не заменяет внешнюю.
  • 99%/24 часа — учебная цель; короткий опыт не доказывает выполнение суточного SLO. Baseline оценивает наблюдавшиеся ложные тревоги только за этот интервал.
  • Старые задания до миграции 009 не имеют восстановимых commit timestamps и исключены из новой когорты. Исторические Prometheus-ряды до миграции нельзя смешивать с новой методикой для доказательства SLO.
  • PostgreSQL не хранит commit timestamps бессрочно. Outbox сохраняет их в таблицу; если потерял источник до материализации, unknown alert показывает неполноту данных. При перезапуске экспортёра increase может не учесть события в разрыве наблюдения.
  • Histogram sample может потеряться при crash после commit ready; durable DB-когорта сохраняется. Collector с ограниченной очередью также может терять spans. Это не «нулевые потери».

Источник границ commit timestamps: PostgreSQL 17. Источник критериев оценки — локальные README и contracts, ссылки выше.