Files
mtusi2026lab6/REPORT.md
T
2026-11-06 11:12:38 +03:00

10 KiB
Raw Blame History

Отчёт — лабораторная 6

  • Автор: Kozyrev, BVT2301.
  • Цель: уровень 5, трек 2 — SLO и обнаружение инцидентов.
  • Рабочая ветка: solution/BVT2301-Kozyrev. Результаты повторной проверки — docs/review.md. Независимое прохождение runbook другим студентом не подтверждено; полностью закрытым уровень 5 не объявляется.
  • При реализации и проверке использован Codex. Исходная основа: lab5, commit 6bc0712.

Воспроизводимый запуск

Нужны Docker Engine с Compose v2 и Python 3 для публичных тестов. Для локальных SDK-тестов нужен Python ≥3.12 согласно pyproject.toml; их также можно запускать внутри контейнера.

python3 scripts/init-secrets.py
docker compose config --quiet
docker compose up -d --build
# Дождаться успешного ответа; старт API может занять время:
python3 - <<'PY'
import time, urllib.request
for attempt in range(90):
    try:
        urllib.request.urlopen('http://localhost:8080/health/ready', timeout=2).close()
        break
    except OSError:
        time.sleep(1)
else:
    raise SystemExit('API readiness timeout; inspect docker compose ps -a')
PY
make check
make test

Миграции выполняет migrate, bucket создаёт s3-init; Compose закрепляет образы и зависимости. API: 127.0.0.1:8080; Grafana: 127.0.0.1:3000, логин admin, пароль в игнорируемом secrets/grafana_password. .env при значениях по умолчанию не обязателен. docker compose down сохраняет volumes; down -v удаляет данные и историю.

Для полной проверки OpenAPI установите requirements-dev.txt в .venv, как описано в README, затем make validate PYTHON=.venv/bin/python. Короткие проверки повторяются командой python3 student-tests/review_checks.py; журнал сохраняется в review-checks.json. Инциденты запускаются отдельно и намеренно ухудшают учебный стенд.

Уровень 3

HAProxy распределяет запросы между двумя API. PostgreSQL хранит бизнес-данные, outbox и задания; SeaweedFS — файлы; RabbitMQ доставляет задания worker. Сигналы API/worker/outbox идут по OTLP в Collector. Prometheus хранит метрики, Loki — логи, Tempo — трассы; Grafana запрашивает эти хранилища. Источники и dashboard загружаются provisioning; нужные данные находятся в named volumes. Исходники: compose.yaml, Collector, dashboard.

Telemetry ограничивает metric labels, очищает log record перед stdout и OTLP. Неизвестные HTTP methods сводятся к _OTHER. Jobs имеют success, failed, skipped: повторная доставка без нового результата не считается успешной обработкой. Проверки реального SDK exporter, W3C propagation и исходов job — telemetry_unit.py, pipeline_critical.py.

Повторные публичные проверки сохранности и отказа реплики: review-resilience.json, сценарий review_resilience.py.

Уровень 4

Контекст сохраняется вместе с заданием и outbox, передаётся через AMQP headers и восстанавливается worker. Ошибочный producer span получает ERROR без текста исключения. Dashboard содержит histogram p50/p95/p99, ошибки, очередь, pool и worker saturation; все запросы проверяет check_dashboard.py, результаты — review-dashboard.json. Описание метрик, единиц, запросов и ограничений — observability.md.

Время ready теперь вычисляется между commit принятия и commit первого ready в PostgreSQL. Миграция 009 сохраняет отдельную когорту; outbox материализует timestamps и однократно фиксирует результат 30-секундного срока. track_commit_timestamp=on включён в Compose. Старые задания не backfill-ятся приближёнными датами. Интеграционный тест проверяет commit-границы и неизменность good/bad без изменения бизнес-данных.

Повторный crash/retry проверен сценарием: job/attempt/restart, логи и trace, проверка дерева spans. Незавершённые spans аварийной попытки могут потеряться при os._exit; сохранённые consumer spans не доказывают полноту упавшей попытки.

Сценарии очереди и БД сохранены в slo-ready-incident.json и slo-incidents.json; коррелированный лог 503 и trace — review-db-trace.json. Ограниченный отказ Tempo воспроизводится tempo_outage.py, включая baseline счётчиков, их дельты и память Collector: сырые результаты, разбор. Старые эксперименты и их ограничения сохранены отдельно в observability.md.

Уровень 5, трек 2

Гипотеза: multiwindow burn-rate alerts обнаруживают контролируемый расход бюджета и снимаются после восстановления короткого окна. Учебные цели — 99% API без 5xx и 99% принятых файлов ready ≤30 с, окно SLO 24 часа. Порог 30 с выбран относительно 60-секундного ожидания smoke; 99% — учебная цель, не исследование пользователей. Формулы, числители, знаменатели, low-volume guard и диагностика приведены в runbook.

Методика, свежие результаты, оценка задержанных/ложных тревог и ограничения — slo-track.md. Расчёт выполняет slo_analyze.py. Старый опыт имел расхождение приращений UTC/monotonic до 83,075 с: данные сохранены в pre-review, но не принимаются как надёжный замер длительностей. Причину расхождения установить нельзя.

Снятие alert из-за недостатка новых событий не означает восстановления суточного SLO. Короткий baseline не измеряет долгосрочную частоту ложных срабатываний. Подготовлен протокол независимой проверки runbook; фактического прохождения другим студентом пока нет.

Практические ограничения и источники

Один Docker-host и единственные DB/broker/LB не обеспечивают HA при их потере. CPU/RSS worker не включают дочерний render; pool waiting использует внутреннюю очередь закреплённой версии asyncpg. Потеря отдельных histogram samples возможна при crash после commit; durable SLO-когорта сохраняется. При разрыве экспорта increase может пропускать события; stale/unknown alerts показывают неполноту наблюдения. Commit timestamps PostgreSQL хранятся ограниченное время, поэтому outbox сохраняет их в таблицу. Репрезентативные 24 часа и долговременная устойчивость по коротким экспериментам не доказаны.

Источники: контракт, PostgreSQL commit timestamps, OTel Collector, OTel Python exporters, W3C Trace Context, Prometheus histograms, SRE Workbook: SLO alerts.