Files
mtusi2026lab6/REPORT.md
T
2026-11-06 11:12:38 +03:00

67 lines
10 KiB
Markdown
Raw Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
# Отчёт — лабораторная 6
- Автор: Kozyrev, BVT2301.
- Цель: уровень 5, трек 2 — SLO и обнаружение инцидентов.
- Рабочая ветка: `solution/BVT2301-Kozyrev`. Результаты повторной проверки — [docs/review.md](docs/review.md). Независимое прохождение runbook другим студентом не подтверждено; полностью закрытым уровень 5 не объявляется.
- При реализации и проверке использован Codex. Исходная основа: lab5, commit `6bc0712`.
## Воспроизводимый запуск
Нужны Docker Engine с Compose v2 и Python 3 для публичных тестов. Для локальных SDK-тестов нужен Python ≥3.12 согласно [pyproject.toml](pyproject.toml); их также можно запускать внутри контейнера.
```sh
python3 scripts/init-secrets.py
docker compose config --quiet
docker compose up -d --build
# Дождаться успешного ответа; старт API может занять время:
python3 - <<'PY'
import time, urllib.request
for attempt in range(90):
try:
urllib.request.urlopen('http://localhost:8080/health/ready', timeout=2).close()
break
except OSError:
time.sleep(1)
else:
raise SystemExit('API readiness timeout; inspect docker compose ps -a')
PY
make check
make test
```
Миграции выполняет `migrate`, bucket создаёт `s3-init`; [Compose](compose.yaml) закрепляет образы и зависимости. API: `127.0.0.1:8080`; Grafana: `127.0.0.1:3000`, логин `admin`, пароль в игнорируемом `secrets/grafana_password`. `.env` при значениях по умолчанию не обязателен. `docker compose down` сохраняет volumes; `down -v` удаляет данные и историю.
Для полной проверки OpenAPI установите `requirements-dev.txt` в `.venv`, как описано в [README](README.md), затем `make validate PYTHON=.venv/bin/python`. Короткие проверки повторяются командой `python3 student-tests/review_checks.py`; журнал сохраняется в [review-checks.json](evidence/review-checks.json). Инциденты запускаются отдельно и намеренно ухудшают учебный стенд.
## Уровень 3
HAProxy распределяет запросы между двумя API. PostgreSQL хранит бизнес-данные, outbox и задания; SeaweedFS — файлы; RabbitMQ доставляет задания worker. Сигналы API/worker/outbox идут по OTLP в Collector. Prometheus хранит метрики, Loki — логи, Tempo — трассы; Grafana запрашивает эти хранилища. Источники и dashboard загружаются provisioning; нужные данные находятся в named volumes. Исходники: [compose.yaml](compose.yaml), [Collector](infra/otel/collector.yaml), [dashboard](infra/grafana/dashboards/messenger.json).
[Telemetry](src/telemetry.py) ограничивает metric labels, очищает log record перед stdout и OTLP. Неизвестные HTTP methods сводятся к `_OTHER`. Jobs имеют `success`, `failed`, `skipped`: повторная доставка без нового результата не считается успешной обработкой. Проверки реального SDK exporter, W3C propagation и исходов job — [telemetry_unit.py](student-tests/telemetry_unit.py), [pipeline_critical.py](student-tests/pipeline_critical.py).
Повторные публичные проверки сохранности и отказа реплики: [review-resilience.json](evidence/review-resilience.json), сценарий [review_resilience.py](student-tests/review_resilience.py).
## Уровень 4
Контекст сохраняется вместе с заданием и outbox, передаётся через AMQP headers и восстанавливается worker. Ошибочный producer span получает ERROR без текста исключения. Dashboard содержит histogram p50/p95/p99, ошибки, очередь, pool и worker saturation; все запросы проверяет [check_dashboard.py](student-tests/check_dashboard.py), результаты — [review-dashboard.json](evidence/review-dashboard.json). Описание метрик, единиц, запросов и ограничений — [observability.md](docs/observability.md).
Время ready теперь вычисляется между commit принятия и commit первого ready в PostgreSQL. [Миграция 009](migrations/009_slo_commits.sql) сохраняет отдельную когорту; outbox материализует timestamps и однократно фиксирует результат 30-секундного срока. `track_commit_timestamp=on` включён в Compose. Старые задания не backfill-ятся приближёнными датами. [Интеграционный тест](student-tests/slo_commit_integration.py) проверяет commit-границы и неизменность good/bad без изменения бизнес-данных.
Повторный crash/retry проверен [сценарием](student-tests/retry_evidence.py): [job/attempt/restart](evidence/review-retry-job.json), [логи и trace](evidence/review-retry-trace.json), [проверка дерева spans](evidence/review-retry-summary.json). Незавершённые spans аварийной попытки могут потеряться при `os._exit`; сохранённые consumer spans не доказывают полноту упавшей попытки.
Сценарии очереди и БД сохранены в [slo-ready-incident.json](evidence/slo-ready-incident.json) и [slo-incidents.json](evidence/slo-incidents.json); коррелированный лог 503 и trace — [review-db-trace.json](evidence/review-db-trace.json). Ограниченный отказ Tempo воспроизводится [tempo_outage.py](student-tests/tempo_outage.py), включая baseline счётчиков, их дельты и память Collector: [сырые результаты](evidence/review-tempo-outage.json), [разбор](evidence/review-observability.md). Старые эксперименты и их ограничения сохранены отдельно в [observability.md](evidence/observability.md).
## Уровень 5, трек 2
Гипотеза: multiwindow burn-rate alerts обнаруживают контролируемый расход бюджета и снимаются после восстановления короткого окна. Учебные цели — 99% API без 5xx и 99% принятых файлов ready ≤30 с, окно SLO 24 часа. Порог 30 с выбран относительно 60-секундного ожидания smoke; 99% — учебная цель, не исследование пользователей. Формулы, числители, знаменатели, low-volume guard и диагностика приведены в [runbook](docs/slo-runbook.md).
Методика, свежие результаты, оценка задержанных/ложных тревог и ограничения — [slo-track.md](evidence/slo-track.md). Расчёт выполняет [slo_analyze.py](student-tests/slo_analyze.py). Старый опыт имел расхождение приращений UTC/monotonic до 83,075 с: данные сохранены в [pre-review](evidence/pre-review/slo-analysis.json), но не принимаются как надёжный замер длительностей. Причину расхождения установить нельзя.
Снятие alert из-за недостатка новых событий не означает восстановления суточного SLO. Короткий baseline не измеряет долгосрочную частоту ложных срабатываний. Подготовлен протокол независимой проверки runbook; фактического прохождения другим студентом пока нет.
## Практические ограничения и источники
Один Docker-host и единственные DB/broker/LB не обеспечивают HA при их потере. CPU/RSS worker не включают дочерний render; pool waiting использует внутреннюю очередь закреплённой версии asyncpg. Потеря отдельных histogram samples возможна при crash после commit; durable SLO-когорта сохраняется. При разрыве экспорта `increase` может пропускать события; stale/unknown alerts показывают неполноту наблюдения. Commit timestamps PostgreSQL хранятся ограниченное время, поэтому outbox сохраняет их в таблицу. Репрезентативные 24 часа и долговременная устойчивость по коротким экспериментам не доказаны.
Источники: [контракт](contracts/observability.md), [PostgreSQL commit timestamps](https://www.postgresql.org/docs/17/functions-info.html#FUNCTIONS-COMMIT-TIMESTAMP), [OTel Collector](https://opentelemetry.io/docs/collector/configuration/), [OTel Python exporters](https://opentelemetry.io/docs/languages/python/exporters/), [W3C Trace Context](https://www.w3.org/TR/trace-context/), [Prometheus histograms](https://prometheus.io/docs/practices/histograms/), [SRE Workbook: SLO alerts](https://sre.google/workbook/alerting-on-slos/).