Files
mtusi2026lab6/REPORT.md
T

8.9 KiB
Raw Blame History

Отчёт — лабораторная 6

  • Автор, группа: Булацев, БПИ2301
  • Целевая оценка; выбранный трек 5: 5, трек 2 «SLO и обнаружение инцидентов». На стенде воспроизведены отказ worker, Postgres и collector; отдельный замер короткого всплеска против длинной деградации ещё не снят.
  • Commit/PR: #37
  • Использованные источники, библиотеки и помощь ИИ: контракт lab6, OpenTelemetry Python SDK 1.29.0, Collector Contrib 0.128.0, Prometheus 2.55.1, Loki 3.3.2, Tempo 2.7.1, Grafana 11.4.0. Реализация перенесена из lab5 и дополнена с помощью Cursor.

Запуск из чистого clone

Нужны Docker Compose v2 и Python 3.9+ на хосте для make check / make test. Образы закреплены: python:3.12.8-slim-bookworm, postgres:16.6-alpine, redis:7.4.2-alpine, haproxy:2.8.14-alpine, chrislusf/seaweedfs:3.85, rabbitmq:3.13.7-alpine, otel/opentelemetry-collector-contrib:0.128.0, prom/prometheus:v2.55.1, grafana/loki:3.3.2, grafana/tempo:2.7.1, grafana/grafana:11.4.0.

cp .env.example .env
# заменить синтетические пароли в локальном .env; файл не коммитить
docker compose --env-file .env up -d --build --scale api=2

migrate применяет SQL, включая 007_job_trace.sql. Снаружи: HAProxy 127.0.0.1:8080, Grafana 127.0.0.1:3000 (анонимный Admin только на localhost), Prometheus 127.0.0.1:9090, S3 127.0.0.1:9000 для presigned PUT. OTLP наружу не публикуется.

Готовность API: GET http://127.0.0.1:8080/health/ready. Дашборд «Messenger observability» поднимается provisioning-ом, руками его импортировать не нужно. Остановка без удаления данных: docker compose --env-file .env stop. Удаление учебных volumes: docker compose --env-file .env down -v.

Проверки после готовности:

python -X utf8 scripts/check_contract.py
python -X utf8 tests/smoke.py --base-url http://127.0.0.1:8080

Архитектура и решения

Из lab5 перенесены две реплики API за HAProxy, Postgres, Redis, SeaweedFS, RabbitMQ и отдельный worker. Бизнес-контракт не менялся: upload по-прежнему 202, обработка в worker.

Новое в lab6: API и worker шлют OTLP/HTTP в Collector. Collector раскладывает сигналы в Prometheus (метрики), Loki (логи) и Tempo (трассы). Grafana только читает эти хранилища.

traceparent запроса, который создал job, пишется в attachment_jobs и при публикации становится родителем producer span. Worker читает заголовок AMQP и открывает consumer span. Внутри обработки есть spans s3.get, s3.put, image.render, db.complete. Повторная публикация использует тот же сохранённый traceparent, поэтому retry остаётся в той же трассе.

Метрики не используют user_id, chat_id, message_id, attachment_id как labels. Маршрут — шаблон. Доля 5xx считается только по бизнес-запросам: health, docs и openapi в неё не входят. Процентили на дашборде — histogram_quantile по bucket. Глубина очереди и возраст старейшей queued-job читаются из Postgres раз в 5 секунд; на дашборде берётся max, чтобы две реплики API не удваивали gauge.

SLO и burn-rate: infra/slo.md, правила infra/prometheus/alerts.yml. Состояние firing/resolved смотрит Prometheus (ALERTS) и нижняя панель дашборда. Доставка наружу не настроена.

Если Collector или хранилище телеметрии недоступны, SDK держит очередь не длиннее 2048 и отбрасывает лишнее. Запросы и обработка job от этого не останавливаются.

Доказательства критериев

Критерий README Команда/сценарий Наблюдаемый результат Файл доказательства
make check make PYTHON=python check PASS, offline skeleton evidence/make-check.txt
Публичный smoke make PYTHON=python BASE_URL=http://127.0.0.1:8082 test PASS lab6 public API scenario evidence/make-test.txt
Сохранность make test-persistence ACTION_SCRIPT=scripts/restart.cmd PASS, сессия и данные живы после restart evidence/persistence.txt
Отказ одной реплики make test-failover ACTION_SCRIPT=scripts/stop-one.cmd 2 реплики до отказа, 104 успешных записи, 1 ошибка, восстановление за 3.316 с evidence/failover.txt
Worker остановлен python -X utf8 scripts/lab5_checks.py upload 202, content 409, после старта worker ready и thumbnail evidence/lab5-worker-down.txt
Очередь, БД, collector python -X utf8 scripts/lab6_incidents.py возраст очереди вырос до 23 с, TimeToReadyFastBurn был firing; live 200 и ready/бизнес 503 без Postgres; регистрация 201 без collector evidence/lab6-incidents.txt

Эксперименты и отказы

Гипотеза трека 2: пара окон 5m+1h ловит короткий всплеск 5xx быстрее, чем пара 30m+6h, а длинная деградация остаётся видна после того, как короткое окно уже чистое. Ложные срабатывания на одном шумном интервале режет требование совпадения обоих окон.

На этой машине lab4 занимает 127.0.0.1:8080 и :9000, lab5 — :8081 и :9001, поэтому прогон шёл с compose.altports.yaml: API 127.0.0.1:8082, S3 127.0.0.1:9002. PYTHONUTF8=1, потому что публичные проверки читают lab.json в локальной кодировке Windows.

Воздействие Что ожидаем Что наблюдали Время восстановления / потеря данных
Остановка worker upload остаётся 202, content 409, растёт возраст очереди 202 и 409, messenger_queue_oldest_age_seconds дошёл до 23.4; TimeToReadyFastBurn был firing worker поднят, тот же attachment стал ready; после сценария alert уже не firing
Postgres остановлен /health/live жив, ready и запись дают 503 live 200, ready 503, 8 из 8 регистраций 503 ready снова 200 после compose start postgres; данные не удалялись
Collector остановлен API принимает запрос регистрация 201 collector запущен снова
Restart хранилищ и API тот же токен и вложение PASS persistence volumes сохранены
Остановка одной API-реплики вторая продолжает запись 2 instance id до отказа, восстановление записи за 3.316 с остановленная реплика поднята отдельно

Ограничения и следующие шаги

Алерты вычисляет Prometheus; отдельной доставки нет. Анонимный Admin Grafana слушает только 127.0.0.1. Возраст очереди — возраст строки queued в Postgres, а не lag consumer RabbitMQ. Две реплики публикуют один и тот же gauge глубины, поэтому на графике max.

Дальше: снять одну трассу upload до S3 вместе со структурным логом и отдельно измерить время обнаружения короткого всплеска и длинной деградации. QueueLagHigh в этом прогоне не дождались: worker вернули, когда возраст очереди был около 23 с, порог правила — 30 с.