8.9 KiB
Отчёт — лабораторная 6
- Автор, группа: Булацев, БПИ2301
- Целевая оценка; выбранный трек 5: 5, трек 2 «SLO и обнаружение инцидентов». На стенде воспроизведены отказ worker, Postgres и collector; отдельный замер короткого всплеска против длинной деградации ещё не снят.
- Commit/PR: mtusi2026/mtusi2026lab6#37
- Использованные источники, библиотеки и помощь ИИ: контракт lab6, OpenTelemetry Python SDK 1.29.0, Collector Contrib 0.128.0, Prometheus 2.55.1, Loki 3.3.2, Tempo 2.7.1, Grafana 11.4.0. Реализация перенесена из lab5 и дополнена с помощью Cursor.
Запуск из чистого clone
Нужны Docker Compose v2 и Python 3.9+ на хосте для make check / make test. Образы закреплены: python:3.12.8-slim-bookworm, postgres:16.6-alpine, redis:7.4.2-alpine, haproxy:2.8.14-alpine, chrislusf/seaweedfs:3.85, rabbitmq:3.13.7-alpine, otel/opentelemetry-collector-contrib:0.128.0, prom/prometheus:v2.55.1, grafana/loki:3.3.2, grafana/tempo:2.7.1, grafana/grafana:11.4.0.
cp .env.example .env
# заменить синтетические пароли в локальном .env; файл не коммитить
docker compose --env-file .env up -d --build --scale api=2
migrate применяет SQL, включая 007_job_trace.sql. Снаружи: HAProxy 127.0.0.1:8080, Grafana 127.0.0.1:3000 (анонимный Admin только на localhost), Prometheus 127.0.0.1:9090, S3 127.0.0.1:9000 для presigned PUT. OTLP наружу не публикуется.
Готовность API: GET http://127.0.0.1:8080/health/ready. Дашборд «Messenger observability» поднимается provisioning-ом, руками его импортировать не нужно. Остановка без удаления данных: docker compose --env-file .env stop. Удаление учебных volumes: docker compose --env-file .env down -v.
Проверки после готовности:
python -X utf8 scripts/check_contract.py
python -X utf8 tests/smoke.py --base-url http://127.0.0.1:8080
Архитектура и решения
Из lab5 перенесены две реплики API за HAProxy, Postgres, Redis, SeaweedFS, RabbitMQ и отдельный worker. Бизнес-контракт не менялся: upload по-прежнему 202, обработка в worker.
Новое в lab6: API и worker шлют OTLP/HTTP в Collector. Collector раскладывает сигналы в Prometheus (метрики), Loki (логи) и Tempo (трассы). Grafana только читает эти хранилища.
traceparent запроса, который создал job, пишется в attachment_jobs и при публикации становится родителем producer span. Worker читает заголовок AMQP и открывает consumer span. Внутри обработки есть spans s3.get, s3.put, image.render, db.complete. Повторная публикация использует тот же сохранённый traceparent, поэтому retry остаётся в той же трассе.
Метрики не используют user_id, chat_id, message_id, attachment_id как labels. Маршрут — шаблон. Доля 5xx считается только по бизнес-запросам: health, docs и openapi в неё не входят. Процентили на дашборде — histogram_quantile по bucket. Глубина очереди и возраст старейшей queued-job читаются из Postgres раз в 5 секунд; на дашборде берётся max, чтобы две реплики API не удваивали gauge.
SLO и burn-rate: infra/slo.md, правила infra/prometheus/alerts.yml. Состояние firing/resolved смотрит Prometheus (ALERTS) и нижняя панель дашборда. Доставка наружу не настроена.
Если Collector или хранилище телеметрии недоступны, SDK держит очередь не длиннее 2048 и отбрасывает лишнее. Запросы и обработка job от этого не останавливаются.
Доказательства критериев
| Критерий README | Команда/сценарий | Наблюдаемый результат | Файл доказательства |
|---|---|---|---|
| make check | make PYTHON=python check |
PASS, offline skeleton | evidence/make-check.txt |
| Публичный smoke | make PYTHON=python BASE_URL=http://127.0.0.1:8082 test |
PASS lab6 public API scenario | evidence/make-test.txt |
| Сохранность | make test-persistence ACTION_SCRIPT=scripts/restart.cmd |
PASS, сессия и данные живы после restart | evidence/persistence.txt |
| Отказ одной реплики | make test-failover ACTION_SCRIPT=scripts/stop-one.cmd |
2 реплики до отказа, 104 успешных записи, 1 ошибка, восстановление за 3.316 с | evidence/failover.txt |
| Worker остановлен | python -X utf8 scripts/lab5_checks.py |
upload 202, content 409, после старта worker ready и thumbnail | evidence/lab5-worker-down.txt |
| Очередь, БД, collector | python -X utf8 scripts/lab6_incidents.py |
возраст очереди вырос до 23 с, TimeToReadyFastBurn был firing; live 200 и ready/бизнес 503 без Postgres; регистрация 201 без collector |
evidence/lab6-incidents.txt |
Эксперименты и отказы
Гипотеза трека 2: пара окон 5m+1h ловит короткий всплеск 5xx быстрее, чем пара 30m+6h, а длинная деградация остаётся видна после того, как короткое окно уже чистое. Ложные срабатывания на одном шумном интервале режет требование совпадения обоих окон.
На этой машине lab4 занимает 127.0.0.1:8080 и :9000, lab5 — :8081 и :9001, поэтому прогон шёл с compose.altports.yaml: API 127.0.0.1:8082, S3 127.0.0.1:9002. PYTHONUTF8=1, потому что публичные проверки читают lab.json в локальной кодировке Windows.
| Воздействие | Что ожидаем | Что наблюдали | Время восстановления / потеря данных |
|---|---|---|---|
| Остановка worker | upload остаётся 202, content 409, растёт возраст очереди | 202 и 409, messenger_queue_oldest_age_seconds дошёл до 23.4; TimeToReadyFastBurn был firing |
worker поднят, тот же attachment стал ready; после сценария alert уже не firing |
| Postgres остановлен | /health/live жив, ready и запись дают 503 |
live 200, ready 503, 8 из 8 регистраций 503 | ready снова 200 после compose start postgres; данные не удалялись |
| Collector остановлен | API принимает запрос | регистрация 201 | collector запущен снова |
| Restart хранилищ и API | тот же токен и вложение | PASS persistence | volumes сохранены |
| Остановка одной API-реплики | вторая продолжает запись | 2 instance id до отказа, восстановление записи за 3.316 с | остановленная реплика поднята отдельно |
Ограничения и следующие шаги
Алерты вычисляет Prometheus; отдельной доставки нет. Анонимный Admin Grafana слушает только 127.0.0.1. Возраст очереди — возраст строки queued в Postgres, а не lag consumer RabbitMQ. Две реплики публикуют один и тот же gauge глубины, поэтому на графике max.
Дальше: снять одну трассу upload до S3 вместе со структурным логом и отдельно измерить время обнаружения короткого всплеска и длинной деградации. QueueLagHigh в этом прогоне не дождались: worker вернули, когда возраст очереди был около 23 с, порог правила — 30 с.