11 KiB
Отчёт — лабораторная 6
- Автор, группа: Ромашко Владимир, БВТ2301.
- Целевая оценка: 4.
- Источники: контракт, OpenTelemetry, Loki OTLP. Библиотеки: FastAPI, SQLAlchemy, Redis, boto3, Pillow, OpenTelemetry SDK, psutil. Codex использовался для реализации, проверок и оформления.
Запуск из чистого clone
Нужны Docker с Compose и Python 3.9+ на хосте; свободные порты 8080, 3000, 9090, 3100, 3200. В контейнерах Python 3.12.8; PostgreSQL 17.4, Redis 7.4.2, Nginx 1.28.0; MinIO закреплён digest. Телеметрия: SDK 1.38.0 / semantic conventions 0.59b0, Collector 0.136.0, Prometheus 3.6.0, Loki 3.5.7, Tempo 2.9.0, Grafana 12.2.0.
cp .env.example .env
# Задать свои POSTGRES_PASSWORD, MINIO_ROOT_PASSWORD,
# S3_SECRET_ACCESS_KEY и GRAFANA_ADMIN_PASSWORD.
docker compose config --quiet
docker compose up -d --build
curl http://127.0.0.1:8080/health/ready # дождаться 200 {"status":"ok"}
python -X utf8 scripts/check_contract.py
python -X utf8 tests/smoke.py --base-url http://127.0.0.1:8080
python -X utf8 student-tests/observability.py --scenario all
python -X utf8 tests/load.py --base-url http://127.0.0.1:8080 --duration 30 --concurrency 4 --output evidence/load.json
docker compose down # безопасная остановка, volumes остаются
Миграции (включая 008 с trace context) и создание S3 bucket выполняются автоматически. Grafana: http://localhost:3000, admin, пароль из .env; dashboard Lab 6 / Messenger / Lab 6 импортируется автоматически. Python-команды check/smoke эквивалентны make check / make test; на проверявшемся Windows-хосте make отсутствует. Для намеренного удаления всех учебных данных: docker compose down -v (при проверках не выполнялось).
Архитектура и решения
Из lab5 сохранены Nginx → две API-реплики, PostgreSQL, Redis для сессий/кеша, S3, durable Redis Streams, outbox/dispatcher и worker. PostgreSQL — источник истины для заданий; attachment и outbox фиксируются одной транзакцией после записи staging, ack выполняется после устойчивого результата.
Добавлены API/worker/dispatcher → OTLP → Collector → Prometheus (метрики), Loki (логи), Tempo (трассы) → Grafana. История хранится в volumes, retention 72 часа. W3C context сохраняется в outbox и переносится через broker в worker и image process; retry остаётся в той же трассе. Экспортируются шаблоны маршрутов и технические поля, без SQL-параметров, токенов и содержимого сообщений.
Метрики: http_requests_total и jobs_processed_total — счётчики; http_duration_seconds, job_duration_seconds, attachment_time_to_ready_seconds — histogram в секундах; queue_depth, db_pool_used/waiting, worker_busy/capacity — количества; queue_oldest_age_seconds — секунды; container_memory_bytes / container_cpu_seconds_total — память/CPU. Точные имена, labels и запросы: описание сигналов, dashboard JSON.
Переменные .env.example подставляются в Compose: пароли — соответствующим сервисам, MAX_*, JOB_*, WORKER_CONCURRENCY — приложению, APP_PORT — Nginx. OTEL_SDK_DISABLED=false включает телеметрию; service.name и внутренние адреса заданы отдельно по ролям.
SLI = 1 − 5xx / все запросы без health за 30 минут, SLO ≥ 99%. ApiHighErrorRate: >5% ошибок за 2m, минимум 20 запросов, for: 20s. QueueLagHigh: возраст queued >30s при свежем sample, for: 15s. Правила и инструкции диагностики сохранены в репозитории.
Доказательства критериев
| Критерий README | Команда/сценарий | Наблюдаемый результат | Файл доказательства |
|---|---|---|---|
| Структура и публичный smoke | Команды check/smoke выше | PASS при включённой телеметрии | verification.txt |
| Минимум lab5 и общий стенд | docker compose up -d --build; smoke |
API, upload 202, ready, оригинал и thumbnail работают; хранилища имеют volumes | compose.yaml, verification.txt |
| OTLP: метрики, логи, трассы API/worker | observability.py --scenario smoke |
Все обязательные метрики найдены; связанные логи трёх сервисов | observability.json: smoke |
| Импортируемый dashboard и безопасные атрибуты | Provisioning; сценарий smoke | 18 панелей, 3 datasource; проверены labels и отсутствие приватных входных данных | provisioning, observability.json |
| Корреляция HTTP/job → log/trace | Сценарий smoke | Найдены request_id, trace_id и parent-связи до S3/DB | observability.json: smoke |
| W3C propagation, включая retry | observability.py --scenario retry |
Попытки 1 и 2 в одной трассе, tracestate сохранён | observability.json: retry |
| p50/p95/p99, очередь, DB pool, worker, CPU/RAM, time-to-ready | Сценарий smoke; dashboard | Метрики существуют; percentile вычисляется по сумме histogram buckets | dashboard JSON, observability.json |
| SLI/SLO и два проверенных алерта | --scenario queue, --scenario database |
Оба алерта firing → resolved после восстановления | alerts.yaml, observability.json |
| Ограниченная буферизация и отказ telemetry backend | --scenario backend |
API продолжает работу; очередь ≤32 batches, RSS ≤199.03 MiB | collector.yaml, observability.json |
Здесь observability.py — python -X utf8 student-tests/observability.py. Сценарии останавливают реальные контейнеры текущего Compose-проекта и восстанавливают их в finally; volumes не удаляют.
Эксперименты и отказы
Проверки 16.11.2026. Гипотеза: телеметрия показывает причину отказа, а её backend не блокирует бизнес-операции. Docker Desktop: 8 CPU, 7.76 GiB RAM; лимиты API — по 1 CPU/512 MiB, worker — 2 CPU/2 GiB, Collector — 0.5 CPU/256 MiB.
Нагрузка: один прогон closed-loop POST сообщений, 4 клиента, 30 секунд, без отдельного прогрева и автоматических retry. 2389 успешных запросов, 0 ошибок, 79.219 RPS; p50/p95/p99 = 40.784/99.520/129.314 ms. Исходная сводка: load.json. Это локальная проверка, не исследование предельной производительности; CPU во время прогона отдельно не фиксировался, RSS Collector измерен в сценарии отказа ниже.
| Воздействие | Что ожидаем | Что наблюдали | Время восстановления / потеря данных |
|---|---|---|---|
| Остановить worker | Рост возраста очереди и QueueLagHigh | Depth=1, возраст 55s; producer есть, consumer появляется после запуска; затем ready, depth=0 | firing → resolved: 20.3s; принятое вложение сохранено |
| Остановить PostgreSQL | 503 и ApiHighErrorRate | Error ratio 42.6%; в trace db.acquire/OperationalError и связанный лог — отказ БД, а не медленный handler |
После запуска запросы успешны; firing → resolved: 109.1s с учётом окна 2m |
| Временно остановить S3 | Retry без потери задания | Первая попытка failed, вторая ready, общий trace | Задание успешно завершено |
| Остановить Tempo на 60s | Приложение работает, буферы ограничены | 165 записей и обработка вложения успешны; очередь ≤32, RSS 198.52–199.02 MiB; после запуска новая трасса найдена | Потеря 808 принятых Collector spans, бизнес-операции успешны |
Порядок диагностики: dashboard → лог по request_id/trace_id → ошибочный или отсутствующий span зависимости → восстановление сервиса → проверка ready/успешных запросов и resolved. Для Tempo потеря рассчитана как Δaccepted − Δsent после опустошения очереди; повторы отправки не считаются отдельными потерянными spans. Подробные timestamps и ID — в observability.json.
Ограничения и следующие шаги
Один локальный узел, без HA и TLS; алерты только локальные. SDK ограничивает очереди 512 записями, Collector использует memory limiter/batch и retry до 15s: длительный отказ может терять телеметрию. Потери до приёма Collector указанной дельтой не измеряются. История удаляется по retention; метрики не заменяют журнал транзакций. При недоступной БД API возвращает 503, после восстановления работает снова. Треки оценки 5 не реализовывались.