4.6 KiB
Отчёт — лабораторная 6
Автор: Максимова Мария, БВТ2303. Целевая оценка: 4.
Перенос lab5
Исходники перенесены из соседнего репозитория mtusi2026lab5, версия
19cbacd. Перенесены приложение, миграции 001–005, Dockerfile, Compose,
операторские скрипты, собственные проверки. Контракт и публичные тесты lab6
сохранены. Доказательства старой лабораторной не выдаются за результаты lab6.
Архитектура: HAProxy → две реплики FastAPI → PostgreSQL/Valkey и приватное S3 (SeaweedFS). До 202 сохраняются S3 staging и транзакционный outbox в БД. Publisher доставляет задания в RabbitMQ, worker публикует original, thumbnail JPEG 256×256, crop JPEG 128×128 и optimized WebP 1280×1280. Применяются at least once, publisher confirms, ack после commit, lease с fencing token, ограниченные retry с jitter и журнал ошибок.
Запуск базового стенда
На Windows: powershell -ExecutionPolicy Bypass -File scripts/init-secrets.ps1.
На Linux/macOS: sh scripts/init-secrets.sh.
Затем docker compose up -d --build --wait --wait-timeout 240.
Smoke: python -X utf8 tests/smoke.py; дополнительные проверки:
python -X utf8 scripts/test_lab5.py --quick.
Остановка без потери данных: docker compose down (без -v).
Наблюдаемость: уровень 3
API, worker и publisher используют OpenTelemetry Python SDK 1.28.2,
OTLP HTTP/protobuf → Collector contrib 0.111.0 → Prometheus 2.55.0,
Loki 3.2.1 (native OTLP), Tempo 2.6.1 → Grafana 11.2.2.
Полные конфигурации и импортируемый dashboard находятся в infra/.
Данные backend и состояние Grafana сохраняются в именованных volumes.
Метрики SDK messenger.http.requests и messenger.jobs.processed — counters;
messenger.http.duration и messenger.jobs.duration — histograms в секундах.
Prometheus добавляет _total к counters и _seconds_bucket/sum/count к
histograms. Labels HTTP: method, route template, status_class; jobs:
job_type и outcome. Resource attributes: service.name, service.version=1.6.0,
service.instance.id, deployment.environment.name=lab. Сервисы называются
messenger-api, messenger-worker и messenger-publisher.
API log http.request.complete связывается с ответом по X-Request-Id и
X-Trace-Id. Worker log job.complete связывается с реальным CONSUMER span
по trace_id/span_id. В логах есть timestamp/severity/event и service resource.
Технические job/attachment ID разрешены только в traces/logs синтетического
стенда; метрики не используют идентификаторы объектов.
SDK экспортирует только явные allowlist-события, без текстов сообщений,
паролей, токенов, SQL и exception text. Uvicorn access log выключен.
Grafana доступна только через loopback http://localhost:3000 (учебный anonymous Viewer); dashboard Messenger — lab6, три datasource заданы provisioning автоматически. Prometheus/Loki/Tempo на loopback 9090/3100/3200 нужны также для воспроизводимых проверок. OTLP порты доступны только внутри сети Compose.
Collector применяет memory_limiter (192 MiB), batch (не больше 512 records), очереди exporters по 256 batches и retry до 30 секунд. У SDK фоновые очереди traces/logs по 512 records, batches по 64, HTTP timeout 2 секунды, период метрик 5 секунд. Ни API request, ни job не ожидают сетевой экспорт. Зависимости telemetry не входят в readiness приложения.
Источники: OTel SDK, Loki OTLP, Grafana provisioning. Реализация и документация подготовлены с помощью Codex.