6.4 KiB
Как работает lab6 и что объяснять на защите
Автор: Каменский Андрей, БПИ2301.
Что осталось от lab5
Картинка полностью передаётся API, проходит базовые проверки и сохраняется в MinIO в staging/. В одной транзакции PostgreSQL создаются вложение queued и job/outbox. API отвечает 202. Dispatcher отправляет job в отдельный Redis Streams broker. Worker получает её, читает исходник из MinIO, создаёт thumbnail, crop и WebP, сохраняет результат и фиксирует ready. Оригинал не перекодируется.
RabbitMQ не нужен, потому что Redis Streams даёт хранимый журнал, consumer groups, pending deliveries и подтверждения. Redis очереди отделён от Redis сессий. Данные очереди лежат в volume, включены AOF, appendfsync=always и noeviction.
| Механизм | Что делает у нас |
|---|---|
| XADD | Dispatcher добавляет ID задания и служебные поля в Stream |
| XREADGROUP | Worker получает очередную доставку в consumer group |
| Pending Entries List | Хранит доставки, которые consumer ещё не подтвердил |
| XAUTOCLAIM | Позволяет забрать зависшую неподтверждённую доставку |
| XACK | Подтверждает результат после DB COMMIT |
| XDEL | Удаляет уже подтверждённую запись, чтобы Stream не рос бесконечно |
| Outbox в PostgreSQL | Сохраняет намерение отправки, если broker недоступен |
| Lease и DB row lock | Защищают захват и восстанавливают работу после смерти worker |
Один consumer берёт по одной записи; WORKER_CONCURRENCY задаёт число consumers. Повтор доставки нормален: используем стабильный job_id и детерминированные ключи результатов. Ready-дубль подтверждается без нового resize. Временные ошибки повторяются с backoff/jitter, максимум пять попыток на цикл; постоянные дают failed. CLI позволяет явно повторить failed и пишет audit.
Что нового в шестой
Теперь каждый HTTP-запрос получает trace. Внутри него есть spans — отдельные участки работы: db.SELECT/INSERT/UPDATE, s3.PUT/GET, queue.publish, queue.consume, image.transform. Span содержит начало, конец, родителя и результат.
После HTTP-ответа worker работает в другом процессе. Чтобы связь не потерялась, мы сохраняем traceparent/tracestate в job, dispatcher извлекает их, создаёт producer span и записывает новый carrier в очередь. Worker создаёт consumer span с этим родителем. Retry сохраняет context попытки перед повторной публикацией.
Логи http.completed/job.started/job.completed/db.error — структурный JSON. trace_id связывает их с трассой, span_id указывает конкретную операцию. request_id связывает HTTP-ответ и соответствующее событие. В telemetry не передаются Authorization, пароль, текст сообщения, изображение, SQL или filename.
| Компонент | Роль |
|---|---|
| OpenTelemetry SDK | Создаёт spans, counters/histograms и структурные события в API/worker |
| Collector | Принимает OTLP, ограничивает память, группирует и отправляет данные |
| Prometheus | Хранит временные ряды и вычисляет alert rules |
| Loki | Хранит логи, позволяет найти события по trace_id |
| Tempo | Хранит трассы и причинные связи между процессами |
| Grafana | Показывает данные из трёх источников; не заменяет эти хранилища |
Почему метрики не содержат chat_id
Каждое новое значение label создаёт новый временной ряд. UUID чатов или вложений дали бы неограниченный рост. Поэтому route — шаблон /chats/{chat_id}/messages, а labels — method, route, status_class, outcome, job_type или queue. Технические trace/span IDs находятся в логах/трассах, не в labels метрик.
Что значит p95
95% измерений попали ниже этого времени. Мы собираем histogram buckets и агрегируем buckets всех API-реплик, затем применяем histogram_quantile. Усреднять p95 разных реплик или заменять p95 средней задержкой неправильно.
Что показать
- make test: весь бизнес-API работает с включённой телеметрией.
- Dashboard в Grafana: свежие RPS/latency, очередь и worker.
- tests/observability.py: один upload найден в Tempo вместе с producer/consumer, DB/S3 и связанными логами API/worker.
- Prometheus /alerts: правила и локальные firing/resolved.
- RUNBOOK.md: как отличить остановленный worker от ожидания INSERT в БД.
Недоступная telemetry не участвует в /health/ready. SDK экспортирует в фоне, очереди ограничены; Collector при длительном отказе backend теряет telemetry, но не бизнес-задания. Эти ограничения описаны в отчёте.