Files
mtusi2026lab6/REPORT.md
T

12 KiB
Raw Blame History

Отчёт — лабораторная 6

  • Автор — Гришко Дмитрий Михайлович, БВТ2303.
  • Целевая оценка — 4.
  • Ветка — solution/Grishko-BVT2303. Перенос — d993866, базовая наблюдаемость — 549edc8, сквозная трассировка и алерты — d753e34.
  • Источники — задание, контракт наблюдаемости, OpenAPI, OpenTelemetry Go, OTLP в Loki. Зависимости закреплены в go.mod. Помощь ИИ — OpenAI Codex, реализация, проверки и оформление.

Запуск из чистого клона

Нужны Linux, Git, Make, Python 3.9+, Docker Engine с Compose и доступ к реестрам образов и зависимостей при первой сборке. Из каталога репозитория на ветке решения:

make app-init
docker compose config --quiet
make app-up
curl --fail http://127.0.0.1:8080/health/ready
make check
make test BASE_URL=http://127.0.0.1:8080
make evidence BASE_URL=http://127.0.0.1:8080

app-init создаёт локальные .env и secrets/. Compose применяет миграции и создаёт приватный S3 bucket до запуска API и worker. По умолчанию API доступен на 8080, Grafana на 3000, UI на 5173, S3 на 9000 и статистика HAProxy на 8404. Dashboard открывается в гостевом режиме. Для Explore при первом входе используются стандартные локальные данные Grafana с последующей сменой пароля.

make app-down останавливает стенд с сохранением томов. Для намеренного удаления учебных данных используется docker compose down --volumes.

Приложение собирается Go 1.22.2 в Debian 12.15. Frontend использует Node 22. В Compose закреплены PostgreSQL 16.10, Redis 7.4.11, RabbitMQ 4.2.0, HAProxy 3.2.25, Collector Contrib 0.120.0, Prometheus 3.2.1, Loki 3.4.2, Tempo 2.7.1 и Grafana 11.5.2. MinIO собирается из закреплённого коммита Dockerfile. OpenTelemetry Go использует 1.34.0 для трасс и метрик и 0.10.0 для логов.

Архитектура и решения

Клиент → HAProxy → API ×2 → PostgreSQL / Redis / S3 staging
                             PostgreSQL outbox → dispatcher → RabbitMQ → worker → S3 / PostgreSQL
                   API / dispatcher / worker → OTLP HTTP → Collector
                                                           ├→ Prometheus (scrape)
                                                           ├→ Loki (OTLP)
                                                           └→ Tempo (OTLP)
                   Grafana → Prometheus / Loki / Tempo

Из №5 перенесены сессии Redis, балансировка, идемпотентность сообщений, приватный S3 и фоновая обработка. API отвечает 202 после записи оригинала в устойчивый staging и фиксации метаданных и задания в PostgreSQL. Dispatcher подтверждает публикацию через RabbitMQ. Worker завершает обработку и фиксирует результат или намерение повторной попытки перед ACK. PostgreSQL хранит бизнес-данные и состояние задания. Готовность API зависит от PostgreSQL, Redis и S3.

Миграция 10 добавляет W3C traceparent и tracestate в outbox. Dispatcher восстанавливает контекст, создаёт producer span и переносит его в заголовки AMQP. Worker создаёт дочерний consumer span с номером попытки. Повторная публикация восстанавливает тот же контекст upload. В Tempo доступны спаны S3 и PostgreSQL, а Loki хранит trace ID, span ID, исход операции и технические поля корреляции. SQL, параметры запросов, заголовки авторизации, тексты и содержимое файлов не включаются в события. В метриках маршруты представлены шаблонами.

Prometheus хранит временные ряды, Loki — журналы, Tempo — трассы. У хранилищ отдельные тома. Grafana загружает источники и dashboard из provisioning. Collector использует batch, memory limiter 128 МиБ, лимит контейнера 192 МиБ и очереди экспорта Loki/Tempo по 64 пакета с retry до 30 секунд. Экспорт выполняется асинхронно.

Compose использует APP_*, API_REPLICAS, SESSION_TTL_SECONDS, IDEMPOTENCY_TTL_SECONDS, параметры S3, файлы подключения и JOB_MAX_ATTEMPTS / JOB_TIMEOUT_SECONDS. Сессии используют Redis. Конкурентность задаётся количеством процессов worker, по одному слоту на экземпляр. Пределы API — 10 МиБ и 40 млн пикселей, worker — 8 млн по умолчанию через WORKER_MAX_PIXELS. Failed staging хранится 24 часа. Код задаёт ресурсные атрибуты и имя сервиса по роли процесса, использует OTLP HTTP/protobuf. Endpoint задаётся через OTEL_EXPORTER_OTLP_ENDPOINT.

Доказательства критериев

Критерий Команда или сценарий Наблюдение Доказательство
3. Минимум №5 make test Сессии, ACL, сообщения, идемпотентность, 202 → ready, оригинал и thumbnail Smoke
3. Единый стенд, хранилища, provisioning Compose, Collector validate, Grafana API Тома и три источника данных, импортированный dashboard Стенд
3. OTLP и корреляция сигналов check_observability.py signals Метрики API и worker, совпадение trace/span ID в Loki и Tempo, проверка контрольных чувствительных значений Сигналы
4. Контекст через брокер и retry pipeline, затем временная остановка S3 Родительская цепочка до worker и операции S3/DB, обе попытки в одной трассе Трассировка
4. Диагностические метрики и SLO check_observability.py dashboard, promtool check rules PromQL для панелей, SLI за 30 минут, два валидных правила Dashboard и SLO
4. Алерт возраста очереди Остановка worker MessengerQueueLag firing → resolved, принятое вложение стало ready Очередь
4. Алерт доли 5xx Временная блокировка таблицы чатов MessengerHighErrorRate firing → resolved, задержка видна в дочернем спане PostgreSQL PostgreSQL
4. Недоступность хранилища сигналов Остановка Tempo API принимает сообщения, worker обрабатывает вложение, Collector ограничивает буфер и регистрирует потерю спанов Tempo

SLI — доля бизнес-запросов без 5xx, SLO ≥99% за 30 минут при наличии трафика. Health исключён. Перед итоговыми инцидентами SLI составил 99,93%. p50/p95/p99 вычисляются из агрегированных histogram buckets в секундах. Глубина очереди включает все незавершённые задания, в том числе ожидающие retry. Подробные запросы находятся в dashboard JSON, порядок диагностики — в runbook.

Эксперименты и отказы

Сценарии запускаются последовательно на локальном стенде. Проверяется, можно ли по сохранённым сигналам различить остановку обработчика и задержку в БД, а также сохраняется ли бизнес-путь при недоступности хранилища трасс.

Воздействие Наблюдение Восстановление
Остановка worker Возраст заданий растёт, alert firing после превышения 20 секунд в течение 15 секунд Запуск worker, то же вложение ready, alert resolved
Блокировка таблицы чатов 5xx и долгий дочерний спан PostgreSQL. Правило проверяет порог 5% за минуту с выдержкой 15 секунд Снятие блокировки, успешное чтение чата, alert resolved после выхода ошибок из окна
Остановка S3 Первая попытка обработки откладывается. Следующая видна в той же трассе Запуск S3, исходное вложение ready
Остановка Tempo Сообщения приняты, вложение достигло ready. Collector отбросил 54 спана. Память по снимку — 56,43 МиБ из 192 МиБ Tempo запущен после проверки

Один короткий профиль нагрузки выполнен на AMD Ryzen 9 PRO 7940HS с 16 логическими CPU и 14 ГиБ RAM. Две API-реплики ограничены 0,5 CPU и 512 МиБ каждая. Worker ограничен 1 CPU и 512 МиБ. Профиль — 30 секунд, четыре параллельных клиента, closed-loop POST сообщений, один прогон без отдельного прогрева. В итоговом прогоне подтверждено 37 708 запросов, ошибок 0, пропускная способность 1256,75 RPS. Задержки p50/p95/p99 составили 2,828 / 4,327 / 7,211 мс. Полный вывод и снимок ресурсов после прогона сохранены в результатах нагрузки.

Ограничения и следующие шаги

Стенд локальный, PostgreSQL, S3, RabbitMQ и балансировщик развёрнуты в одном экземпляре. Отказы этих компонентов могут прерывать соответствующие бизнес-операции. Снимок памяти Collector относится к короткому отказу. При переполнении очереди или исчерпании повторов возможна потеря телеметрии. Результат closed-loop прогона зависит от клиента и не оценивает предел пропускной способности. Заявленная оценка — 4.