Files
mtusi2026lab6/REPORT.md
T

15 KiB
Raw Blame History

Отчёт — лабораторная 6

Запуск из чистого клона

Нужны Linux, Git, Make, Python 3.9+, Docker Engine с Compose и доступ к реестрам образов и зависимостей при первой сборке. Склонируйте ветку решения и перейдите в каталог проекта.

git clone --branch solution/Grishko-BVT2303 --single-branch \
  https://gitea.privcloud.tech/TAskMAster339/mtusi2026lab6-fork.git
cd mtusi2026lab6-fork

Создайте локальную конфигурацию, проверьте Compose и запустите стенд.

make app-init
docker compose config --quiet
make app-up
curl --fail http://127.0.0.1:8080/health/ready

После ответа {"status":"ok"} запустите проверки.

make check
make test BASE_URL=http://127.0.0.1:8080
make evidence BASE_URL=http://127.0.0.1:8080

app-init создаёт локальные .env и secrets/. Compose применяет миграции и создаёт приватный S3 bucket до запуска API и worker. По умолчанию API доступен на 8080, Grafana на 3000, UI на 5173, S3 на 9000 и статистика HAProxy на 8404. Dashboard открывается в гостевом режиме. Для Explore при первом входе используются стандартные локальные данные Grafana с последующей сменой пароля.

make app-down останавливает стенд с сохранением томов. Для намеренного удаления учебных данных используется docker compose down --volumes.

Приложение собирается Go 1.22.2 в Debian 12.15. Frontend использует Node 22. В Compose закреплены PostgreSQL 16.10, Redis 7.4.11, RabbitMQ 4.2.0, HAProxy 3.2.25, Collector Contrib 0.120.0, Prometheus 3.2.1, Loki 3.4.2, Tempo 2.7.1 и Grafana 11.5.2. MinIO собирается из закреплённого коммита Dockerfile. OpenTelemetry Go использует 1.34.0 для трасс и метрик и 0.10.0 для логов.

Архитектура и решения

Клиент → HAProxy → API ×2 → PostgreSQL / Redis / S3 staging
                             PostgreSQL outbox → dispatcher → RabbitMQ → worker → S3 / PostgreSQL
                   API / dispatcher / worker → OTLP HTTP → Collector
                                                           ├→ Prometheus (scrape)
                                                           ├→ Loki (OTLP)
                                                           └→ Tempo (OTLP)
                   Grafana → Prometheus / Loki / Tempo

Из №5 перенесены сессии Redis, балансировка, идемпотентность сообщений, приватный S3 и фоновая обработка. API отвечает 202 после записи оригинала в устойчивый staging и фиксации метаданных и задания в PostgreSQL. Dispatcher подтверждает публикацию через RabbitMQ. Worker завершает обработку и фиксирует результат или намерение повторной попытки перед ACK. PostgreSQL хранит бизнес-данные и состояние задания. Готовность API зависит от PostgreSQL, Redis и S3.

Миграция 10 добавляет W3C traceparent и tracestate в outbox. Dispatcher восстанавливает контекст, создаёт producer span и переносит его в заголовки AMQP. Worker создаёт дочерний consumer span с номером попытки. Повторная публикация восстанавливает тот же контекст upload. В Tempo доступны спаны S3 и PostgreSQL, а Loki хранит trace ID, span ID, исход операции и технические поля корреляции. SQL, параметры запросов, заголовки авторизации, тексты и содержимое файлов не включаются в события. В метриках маршруты представлены шаблонами.

Prometheus хранит временные ряды, Loki — журналы, Tempo — трассы. У хранилищ отдельные тома. Grafana загружает источники и dashboard из provisioning. Collector использует batch, memory limiter 128 МиБ, лимит контейнера 192 МиБ и очереди экспорта Loki/Tempo по 64 пакета с retry до 30 секунд. Экспорт выполняется асинхронно.

Compose использует APP_*, API_REPLICAS, SESSION_TTL_SECONDS, IDEMPOTENCY_TTL_SECONDS, параметры S3, файлы подключения и JOB_MAX_ATTEMPTS / JOB_TIMEOUT_SECONDS. Сессии используют Redis. Конкурентность задаётся количеством процессов worker, по одному слоту на экземпляр. Пределы API — 10 МиБ и 40 млн пикселей, worker — 8 млн по умолчанию через WORKER_MAX_PIXELS. Failed staging хранится 24 часа. Код задаёт ресурсные атрибуты и имя сервиса по роли процесса, использует OTLP HTTP/protobuf. Endpoint задаётся через OTEL_EXPORTER_OTLP_ENDPOINT.

Доказательства критериев

Критерий Команда или сценарий Наблюдение Доказательство
3. Минимум №5 make test Сессии, ACL, сообщения, идемпотентность, 202 → ready, оригинал и thumbnail Smoke
3. Единый стенд, хранилища, provisioning Compose, Collector validate, Grafana API Тома и три источника данных, импортированный dashboard Стенд
3. OTLP и корреляция сигналов check_observability.py signals Метрики API и worker, совпадение trace/span ID в Loki и Tempo, проверка контрольных чувствительных значений Сигналы
4. Контекст через брокер и retry pipeline, затем временная остановка S3 Родительская цепочка до worker и операции S3/DB, обе попытки в одной трассе Трассировка
4. Диагностические метрики и SLO check_observability.py dashboard, promtool check rules PromQL для панелей, SLI за 30 минут, два валидных правила Dashboard и SLO
4. Алерт возраста очереди Остановка worker MessengerQueueLag firing → resolved, принятое вложение стало ready Очередь
4. Алерт доли 5xx Временная блокировка таблицы чатов MessengerHighErrorRate firing → resolved, задержка видна в дочернем спане PostgreSQL PostgreSQL
4. Недоступность хранилища сигналов Остановка Tempo API принимает сообщения, worker обрабатывает вложение, Collector ограничивает буфер и регистрирует потерю спанов Tempo

SLI — доля бизнес-запросов без 5xx, SLO ≥99% за 30 минут при наличии трафика. Health исключён. Перед итоговыми инцидентами SLI составил 99,93%. p50/p95/p99 вычисляются из агрегированных histogram buckets в секундах. Глубина очереди включает все незавершённые задания, в том числе ожидающие retry. Подробные запросы находятся в dashboard JSON, порядок диагностики — в runbook.

Эксперименты и отказы

Сценарии запускаются последовательно на локальном стенде. Проверяется, можно ли по сохранённым сигналам различить остановку обработчика и задержку в БД, а также сохраняется ли бизнес-путь при недоступности хранилища трасс.

Воздействие Наблюдение Восстановление
Остановка worker Возраст заданий растёт, alert firing после превышения 20 секунд в течение 15 секунд Запуск worker, то же вложение ready, alert resolved
Блокировка таблицы чатов 5xx и долгий дочерний спан PostgreSQL. Правило проверяет порог 5% за минуту с выдержкой 15 секунд Снятие блокировки, успешное чтение чата, alert resolved после выхода ошибок из окна
Остановка S3 Первая попытка обработки откладывается. Следующая видна в той же трассе Запуск S3, исходное вложение ready
Остановка Tempo Сообщения приняты, вложение достигло ready. Collector отбросил 54 спана. Память по снимку — 56,43 МиБ из 192 МиБ Tempo запущен после проверки

Один короткий профиль нагрузки выполнен на AMD Ryzen 9 PRO 7940HS с 16 логическими CPU и 14 ГиБ RAM. Две API-реплики ограничены 0,5 CPU и 512 МиБ каждая. Worker ограничен 1 CPU и 512 МиБ. Профиль — 30 секунд, четыре параллельных клиента, closed-loop POST сообщений, один прогон без отдельного прогрева. В итоговом прогоне подтверждено 37 708 запросов, ошибок 0, пропускная способность 1256,75 RPS. Задержки p50/p95/p99 составили 2,828 / 4,327 / 7,211 мс. Полный вывод и снимок ресурсов после прогона сохранены в результатах нагрузки.

Скриншоты Grafana

Дашборд API во время нагрузки

Рисунок 1. Во время нагрузочного прогона частота запросов выросла, а частота ответов 5xx осталась на нуле. Панели p50, p95 и p99 показывают задержку API.

Сквозная трасса загрузки с повторной обработкой

Рисунок 2. В одной трассе Tempo видны HTTP-ответ 202, публикации в RabbitMQ и спаны worker. Первая обработка завершилась ошибкой, затем worker получил задание повторно. Trace ID — 9718ad3f6a66598ef72ed8ec1cb5101f.

Глубина и возраст очереди при остановке worker

Рисунок 3. При остановке worker в очереди оставалось одно незавершённое задание. Возраст старейшего задания превысил 30 секунд. После возобновления обработки оба показателя вернулись к нулю.

Состояния алерта MessengerQueueLag в Prometheus

Рисунок 4. В Grafana Explore запрос к метрике ALERTS показывает переход MessengerQueueLag из pending в firing во время роста возраста задания.

Дочерний спан PostgreSQL при ответе API 503

Рисунок 5. При блокировке таблицы чатов API вернул 503. Ошибочный дочерний спан postgresql query занял около пяти секунд, почти всю длительность HTTP-запроса.

Ограничения и следующие шаги

Стенд локальный, PostgreSQL, S3, RabbitMQ и балансировщик развёрнуты в одном экземпляре. Отказы этих компонентов могут прерывать соответствующие бизнес-операции. Снимок памяти Collector относится к короткому отказу. При переполнении очереди или исчерпании повторов возможна потеря телеметрии. Результат closed-loop прогона зависит от клиента и не оценивает предел пропускной способности. Заявленная оценка — 4.