12 KiB
Отчёт — лабораторная 6
- Автор — Гришко Дмитрий Михайлович, БВТ2303.
- Целевая оценка — 4.
- Ветка —
solution/Grishko-BVT2303. Перенос —d993866, базовая наблюдаемость —549edc8, сквозная трассировка и алерты —d753e34. - Источники — задание, контракт наблюдаемости, OpenAPI, OpenTelemetry Go, OTLP в Loki. Зависимости закреплены в go.mod. Помощь ИИ — OpenAI Codex, реализация, проверки и оформление.
Запуск из чистого клона
Нужны Linux, Git, Make, Python 3.9+, Docker Engine с Compose и доступ к реестрам образов и зависимостей при первой сборке. Из каталога репозитория на ветке решения:
make app-init
docker compose config --quiet
make app-up
curl --fail http://127.0.0.1:8080/health/ready
make check
make test BASE_URL=http://127.0.0.1:8080
make evidence BASE_URL=http://127.0.0.1:8080
app-init создаёт локальные .env и secrets/. Compose применяет миграции и создаёт приватный S3 bucket до запуска API и worker. По умолчанию API доступен на 8080, Grafana на 3000, UI на 5173, S3 на 9000 и статистика HAProxy на 8404. Dashboard открывается в гостевом режиме. Для Explore при первом входе используются стандартные локальные данные Grafana с последующей сменой пароля.
make app-down останавливает стенд с сохранением томов. Для намеренного удаления учебных данных используется docker compose down --volumes.
Приложение собирается Go 1.22.2 в Debian 12.15. Frontend использует Node 22. В Compose закреплены PostgreSQL 16.10, Redis 7.4.11, RabbitMQ 4.2.0, HAProxy 3.2.25, Collector Contrib 0.120.0, Prometheus 3.2.1, Loki 3.4.2, Tempo 2.7.1 и Grafana 11.5.2. MinIO собирается из закреплённого коммита Dockerfile. OpenTelemetry Go использует 1.34.0 для трасс и метрик и 0.10.0 для логов.
Архитектура и решения
Клиент → HAProxy → API ×2 → PostgreSQL / Redis / S3 staging
PostgreSQL outbox → dispatcher → RabbitMQ → worker → S3 / PostgreSQL
API / dispatcher / worker → OTLP HTTP → Collector
├→ Prometheus (scrape)
├→ Loki (OTLP)
└→ Tempo (OTLP)
Grafana → Prometheus / Loki / Tempo
Из №5 перенесены сессии Redis, балансировка, идемпотентность сообщений, приватный S3 и фоновая обработка. API отвечает 202 после записи оригинала в устойчивый staging и фиксации метаданных и задания в PostgreSQL. Dispatcher подтверждает публикацию через RabbitMQ. Worker завершает обработку и фиксирует результат или намерение повторной попытки перед ACK. PostgreSQL хранит бизнес-данные и состояние задания. Готовность API зависит от PostgreSQL, Redis и S3.
Миграция 10 добавляет W3C traceparent и tracestate в outbox. Dispatcher восстанавливает контекст, создаёт producer span и переносит его в заголовки AMQP. Worker создаёт дочерний consumer span с номером попытки. Повторная публикация восстанавливает тот же контекст upload. В Tempo доступны спаны S3 и PostgreSQL, а Loki хранит trace ID, span ID, исход операции и технические поля корреляции. SQL, параметры запросов, заголовки авторизации, тексты и содержимое файлов не включаются в события. В метриках маршруты представлены шаблонами.
Prometheus хранит временные ряды, Loki — журналы, Tempo — трассы. У хранилищ отдельные тома. Grafana загружает источники и dashboard из provisioning. Collector использует batch, memory limiter 128 МиБ, лимит контейнера 192 МиБ и очереди экспорта Loki/Tempo по 64 пакета с retry до 30 секунд. Экспорт выполняется асинхронно.
Compose использует APP_*, API_REPLICAS, SESSION_TTL_SECONDS, IDEMPOTENCY_TTL_SECONDS, параметры S3, файлы подключения и JOB_MAX_ATTEMPTS / JOB_TIMEOUT_SECONDS. Сессии используют Redis. Конкурентность задаётся количеством процессов worker, по одному слоту на экземпляр. Пределы API — 10 МиБ и 40 млн пикселей, worker — 8 млн по умолчанию через WORKER_MAX_PIXELS. Failed staging хранится 24 часа. Код задаёт ресурсные атрибуты и имя сервиса по роли процесса, использует OTLP HTTP/protobuf. Endpoint задаётся через OTEL_EXPORTER_OTLP_ENDPOINT.
Доказательства критериев
| Критерий | Команда или сценарий | Наблюдение | Доказательство |
|---|---|---|---|
| 3. Минимум №5 | make test |
Сессии, ACL, сообщения, идемпотентность, 202 → ready, оригинал и thumbnail | Smoke |
| 3. Единый стенд, хранилища, provisioning | Compose, Collector validate, Grafana API | Тома и три источника данных, импортированный dashboard | Стенд |
| 3. OTLP и корреляция сигналов | check_observability.py signals |
Метрики API и worker, совпадение trace/span ID в Loki и Tempo, проверка контрольных чувствительных значений | Сигналы |
| 4. Контекст через брокер и retry | pipeline, затем временная остановка S3 |
Родительская цепочка до worker и операции S3/DB, обе попытки в одной трассе | Трассировка |
| 4. Диагностические метрики и SLO | check_observability.py dashboard, promtool check rules |
PromQL для панелей, SLI за 30 минут, два валидных правила | Dashboard и SLO |
| 4. Алерт возраста очереди | Остановка worker | MessengerQueueLag firing → resolved, принятое вложение стало ready |
Очередь |
| 4. Алерт доли 5xx | Временная блокировка таблицы чатов | MessengerHighErrorRate firing → resolved, задержка видна в дочернем спане PostgreSQL |
PostgreSQL |
| 4. Недоступность хранилища сигналов | Остановка Tempo | API принимает сообщения, worker обрабатывает вложение, Collector ограничивает буфер и регистрирует потерю спанов | Tempo |
SLI — доля бизнес-запросов без 5xx, SLO ≥99% за 30 минут при наличии трафика. Health исключён. Перед итоговыми инцидентами SLI составил 99,93%. p50/p95/p99 вычисляются из агрегированных histogram buckets в секундах. Глубина очереди включает все незавершённые задания, в том числе ожидающие retry. Подробные запросы находятся в dashboard JSON, порядок диагностики — в runbook.
Эксперименты и отказы
Сценарии запускаются последовательно на локальном стенде. Проверяется, можно ли по сохранённым сигналам различить остановку обработчика и задержку в БД, а также сохраняется ли бизнес-путь при недоступности хранилища трасс.
| Воздействие | Наблюдение | Восстановление |
|---|---|---|
| Остановка worker | Возраст заданий растёт, alert firing после превышения 20 секунд в течение 15 секунд | Запуск worker, то же вложение ready, alert resolved |
| Блокировка таблицы чатов | 5xx и долгий дочерний спан PostgreSQL. Правило проверяет порог 5% за минуту с выдержкой 15 секунд | Снятие блокировки, успешное чтение чата, alert resolved после выхода ошибок из окна |
| Остановка S3 | Первая попытка обработки откладывается. Следующая видна в той же трассе | Запуск S3, исходное вложение ready |
| Остановка Tempo | Сообщения приняты, вложение достигло ready. Collector отбросил 54 спана. Память по снимку — 56,43 МиБ из 192 МиБ | Tempo запущен после проверки |
Один короткий профиль нагрузки выполнен на AMD Ryzen 9 PRO 7940HS с 16 логическими CPU и 14 ГиБ RAM. Две API-реплики ограничены 0,5 CPU и 512 МиБ каждая. Worker ограничен 1 CPU и 512 МиБ. Профиль — 30 секунд, четыре параллельных клиента, closed-loop POST сообщений, один прогон без отдельного прогрева. В итоговом прогоне подтверждено 37 708 запросов, ошибок 0, пропускная способность 1256,75 RPS. Задержки p50/p95/p99 составили 2,828 / 4,327 / 7,211 мс. Полный вывод и снимок ресурсов после прогона сохранены в результатах нагрузки.
Ограничения и следующие шаги
Стенд локальный, PostgreSQL, S3, RabbitMQ и балансировщик развёрнуты в одном экземпляре. Отказы этих компонентов могут прерывать соответствующие бизнес-операции. Снимок памяти Collector относится к короткому отказу. При переполнении очереди или исчерпании повторов возможна потеря телеметрии. Результат closed-loop прогона зависит от клиента и не оценивает предел пропускной способности. Заявленная оценка — 4.