Files
mtusi2026lab6/REPORT.md
T
2026-11-17 13:08:13 +03:00

32 KiB
Raw Blame History

Отчёт — лабораторная 6

  • Автор: Поликарпов Даниил Александрович.
  • Группа: БПИ2303.
  • Целевая оценка: 5, трек 2 — SLO и обнаружение инцидентов.
  • Ветка: solution/bpi2303-polikarpov. В репозитории есть commit 8b381c1 («Реализация на 5»); завершившиеся после него измерения и итоговый отчёт дополнены в рабочем дереве. Новый commit и PR на этапе завершения не создавались. Базовая ревизия, fingerprint исходников и image IDs фиксируются в evidence/environment.json и результатах исследования.
  • Основа: собственная реализация соседней lab5. Использованы Go, pgx, AWS SDK, RabbitMQ amqp091-go, ImageMagick, OpenTelemetry Go и Grafana stack. Перенос, подготовка отчета и проверка выполнены с помощью Codex.

Запуск из чистого clone

Нужны Docker с Compose, Python 3.9+ и для локальной сборки Go 1.27+. Контейнерная сборка закреплена на Go 1.27.2 / Alpine 3.23.6; ImageMagick 7.1.2.35-r0. Образы и библиотеки имеют фиксированные версии; фактические image IDs и ресурсы приведены в evidence/environment.json.

make check build vet
make up
make test test-go
make prove-correlation observe
python3 scripts/prove-signals.py
make test-storage
make test-images test-staging test-broker-persistence
make test-persistence ACTION_SCRIPT=scripts/restart.sh
make test-failover ACTION_SCRIPT=scripts/stop-one.sh
make restore
python3 student-tests/pipeline.py --repeats 1 --output evidence/pipeline.json
make experiment-slo
python3 scripts/summarize-slo.py
python3 scripts/analyze-backend.py
python3 scripts/prove-persistence.py
python3 scripts/capture-environment.py
make down

Все сценарии отказов запускаются последовательно, отдельно от исследования. Полное исследование длительное: реальное ожидание окон, три повтора, без ускорения часов и подмены метрик.

Полная валидация контракта:

python3 -m venv .venv
.venv/bin/python -m pip install -r requirements-dev.txt
make validate PYTHON=.venv/bin/python

make up идемпотентно создаёт локальные синтетические credentials в .env.lab6 и secrets/lab6, запускает отдельный migrator, bootstrap приватного bucket и provisioning Grafana. Существующие credentials не ротируются. Новая конфигурация задаёт SESSION_TTL_SECONDS=14400 для длительного исследования; стандартный контрактный default без настройки остаётся 3600. Пароли и ключи находятся вне Git и не входят в Docker build context.

API: http://127.0.0.1:18086. Grafana: http://127.0.0.1:13006/d/messenger-lab6, login admin; пароль читается локально из secrets/lab6/grafana_password и не включается в доказательства.

Обычная остановка make down сохраняет данные. Намеренное удаление только учебных данных lab6: ./scripts/compose.sh down --volumes; автоматически эта команда не выполняется. Стенд lab5 на 18085 имеет отдельные проект, volumes и секреты. Первый локальный запуск перенесённого Go suite ещё использовал старый default URL и создал синтетические записи в lab5; адрес исправлен, результат не засчитывался, проверки повторены на lab6.

Архитектура и границы

flowchart LR
    Client --> LB[HAProxy]
    LB --> API[API x2]
    API --> S3[Private S3 staging/results]
    API --> DB[PostgreSQL metadata/jobs/outbox/SLO]
    DB --> Dispatcher
    Dispatcher --> Rabbit[RabbitMQ]
    Rabbit --> Worker
    Worker --> S3
    Worker --> DB
    API --> Collector[OTel Collector]
    Worker --> Collector
    Dispatcher --> Collector
    Collector --> Prometheus
    Collector --> Loki
    Collector --> Tempo
    Prometheus --> Grafana
    Loki --> Grafana
    Tempo --> Grafana

Handler разбирает HTTP, проверяет поля и ограничивает входной поток. Service проверяет доступ, управляет бизнес-состояниями, транзакциями, retries и решением good/bad для SLO. Repo/storage выполняет чтение и сохранение фактов; SQL-агрегаты формируют снимок состояния. pkg/postgres содержит только настройку доступа/пула, timeout и подключение безопасного tracer. Новая интеграция SDK расположена в internal/pkg/telemetry; обработка изображений и S3 также остаются в своих pkg.

Из lab5 перенесены API, сессии, cache, идемпотентность сообщений, durable staging, transactional outbox, RabbitMQ, worker, lease/retry/recovery, versioned manifest и операторские команды. Бизнес-контракт lab6 совпадает с lab5; сохранены контракт и публичные проверки текущего skeleton. Старые README/REPORT, секреты и evidence не переносились как результаты lab6.

До 202 проверенный оригинал находится в приватном S3 staging, а metadata/job/outbox фиксируются одной транзакцией. Worker публикует оригинал и варианты в S3 и переводит job в ready одной DB-транзакцией. At-least-once доставка и идемпотентный эффект сохранены; exactly-once доставка не заявляется. S3 staging и results — префиксы одного сервиса, а не независимые отказоустойчивые хранилища.

Миграция 010 добавляет durable trace carrier и таблицу однократных SLO-наблюдений; 011 — факт terminal failure. Метаданные готовности и terminal error записываются вместе с соответствующим бизнес-переходом. Observer в dispatcher оценивает deadline даже при остановленном worker. Повторная доставка/replay не отменяет уже зафиксированное нарушение.

Компоненты и эксплуатация

Роль → service Версия Readiness / persistent state / доступ
API → api, две реплики Go 1.27.2, собственный image /health/ready: DB + S3; без durable local state, порты реплик закрыты
LB → lb HAProxy 3.2-alpine, digest в Compose HTTP readiness API; localhost:18086
DB → postgres PostgreSQL 17.11, digest pg_isready; postgres_data; локальный пароль env
Cache → redis Redis 8.2.11, digest authenticated PING; redis_data/AOF; необязателен для корректности
S3 → s3 SeaweedFS 4.52, digest bootstrap проверяет запись; s3_data/internal network; credentials files
Broker → broker RabbitMQ 4.2.0, digest check_running; broker_data; durable queue/persistent delivery/confirms/ack
Worker / dispatcher собственный image отдельные процессы/reconnect; прогресс по jobs/observations, без HTTP healthcheck
Collector → otel-collector image tag 0.140.0, binary сообщает 0.140.1 :13133; ограниченные недолговечные очереди, не хранилище истории
Metrics → prometheus 3.16.0 /-/ready; prometheus_data; retention 7d / 1 GiB
Logs → loki 3.7.10 /ready; loki_data, TSDB v13/filesystem; retention 7d
Traces → tempo 2.9.0 /ready; tempo_data, WAL/local blocks; retention 7d
UI → grafana 13.3.1 /api/health; grafana_data + provisioning; localhost:13006, пароль file

Внутренние OTLP/metrics/storage/admin порты не публикуются. scripts/wait-ready.py проверяет backend endpoints через внутреннюю сеть, а не только состояние running. scripts/restart.sh перезапускает API/worker/dispatcher и все бизнес- и telemetry-хранилища с volumes; жизненные события сохранены отдельно. Grafana — интерфейс, Collector — обработчик/экспортёр; долговременные сигналы хранятся в Prometheus/Loki/Tempo.

.env.example содержит логические рекомендации skeleton. Реальная конфигурация использует APP_, POSTGRES_, REDIS_, SESSION_TTL_SECONDS, S3_ и FILE, BROKER_URL_FILE, WORKER, JOB_*, STAGING_RETENTION и OTEL_EXPORTER_OTLP_ENDPOINT/PROTOCOL. DATABASE_URL_FILE/CACHE_URL_FILE/SESSION_STORE из примера не используются: PostgreSQL настраивается отдельными полями, сессии хранятся в DB, Redis — кэш. Секундные JOB_TIMEOUT_SECONDS/STAGING_RETENTION_SECONDS сопоставлены duration-настройкам JOB_TIMEOUT/STAGING_RETENTION. Имена OTel services задаются ролью процесса, resource attributes — кодом Init.

Сигналы и связь процессов

SDK: OTel Go 1.47.0, OTLP logs exporter 0.23.0, slog bridge 0.21.0; собственная схема instrumentation messenger; выбранное подмножество стандартных имён атрибутов закреплено по Semantic Conventions 1.37.0 (входит в закреплённый OTel Go SDK). Использованы имена атрибутов OTel для ресурсов/HTTP/DB; публичные метрики приложения имеют документированную собственную схему и не дублируют стандартные инструменты.

Сигнал Реальное имя в Prometheus / поля Единицы и labels
HTTP count / duration messenger_http_requests_total / messenger_http_duration_seconds_bucket counter: method/route/status_class; duration: method/route, секунды
Jobs messenger_jobs_total job_type, outcome=ready/retry/failed/duplicate
Processing duration messenger_job_duration_seconds_bucket job_type, outcome; секунды
Time to ready messenger_job_ready_duration_seconds_bucket job_type; секунды, после COMMIT
Queue messenger_queue_depth / messenger_queue_oldest_age_seconds queue; Rabbit ready count / возраст логической незавершённой job
Logical backlog messenger_jobs_pending / messenger_outbox_pending число jobs / публикаций, не взаимозаменяемы с broker depth
DB pool messenger_db_pool_used/capacity/waiting; messenger_db_acquire_duration_seconds_bucket; messenger_db_locks_waiting соединения, ожидающие acquire / секунды
Worker saturation messenger_worker_busy/capacity активные attempts / доступные slots
Process resources messenger_process_memory / messenger_process_cpu RSS bytes / накопленные CPU seconds
Ready SLO / freshness messenger_ready_slo_total / messenger_observation_timestamp outcome good/bad / Unix seconds
Export health otelcol_* и messenger_telemetry_export_errors accepted/sent/failed, queue size/capacity / SDK errors
Logs timestamp, severity, service.name, event, trace_id, span_id, request_id технические IDs только вне labels метрик

Histograms: buckets 0.005, 0.01, 0.025, 0.05, 0.1, 0.25, 0.5, 1, 2, 5, 10, 20, 30, 60, 120, 300 seconds. Пример p95: histogram_quantile(0.95, sum by(le)(rate(messenger_http_duration_seconds_bucket[1m]))). Resource attributes: service.name/version/instance.id, deployment.environment.name=lab. Default sampling — ParentBased(AlwaysSample).

W3C context сохраняется вместе с job/outbox. Dispatcher создаёт producer span из durable context и помещает его carrier в сообщение, worker создаёт дочерний consumer span. Retry наследует consumer context; recovery извлекает его из job. SQL-параметры, raw URL, Authorization, body и object keys не записываются. Error values редактируются до безопасной категории. В Loki service.instance.id и version хранятся как structured metadata; индексируются service.name и environment.

Доказательства критериев

Критерий Команда / наблюдение Доказательство
Целостность и схемы make check validate evidence/contracts.txt
Сборка и статические проверки make build vet evidence/build.txt
Публичный API и прежние Go-проверки с telemetry make test test-go evidence/final-checks.txt
Изображения, staging, broker persistence make test-images test-staging test-broker-persistence evidence/previous-lab-checks.txt и соответствующие JSON
Storage transactions make test-storage evidence/storage-checks.txt
Persistence с прежним токеном make test-persistence evidence/persistence.txt, evidence/persistence-processes.json
API failover make test-failover; затем make restore evidence/failover.txt, evidence/failover-action.jsonl
API → dispatcher → worker, retry, S3/DB, logs make prove-correlation evidence/correlation.json, correlation-check.txt
Реальные метрики, безопасные labels, canary, dashboard queries python3 scripts/prove-signals.py evidence/signals.json, signal-checks.txt
Config/provisioning promtool, Collector validate, Loki verify; readiness evidence/prometheus-config.txt, collector-config.txt, loki-config.txt; infra/otel/
SLI/SLO и alerts реальные recording/alert rules, общий dashboard infra/otel/alerts.yaml, RUNBOOK.md
Два инцидента и исследование make experiment-slo; summarize-slo.py evidence/slo-experiment.json, slo-summary.json
Отказ telemetry backend остановка Tempo под той же нагрузкой evidence/backend-outage.json, backend-checks.txt

Итоговый прогон завершён успешно. Сводная проверка полноты: evidence/research-validation.json; исходные наблюдения не заменены расчётными или искусственными сигналами. В evidence/pipeline.json подтверждены 13/13 сценариев. После них повторно прошли smoke, существующие Go-проверки с race detector, correlation и privacy/dashboard checks. Проверка failover восстановила запись за 1.148s; 133 записи подтверждены, один переходный сбой учтён. Persistence подтвердил перезапуск всех восьми хранилищ с прежними volumes и сохранение старой сессии.

Методика исследования

Гипотеза: правила burn-rate с двумя окнами отсекают краткий всплеск и обнаруживают устойчивую деградацию; независимый deadline observer выявляет нарушение ready-SLO при полном отсутствии завершённых jobs.

SLO: 99% бизнес-ответов без 5xx и 99% принятых jobs до ready ≤30s, окно 1h. Выбор 99% — учебный бюджет 1% событий за час: при постоянном профиле это соответствует примерно 36 секундам полного отказа. Он допускает единичный 5s всплеск, но не 240s деградацию. Для маленького fixture нормальная обработка существенно короче 30s; такой ready-бюджет оставляет запас на краткий backlog и несколько быстрых retries. Это целевой SLO для данного профиля, а не гарантия для любого изображения/нагрузки; публичный timeout smoke 60s остаётся отдельным условием.

Полные формулы, minimum traffic, timestamps и пределы интерпретации — в runbook. Fast: 1m/5m, >6×, for20s. Slow: 2m/10m, >3×, for30s. Отдельно QueueLag >30s for20s и stale observations. Уведомления наружу не отправляются.

Нагрузка: open-loop 10 message requests/s, 90% GET history / 10% POST message, плюс fixture PNG 320×200 каждые 2s, in-flight ≤64, HTTP timeout6s, без retries. Перцентили успешных ответов включают scheduling delay; неуспешные статусы и пропуски генератора учитываются отдельно. RPS не является поиском максимальной пропускной способности.

После обнаружения ограничения S3 первый прогон остановлен и сохранён как evidence/aborted-capacity-*; причины и исправление описаны в evidence/aborted-capacity-diagnosis.md. Второй промежуточный прогон выявил потерю первого всплеска в rate для новых counter series; причина и исправление: evidence/aborted-counter-diagnosis.md. Итоговые counters заранее публикуют нули, duration histogram не разделяется по status class; pool=16 на процесс.

Для итогового прогона S3 допускает 16 volume slots с лимитом volume 1024 MiB, без удаления существующих данных.

Прогрев 15 минут. Три повтора остановки worker и блокировки messages отдельной ограниченной DB-транзакцией: короткое воздействие 5s, длительное 240s, после длительного — 660s восстановления с трафиком, чтобы очистить 10m окно. Короткие воздействия разделены 60s. Затем Tempo останавливается на 300s при работающих metrics/logs pipelines. Состояния alerts и метрики снимаются каждые ~5s, Docker CPU/RAM — каждые ~30s. Цикл включает время сбора, поэтому точность обнаружения ограничена фактическим интервалом наблюдений, SDK export/scrape/evaluation и планированием процессов.

Причины сначала устанавливаются по сохранённым сигналам, затем сопоставляются с отдельными timestamps инъекции. Для worker ожидается рост backlog/age без ухудшения HTTP; для DB — 5xx и длительные DB spans при работающем worker; для Tempo — экспортные ошибки/потери при сохранении бизнес-функций.

Фактические результаты исследования

Прогон выполнен 16 ноября 2026, 08:17:58–10:16:11 UTC, длительность 7092.82s (1ч 58мин 13с). Итоговая сверка артефактов выполнена 17 ноября. Аппаратная конфигурация: Apple M4 Pro, 14 CPU, host RAM 24 GiB; Docker VM — 14 CPU, 7.75 GiB. Лимиты приложены в evidence/environment.json. У генератора не было пропусков, у сборщика — ошибок чтения наблюдений.

Всего 74 094 запроса: 66 860 успешных и 7 234 ответа 503 при намеренных воздействиях на messages. Таймаутов клиента, 401 и 429 в итоговом прогоне нет. Все 6 334 подтверждённых сообщения найдены в PostgreSQL; все 3 529 принятых вложений в конце достигли ready. Исходные PNG — по 111 817 bytes; принятый объём оригиналов 394 602 193 bytes. История сообщений росла в ходе прогона; профиль читает первую страницу, а не доказывает максимальную пропускную способность на произвольном объёме данных.

Интервал Успешные RPS Доля ошибок p50 / p95 / p99 успешных ответов, ms
Прогрев, 900s 10.50 0% 8.37 / 16.35 / 25.75
Worker остановлен, повтор 1, 240s 10.50 0% 8.79 / 17.55 / 28.45
DB lock, повтор 1, 240s 0.50 95.2% 27.06 / 41.26 / 48.94
Tempo остановлен, 300s 10.50 0% 6.96 / 16.46 / 25.76

Во время DB lock успешными оставались главным образом upload; низкий percentile успешных ответов не означает здоровую работу messages. Медленные ошибки видны в HTTP histogram и DB spans. Для всего прогона p50/p95/p99 успешных ответов: 7.84/17.53/29.31ms. Интервальные статусы классифицируются по моменту завершения ответа; обращения на границах фаз могут завершиться между операторскими действиями. Все ответы входят в общий итог.

Обнаружение и восстановление, три повтора

Время ниже — первое сохранённое наблюдение состояния, а не точный момент пересечения порога. Точность ограничена экспортом, scrape/evaluation и опросом; дробные исходные значения находятся в evidence/slo-summary.json.

Alert До первого firing, s: минимум–максимум До resolved после восстановления, s: минимум–максимум
QueueLag 59.91–64.88 12.54–17.60
ReadyBurnRateFast 72.20–81.44 64.20–72.46
ReadyBurnRateSlow 87.29–91.54 123.94–129.35
ApiBurnRateFast 44.78–53.87 55.14–64.97
ApiBurnRateSlow 54.89–63.98 119.53–124.81

На 6 коротких воздействиях firing не наблюдался; на 6 длительных все ожидаемые alerts сработали и затем разрешились. Это результат данного профиля и трёх повторов, а не доказательство нулевой вероятности ложных срабатываний. Отдельное сравнение с правилами без второго окна/без for не проводилось, поэтому вклад каждого механизма фильтрации из этого эксперимента не выделяется. Целевой SLO во время намеренных деградаций нарушается — обнаружение этого нарушения и проверяется.

Диагноз по сохранённым сигналам

  • Worker: на каждом длительном интервале растут возраст и backlog, новых job_received нет, upload продолжает получать 202, API burn rate равен нулю. В первой сохранённой выборке — 35 успешных upload и 0 событий потребления. После запуска появляются consumer/S3/DB spans, очередь убывает, jobs становятся ready. Ready counter учитывал bad по deadline ещё до завершения jobs.
  • DB: одновременно наблюдаются около 20 ожиданий Lock, HTTP 5xx и DB client spans длительностью около двух секунд (первая сохранённая трасса — postgresql SELECT 1995.4ms). При этом ready burn rate остаётся нулевым. Это указывает на ожидание БД, а не на преобразование изображений или медленный код HTTP handler. Конкретная операторская блокировка messages сверена с журналом воздействия.

Девять компактных наборов фактов (worker stop, recovery и DB wait для каждого повтора) сохранены в evidence/incident-signals.json; ошибок их сбора нет. Runbook задаёт те же шаги диагностики для другого студента.

Отказ Tempo и границы буферизации

За 300s недоступности Tempo генератор получил 3150 успешных ответов: 2700 чтений, 300 сообщений и 150 upload; ошибок нет. После запуска Tempo вновь доступны traces. Очередь exporter достигла 32/32 запросов и после восстановления стала 0. Максимальная наблюдавшаяся память Collector — 93.84 MiB при лимите контейнера 256 MiB; в этот интервал его CPU составлял медианно 0.61%, максимум 3.51% одного ядра по выборкам Docker. API-реплики использовали примерно 70–77 MiB, dispatcher — 15 MiB, worker — 16 MiB в последних выборках этого интервала.

По счётчикам за outage/recovery/drain: принято 51 598 spans, отправлено 13 416, разница — около 38 182. Зафиксированы 35 676 enqueue-failed spans и 2524 dropped items в отдельных записях exporter. Баланс приблизительный: остаются фоновые health/observer spans и несколько in-flight batches. Он не включает возможные потери до Collector; send-failed нельзя механически считать уникальными потерями. Telemetry в этом отказе терялась, бизнес-данные сохранились. Подробности: evidence/backend-outage.json.

Ограничение очереди подтверждается одновременно конфигурацией и наблюдаемым плато; пятиминутная выборка RAM не является доказательством отсутствия любого возможного memory leak на произвольной длительности. CPU/RAM снимались примерно раз в 30s и могли пропустить короткие пики.

Версии артефактов

Research записал OCI descriptor d661ef49…, повторный pipeline — c7021c3f…. Compose добавляет разные service labels и attestations при сборке одного Dockerfile для ролей, поэтому descriptor не является хешем бинарника. Платформенный manifest текущего dispatcher совпал с manifest в сохранённом логе сборки перед research; SHA-256 исполняемого файла — 33c6b59d…. Доказательство: evidence/image-provenance.json; полный fingerprint исходников и фактические container images — в evidence/environment.json.

Ограничения

Один host, PostgreSQL, S3, broker и LB остаются точками отказа. HA хоста/БД и потеря volumes не проверяются. CPU/RAM ограничены Compose; рядом работал старый стенд lab5, поэтому результаты относятся к этой конфигурации и не являются универсальным benchmark.

HTTP SLI считает ответы приложения: сетевые отказы/LB 503 измеряются генератором отдельно, а 4xx входят в denominator. Ready-SLI относится к серверной публикации результата, не скачиванию файла клиентом. Пока DB недоступна, observer не может зафиксировать новые результаты, что должно быть видно по freshness. Клиентские timestamps и серверные timestamps имеют разные границы измерения. accepted_at и ready_at записываются внутри соответствующих транзакций; классификация непосредственно возле 30s зависит от длительности COMMIT. Histogram percentiles также являются интерполяцией внутри заданных buckets, а не точными клиентскими квантилями.

Telemetry best effort: ограниченные SDK/Collector очереди допускают потерю сигналов при долгом отказе; sent-failed считает попытки, а не уникальные потерянные spans. Рестарт теряет недолговечные очереди. Retention ограничивает срок хранения; для Loki/Tempo нет отдельной гарантии дисковой квоты/backup. Credentials учебные, HTTP допускается только на localhost. TLS/mTLS и управление секретами относятся к lab7.

Источники: OpenTelemetry Go, Collector configuration, Loki native OTLP, Grafana provisioning, Prometheus histograms, RabbitMQ reliability.