32 KiB
Отчёт — лабораторная 6
- Автор: Поликарпов Даниил Александрович.
- Группа: БПИ2303.
- Целевая оценка: 5, трек 2 — SLO и обнаружение инцидентов.
- Ветка:
solution/bpi2303-polikarpov. В репозитории есть commit8b381c1(«Реализация на 5»); завершившиеся после него измерения и итоговый отчёт дополнены в рабочем дереве. Новый commit и PR на этапе завершения не создавались. Базовая ревизия, fingerprint исходников и image IDs фиксируются вevidence/environment.jsonи результатах исследования. - Основа: собственная реализация соседней lab5. Использованы Go, pgx, AWS SDK, RabbitMQ amqp091-go, ImageMagick, OpenTelemetry Go и Grafana stack. Перенос, подготовка отчета и проверка выполнены с помощью Codex.
Запуск из чистого clone
Нужны Docker с Compose, Python 3.9+ и для локальной сборки Go 1.27+. Контейнерная сборка закреплена на Go 1.27.2 / Alpine 3.23.6; ImageMagick 7.1.2.35-r0. Образы и библиотеки имеют фиксированные версии; фактические image IDs и ресурсы приведены в evidence/environment.json.
make check build vet
make up
make test test-go
make prove-correlation observe
python3 scripts/prove-signals.py
make test-storage
make test-images test-staging test-broker-persistence
make test-persistence ACTION_SCRIPT=scripts/restart.sh
make test-failover ACTION_SCRIPT=scripts/stop-one.sh
make restore
python3 student-tests/pipeline.py --repeats 1 --output evidence/pipeline.json
make experiment-slo
python3 scripts/summarize-slo.py
python3 scripts/analyze-backend.py
python3 scripts/prove-persistence.py
python3 scripts/capture-environment.py
make down
Все сценарии отказов запускаются последовательно, отдельно от исследования. Полное исследование длительное: реальное ожидание окон, три повтора, без ускорения часов и подмены метрик.
Полная валидация контракта:
python3 -m venv .venv
.venv/bin/python -m pip install -r requirements-dev.txt
make validate PYTHON=.venv/bin/python
make up идемпотентно создаёт локальные синтетические credentials в .env.lab6 и secrets/lab6, запускает отдельный migrator, bootstrap приватного bucket и provisioning Grafana. Существующие credentials не ротируются. Новая конфигурация задаёт SESSION_TTL_SECONDS=14400 для длительного исследования; стандартный контрактный default без настройки остаётся 3600. Пароли и ключи находятся вне Git и не входят в Docker build context.
API: http://127.0.0.1:18086. Grafana: http://127.0.0.1:13006/d/messenger-lab6, login admin; пароль читается локально из secrets/lab6/grafana_password и не включается в доказательства.
Обычная остановка make down сохраняет данные. Намеренное удаление только учебных данных lab6: ./scripts/compose.sh down --volumes; автоматически эта команда не выполняется. Стенд lab5 на 18085 имеет отдельные проект, volumes и секреты. Первый локальный запуск перенесённого Go suite ещё использовал старый default URL и создал синтетические записи в lab5; адрес исправлен, результат не засчитывался, проверки повторены на lab6.
Архитектура и границы
flowchart LR
Client --> LB[HAProxy]
LB --> API[API x2]
API --> S3[Private S3 staging/results]
API --> DB[PostgreSQL metadata/jobs/outbox/SLO]
DB --> Dispatcher
Dispatcher --> Rabbit[RabbitMQ]
Rabbit --> Worker
Worker --> S3
Worker --> DB
API --> Collector[OTel Collector]
Worker --> Collector
Dispatcher --> Collector
Collector --> Prometheus
Collector --> Loki
Collector --> Tempo
Prometheus --> Grafana
Loki --> Grafana
Tempo --> Grafana
Handler разбирает HTTP, проверяет поля и ограничивает входной поток. Service проверяет доступ, управляет бизнес-состояниями, транзакциями, retries и решением good/bad для SLO. Repo/storage выполняет чтение и сохранение фактов; SQL-агрегаты формируют снимок состояния. pkg/postgres содержит только настройку доступа/пула, timeout и подключение безопасного tracer. Новая интеграция SDK расположена в internal/pkg/telemetry; обработка изображений и S3 также остаются в своих pkg.
Из lab5 перенесены API, сессии, cache, идемпотентность сообщений, durable staging, transactional outbox, RabbitMQ, worker, lease/retry/recovery, versioned manifest и операторские команды. Бизнес-контракт lab6 совпадает с lab5; сохранены контракт и публичные проверки текущего skeleton. Старые README/REPORT, секреты и evidence не переносились как результаты lab6.
До 202 проверенный оригинал находится в приватном S3 staging, а metadata/job/outbox фиксируются одной транзакцией. Worker публикует оригинал и варианты в S3 и переводит job в ready одной DB-транзакцией. At-least-once доставка и идемпотентный эффект сохранены; exactly-once доставка не заявляется. S3 staging и results — префиксы одного сервиса, а не независимые отказоустойчивые хранилища.
Миграция 010 добавляет durable trace carrier и таблицу однократных SLO-наблюдений; 011 — факт terminal failure. Метаданные готовности и terminal error записываются вместе с соответствующим бизнес-переходом. Observer в dispatcher оценивает deadline даже при остановленном worker. Повторная доставка/replay не отменяет уже зафиксированное нарушение.
Компоненты и эксплуатация
| Роль → service | Версия | Readiness / persistent state / доступ |
|---|---|---|
| API → api, две реплики | Go 1.27.2, собственный image | /health/ready: DB + S3; без durable local state, порты реплик закрыты |
| LB → lb | HAProxy 3.2-alpine, digest в Compose | HTTP readiness API; localhost:18086 |
| DB → postgres | PostgreSQL 17.11, digest | pg_isready; postgres_data; локальный пароль env |
| Cache → redis | Redis 8.2.11, digest | authenticated PING; redis_data/AOF; необязателен для корректности |
| S3 → s3 | SeaweedFS 4.52, digest | bootstrap проверяет запись; s3_data/internal network; credentials files |
| Broker → broker | RabbitMQ 4.2.0, digest | check_running; broker_data; durable queue/persistent delivery/confirms/ack |
| Worker / dispatcher | собственный image | отдельные процессы/reconnect; прогресс по jobs/observations, без HTTP healthcheck |
| Collector → otel-collector | image tag 0.140.0, binary сообщает 0.140.1 | :13133; ограниченные недолговечные очереди, не хранилище истории |
| Metrics → prometheus | 3.16.0 | /-/ready; prometheus_data; retention 7d / 1 GiB |
| Logs → loki | 3.7.10 | /ready; loki_data, TSDB v13/filesystem; retention 7d |
| Traces → tempo | 2.9.0 | /ready; tempo_data, WAL/local blocks; retention 7d |
| UI → grafana | 13.3.1 | /api/health; grafana_data + provisioning; localhost:13006, пароль file |
Внутренние OTLP/metrics/storage/admin порты не публикуются. scripts/wait-ready.py проверяет backend endpoints через внутреннюю сеть, а не только состояние running. scripts/restart.sh перезапускает API/worker/dispatcher и все бизнес- и telemetry-хранилища с volumes; жизненные события сохранены отдельно. Grafana — интерфейс, Collector — обработчик/экспортёр; долговременные сигналы хранятся в Prometheus/Loki/Tempo.
.env.example содержит логические рекомендации skeleton. Реальная конфигурация использует APP_, POSTGRES_, REDIS_, SESSION_TTL_SECONDS, S3_ и FILE, BROKER_URL_FILE, WORKER, JOB_*, STAGING_RETENTION и OTEL_EXPORTER_OTLP_ENDPOINT/PROTOCOL. DATABASE_URL_FILE/CACHE_URL_FILE/SESSION_STORE из примера не используются: PostgreSQL настраивается отдельными полями, сессии хранятся в DB, Redis — кэш. Секундные JOB_TIMEOUT_SECONDS/STAGING_RETENTION_SECONDS сопоставлены duration-настройкам JOB_TIMEOUT/STAGING_RETENTION. Имена OTel services задаются ролью процесса, resource attributes — кодом Init.
Сигналы и связь процессов
SDK: OTel Go 1.47.0, OTLP logs exporter 0.23.0, slog bridge 0.21.0; собственная схема instrumentation messenger; выбранное подмножество стандартных имён атрибутов закреплено по Semantic Conventions 1.37.0 (входит в закреплённый OTel Go SDK). Использованы имена атрибутов OTel для ресурсов/HTTP/DB; публичные метрики приложения имеют документированную собственную схему и не дублируют стандартные инструменты.
| Сигнал | Реальное имя в Prometheus / поля | Единицы и labels |
|---|---|---|
| HTTP count / duration | messenger_http_requests_total / messenger_http_duration_seconds_bucket | counter: method/route/status_class; duration: method/route, секунды |
| Jobs | messenger_jobs_total | job_type, outcome=ready/retry/failed/duplicate |
| Processing duration | messenger_job_duration_seconds_bucket | job_type, outcome; секунды |
| Time to ready | messenger_job_ready_duration_seconds_bucket | job_type; секунды, после COMMIT |
| Queue | messenger_queue_depth / messenger_queue_oldest_age_seconds | queue; Rabbit ready count / возраст логической незавершённой job |
| Logical backlog | messenger_jobs_pending / messenger_outbox_pending | число jobs / публикаций, не взаимозаменяемы с broker depth |
| DB pool | messenger_db_pool_used/capacity/waiting; messenger_db_acquire_duration_seconds_bucket; messenger_db_locks_waiting | соединения, ожидающие acquire / секунды |
| Worker saturation | messenger_worker_busy/capacity | активные attempts / доступные slots |
| Process resources | messenger_process_memory / messenger_process_cpu | RSS bytes / накопленные CPU seconds |
| Ready SLO / freshness | messenger_ready_slo_total / messenger_observation_timestamp | outcome good/bad / Unix seconds |
| Export health | otelcol_* и messenger_telemetry_export_errors | accepted/sent/failed, queue size/capacity / SDK errors |
| Logs | timestamp, severity, service.name, event, trace_id, span_id, request_id | технические IDs только вне labels метрик |
Histograms: buckets 0.005, 0.01, 0.025, 0.05, 0.1, 0.25, 0.5, 1, 2, 5, 10, 20, 30, 60, 120, 300 seconds. Пример p95: histogram_quantile(0.95, sum by(le)(rate(messenger_http_duration_seconds_bucket[1m]))). Resource attributes: service.name/version/instance.id, deployment.environment.name=lab. Default sampling — ParentBased(AlwaysSample).
W3C context сохраняется вместе с job/outbox. Dispatcher создаёт producer span из durable context и помещает его carrier в сообщение, worker создаёт дочерний consumer span. Retry наследует consumer context; recovery извлекает его из job. SQL-параметры, raw URL, Authorization, body и object keys не записываются. Error values редактируются до безопасной категории. В Loki service.instance.id и version хранятся как structured metadata; индексируются service.name и environment.
Доказательства критериев
| Критерий | Команда / наблюдение | Доказательство |
|---|---|---|
| Целостность и схемы | make check validate | evidence/contracts.txt |
| Сборка и статические проверки | make build vet | evidence/build.txt |
| Публичный API и прежние Go-проверки с telemetry | make test test-go | evidence/final-checks.txt |
| Изображения, staging, broker persistence | make test-images test-staging test-broker-persistence | evidence/previous-lab-checks.txt и соответствующие JSON |
| Storage transactions | make test-storage | evidence/storage-checks.txt |
| Persistence с прежним токеном | make test-persistence | evidence/persistence.txt, evidence/persistence-processes.json |
| API failover | make test-failover; затем make restore | evidence/failover.txt, evidence/failover-action.jsonl |
| API → dispatcher → worker, retry, S3/DB, logs | make prove-correlation | evidence/correlation.json, correlation-check.txt |
| Реальные метрики, безопасные labels, canary, dashboard queries | python3 scripts/prove-signals.py | evidence/signals.json, signal-checks.txt |
| Config/provisioning | promtool, Collector validate, Loki verify; readiness | evidence/prometheus-config.txt, collector-config.txt, loki-config.txt; infra/otel/ |
| SLI/SLO и alerts | реальные recording/alert rules, общий dashboard | infra/otel/alerts.yaml, RUNBOOK.md |
| Два инцидента и исследование | make experiment-slo; summarize-slo.py | evidence/slo-experiment.json, slo-summary.json |
| Отказ telemetry backend | остановка Tempo под той же нагрузкой | evidence/backend-outage.json, backend-checks.txt |
Итоговый прогон завершён успешно. Сводная проверка полноты: evidence/research-validation.json; исходные наблюдения не заменены расчётными или искусственными сигналами. В evidence/pipeline.json подтверждены 13/13 сценариев. После них повторно прошли smoke, существующие Go-проверки с race detector, correlation и privacy/dashboard checks. Проверка failover восстановила запись за 1.148s; 133 записи подтверждены, один переходный сбой учтён. Persistence подтвердил перезапуск всех восьми хранилищ с прежними volumes и сохранение старой сессии.
Методика исследования
Гипотеза: правила burn-rate с двумя окнами отсекают краткий всплеск и обнаруживают устойчивую деградацию; независимый deadline observer выявляет нарушение ready-SLO при полном отсутствии завершённых jobs.
SLO: 99% бизнес-ответов без 5xx и 99% принятых jobs до ready ≤30s, окно 1h. Выбор 99% — учебный бюджет 1% событий за час: при постоянном профиле это соответствует примерно 36 секундам полного отказа. Он допускает единичный 5s всплеск, но не 240s деградацию. Для маленького fixture нормальная обработка существенно короче 30s; такой ready-бюджет оставляет запас на краткий backlog и несколько быстрых retries. Это целевой SLO для данного профиля, а не гарантия для любого изображения/нагрузки; публичный timeout smoke 60s остаётся отдельным условием.
Полные формулы, minimum traffic, timestamps и пределы интерпретации — в runbook. Fast: 1m/5m, >6×, for20s. Slow: 2m/10m, >3×, for30s. Отдельно QueueLag >30s for20s и stale observations. Уведомления наружу не отправляются.
Нагрузка: open-loop 10 message requests/s, 90% GET history / 10% POST message, плюс fixture PNG 320×200 каждые 2s, in-flight ≤64, HTTP timeout6s, без retries. Перцентили успешных ответов включают scheduling delay; неуспешные статусы и пропуски генератора учитываются отдельно. RPS не является поиском максимальной пропускной способности.
После обнаружения ограничения S3 первый прогон остановлен и сохранён как evidence/aborted-capacity-*; причины и исправление описаны в evidence/aborted-capacity-diagnosis.md. Второй промежуточный прогон выявил потерю первого всплеска в rate для новых counter series; причина и исправление: evidence/aborted-counter-diagnosis.md. Итоговые counters заранее публикуют нули, duration histogram не разделяется по status class; pool=16 на процесс.
Для итогового прогона S3 допускает 16 volume slots с лимитом volume 1024 MiB, без удаления существующих данных.
Прогрев 15 минут. Три повтора остановки worker и блокировки messages отдельной ограниченной DB-транзакцией: короткое воздействие 5s, длительное 240s, после длительного — 660s восстановления с трафиком, чтобы очистить 10m окно. Короткие воздействия разделены 60s. Затем Tempo останавливается на 300s при работающих metrics/logs pipelines. Состояния alerts и метрики снимаются каждые ~5s, Docker CPU/RAM — каждые ~30s. Цикл включает время сбора, поэтому точность обнаружения ограничена фактическим интервалом наблюдений, SDK export/scrape/evaluation и планированием процессов.
Причины сначала устанавливаются по сохранённым сигналам, затем сопоставляются с отдельными timestamps инъекции. Для worker ожидается рост backlog/age без ухудшения HTTP; для DB — 5xx и длительные DB spans при работающем worker; для Tempo — экспортные ошибки/потери при сохранении бизнес-функций.
Фактические результаты исследования
Прогон выполнен 16 ноября 2026, 08:17:58–10:16:11 UTC, длительность 7092.82s (1ч 58мин 13с). Итоговая сверка артефактов выполнена 17 ноября. Аппаратная конфигурация: Apple M4 Pro, 14 CPU, host RAM 24 GiB; Docker VM — 14 CPU, 7.75 GiB. Лимиты приложены в evidence/environment.json. У генератора не было пропусков, у сборщика — ошибок чтения наблюдений.
Всего 74 094 запроса: 66 860 успешных и 7 234 ответа 503 при намеренных воздействиях на messages. Таймаутов клиента, 401 и 429 в итоговом прогоне нет. Все 6 334 подтверждённых сообщения найдены в PostgreSQL; все 3 529 принятых вложений в конце достигли ready. Исходные PNG — по 111 817 bytes; принятый объём оригиналов 394 602 193 bytes. История сообщений росла в ходе прогона; профиль читает первую страницу, а не доказывает максимальную пропускную способность на произвольном объёме данных.
| Интервал | Успешные RPS | Доля ошибок | p50 / p95 / p99 успешных ответов, ms |
|---|---|---|---|
| Прогрев, 900s | 10.50 | 0% | 8.37 / 16.35 / 25.75 |
| Worker остановлен, повтор 1, 240s | 10.50 | 0% | 8.79 / 17.55 / 28.45 |
| DB lock, повтор 1, 240s | 0.50 | 95.2% | 27.06 / 41.26 / 48.94 |
| Tempo остановлен, 300s | 10.50 | 0% | 6.96 / 16.46 / 25.76 |
Во время DB lock успешными оставались главным образом upload; низкий percentile успешных ответов не означает здоровую работу messages. Медленные ошибки видны в HTTP histogram и DB spans. Для всего прогона p50/p95/p99 успешных ответов: 7.84/17.53/29.31ms. Интервальные статусы классифицируются по моменту завершения ответа; обращения на границах фаз могут завершиться между операторскими действиями. Все ответы входят в общий итог.
Обнаружение и восстановление, три повтора
Время ниже — первое сохранённое наблюдение состояния, а не точный момент пересечения порога. Точность ограничена экспортом, scrape/evaluation и опросом; дробные исходные значения находятся в evidence/slo-summary.json.
| Alert | До первого firing, s: минимум–максимум | До resolved после восстановления, s: минимум–максимум |
|---|---|---|
| QueueLag | 59.91–64.88 | 12.54–17.60 |
| ReadyBurnRateFast | 72.20–81.44 | 64.20–72.46 |
| ReadyBurnRateSlow | 87.29–91.54 | 123.94–129.35 |
| ApiBurnRateFast | 44.78–53.87 | 55.14–64.97 |
| ApiBurnRateSlow | 54.89–63.98 | 119.53–124.81 |
На 6 коротких воздействиях firing не наблюдался; на 6 длительных все ожидаемые alerts сработали и затем разрешились. Это результат данного профиля и трёх повторов, а не доказательство нулевой вероятности ложных срабатываний. Отдельное сравнение с правилами без второго окна/без for не проводилось, поэтому вклад каждого механизма фильтрации из этого эксперимента не выделяется. Целевой SLO во время намеренных деградаций нарушается — обнаружение этого нарушения и проверяется.
Диагноз по сохранённым сигналам
- Worker: на каждом длительном интервале растут возраст и backlog, новых
job_receivedнет, upload продолжает получать 202, API burn rate равен нулю. В первой сохранённой выборке — 35 успешных upload и 0 событий потребления. После запуска появляются consumer/S3/DB spans, очередь убывает, jobs становятся ready. Ready counter учитывал bad по deadline ещё до завершения jobs. - DB: одновременно наблюдаются около 20 ожиданий Lock, HTTP 5xx и DB client spans длительностью около двух секунд (первая сохранённая трасса —
postgresql SELECT1995.4ms). При этом ready burn rate остаётся нулевым. Это указывает на ожидание БД, а не на преобразование изображений или медленный код HTTP handler. Конкретная операторская блокировка messages сверена с журналом воздействия.
Девять компактных наборов фактов (worker stop, recovery и DB wait для каждого повтора) сохранены в evidence/incident-signals.json; ошибок их сбора нет. Runbook задаёт те же шаги диагностики для другого студента.
Отказ Tempo и границы буферизации
За 300s недоступности Tempo генератор получил 3150 успешных ответов: 2700 чтений, 300 сообщений и 150 upload; ошибок нет. После запуска Tempo вновь доступны traces. Очередь exporter достигла 32/32 запросов и после восстановления стала 0. Максимальная наблюдавшаяся память Collector — 93.84 MiB при лимите контейнера 256 MiB; в этот интервал его CPU составлял медианно 0.61%, максимум 3.51% одного ядра по выборкам Docker. API-реплики использовали примерно 70–77 MiB, dispatcher — 15 MiB, worker — 16 MiB в последних выборках этого интервала.
По счётчикам за outage/recovery/drain: принято 51 598 spans, отправлено 13 416, разница — около 38 182. Зафиксированы 35 676 enqueue-failed spans и 2524 dropped items в отдельных записях exporter. Баланс приблизительный: остаются фоновые health/observer spans и несколько in-flight batches. Он не включает возможные потери до Collector; send-failed нельзя механически считать уникальными потерями. Telemetry в этом отказе терялась, бизнес-данные сохранились. Подробности: evidence/backend-outage.json.
Ограничение очереди подтверждается одновременно конфигурацией и наблюдаемым плато; пятиминутная выборка RAM не является доказательством отсутствия любого возможного memory leak на произвольной длительности. CPU/RAM снимались примерно раз в 30s и могли пропустить короткие пики.
Версии артефактов
Research записал OCI descriptor d661ef49…, повторный pipeline — c7021c3f…. Compose добавляет разные service labels и attestations при сборке одного Dockerfile для ролей, поэтому descriptor не является хешем бинарника. Платформенный manifest текущего dispatcher совпал с manifest в сохранённом логе сборки перед research; SHA-256 исполняемого файла — 33c6b59d…. Доказательство: evidence/image-provenance.json; полный fingerprint исходников и фактические container images — в evidence/environment.json.
Ограничения
Один host, PostgreSQL, S3, broker и LB остаются точками отказа. HA хоста/БД и потеря volumes не проверяются. CPU/RAM ограничены Compose; рядом работал старый стенд lab5, поэтому результаты относятся к этой конфигурации и не являются универсальным benchmark.
HTTP SLI считает ответы приложения: сетевые отказы/LB 503 измеряются генератором отдельно, а 4xx входят в denominator. Ready-SLI относится к серверной публикации результата, не скачиванию файла клиентом. Пока DB недоступна, observer не может зафиксировать новые результаты, что должно быть видно по freshness. Клиентские timestamps и серверные timestamps имеют разные границы измерения. accepted_at и ready_at записываются внутри соответствующих транзакций; классификация непосредственно возле 30s зависит от длительности COMMIT. Histogram percentiles также являются интерполяцией внутри заданных buckets, а не точными клиентскими квантилями.
Telemetry best effort: ограниченные SDK/Collector очереди допускают потерю сигналов при долгом отказе; sent-failed считает попытки, а не уникальные потерянные spans. Рестарт теряет недолговечные очереди. Retention ограничивает срок хранения; для Loki/Tempo нет отдельной гарантии дисковой квоты/backup. Credentials учебные, HTTP допускается только на localhost. TLS/mTLS и управление секретами относятся к lab7.
Источники: OpenTelemetry Go, Collector configuration, Loki native OTLP, Grafana provisioning, Prometheus histograms, RabbitMQ reliability.