Files
mtusi2026lab6/REPORT.md
T
2026-11-17 13:08:13 +03:00

220 lines
32 KiB
Markdown
Raw Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
# Отчёт — лабораторная 6
- Автор: **Поликарпов Даниил Александрович**.
- Группа: **БПИ2303**.
- Целевая оценка: **5**, трек 2 — SLO и обнаружение инцидентов.
- Ветка: `solution/bpi2303-polikarpov`. В репозитории есть commit `8b381c1` («Реализация на 5»); завершившиеся после него измерения и итоговый отчёт дополнены в рабочем дереве. Новый commit и PR на этапе завершения не создавались. Базовая ревизия, fingerprint исходников и image IDs фиксируются в `evidence/environment.json` и результатах исследования.
- Основа: собственная реализация соседней lab5. Использованы Go, pgx, AWS SDK, RabbitMQ amqp091-go, ImageMagick, OpenTelemetry Go и Grafana stack. Перенос, подготовка отчета и проверка выполнены с помощью Codex.
## Запуск из чистого clone
Нужны Docker с Compose, Python 3.9+ и для локальной сборки Go 1.27+. Контейнерная сборка закреплена на Go 1.27.2 / Alpine 3.23.6; ImageMagick 7.1.2.35-r0. Образы и библиотеки имеют фиксированные версии; фактические image IDs и ресурсы приведены в `evidence/environment.json`.
```sh
make check build vet
make up
make test test-go
make prove-correlation observe
python3 scripts/prove-signals.py
make test-storage
make test-images test-staging test-broker-persistence
make test-persistence ACTION_SCRIPT=scripts/restart.sh
make test-failover ACTION_SCRIPT=scripts/stop-one.sh
make restore
python3 student-tests/pipeline.py --repeats 1 --output evidence/pipeline.json
make experiment-slo
python3 scripts/summarize-slo.py
python3 scripts/analyze-backend.py
python3 scripts/prove-persistence.py
python3 scripts/capture-environment.py
make down
```
Все сценарии отказов запускаются последовательно, отдельно от исследования. Полное исследование длительное: реальное ожидание окон, три повтора, без ускорения часов и подмены метрик.
Полная валидация контракта:
```sh
python3 -m venv .venv
.venv/bin/python -m pip install -r requirements-dev.txt
make validate PYTHON=.venv/bin/python
```
`make up` идемпотентно создаёт локальные синтетические credentials в `.env.lab6` и `secrets/lab6`, запускает отдельный migrator, bootstrap приватного bucket и provisioning Grafana. Существующие credentials не ротируются. Новая конфигурация задаёт SESSION_TTL_SECONDS=14400 для длительного исследования; стандартный контрактный default без настройки остаётся 3600. Пароли и ключи находятся вне Git и не входят в Docker build context.
API: http://127.0.0.1:18086. Grafana: http://127.0.0.1:13006/d/messenger-lab6, login `admin`; пароль читается локально из `secrets/lab6/grafana_password` и не включается в доказательства.
Обычная остановка `make down` сохраняет данные. Намеренное удаление **только учебных данных lab6**: `./scripts/compose.sh down --volumes`; автоматически эта команда не выполняется. Стенд lab5 на 18085 имеет отдельные проект, volumes и секреты. Первый локальный запуск перенесённого Go suite ещё использовал старый default URL и создал синтетические записи в lab5; адрес исправлен, результат не засчитывался, проверки повторены на lab6.
## Архитектура и границы
```mermaid
flowchart LR
Client --> LB[HAProxy]
LB --> API[API x2]
API --> S3[Private S3 staging/results]
API --> DB[PostgreSQL metadata/jobs/outbox/SLO]
DB --> Dispatcher
Dispatcher --> Rabbit[RabbitMQ]
Rabbit --> Worker
Worker --> S3
Worker --> DB
API --> Collector[OTel Collector]
Worker --> Collector
Dispatcher --> Collector
Collector --> Prometheus
Collector --> Loki
Collector --> Tempo
Prometheus --> Grafana
Loki --> Grafana
Tempo --> Grafana
```
Handler разбирает HTTP, проверяет поля и ограничивает входной поток. Service проверяет доступ, управляет бизнес-состояниями, транзакциями, retries и решением good/bad для SLO. Repo/storage выполняет чтение и сохранение фактов; SQL-агрегаты формируют снимок состояния. `pkg/postgres` содержит только настройку доступа/пула, timeout и подключение безопасного tracer. Новая интеграция SDK расположена в `internal/pkg/telemetry`; обработка изображений и S3 также остаются в своих pkg.
Из lab5 перенесены API, сессии, cache, идемпотентность сообщений, durable staging, transactional outbox, RabbitMQ, worker, lease/retry/recovery, versioned manifest и операторские команды. Бизнес-контракт lab6 совпадает с lab5; сохранены контракт и публичные проверки текущего skeleton. Старые README/REPORT, секреты и evidence не переносились как результаты lab6.
До 202 проверенный оригинал находится в приватном S3 staging, а metadata/job/outbox фиксируются одной транзакцией. Worker публикует оригинал и варианты в S3 и переводит job в ready одной DB-транзакцией. At-least-once доставка и идемпотентный эффект сохранены; exactly-once доставка не заявляется. S3 staging и results — префиксы одного сервиса, а не независимые отказоустойчивые хранилища.
Миграция 010 добавляет durable trace carrier и таблицу однократных SLO-наблюдений; 011 — факт terminal failure. Метаданные готовности и terminal error записываются вместе с соответствующим бизнес-переходом. Observer в dispatcher оценивает deadline даже при остановленном worker. Повторная доставка/replay не отменяет уже зафиксированное нарушение.
### Компоненты и эксплуатация
| Роль → service | Версия | Readiness / persistent state / доступ |
| --- | --- | --- |
| API → api, две реплики | Go 1.27.2, собственный image | `/health/ready`: DB + S3; без durable local state, порты реплик закрыты |
| LB → lb | HAProxy 3.2-alpine, digest в Compose | HTTP readiness API; localhost:18086 |
| DB → postgres | PostgreSQL 17.11, digest | pg_isready; postgres_data; локальный пароль env |
| Cache → redis | Redis 8.2.11, digest | authenticated PING; redis_data/AOF; необязателен для корректности |
| S3 → s3 | SeaweedFS 4.52, digest | bootstrap проверяет запись; s3_data/internal network; credentials files |
| Broker → broker | RabbitMQ 4.2.0, digest | check_running; broker_data; durable queue/persistent delivery/confirms/ack |
| Worker / dispatcher | собственный image | отдельные процессы/reconnect; прогресс по jobs/observations, без HTTP healthcheck |
| Collector → otel-collector | image tag 0.140.0, binary сообщает 0.140.1 | :13133; ограниченные недолговечные очереди, не хранилище истории |
| Metrics → prometheus | 3.16.0 | /-/ready; prometheus_data; retention 7d / 1 GiB |
| Logs → loki | 3.7.10 | /ready; loki_data, TSDB v13/filesystem; retention 7d |
| Traces → tempo | 2.9.0 | /ready; tempo_data, WAL/local blocks; retention 7d |
| UI → grafana | 13.3.1 | /api/health; grafana_data + provisioning; localhost:13006, пароль file |
Внутренние OTLP/metrics/storage/admin порты не публикуются. `scripts/wait-ready.py` проверяет backend endpoints через внутреннюю сеть, а не только состояние running. `scripts/restart.sh` перезапускает API/worker/dispatcher и все бизнес- и telemetry-хранилища с volumes; жизненные события сохранены отдельно. Grafana — интерфейс, Collector — обработчик/экспортёр; долговременные сигналы хранятся в Prometheus/Loki/Tempo.
`.env.example` содержит логические рекомендации skeleton. Реальная конфигурация использует APP_*, POSTGRES_*, REDIS_*, SESSION_TTL_SECONDS, S3_* и *_FILE, BROKER_URL_FILE, WORKER_*, JOB_*, STAGING_RETENTION и OTEL_EXPORTER_OTLP_ENDPOINT/PROTOCOL. DATABASE_URL_FILE/CACHE_URL_FILE/SESSION_STORE из примера не используются: PostgreSQL настраивается отдельными полями, сессии хранятся в DB, Redis — кэш. Секундные JOB_TIMEOUT_SECONDS/STAGING_RETENTION_SECONDS сопоставлены duration-настройкам JOB_TIMEOUT/STAGING_RETENTION. Имена OTel services задаются ролью процесса, resource attributes — кодом Init.
### Сигналы и связь процессов
SDK: OTel Go 1.47.0, OTLP logs exporter 0.23.0, slog bridge 0.21.0; собственная схема instrumentation `messenger`; выбранное подмножество стандартных имён атрибутов закреплено по Semantic Conventions **1.37.0** (входит в закреплённый OTel Go SDK). Использованы имена атрибутов OTel для ресурсов/HTTP/DB; публичные метрики приложения имеют документированную собственную схему и не дублируют стандартные инструменты.
| Сигнал | Реальное имя в Prometheus / поля | Единицы и labels |
| --- | --- | --- |
| HTTP count / duration | messenger_http_requests_total / messenger_http_duration_seconds_bucket | counter: method/route/status_class; duration: method/route, секунды |
| Jobs | messenger_jobs_total | job_type, outcome=ready/retry/failed/duplicate |
| Processing duration | messenger_job_duration_seconds_bucket | job_type, outcome; секунды |
| Time to ready | messenger_job_ready_duration_seconds_bucket | job_type; секунды, после COMMIT |
| Queue | messenger_queue_depth / messenger_queue_oldest_age_seconds | queue; Rabbit ready count / возраст логической незавершённой job |
| Logical backlog | messenger_jobs_pending / messenger_outbox_pending | число jobs / публикаций, не взаимозаменяемы с broker depth |
| DB pool | messenger_db_pool_used/capacity/waiting; messenger_db_acquire_duration_seconds_bucket; messenger_db_locks_waiting | соединения, ожидающие acquire / секунды |
| Worker saturation | messenger_worker_busy/capacity | активные attempts / доступные slots |
| Process resources | messenger_process_memory / messenger_process_cpu | RSS bytes / накопленные CPU seconds |
| Ready SLO / freshness | messenger_ready_slo_total / messenger_observation_timestamp | outcome good/bad / Unix seconds |
| Export health | otelcol_* и messenger_telemetry_export_errors | accepted/sent/failed, queue size/capacity / SDK errors |
| Logs | timestamp, severity, service.name, event, trace_id, span_id, request_id | технические IDs только вне labels метрик |
Histograms: buckets 0.005, 0.01, 0.025, 0.05, 0.1, 0.25, 0.5, 1, 2, 5, 10, 20, 30, 60, 120, 300 seconds. Пример p95: `histogram_quantile(0.95, sum by(le)(rate(messenger_http_duration_seconds_bucket[1m])))`. Resource attributes: service.name/version/instance.id, deployment.environment.name=lab. Default sampling — ParentBased(AlwaysSample).
W3C context сохраняется вместе с job/outbox. Dispatcher создаёт producer span из durable context и помещает его carrier в сообщение, worker создаёт дочерний consumer span. Retry наследует consumer context; recovery извлекает его из job. SQL-параметры, raw URL, Authorization, body и object keys не записываются. Error values редактируются до безопасной категории. В Loki service.instance.id и version хранятся как structured metadata; индексируются service.name и environment.
## Доказательства критериев
| Критерий | Команда / наблюдение | Доказательство |
| --- | --- | --- |
| Целостность и схемы | make check validate | evidence/contracts.txt |
| Сборка и статические проверки | make build vet | evidence/build.txt |
| Публичный API и прежние Go-проверки с telemetry | make test test-go | evidence/final-checks.txt |
| Изображения, staging, broker persistence | make test-images test-staging test-broker-persistence | evidence/previous-lab-checks.txt и соответствующие JSON |
| Storage transactions | make test-storage | evidence/storage-checks.txt |
| Persistence с прежним токеном | make test-persistence | evidence/persistence.txt, evidence/persistence-processes.json |
| API failover | make test-failover; затем make restore | evidence/failover.txt, evidence/failover-action.jsonl |
| API → dispatcher → worker, retry, S3/DB, logs | make prove-correlation | evidence/correlation.json, correlation-check.txt |
| Реальные метрики, безопасные labels, canary, dashboard queries | python3 scripts/prove-signals.py | evidence/signals.json, signal-checks.txt |
| Config/provisioning | promtool, Collector validate, Loki verify; readiness | evidence/prometheus-config.txt, collector-config.txt, loki-config.txt; infra/otel/ |
| SLI/SLO и alerts | реальные recording/alert rules, общий dashboard | infra/otel/alerts.yaml, RUNBOOK.md |
| Два инцидента и исследование | make experiment-slo; summarize-slo.py | evidence/slo-experiment.json, slo-summary.json |
| Отказ telemetry backend | остановка Tempo под той же нагрузкой | evidence/backend-outage.json, backend-checks.txt |
Итоговый прогон завершён успешно. Сводная проверка полноты: `evidence/research-validation.json`; исходные наблюдения не заменены расчётными или искусственными сигналами. В `evidence/pipeline.json` подтверждены 13/13 сценариев. После них повторно прошли smoke, существующие Go-проверки с race detector, correlation и privacy/dashboard checks. Проверка failover восстановила запись за 1.148s; 133 записи подтверждены, один переходный сбой учтён. Persistence подтвердил перезапуск всех восьми хранилищ с прежними volumes и сохранение старой сессии.
## Методика исследования
Гипотеза: правила burn-rate с двумя окнами отсекают краткий всплеск и обнаруживают устойчивую деградацию; независимый deadline observer выявляет нарушение ready-SLO при полном отсутствии завершённых jobs.
SLO: 99% бизнес-ответов без 5xx и 99% принятых jobs до ready ≤30s, окно 1h. Выбор 99% — учебный бюджет 1% событий за час: при постоянном профиле это соответствует примерно 36 секундам полного отказа. Он допускает единичный 5s всплеск, но не 240s деградацию. Для маленького fixture нормальная обработка существенно короче 30s; такой ready-бюджет оставляет запас на краткий backlog и несколько быстрых retries. Это целевой SLO для данного профиля, а не гарантия для любого изображения/нагрузки; публичный timeout smoke 60s остаётся отдельным условием.
Полные формулы, minimum traffic, timestamps и пределы интерпретации — в [runbook](infra/otel/RUNBOOK.md). Fast: 1m/5m, >6×, for20s. Slow: 2m/10m, >3×, for30s. Отдельно QueueLag >30s for20s и stale observations. Уведомления наружу не отправляются.
Нагрузка: open-loop 10 message requests/s, 90% GET history / 10% POST message, плюс fixture PNG 320×200 каждые 2s, in-flight ≤64, HTTP timeout6s, без retries. Перцентили успешных ответов включают scheduling delay; неуспешные статусы и пропуски генератора учитываются отдельно. RPS не является поиском максимальной пропускной способности.
После обнаружения ограничения S3 первый прогон остановлен и сохранён как `evidence/aborted-capacity-*`; причины и исправление описаны в `evidence/aborted-capacity-diagnosis.md`. Второй промежуточный прогон выявил потерю первого всплеска в rate для новых counter series; причина и исправление: `evidence/aborted-counter-diagnosis.md`. Итоговые counters заранее публикуют нули, duration histogram не разделяется по status class; pool=16 на процесс.
Для итогового прогона S3 допускает 16 volume slots с лимитом volume 1024 MiB, без удаления существующих данных.
Прогрев 15 минут. Три повтора остановки worker и блокировки messages отдельной ограниченной DB-транзакцией: короткое воздействие 5s, длительное 240s, после длительного — 660s восстановления с трафиком, чтобы очистить 10m окно. Короткие воздействия разделены 60s. Затем Tempo останавливается на 300s при работающих metrics/logs pipelines. Состояния alerts и метрики снимаются каждые ~5s, Docker CPU/RAM — каждые ~30s. Цикл включает время сбора, поэтому точность обнаружения ограничена фактическим интервалом наблюдений, SDK export/scrape/evaluation и планированием процессов.
Причины сначала устанавливаются по сохранённым сигналам, затем сопоставляются с отдельными timestamps инъекции. Для worker ожидается рост backlog/age без ухудшения HTTP; для DB — 5xx и длительные DB spans при работающем worker; для Tempo — экспортные ошибки/потери при сохранении бизнес-функций.
## Фактические результаты исследования
Прогон выполнен **16 ноября 2026, 08:17:58–10:16:11 UTC**, длительность **7092.82s (1ч 58мин 13с)**. Итоговая сверка артефактов выполнена 17 ноября. Аппаратная конфигурация: Apple M4 Pro, 14 CPU, host RAM 24 GiB; Docker VM — 14 CPU, 7.75 GiB. Лимиты приложены в `evidence/environment.json`. У генератора не было пропусков, у сборщика — ошибок чтения наблюдений.
Всего **74 094** запроса: **66 860** успешных и **7 234** ответа 503 при намеренных воздействиях на messages. Таймаутов клиента, 401 и 429 в итоговом прогоне нет. Все **6 334** подтверждённых сообщения найдены в PostgreSQL; все **3 529** принятых вложений в конце достигли ready. Исходные PNG — по 111 817 bytes; принятый объём оригиналов **394 602 193 bytes**. История сообщений росла в ходе прогона; профиль читает первую страницу, а не доказывает максимальную пропускную способность на произвольном объёме данных.
| Интервал | Успешные RPS | Доля ошибок | p50 / p95 / p99 успешных ответов, ms |
| --- | ---: | ---: | --- |
| Прогрев, 900s | 10.50 | 0% | 8.37 / 16.35 / 25.75 |
| Worker остановлен, повтор 1, 240s | 10.50 | 0% | 8.79 / 17.55 / 28.45 |
| DB lock, повтор 1, 240s | 0.50 | 95.2% | 27.06 / 41.26 / 48.94 |
| Tempo остановлен, 300s | 10.50 | 0% | 6.96 / 16.46 / 25.76 |
Во время DB lock успешными оставались главным образом upload; низкий percentile **успешных** ответов не означает здоровую работу messages. Медленные ошибки видны в HTTP histogram и DB spans. Для всего прогона p50/p95/p99 успешных ответов: 7.84/17.53/29.31ms. Интервальные статусы классифицируются по моменту завершения ответа; обращения на границах фаз могут завершиться между операторскими действиями. Все ответы входят в общий итог.
### Обнаружение и восстановление, три повтора
Время ниже — первое сохранённое наблюдение состояния, а не точный момент пересечения порога. Точность ограничена экспортом, scrape/evaluation и опросом; дробные исходные значения находятся в `evidence/slo-summary.json`.
| Alert | До первого firing, s: минимум–максимум | До resolved после восстановления, s: минимум–максимум |
| --- | ---: | ---: |
| QueueLag | 59.91–64.88 | 12.54–17.60 |
| ReadyBurnRateFast | 72.20–81.44 | 64.20–72.46 |
| ReadyBurnRateSlow | 87.29–91.54 | 123.94–129.35 |
| ApiBurnRateFast | 44.78–53.87 | 55.14–64.97 |
| ApiBurnRateSlow | 54.89–63.98 | 119.53–124.81 |
На **6 коротких воздействиях** firing не наблюдался; на **6 длительных** все ожидаемые alerts сработали и затем разрешились. Это результат данного профиля и трёх повторов, а не доказательство нулевой вероятности ложных срабатываний. Отдельное сравнение с правилами без второго окна/без for не проводилось, поэтому вклад каждого механизма фильтрации из этого эксперимента не выделяется. Целевой SLO во время намеренных деградаций нарушается — обнаружение этого нарушения и проверяется.
### Диагноз по сохранённым сигналам
- **Worker:** на каждом длительном интервале растут возраст и backlog, новых `job_received` нет, upload продолжает получать 202, API burn rate равен нулю. В первой сохранённой выборке — 35 успешных upload и 0 событий потребления. После запуска появляются consumer/S3/DB spans, очередь убывает, jobs становятся ready. Ready counter учитывал bad по deadline ещё до завершения jobs.
- **DB:** одновременно наблюдаются около 20 ожиданий Lock, HTTP 5xx и DB client spans длительностью около двух секунд (первая сохранённая трасса — `postgresql SELECT` 1995.4ms). При этом ready burn rate остаётся нулевым. Это указывает на ожидание БД, а не на преобразование изображений или медленный код HTTP handler. Конкретная операторская блокировка messages сверена с журналом воздействия.
Девять компактных наборов фактов (worker stop, recovery и DB wait для каждого повтора) сохранены в `evidence/incident-signals.json`; ошибок их сбора нет. [Runbook](infra/otel/RUNBOOK.md) задаёт те же шаги диагностики для другого студента.
### Отказ Tempo и границы буферизации
За 300s недоступности Tempo генератор получил 3150 успешных ответов: 2700 чтений, 300 сообщений и 150 upload; ошибок нет. После запуска Tempo вновь доступны traces. Очередь exporter достигла **32/32 запросов** и после восстановления стала **0**. Максимальная наблюдавшаяся память Collector — **93.84 MiB** при лимите контейнера **256 MiB**; в этот интервал его CPU составлял медианно 0.61%, максимум 3.51% одного ядра по выборкам Docker. API-реплики использовали примерно 70–77 MiB, dispatcher — 15 MiB, worker — 16 MiB в последних выборках этого интервала.
По счётчикам за outage/recovery/drain: принято 51 598 spans, отправлено 13 416, разница — **около 38 182**. Зафиксированы 35 676 enqueue-failed spans и 2524 dropped items в отдельных записях exporter. Баланс приблизительный: остаются фоновые health/observer spans и несколько in-flight batches. Он не включает возможные потери до Collector; send-failed нельзя механически считать уникальными потерями. Telemetry в этом отказе терялась, бизнес-данные сохранились. Подробности: `evidence/backend-outage.json`.
Ограничение очереди подтверждается одновременно конфигурацией и наблюдаемым плато; пятиминутная выборка RAM не является доказательством отсутствия любого возможного memory leak на произвольной длительности. CPU/RAM снимались примерно раз в 30s и могли пропустить короткие пики.
### Версии артефактов
Research записал OCI descriptor `d661ef49…`, повторный pipeline — `c7021c3f…`. Compose добавляет разные service labels и attestations при сборке одного Dockerfile для ролей, поэтому descriptor не является хешем бинарника. Платформенный manifest текущего dispatcher совпал с manifest в сохранённом логе сборки перед research; SHA-256 исполняемого файла — `33c6b59d…`. Доказательство: `evidence/image-provenance.json`; полный fingerprint исходников и фактические container images — в `evidence/environment.json`.
## Ограничения
Один host, PostgreSQL, S3, broker и LB остаются точками отказа. HA хоста/БД и потеря volumes не проверяются. CPU/RAM ограничены Compose; рядом работал старый стенд lab5, поэтому результаты относятся к этой конфигурации и не являются универсальным benchmark.
HTTP SLI считает ответы приложения: сетевые отказы/LB 503 измеряются генератором отдельно, а 4xx входят в denominator. Ready-SLI относится к серверной публикации результата, не скачиванию файла клиентом. Пока DB недоступна, observer не может зафиксировать новые результаты, что должно быть видно по freshness. Клиентские timestamps и серверные timestamps имеют разные границы измерения. accepted_at и ready_at записываются внутри соответствующих транзакций; классификация непосредственно возле 30s зависит от длительности COMMIT. Histogram percentiles также являются интерполяцией внутри заданных buckets, а не точными клиентскими квантилями.
Telemetry best effort: ограниченные SDK/Collector очереди допускают потерю сигналов при долгом отказе; sent-failed считает попытки, а не уникальные потерянные spans. Рестарт теряет недолговечные очереди. Retention ограничивает срок хранения; для Loki/Tempo нет отдельной гарантии дисковой квоты/backup. Credentials учебные, HTTP допускается только на localhost. TLS/mTLS и управление секретами относятся к lab7.
Источники: [OpenTelemetry Go](https://opentelemetry.io/docs/languages/go/), [Collector configuration](https://opentelemetry.io/docs/collector/configuration/), [Loki native OTLP](https://grafana.com/docs/loki/latest/send-data/otel/), [Grafana provisioning](https://grafana.com/docs/grafana/latest/administration/provisioning/), [Prometheus histograms](https://prometheus.io/docs/practices/histograms/), [RabbitMQ reliability](https://www.rabbitmq.com/docs/reliability).