Files
mtusi2026lab6/REPORT.md
T

31 KiB
Raw Blame History

Лабораторная 6 — наблюдаемость мессенджера

Майорова Софья, БВТ2301. Целевая оценка: 5, трек 1 «Цена наблюдаемости». Дата выполнения: 20 ноября 2026 года. Оценку подтверждает преподаватель.

Продолжена собственная lab5, PR 7. Перенесены только исходники, миграции, свои тесты и необходимые конфигурации. README/COURSE/contracts/tests текущего skeleton lab6 сохранены, assertions публичных проверок не менялись. Трек 2 с multi-window burn rate не заявляется.

Запуск из чистого clone

Docker Engine/Compose v2, Linux-контейнеры, Python 3.9+ для host-проверок. Сервер и worker Python 3.12.8 внутри Docker. На этом Mac:

colima start --profile mtusi-labs
export DOCKER_CONTEXT=colima-mtusi-labs
cd "/Users/ssmayorova/Documents/Учеба/Высоконагруженные приложения/lab6"
python3 scripts/bootstrap.py
docker compose build api
docker compose up -d --wait
export BASE_URL=http://127.0.0.1:18093
python3 scripts/wait_ready.py
make check test test-student BASE_URL=$BASE_URL

На другой машине клонировать публичный fork, выбрать solution/BVT2301-Mayorova и выполнять из корня clone. Образ приложения сначала строится через build api: worker, dispatcher, migration и audit используют тот же image. Bootstrap генерирует локальные случайные secrets, сохраняет существующие значения и .env. Каталог secrets 0700; полный S3 identity config 0600, монтируется только root gateway. Пароли, ключи, .env, volumes, backups и build не коммитятся и не попадают в build context.

API: http://127.0.0.1:18093. Grafana: http://127.0.0.1:13006/d/messenger-lab6 — автоматический Viewer на localhost. GF_USERS_VIEWERS_CAN_EDIT разрешает Explore и временные правки запросов без сохранения dashboard; роль остаётся Viewer (настройка deprecated в Grafana 12.1.1, доступна в закреплённой версии). Импорт dashboard и трёх datasources выполняет provisioning из Git; ручной настройки не требуется. Prometheus http://127.0.0.1:19096, Loki 13106, Tempo 13206, собственные метрики Collector 18896. OTLP 4318 не публикуется на host. PostgreSQL/S3/broker/API-реплики тоже не публикуются в обход LB. Операторские UI присоединены к edge для корректного loopback port mapping Docker; backend и storage — внутренние сети. Наружу в Интернет эти порты не открыты. Grafana не является административной панелью бизнес-данных.

Остановка с сохранением истории: docker compose down. Не удалять volumes в проверке restart/failover. down -v предназначен только для намеренно уничтожаемого отдельного тестового стенда. На этой машине старый Docker proxy не разрешался DNS. После отдельного разрешения пользователя сохранён backup /etc/docker/daemon.json.lab6-proxy-backup внутри VM, удалена неработающая proxy-секция и перезапущен Docker daemon. Реестр проверен по прямому HTTPS. Это локальная настройка окружения, не часть приложения и не обязательный шаг для другого clone.

Архитектура

Клиент → HAProxy → API ×2 → PostgreSQL
                       ├→ Redis cache профилей
                       └→ приватный S3 staging
PostgreSQL jobs/outbox → dispatcher → Redis Streams/AOF → worker → S3 results + DB ready

API / dispatcher / worker → OpenTelemetry SDK → OTLP HTTP/protobuf → Collector
    ├→ metrics → Prometheus → Grafana
    ├→ logs → Loki → Grafana Explore
    └→ traces → Tempo → Grafana Explore

Prometheus хранит временные ряды, Loki — структурные логи, Tempo — трассы. Grafana выполняет запросы и визуализирует; Collector принимает/обрабатывает/экспортирует и не заменяет долговременные хранилища. PostgreSQL остаётся источником истины бизнес-данных и сессий. Наблюдаемость не участвует в COMMIT подтверждённого сообщения/задания.

Сохранён минимум предыдущих работ: scrypt и сессии с expiry/logout, Unicode/U+0000, ACL чатов, keyset, атомарный Idempotency-Key на 24h, две реплики и migration job, Redis profile cache, приватные изображения, durable staging/outbox, bounded renderer, at-least-once/retry/lease, immutable versioned results, version fencing, failed registry/replay и операторский cleanup. API возвращает 202 queued после S3 staging и COMMIT; resize выполняет отдельный worker.

Миграции 001–006. Новая 006 добавляет trace_context JSONB к attachment_jobs. Миграция выполняется отдельным service под advisory lock; API проверяет наличие 006 до обслуживания. Старые jobs получают пустой carrier и продолжают работать; бизнес-API не расширялся.

Версии и ресурсы

Все Docker images закреплены version + digest в Compose/Dockerfile. Python 3.12.8; PostgreSQL 17.2; Redis 7.4.1; SeaweedFS 4.51; HAProxy 3.0.5. OTel Python API/SDK/HTTP exporter 1.36.0, semantic conventions 0.57b0; Collector contrib 0.132.0; Prometheus 3.5.0; Loki 3.5.3; Tempo 2.8.2; Grafana 12.1.1. Все 27 Python distributions, включая транзитивные, закреплены в requirements.txt по успешной сборке.

API ×2: по 1 CPU/256MiB; worker 1 CPU/768MiB, concurrency1; dispatcher 1 CPU/256MiB. PostgreSQL 1 CPU/512MiB; broker0.5CPU/192MiB/AOF always; Redis cache0.25CPU/64MiB. S3 store1CPU/512MiB и gateway0.5CPU/512MiB; LB0.5CPU/64MiB. Collector/Prometheus/Loki/Grafana — по 0.5CPU/256MiB, Tempo0.5CPU/512MiB. Сумма CPU-лимитов — overcommit, не выделенные физические ядра. Окружение: macOS arm64, Colima Linux VM4vCPU/около4GiB; локальный synthetic workload.

Схема сигналов и единицы

Ручная SDK-инструментация ограничивает атрибуты разрешённым набором. Resource: service.name=messenger-api / messenger-worker / messenger-dispatcher; service.version=lab6.1; service.instance.id — случайный alias процесса; deployment.environment.name=lab. Дополнительно SDK сообщает собственную версию/язык.

Реальное имя Prometheus Значение
http_server_requests_total Обработанные business requests; method, route template, status_class
http_server_duration_seconds_bucket/count/sum Полная обработка HTTP, включая отправку ответа
jobs_processed_total Попытки worker: ready, failed_or_retry, noop, fenced, error; job_type=image
job_processing_duration_seconds_bucket/count/sum Время попытки, тот же outcome
job_ready_duration_seconds_bucket/count/sum От created_at durable job перед COMMIT до публикации ready
job_retries_total Решения retry/terminal failed, outcome=retry или failed
queue_depth Незавершённые queued/processing в PostgreSQL, включая outbox до broker
queue_oldest_age_seconds Возраст самой старой такой job; backlog не processing latency
queue_observation_ok 0 при невозможности наблюдать PostgreSQL backlog
db_pool_used/waiting/capacity Используемые/ожидающие/максимум соединений API
worker_busy/capacity Активные попытки/число slots
process_cpu_seconds_total CPU процесса, cumulative
process_resident_memory_bytes RSS процесса через /proc/self/statm
container_memory_bytes Cgroup memory.current, включая renderer и cache
spans_finished/exported/export_failed Число sampled SDK spans и результат отправки

В gauge количества unit пустой: иначе unit1 экспортируется Prometheus как _ratio. Очередь именуется постоянным attachment-jobs; отдельного динамического queue label не нужно. Service instance — resource attribute с ограниченной жизнью процесса; churn реплик всё равно создаёт новые series. Health полностью исключён из business metrics/logs/traces. Не распознанные маршруты имеют template unmatched. user/chat/message/attachment/request/job/trace IDs, filename, raw URL и текст не являются labels метрик.

Границы duration histogram, секунды: 0.001,0.005,0.01,0.025,0.05,0.1,0.25,0.5,1,2,5,10,20,30,60,+Inf. Dashboard агрегирует buckets всех реплик: histogram_quantile(0.95, sum by(le)(rate(http_server_duration_seconds_bucket[1m]))). p50/p99 построены аналогично; средние p95 реплик не усредняются. Точность percentile ограничена границами buckets и количеством наблюдений.

Трассы, логи и очередь

Handler создаёт SERVER span с method/route/status без headers/body/query. Connection context создаёт CLIENT db.transaction span, включающий ожидание пула, SQL и завершение транзакции, но без текста SQL, параметров, connection string или сырого текста exception. Это время unit of work, а не чистый server-side SQL execution time: S3 PUT под transaction виден дочерним S3 span. S3 get span заканчивается при получении SDK response; потоковое чтение Body входит во время родительского HTTP/worker span. S3 wrapper записывает только service S3 и имя операции; ключи, filenames, URLs и credentials не записываются. Worker consumer span включает processing и реальные дочерние S3/DB spans. Внутри изолированного renderer отдельный SDK не запускается.

W3C traceparent/tracestate сохраняются с job в той же транзакции outbox. Dispatcher извлекает durable context, создаёт PRODUCER span и вкладывает его carrier в envelope. Worker извлекает envelope и создаёт CONSUMER child producer. Retry публикуется с тем же исходным trace, новым producer/consumer и номером попытки. Envelope содержит ID/версию/попытку/carrier, а не bytes изображения.

Структурный JSON log содержит timestamp, severity, service.name, event, trace_id, span_id, sampled; HTTP — X-Request-Id, template/method/status/duration; job — технический job_id/attempt/outcome. Эти технические ID нужны для сквозной диагностики синтетического задания и не индексируются как metric labels. LoggingHandler отправляет OTLP logs; Loki принимает native OTLP и хранит остальные поля как structured metadata/body. Grafana derived field TraceID ведёт из Loki в Tempo; tracesToLogs фильтрует тот же trace_id. Имена полей/шаблоны фиксированы. Тела сообщений, картинки, пароли, Authorization, tokens и signed URLs исключены.

Проверка proof выполняет реальный upload с известным traceparent, ждёт ready, проверяет родителя consumer=producer и цепочку предков producer до SERVER upload, проверяет worker S3/DB spans и логи всех стадий, связывает response X-Request-Id. Отдельно остановлен worker, принят файл, приостановлен реальный S3 gateway, worker запущен: наблюдается S3 timeout/retry; после возврата S3 второй consumer достигает ready в той же трассе. Canary message/password/token/username/filename не найдены в проверяемом trace и app logs с начала controlled proof (лимит 5000); это ограниченная динамическая проверка плюс allowlist кода, не математическое доказательство отсутствия любых утечек. Метрики проверены на запрещённые ID labels.

SLI/SLO и алерты

Полные определения/ограничения — infra/RUNBOOK.md. Окно5мин: API availability>=99% обработанных business requests без5xx; health исключён, 4xx не смешиваются с отказами сервера. Отказ LB/сети до API данным SLI не покрывается. Latency SLO: >=95% завершённых ready jobs укладываются в5сек от durable job creation. Это условный latency SLO, не доступность pipeline; queued/failed отдельно видны через backlog/outcomes/alerts.

Prometheus правила из infra/alerts.yaml, evaluation2s:

  • APIHighErrorRate: 5xx share за30s>5%, for6s.
  • QueueLag: oldest>10s и depth>0, for6s.
  • QueueObservationUnavailable: observer0, for6s. Это короткие учебные operational alerts, не трек2 multi-window burn rate. Нет email/Slack или внешней доставки.

Два инцидента и диагностика

  1. Worker остановлен, API принял3 изображения. Queue depth/oldest растут, завершения worker прекращаются; upload202 и логи acceptance/publish продолжаются. QueueLag firing примерно через22.77сек. После возврата worker все три ready, backlog0 и alert resolved. Значения gauges остановленного процесса могут оставаться в scrape cache до30s: это явно учитывается в runbook.

  2. Реальная ACCESS EXCLUSIVE блокировка sessions удерживается35s. Readiness SELECT1 остаётся зелёной, защищённый endpoint ждёт SQL и получает503 по lock_timeout1.5s. APIHighErrorRate firing примерно через13.14сек. В сохранённой трассе db.transaction — долгий/error span; это отделяет ожидание PostgreSQL от HTTP handler/resize. После COMMIT блокировки прежний Bearer снова работает, 30s error window очищается и alert resolved.

Сырые timestamps, firing snapshots, запросы метрик, error latencies и DB trace — evidence/incidents.json. Разбор опирается на наблюдения; способ инъекции задокументирован отдельно и не заменяет trace/metric evidence.

Отказ telemetry backend и конечная буферизация

Tempo остановлен примерно на56сек. За это время API подтвердил135 сообщений и5 файлов, worker завершил файлы, все подтверждённые сообщения найдены в истории. Collector memory snapshots: примерно58.21–62.05MiB при лимите256MiB; наблюдены156 failed exported spans. После восстановления найден новый реальный trace. Потерянная telemetry не пересоздаётся из бизнес-данных.

SDK: BatchSpanProcessor queue512/batch128, logs queue256/batch64, schedule500ms, HTTP timeout1s; metric export каждые2s. Отправка асинхронная, очереди ограничены. Collector memory_limiter limit192/spike32MiB, batch<=256; два exporter queue по128 batches,2consumers, retry budget10s. Prometheus exporter имеет expiration30s. Нет безразмерной очереди или бесконечного retry. Лимит batches не является точным лимитом байт; SDK/receiver имеют дополнительные ограничения, container memory лимит — последняя граница. Локальный тест конечной длительности не доказывает поведение при любом трафике.

Метрики хранятся24h и ограничены256MB TSDB; Loki/Tempo retention24h; Grafana SQLite/provisioning. Именованные metrics_data/logs_data/traces_data/grafana_data сохраняются при restart. Loki/Tempo retention выполняется асинхронно и не является жёсткой дисковой квотой.

Исследование цены наблюдаемости

Гипотеза: SDK export/sampling влияет на задержки, CPU/RAM и ingest; уменьшение доли трасс сокращает ingest, но часть редких ошибок и медленных запросов не имеет полного trace. Методика student-tests/observability_cost.py: off, full1.0, head sampling0.10 и0.25; три повтора, порядок режимов циклически сдвигается. Одинаковые лимиты,2API,worker concurrency1, fixture320x200. Каждый прогон: фиксированные30 scheduled requests/s20s,600 запросов: 5% upload,15% messages,80% profile reads;16client threads. Exporter off оставляет установленные SDK/hooks, но не создаёт providers и не экспортирует signals. Это не сравнение с переписанной версией без SDK imports.

Измеряются клиентские p50/p95/p99, подтверждённый RPS/ошибки, CPU cgroup API/worker/dispatcher/Collector/хранилищ, anonymous/working-set memory samples1Hz, точные counter deltas принятых spans/logs/metric points и Collector receive network bytes. Последние включают OTLP, Prometheus scrape и backend replies: это не чистый размер protobuf payload. CPU/ingest включают ожидание exporter drain5s и проверки ready после основного потока. История БД/telemetry сохраняется между режимами; новые API/worker/dispatcher создаются на каждом режиме. Пять секунд прогрева/drain, фиксированная среда и смена порядка уменьшают, но не исключают шум/влияние кэша. UUID/sampling стохастические; нагрузка локальная и короткая. Это не capacity ceiling и не production SLA.

Первоначальные SQL-lock probes после измерительных окон не синхронизировали момент HTTP с pg_locks: часть блокировок успевала завершиться при старте docker exec. Их фактические HTTP статусы сохранены в rare_probes основного raw JSON; выдавать их за гарантированные 503 нельзя. Для вывода о редких событиях выполнено отдельное исследование student-tests/sampling_retention.py: full/10%/25%, три повтора; в каждом три настоящих503 и один медленный200. Блокировки3.5s/1.2s проверяются через granted pg_locks перед HTTP, status и duration проверяются assertions. У каждого режима получено9ошибок и3медленных успешных запроса.

Измеренные результаты

Всего12основных прогонов,7200/7200 подтверждённых запросов без ошибок,360/360 изображений ready. Ниже медиана трёх прогонов; ranges и каждый raw result доступны в JSON, точки/отрезки на графике. CPU — накопленные секунды двух API или worker за измерительное окно с drain, не проценты host CPU.

Режим HTTP p95, ms p99, ms API CPU, s Worker CPU, s Collector CPU, s Принятые spans Collector RX, KiB
off 9.818 15.301 2.371 5.464 0.054 0 13.2
full 9.695 14.553 2.799 5.533 0.194 1950 1067.0
10% 9.149 13.731 2.541 5.270 0.167 176 720.9
25% 10.557 15.699 2.618 5.220 0.183 467 802.8
Режим Сумма sampled anon peaks двух API, MiB Collector anon peak, MiB Logs / metric points, медиана
off 159.60 56.02 0 / 0
full 147.90 56.03 840 / 1011
10% 168.66 58.78 840 / 987
25% 147.82 58.72 840 / 1011

Сумма отдельных sampled peaks не является одновременным peak всей группы; интервалы memory/p95 перекрываются. Результаты не доказывают ускорение запросов или экономию RAM. Разница CPU небольшая и подвержена шуму. Full даёт примерно18% больше API CPU, чем off, в медианах этого опыта. 25% уменьшает принятые spans на76.1%, сетевой RX Collector на24.8% и API CPU примерно на6.5% относительно full. Ingest логов/метрик сохраняется независимо от trace sampling, поэтому суммарный трафик не падает на75%. Head sampling применяется к целой цепочке: число дочерних spans в sampled image jobs меняет фактическую долю spans. После drain sampled spans SDK и accepted spans Collector совпали во всех12прогонах: дополнительная потеря между SDK и Collector в данном измерении0; несэмплированные spans в это число не входят.

Режим Сохранён trace ошибок503 Сохранён trace медленных200
full 9/9 3/3
10% 0/9 1/3
25% 1/9 1/3

Это наблюдения малой выборки, а не оценка вероятности или гарантия. Логи этих HTTP и полные метрики сохраняются; sampled проверяется в коррелированном HTTP log; для всех36probes также проверено реальное наличие sampled trace и404 для unsampled через Tempo API. Head sampling принимает решение до результата, поэтому не может гарантировать trace ошибки. Для расследования воспроизводимого сбоя временно выбирать1.0 или отправлять контролируемый sampled W3C parent (как proof); это не автоматическое сохранение всех ошибок.

По умолчанию выбран25% как компромисс объёма трасс и покрытия при сохранённых logs/metrics. 10% даёт ещё меньший ingest, но более редкие полные причинные цепочки. В режиме incident диагностики подходит full. Отдельный повтор выбранного режима:600/600 запросов,30/30 изображений ready, p95=10.587ms,p99=17.222ms,456accepted spans, дополнительная потеря SDK→Collector0. Результат — evidence/balanced-confirmation.json. Сырые результаты: observability-cost.json, cost-summary.json, sampling-retention.json.

Цена наблюдаемости, 3 повтора

Проверки

Локально выполнено:

  • make check и полная OpenAPI3.1 validation — PASS, оригинальные contracts/tests без изменений.
  • make test и make test-student — public smoke и18тестов API/изображений PASS.
  • make test-observability — реальная causal trace, retry, correlated logs, low-cardinality и canary checks PASS.
  • make test-incidents — оба алерта firing/resolved, trace SQL lock и восстановление PASS.
  • make test-telemetry-outage — бизнес-записи/worker при отказе Tempo, bounded memory, новые traces после возврата PASS.
  • make test-persistence ACTION_SCRIPT=scripts/restart.sh — confirmed business data и старый Bearer сохранены; дополнительный persistence_telemetry.py подтвердил прежние spans/logs и historical Prometheus sample.
  • make test-failover ACTION_SCRIPT=scripts/stop-one.sh —120записей,1временная ошибка, первый успех после отказа2.602s; API восстановлен.
  • student-tests/security.py — anonymous object/list403, strict envelope PASS.
  • student-tests/pipeline_checks.py —13групп инвариантов, реальные exit77, lease recovery/version fencing/replay/cleanup PASS.
  • make research —12прогонов; отдельные sampling_retention.py —9синхронизированных прогонов.
  • promtool check rules —3правила PASS.
  • Grafana UI: dashboard с реальными рядами, Tempo→Loki по тому же trace_id и Loki TraceID→Tempo проверены. Скриншоты evidence/grafana.jpg, trace-ui.jpg, correlated-ui.jpg.

Настоящий отдельный clone commit0e78b2b с новыми secrets и пустыми volumes: сборка, миграции, public smoke,18тестов, causal/retry proof и полный restart с прежними business data/Bearer/Tempo/Loki/Prometheus history — PASS за83.54s. Тестовый Compose project mtusi-lab6-clean-6df218fa и только его volumes удалены; основной mtusi-lab6 сохранён. Evidence: clean-clone.json / clean-clone.txt. Изменения после clone ограничены отчётом, evidence и дополнительной проверкой исследования, бизнес-код не менялся.

Команды для повторения fault/research проверок запускать последовательно на отдельном учебном стенде: они управляют только текущим Compose project и временно останавливают его компоненты. CI application workflow добавлен; результат hosted CI не подтверждён, требующее maintainer approval выполнение не выдаётся за PASS. Сохранённые txt/JSON — фактические локальные результаты. Raw telemetry содержит только синтетические технические ID.

Ограничения

Один host, один PostgreSQL/S3/broker/LB/Collector/backend каждого типа остаются SPOF. Доказывается отказ API-процесса, перезапуск с сохранением volumes и ограниченный отказ telemetry backend, а не потеря диска/питания, distributed HA или exactly-once. Миграции и outbox определяют корректность данных независимо от наличия telemetry. Логи и метрики тоже имеют bounded asynchronous exporters; при перегрузке/отказе Collector возможны их потери. Head sampling не гарантирует сохранение ошибки или редкого хвоста; для этого потребовалась бы отдельная политика tail sampling с доказанным буфером/памятью, которую мы не заявляем реализованной. Retention24h и file-based stores рассчитаны на локальный synthetic стенд, не промышленное хранение.

Источники и использование ИИ

Собственная lab5, skeleton/contracts/public tests lab6. Официальные материалы:

Codex использован для реализации, проверки, controlled incidents, исследования и отчёта. Численные результаты относятся к сохранённым локальным прогонам. Hosted CI не объявляется прошедшим без отдельного подтверждения. \nНастройка Viewer/Explore: https://grafana.com/docs/grafana/latest/setup-grafana/configure-grafana/#viewers_can_edit\n