53 KiB
Отчёт — лабораторная 6
Автор: Костылев Артём, БПИ2303. Заявленная оценка — «5», трек 1 «Цена наблюдаемости»: уровни 3 и 4 подтверждены таблицей ниже, пять режимов наблюдаемости — 15 пригодными сериями. Это заявка по рубрике, а не автоматически выставленная оценка.
Ветка: solution/bpi2303-kostylev. Проверенный ревью SHA: 6ca1c7549978af3127966540385195ab0587f2e1; измеряемый код приложения, инфраструктуры и генератора: bc1d7aa7713858acb5d65b61d07e69a640f1ee97. Между ними эти файлы не менялись. Документационный коммит определяется через git log -1 --format=%H -- REPORT.md; публикация выполняется отдельным этапом, здесь не заявлены.
Актуальные результаты: индекс evidence, перенос поздних исправлений, сводка ревью, проверки отчёта, финальный аудит нагрузки. Основа ЛР5 — f88e9ba43cdfd7eb6a5a7ae5feb4247b4e820071, поздний перенос доведён до immutable source c7b8feb805d151e878d77b0dff47320a9436b172; учтены 281 путь source diff. Результаты ЛР5 не выдаются за проверки ЛР6.
Запуск из чистого clone
Нужны Git, Docker с Compose v2, uv, Python 3.14 для приложения и Python 3.9+ для stdlib-проверок. OpenSpec CLI нужен только для валидации спецификаций. Проверенный host: macOS arm64, 16 CPU; Docker 28.3.2, 16 vCPU и 8 217 190 400 bytes RAM. Версии зависимостей закреплены в uv.lock, образы — тегом и digest в Dockerfile и compose.yaml.
REPOSITORY_URL оператор задаёт адресом своего private fork в MTUCI-Labs. Команды ниже — инструкция воспроизведения; на этапе отчёта Docker и нагрузки не запускались.
git clone "$REPOSITORY_URL" mtusi2026lab6
cd mtusi2026lab6
git switch -c solution/bpi2303-kostylev origin/main
uv python install 3.14
uv sync --locked --group dev
make check validate lint
openspec validate --all --strict --no-interactive
scripts/lab6.sh make secrets
scripts/lab6.sh docker compose config --quiet
scripts/lab6.sh make up
scripts/lab6.sh make ps
curl --fail http://127.0.0.1:18086/health/ready
scripts/lab6.sh make obs-validate
scripts/lab6.sh make test
scripts/lab6.sh make telemetry-check
scripts/lab6.sh make test-persistence ACTION_SCRIPT=scripts/restart.sh
scripts/lab6.sh make test-failover ACTION_SCRIPT=scripts/stop-one.sh
scripts/lab6.sh make restore
scripts/lab6.sh make down
make secrets создаёт локальные .env и secrets/, не печатая значения; существующие значения сохраняются. make up собирает образ и ждёт healthy: PostgreSQL → one-shot alembic upgrade head, S3 → s3-init (bucket, политики и отдельные роли), RabbitMQ → API ×2 / relay / worker → LB; параллельно поднимаются Collector и хранилища. Ручной SQL, ручное создание datasource/dashboard и внешний S3 не требуются. Повторный запуск миграций: scripts/lab6.sh make migrate.
Полные собственные тесты запускаются отдельно: scripts/lab6.sh make student-test. Обвязка задаёт обход localhost через NO_PROXY, в том числе при системном прокси macOS. Тесты создают одноразовые Docker-зависимости и не должны идти одновременно с измерениями трека. В отчётном этапе использован сохранённый результат; свежий запуск фазы validation описан в финальном аудите. Данные публичного API синтетические. Для повторных экспериментов сохраняйте вывод в новый каталог, не перезаписывая принятые evidence.
make down останавливает только выбранный Compose project и сохраняет volumes. Существующая цель scripts/lab6.sh make reset-data намеренно удаляет его учебные volumes; она не входит в обычный запуск и в отчётном этапе не выполнялась. Не останавливайте чужие контейнеры. Основной project — mtusi2026lab6 в этом репозитории; временный — только hlpipe-lab6-* в разрешённом координатором каталоге, с отдельными портами/volumes.
Порты и настройки
Все опубликованные порты привязаны к 127.0.0.1; API-реплики, PostgreSQL, Valkey, S3, AMQP, OTLP и self-metrics Collector доступны только внутри стенда. scripts/lab6.sh задаёт project, порты, URL проверок и NO_PROXY, затем выполняет переданную команду. Перед запуском оператор проверяет доступность портов и отсутствие конфликтующих переменных своего shell.
| Назначение | Переменная | Host port |
|---|---|---|
| API через HAProxy | LB_HTTP_PORT |
18086 |
| HAProxy stats | LB_STATS_PORT |
26085 |
| RabbitMQ management | BROKER_MANAGEMENT_PORT |
26086 |
| Prometheus | PROMETHEUS_PORT |
26090 |
| Loki | LOKI_PORT |
26310 |
| Tempo query | TEMPO_PORT |
26320 |
| Grafana | GRAFANA_PORT |
26300 |
Grafana: пользователь admin, пароль из локального secrets/grafana_admin_password; его значение не входит в отчёт. Provisioning создаёт datasources prometheus, loki, tempo и dashboards API/pipeline, переходы exemplar → trace и trace ↔ logs.
Настройки из .env.example |
Фактическое применение |
|---|---|
APP_HOST, APP_PORT, APP_ENV |
Логические поля skeleton; Compose не передаёт их приложению. Образ слушает HOST=0.0.0.0, PORT=8080; окружение OTel задаёт deployment.environment.name=lab |
SESSION_STORE=postgres, CACHE_URL_FILE, SESSION_TTL_SECONDS |
PostgreSQL — источник сессий; Valkey — адаптер кэша. Переключателя backend через SESSION_STORE нет; TTL по умолчанию 3600 s |
DATABASE_URL_FILE, CURSOR_SECRET_FILE, S3 *_FILE |
Compose монтирует роли в /run/secrets; SQLAlchemy переводит DSN в postgresql+asyncpg |
BROKER_URL_FILE |
В relay и worker одинаковый путь /run/secrets/broker_url, но разные secrets broker_url_api / broker_url_worker и права |
API_REPLICAS, WEB_CONCURRENCY, DB_POOL_MAX_SIZE |
2 реплики ×2 процесса, пул по 8 соединений на процесс; relay/worker по PIPELINE_DB_POOL_MAX_SIZE=4 |
MAX_UPLOAD_BYTES, MAX_IMAGE_PIXELS, WORKER_CONCURRENCY |
10 MiB, 40 MP, 2 задания; render timeout 30 s, лимит адресного пространства renderer 448 MiB |
OTEL_*, TELEMETRY_SHUTDOWN_SECONDS |
OTLP/HTTP, timeout 2 s, метрики каждые 10 s, очереди SDK по 2048, bounded shutdown 2 s; SDK off через OTEL_SDK_DISABLED=true |
OTEL_TRACE_RATIO, OTEL_COLLECTOR_CONFIG, COST_EXPERIMENT |
Дополнительные Compose-параметры: по умолчанию 1, collector.yaml, false. Генератор включает fault hook лишь на серию и восстанавливает default в finally |
Архитектура и решения
flowchart LR
Client[Клиент] --> LB[HAProxy]
LB --> API[API ×2]
API --> PG[(PostgreSQL)]
API --> Cache[(Valkey)]
API --> S3[(RustFS / S3)]
PG --> Relay[Outbox relay]
Relay --> Broker[(RabbitMQ)]
Broker --> Worker[FastStream worker]
Worker --> PG
Worker --> S3
API -. OTLP .-> Collector[OTel Collector]
Relay -. OTLP .-> Collector
Worker -. OTLP .-> Collector
Collector --> Prom[(Prometheus)]
Collector --> Loki[(Loki)]
Collector --> Tempo[(Tempo)]
Grafana[Grafana] --> Prom
Grafana --> Loki
Grafana --> Tempo
Python 3.14; SQLAlchemy 2.0.45 async, Alembic 1.16.5, FastAPI, dishka, structlog, FastStream 0.7.8 + aio-pika 10.2.1; OTel SDK 1.45.1 и инструментации 0.66b1. Инфраструктура: HAProxy 3.2.26, PostgreSQL 17.11, Valkey 8.1.11, RustFS 1.0.4, RabbitMQ 4.1.8, otelcol-contrib 0.163.2, Prometheus 3.15.1, Loki 3.7.9, Tempo 2.10.10, Grafana 12.4.14. Фактические image IDs, non-root users и лимиты: runtime.json.
Зоны identity, messaging, attachments разделены на domain/application/infrastructure/entrypoints; домен зависит от портов. shared содержит только платформу. main.py, relay.py, worker.py собирают процессы. PostgreSQL хранит пользователей, сессии, сообщения, состояния вложений, jobs и outbox; RustFS — байты, RabbitMQ — доставку, Valkey — ускорение чтения. Prometheus хранит численные временные ряды, Loki — структурные логи, Tempo — spans. Collector принимает/фильтрует/буферизует сигналы, Grafana запрашивает их и связывает; ни один из них не источник бизнес-данных.
Все runtime-запросы PostgreSQL проходят через SQLAlchemy ORM/Core: DeclarativeBase, create_async_engine, async_sessionmaker, отдельная AsyncSession на UoW. asyncpg остаётся драйвером и точкой инструментации. Миграции — alembic/env.py и alembic/versions: async engine, run_sync, advisory lock, legacy adoption, транзакция на ревизию, head 0007 для trace context. Старого исполняемого SQL-мигратора в инструкции запуска нет.
Upload возвращает 202 queued после durable acceptance; задание и outbox фиксируются атомарно. Relay публикует persistent сообщение с confirms через FastStream/aio-pika, затем отмечает outbox. Неустранимое окно между publish и отметкой допускает повторную доставку. Worker использует manual ack после COMMIT; lease/fencing и ключ эффекта (attachment_id, pipeline_version, variant) не допускают повторной публикации результата. До ready /content отвечает 409. Retry/backoff, DLQ, реестр failed и replay сохранены. Цена outbox — дополнительный poll/таблица и eventual consistency; брокер не даёт exactly-once.
ЛР6 добавила SDK после fork (без preload приложения в gunicorn), OTLP, корреляцию, resource attributes и наблюдение фоновых задач. traceparent/tracestate сохраняются отдельно от payload в jobs/outbox и передаются в headers; producer/consumer spans создаёт RabbitTelemetryMiddleware. S3 spans показывают операцию без ключей, SQL client spans — работу БД. Retry сохраняет причинную связь, что видно в одной цепочке из 86 spans.
Экспорт выполняют BatchSpanProcessor, BatchLogRecordProcessor, PeriodicExportingMetricReader; network timeout короткий, readiness не проверяет наблюдаемость. Collector: memory limiter 75% / spike 20%, batch 1024/2048 с timeout 2 s, очереди 20 000 spans, 20 000 logs, 50 000 metric points, 2 consumers, retry до 60 s. Буферы конечны и не долговременны: при длительном отказе telemetry теряется, бизнес-запросы продолжаются. Logger ограничивает поля, HTTP headers не захватываются, Collector редактирует подозрительные ключи/значения. Границы проверки утечек явно указаны ниже.
Доказательства критериев
Команды в таблице выполняются с префиксом scripts/lab6.sh, если работают со стендом. Полные команды, UTC, SHA и exit code сохранены в указанных логах. Актуальный набор — forward-published; исторические исключения помечены явно и применяются только к неизменным механизмам согласно preserved-mechanisms.json.
| Критерий | Команда / сценарий | Наблюдение | Файл |
|---|---|---|---|
| Структура, контракт, качество | make check validate lint |
OpenAPI 1.6.0 / JSON Schema, ruff, 216 форматированных файлов, ty — PASS | final-quality.txt, свежая проверка отчёта |
| Собственные регрессии, SQLAlchemy/Alembic | scripts/lab6.sh make student-test |
Сохранённый полный: 995 passed, 2 Linux-only skipped, 19 stack deselected. Свежий validation: 993 passed, 2 ошибки подготовки S3; адресный повтор с NO_PROXY — 2 passed | прежний полный, свежий полный, повтор S3, разбор |
| 3: минимум lab5 при telemetry on | make test |
Public API PASS; final smoke после возврата defaults | smoke.txt, final-smoke.txt |
| 3: durable pipeline и повторы | python3 scripts/pipeline_suite.py --level 4 --only smoke_pipeline,worker_down_broker_restart,duplicate_after_ready,poison_image,s3_outage_recovers,retry_exhausted,crash_after_s3_before_commit,crash_after_commit_before_ack,malformed_message_dead_lettered --output evidence/reproduction-pipeline.json |
9 сценариев; 7 принятых заданий достигают ожидаемых состояний, single effect и другие инварианты PASS | pipeline.txt, pipeline.json |
| 3: сохранение данных и сессий | make test-persistence ACTION_SCRIPT=scripts/restart.sh |
Подтверждённые данные и прежняя сессия сохранены, 14,386 s на сценарий | persistence.txt, hook |
| 3: отказ реплики и возврат | make test-failover ACTION_SCRIPT=scripts/stop-one.sh; make restore |
2 исходные реплики, 130 успешных записей, 0 failed attempts; первый успех через 2,876 s, api-2 возвращена healthy | failover.txt, restore.txt |
| 3: воспроизводимый общий стенд | make up; make obs-validate |
Сервисы готовы, Collector/Prometheus/Loki/Tempo и JSON dashboards валидны | up.txt, obs-config.txt, runtime.json |
| 3: история наблюдаемости в volumes | python3 scripts/obs_recovery.py |
Исторический прогон: 7 spans до/после, 1 лог, значение метрики 352 сохранено при рестарте storage | telemetry-recovery.txt, основание применимости |
| 3: API → лог → trace, реальные server/client spans | python3 scripts/obs_check.py request --base-url http://127.0.0.1:18086 |
request.handled, trace/span IDs; 7 spans, включая HTTP server и DB client |
telemetry-request.txt |
| 3: worker → лог → trace, consumer spans | python3 scripts/obs_check.py job --base-url http://127.0.0.1:18086 |
Attachment ready, 52 spans, job.processed / audit.job_settled с одним trace_id |
telemetry-job.txt |
| 3: RED API, jobs outcome/duration, provisioning | python3 scripts/obs_check.py dashboards --strict |
32 targets, problems=[], реальные series; два dashboard JSON в Git | dashboards.txt, dashboards |
| 3: низкая кардинальность / resource attributes | python3 scripts/obs_check.py query 'count by (__name__, job) ({job=~"messenger-.*"})' |
Шаблон маршрута, method/status, job_type/outcome, service/instance; IDs не используются как labels | исторические series неизменных инструментов, свежие dashboard queries |
| 3: отсутствие запрещённых данных | python3 scripts/obs_check.py leaks --base-url http://127.0.0.1:18086 |
0 совпадений password/token/text/filename в проверенных log lines и 8 traces за 20 s; metadata Loki этим тестом не покрыта | telemetry-leaks.txt, minor M1 |
| 4: W3C API → outbox → broker → worker → S3/DB | python3 scripts/obs_incidents.py chain |
55 spans, producer/consumer, итог done | incident-chain.txt |
| 4: та же цепочка с retry | python3 scripts/obs_incidents.py retry |
86 spans; retry_scheduled → done, один trace |
incident-retry.txt |
| 4: p50/p95/p99, error ratio, backlog, pool, saturation, CPU/RAM, time-to-ready | python3 scripts/obs_check.py dashboards --strict |
Все используемые запросы разрешаются; имена/единицы и ограничения приведены ниже | dashboards.txt, recording rules |
| 4: SLI/SLO, error rate alert | python3 scripts/obs_incidents.py database |
SQL client ERROR 2002,866 ms, error ratio 0,9181, firing → resolved | incident-database.txt, alert rules |
| 4: queue lag alert и восстановление | python3 scripts/obs_incidents.py worker |
8 jobs, age 34,470 s, firing → resolved, depth 8 → 0 | incident-worker.txt |
| 4: ограниченные очереди, отказ telemetry storage | python3 scripts/obs_incidents.py storage |
Исторический неизменный механизм: smoke PASS, 74 успешных probes, потеря 2 traces, RAM ≤252,7/256 MiB, очереди после recovery =0 | storage-incident.txt, основание применимости |
| 4: readiness и shutdown при отказе Collector | python3 scripts/obs_recovery.py |
Исторический прогон: ready=200, smoke PASS, shutdown API 4,592 s, exit 0 | telemetry-recovery.txt |
| Поздние исправления сессий/HTTP | .venv/bin/python student-tests/tools/forward_network.py; stack pytest из логов |
Негативный Basic/NUL, logout обеих реплик, идемпотентность; Valkey bypass и logout503→204 | network.txt, cache-outage.txt |
| Поздние исправления доставки/изображений | env PYTHONPATH=.:scripts:student-tests .venv/bin/python student-tests/tools/forward_runtime.py postgres-outage (также png-http, png-boundary) |
12 requeue без роста DLQ, тот же job/attempt; PNG 40 MP, две версии, конкурентный peak 913 227 776 <1 073 741 824 bytes, OOM=0 | postgres-outage.json, png-http.json, png-boundary.json |
| 5: off/on/head/tail/balanced, цена и сохранность | python3 scripts/obs_cost.py --mode MODE --repeat N --duration 40 --rate 20 --output evidence/reproduction/MODE-N.json |
15 пригодных серий, 12 000 запросов; balanced −92,2% Tempo ingest, 48/48 error и 48/48 slow | методика, comparison.json, результаты |
| OpenSpec propose/apply/archive | openspec list --json; openspec validate --all --strict --no-interactive |
0 active changes, 26 specs PASS; циклы 3/4/5 и поздний перенос архивированы | архивы, spec-sync.json, проверка отчёта |
restart.sh останавливает lb api relay worker, перезапускает postgres valkey s3 broker, затем ждёт Compose healthy с прежними volumes. Публичный тест подавляет stdout hook: 14,386 s — время всего сценария, а не измеренная длительность недоступности каждого процесса; отдельного timestamp-аудита всех перезапусков в этом логе нет. restore.txt непосредственно подтверждает запуск остановленной api-2. История telemetry проверена отдельным obs_recovery.py. Старый запуск из чистого clone на 2903d9d — clean-clone.txt; он не является свежим clean-clone прогоном позднего кода.
Сигналы и запросы
Resource: service.name=messenger-api|messenger-relay|messenger-worker, service.version=1.6.0, уникальный service.instance.id=<hostname>-<pid>, deployment.environment.name=lab. В Prometheus ресурс виден через job, instance и target_info; в Loki — нормализованные поля, включая service_name. Технические request/job IDs допустимы в логах/spans для корреляции синтетических данных, но не в labels метрик.
| Логический сигнал контракта | Реальное имя / поля | Единицы и измерения / запрос |
|---|---|---|
| HTTP requests | http_server_request_duration_seconds_count |
counter наблюдений histogram; http_request_method, http_route, http_response_status_code; sum(messenger:http_requests:rate2m) — RPS; recording rule формирует status_class |
| HTTP duration | http_server_request_duration_seconds_bucket |
секунды; histogram_quantile(0.95, sum by (le) (rate(http_server_request_duration_seconds_bucket{job="messenger-api",http_route!~"/health/.*"}[5m]))); для p50/p99 заменить 0.95 |
| HTTP errors | messenger:http_errors:ratio_rate2m |
5xx / все бизнес-запросы, без health; 4xx остаются в знаменателе, не считаются отказами |
| Jobs processed / failed | messenger_jobs_processed_total |
доставки, job_type, outcome; sum by(job_type,outcome)(rate(messenger_jobs_processed_total[5m])); outcome содержит done/retry_scheduled/failed и другие ветки |
| Job duration | messenger_job_duration_seconds_bucket |
секунды обработки доставки, job_type, outcome; percentile из суммы bucket rates |
| Time to ready | messenger_job_time_to_ready_seconds_bucket |
секунды от Job.created_at до done после commit, job_type; учитывает ожидание и retries |
| Queue depth / oldest age | messenger_queue_depth, messenger_queue_oldest_age_seconds |
jobs / секунды, queue_name=attachments.process; SQLAlchemy poll 5 s, durable queued/processing включая leased/retry, не только AMQP messages_ready |
| DB pool | messenger_db_pool_used, _waiting, _capacity |
занятые connections / acquisitions / лимит; waiting включает получение/создание соединения, не только очередь слотов |
| Worker saturation | messenger_worker_busy, messenger_worker_capacity |
активные deliveries / доступная capacity; отношение сумм даёт долю занятости |
| Process CPU / RAM | process_cpu_time_seconds_total, process_memory_usage_bytes |
sum by(job)(rate(process_cpu_time_seconds_total[2m])) — cores; sum by(job)(process_memory_usage_bytes) — bytes RSS; CPU renderer-детей не входит |
| Logs | timestamp, severity, resource service.name, event, trace_id, span_id | request.handled, job.processed; LogQL `{service_name="messenger-api"} |
| Traces | SERVER, PRODUCER, CONSUMER, CLIENT | Tempo по trace_id; DB/S3 операции, duration/status, связь parent; ссылки из Grafana provisioning |
HTTP histogram (секунды): 0.005, 0.01, 0.025, 0.05, 0.075, 0.1, 0.25, 0.5, 0.75, 1, 2.5, 5, 7.5, 10, +Inf. Job/time-to-ready: 0.05, 0.1, 0.25, 0.5, 1, 2, 5, 10, 30, 60, +Inf. Они различают быстрый HTTP, таймауты зависимостей и 30-секундный SLO job. Квантили агрегируются по buckets всех реплик; среднее арифметическое p99 реплик не используется. CPU/RAM трека дополнительно измерены извне по cgroups, независимо от состояния SDK.
Эксперименты и отказы
SLI/SLO и диагностика
API availability: 1 − 5xx/все бизнес-HTTP за 1 h, цель ≥99%, health исключён. Это SLI приложения: ответы самого HAProxy не входят. Job SLI: доля завершённых jobs с time-to-ready ≤30 s за 1 h, цель ≥95%; незавершённые отдельно контролируются возрастом backlog. Эти цели заданы и измеримы, но короткие опыты не доказывают месячный production SLO.
MessengerHighErrorRate: доля 5xx >5% за 1 min, for: 15s. MessengerQueueLag: max age >15 s и depth >0, for: 15s. Проверка rules каждые 5 s; доставка наружу не требуется. Runbooks связывают alert с запросами и действиями.
| Воздействие и доказательство | Ожидание и наблюдение | Время / потери |
|---|---|---|
| Остановка worker; свежий лог | API принимает 8 jobs, backlog=8, oldest=34,470 s; после возврата depth=0, alert resolved | UTC 06.11: stop 23:47:05, firing 23:47:49 (44 s), restore 23:47:52, resolved 23:48:04 (12 s после возврата). Все 8 jobs обработаны |
| Ограниченная SQL-блокировка users; свежий лог | 168 контролируемых 503; error ratio=0,9181, pool waiting=0; SELECT client ERROR длится 2002,866 ms | UTC 06.11: lock 23:48:16, firing/снятие lock 23:48:59 (43 s), resolved 23:49:54 (55 s). Блокировка сама данные не меняет; полноценный RPO здесь не измерялся |
| S3 временно недоступен; retry | Одна цепочка из 86 spans показывает retry_scheduled → done, затем DB commit | Сценарий 23:46:51–23:47:04 UTC (≈13 s); принятое вложение ready, отдельное время unavailable не выделено |
| PostgreSQL недоступен worker; JSON | 12 requeue, delivery-limit=-1; job_id и attempt=1 сохранены, DLQ 0→0, после восстановления done без replay | Targeted case 20,39 s; это время кейса, не точный RTO. Потери принятого задания не обнаружены |
| Остановка одной API-реплики; failover | 130 writes, 0 failed attempts, подтверждённые данные и сессия сохранились | Первый успешный запрос после воздействия через 2,876 s; restore завершился за 3,660 s |
| Рестарт приложений и business stores; persistence | Сессия и подтверждённые данные сохранены; volumes не удаляются | 14,386 s на весь сценарий; отдельный RTO не измерен |
| Остановка Prometheus/Loki/Tempo; исторический storage, неизменные механизмы | Smoke PASS, 74 успешных probes; queue logs/metrics/traces=381/1287/465, после recovery 0/0/0; Collector без наблюдаемого OOM | UTC 06.11: 18:14:29–18:16:16 (107 s), проверка закончилась 18:16:39. 72/74 traces найдены, 2 потеряны; RAM 252,7/256 MiB (98,7%) |
| Остановка Collector / рестарт telemetry stores; исторический recovery | Ready=200, smoke PASS, ранее сохранённая история доступна | API shutdown 4,592 s, exit 0; 7/7 прежних spans и лог найдены после рестарта |
Первый инцидент диагностируется по растущим depth/age при отсутствии обработки: после возврата worker backlog исчезает, значит узкое место — consumer. Во втором 503 server span содержит PostgreSQL client ERROR около 2 s, при этом pool waiting=0: причина в выполнении SQL, а не в очереди пула или просто медленном HTTP handler. Снятие lock и последующий resolved подтверждают гипотезу. Это разбор сохранённых наблюдений контролируемых отказов; слепой runbook-прогон другого оператора (трек 2) не заявлен.
При отказе telemetry storage retry ограничен 60 s. В сохранённых counters есть 440 failed span exports, 11 log records и 72 metric points; эти единицы не равны числу потерянных запросов/полных трасс. Непосредственный контроль trace IDs показал 2 потерянные трассы из 74 успешных запросов. Рост памяти ограничен наблюдаемым окном и лимитом контейнера; запаса Collector почти нет, бесконечная устойчивость не доказана.
Трек 1: цена наблюдаемости
Гипотеза: head sampling снижает ingest, но теряет важные события; tail sampling оставляет ERROR/slow и уменьшает запись в Tempo, сохраняя расходы SDK. Сбалансированный режим должен сохранить контрольные события при меньшей записи обычных traces и более редком экспорте метрик.
Измеряемый SHA: bc1d7aa7713858acb5d65b61d07e69a640f1ee97, image ID sha256:66c7d75903f514e14fea21689d039eeba1d9d85a0d27ef3d70d4ab41288e2f6d. Серии выполнены 06–07.11.2026 UTC. Нагрузка — GET /api/v1/users/me по одному созданному для серии пользователю/сессии; это HTTP/DB-профиль, не массовый рендер изображений. Существующие volumes между режимами сохраняются, полный размер БД не нормировался. Условия, host load и список контейнеров сохранены в conditions-start.json, снимках каждого круга и raw JSON. В снимках других Docker projects нет; эксклюзивность всего host не заявляется.
| Режим | SDK / выбор traces | Метрики |
|---|---|---|
| off | SDK полностью выключен | Нет метрик приложения; self-scrapes storage продолжаются |
| on | Все server roots и их дочерние spans | Каждые 10 s |
| head | ParentBased root ratio 10% | Каждые 10 s |
| tail | Все spans до Collector; сохранить ERROR, latency ≥300 ms, 10% остальных | Каждые 10 s |
| balanced | Все spans до Collector; ERROR, latency ≥300 ms, 5% остальных | Каждые 30 s |
По три повтора каждого режима, последовательно off/on/head/tail/balanced. 20 прогревочных GET и 35 s ожидания экспорта; затем 40 s open-loop, 20 arrivals/s, 800 запросов, максимум 64 клиентских потока. В каждой серии 768 обычных, 16 ожидаемых 503 и 16 задержек 350 ms; после — 35 s drain. Всего 12 000 запросов, 11 760 ожидаемых 200 и 240 намеренных 503, 0 неожиданных ответов. Фактическая скорость 20,012–20,020 req/s; максимум schedule lag 61,055 ms. Это заданная нагрузка, не поиск предельного throughput.
Команда серии и разбор всех параметров — method.md. CPU: delta cgroup CPU time / длительность внешних samples; RAM: working set usage−inactive_file, 21 sample с периодом около 2 s. Application = API/relay/worker; observability = Collector/Prometheus/Loki/Tempo/Grafana; business stores/LB считаются отдельно. CPU-окно охватывает нагрузку, но не всю работу tail во время drain. Ingest включает drain; bytes Tempo/Loki и samples Prometheus не складываются в одну единицу.
Медианы трёх повторов; диапазон normal p95 — min/max, не доверительный интервал. Общие p50/p95/p99 посчитаны клиентом по всем категориям, поэтому p99 отражает вброшенную задержку.
| Режим | p50 / p95 / p99, ms | normal p95, ms [min;max] | CPU app / obs / stores+LB, cores | RAM app / obs / stores+LB, MiB (median peak) |
|---|---|---|---|---|
| off | 8,052 / 12,102 / 358,732 | 11,583 [11,572;11,856] | 0,1404 / 0,0256 / 0,1085 | 655,5 / 1013,3 / 419,9 |
| on | 7,460 / 13,148 / 359,469 | 12,709 [12,554;12,993] | 0,1726 / 0,0287 / 0,1030 | 706,8 / 1058,5 / 425,5 |
| head | 9,195 / 13,116 / 358,373 | 12,556 [12,354;12,652] | 0,1657 / 0,0261 / 0,1023 | 723,8 / 1076,1 / 347,1 |
| tail | 8,942 / 13,281 / 359,109 | 12,781 [12,555;12,920] | 0,1717 / 0,0272 / 0,1026 | 721,0 / 1021,2 / 430,6 |
| balanced | 8,269 / 13,230 / 359,753 | 12,895 [12,833;13,031] | 0,1749 / 0,0258 / 0,1030 | 707,1 / 1027,9 / 423,1 |
Фактические лимиты: API 2×(1 CPU/512 MiB), relay 0,5 CPU/192 MiB, worker 2 CPU/1 GiB; Collector 0,5/256 MiB, Prometheus 0,5/512 MiB, Loki/Tempo/Grafana каждый 0,5/384 MiB; PostgreSQL 2/768 MiB, S3 1/512 MiB, RabbitMQ 1/512 MiB, Valkey 0,5/128 MiB, LB 1/128 MiB. PG_MEMORY в измерении 768m, в .env.example — 1g: для повторения именно этих условий задайте PG_MEMORY=768m до make up. Остальные значения сверяйте с runtime.json.
| Режим | Tempo / Loki, KiB (median) | Prom samples (median) | SDK ended / sent spans (median) | Найдено normal /2304 | error /48 | slow /48 |
|---|---|---|---|---|---|---|
| off | 0,0 / 0,0 | 33118 | 0 / 0 | 0 | 0 | 0 |
| on | 1662,2 / 288,3 | 36284 | 5489 / 5489 | 2304 | 48 | 48 |
| head | 176,2 / 288,4 | 37234 | 543 / 543 | 237 | 6 | 3 |
| tail | 251,8 / 289,7 | 36657 | 5492 / 699 | 235 | 48 | 48 |
| balanced | 130,2 / 289,8 | 34459 | 5486 / 352 | 101 | 48 | 48 |
Во всех пригодных сериях SDK ended = Collector accepted, exporter failures=0. Head намеренно не создал 42/48 error и 45/48 slow server traces; число несозданных дочерних spans неизвестно и не выдумывается. Tail/balanced фильтруют уже созданные spans; accepted−sent здесь не означает неисправность доставки. Off означает отключение SDK. В режиме on найдены все 2400 server traces трёх повторов.
Balanced снизил медианный Tempo ingest на 92,2% относительно on, сохранив 48/48 error и 48/48 slow. Loki почти не изменился; Prometheus включает постоянный фон self-scrapes. Normal p95 у on выше off примерно на 1,127 ms (+9,7%), CPU приложения — 0,1726 против 0,1404 cores; это описательные разности данного опыта, не доказательство статистической значимости. Balanced не устраняет цену SDK и не показал ускорения HTTP. Проверенная рекомендация относится к сокращению записи traces при этом профиле и окне решения tail 10 s.
Сырые серии и comparison.json, сводка, аудит пригодности. Первоначальные on-3/head-3 (ещё 1600 запросов) исключены из сравнения из-за разрывов wall clock: 932,714 s после нагрузки и 938,154 s вместо 40 s, gap samples до 900,354 s. Их HTTP PASS не означает пригодность CPU/ingest. Оригиналы с hashes сохранены в invalid-series.json и invalid-time-gap; повторены только эти две серии. Причина разрыва времени достоверно не установлена.
Проверенный запуск balanced:
OTEL_COLLECTOR_CONFIG=collector-balanced.yaml OTEL_METRIC_EXPORT_INTERVAL=30000 scripts/lab6.sh docker compose up -d --no-deps --wait otel-collector api relay worker
После опытов возвращены SDK on/ratio1/interval10s, collector.yaml, COST_EXPERIMENT=false: defaults-restored.json. Стенд остановлен без удаления данных, 9 volumes сохранены: shutdown.txt, closure.json. Это зафиксированное состояние окончания реализации, не новое обращение отчётного этапа к Docker.
Финальная validation перед публикацией
На входном HEAD 1e00d861a803a6d49ef443175b8231cbf048fc02 аудит подтвердил применимость всех 15 серий: runtime и измеритель совпадают с прошедшим ревью кодом. Все raw JSON и comparison пересчитаны, временные окна и hashes исключённых оригиналов проверены. Нагрузку повторно не запускали. Аудит содержит решение по каждой серии, конфигурации, dataset, фону и ограничениям.
Свежие make check validate lint и OpenSpec strict (26 specs) прошли. Свежий полный make student-test завершился с 993 passed, 2 skipped, 19 deselected и 2 ошибками подготовки RustFS. В окружении был системный прокси macOS без обхода localhost; только два затронутых теста повторены штатной обвязкой с NO_PROXY: 2 passed. Полный первый запуск не объявляется PASS; оба лога сохранены. Код и прежние сырые измерения не менялись; публикация в фазе validation не выполнялась.
Ограничения и следующие шаги
Ревью 6ca1c7549978af3127966540385195ab0587f2e1 не выявило major. Пять minor сохранены; по правилу пользователя они не блокируют отчёт/release и в документационном этапе не исправляются:
| ID | Ограничение и последствие | Файлы / доказательства |
|---|---|---|
| M1 | Loki leak-check ищет маркеры через line filter, но не во всех attributes/structured metadata. Нулевые hits — ограниченная проверка, не полный аудит отсутствия секретов. Фактическая утечка не обнаружена | obs_check.py, telemetry.py, leaks |
| M2 | Унаследованные allowlists make limits и published-port audit CI не учитывают OTel/helper services и отклоняют штатную ЛР6. Весь CI не объявляется зелёным; лимиты проверены отдельно |
limits.py, workflow, runtime |
| M3 | API SLI не учитывает 503 HAProxy, rate новой серии может пропустить первый всплеск. Полная пауза БД не вызвала alert; успешен именно отдельный SQL-lock сценарий | alerts, неуспешный старый опыт, свежий SQL-lock |
| M4 | Collector достиг 98,7% лимита (252,7/256 MiB) без наблюдаемого OOM. Запас мал; опыт не доказывает устойчивость при любой нагрузке/длительности отказа | collector.yaml, compose, storage |
| M5 | Whitespace в SVG и сыром stdout: ревью получило git show --check exit 2, 2320 замечаний. Это косметика артефактов; make lint исходников проходит |
comparison.svg, whitespace-check.txt |
Полный текст и происхождение замечаний — review-summary.md. Улучшения охвата leak-check, CI allowlists, edge SLI и запаса памяти остаются будущей работой; результат их реализации не заявлен.
Дополнительные границы: один host, одиночные PostgreSQL/RabbitMQ/S3/Collector и локальные volumes, без HA этих компонентов и disaster recovery. Сбой узла и удаление volumes не покрыты. TLS/mTLS, внешние receivers alerts и multi-window burn-rate относятся к другим задачам. Три повтора, фиксированный порядок, общий host и накопленная история storage ограничивают выводы о CPU/RAM/latency; CPU во время drain и непрерывный пик RAM не измерены. Tail window 10 s не гарантирует полноту очень поздних retry. Queue gauge — durable backlog; time-to-ready SLI не включает pending; process CPU не включает renderer. Full suite имеет 2 macOS skip и 19 deselected stack, поэтому дополнен targeted Docker evidence, но не выдаётся за исполнение всех тестов.
Старые grade3, grade4, track5, level3.json привязаны к своим SHA в индексе; прежние 519 passed и −91,1% Tempo не являются результатом позднего кода. Неуспешные/прерванные smoke, retry, persistence, тесты и измерения сохранены и размечены в исторических notes. Новый clean-clone и динамический прогон в отчётном этапе не выполнялись. Сырые evidence, OpenSpec и реализация не менялись. Конфигурация OpenSpec уже актуальна; новая proposal/apply/archive для документационного этапа не создавалась по его явному ограничению на изменения.
Вопросы защиты
- Чем отличаются три сигнала? Метрика показывает рост error rate/backlog, лог даёт событие и технический ID, trace показывает длительность зависимостей и причинную цепочку.
- Почему нельзя chat_id в labels? Число series растёт с чатами и комбинациями labels; память/индекс хранилища расходуются даже при малом RPS. Нужен route template; ID оставляют для выборочного поиска логов/traces.
- Как связаны API и worker? W3C carrier сохраняется вместе с durable job/outbox, затем идёт в AMQP headers; consumer извлекает parent, retry сохраняет связь. Сбой relay не стирает контекст из БД.
- Почему ack после COMMIT? Ранний ack может потерять работу при падении до commit; поздний допускает повтор, который нейтрализуют effect key и fencing.
- Почему SQLAlchemy и Alembic? ORM/Core задают единые транзакции/блокировки и пул, Alembic — упорядоченный head с lock/legacy adoption. OTel asyncpg инструментация наблюдает драйвер под SQLAlchemy, не заменяя его.
- Почему среднее не заменяет p99? Редкая задержка скрывается средним; p99 реплик нельзя усреднять. Сначала складываются bucket rates, затем вычисляется quantile.
- Как отличили DB от медленного handler? В сохранённом trace SELECT client ERROR около 2 s внутри server 503, pool waiting=0; снятие SQL lock убрало причину и затем alert.
- Почему head потерял ошибки, а balanced сохранил? Head решает до исхода, tail — после получения ERROR/duration. Цена tail — создание всех spans и ограниченное ожидание в памяти Collector.
- Почему наблюдаемость может теряться без потери сообщения? Её очереди и retry конечны и отделены от бизнес-коммита; 2/74 traces потеряны при продолжающем работать API.
- Что доказано треком? Сокращение записи в Tempo на 92,2% с сохранением контрольных событий при 20 req/s. Production capacity, статистическое ускорение и полнота всех поздних retry не доказаны.
Источники и помощь
Нормы: README, контракт наблюдаемости, API, COURSE. Архитектура портов/UoW — конспект Персиваля—Грегори. Код и проверенные конфигурации версионируются в этом репозитории.
SQLAlchemy async sessions/engine и Alembic async run_sync сверены с SQLAlchemy 2.0 и Alembic cookbook. Context7 в этом этапе ответил Monthly quota exceeded, поэтому использована официальная документация; закреплённые версии проекта не обновлялись. Остальные первичные материалы OTel, W3C, Prometheus и Grafana перечислены в README; фактические имена/настройки сверены с локальным кодом и evidence.
Codex использован как инструмент подготовки реализации, проверок, анализа и отчёта; автор работы — Костылев Артём. Независимое ревью получено отдельным этапом runner. Динамические результаты в этом документе — сохранённые измерения исполнителей, а не повторные прогоны агента отчёта.
