Files

53 KiB
Raw Permalink Blame History

Отчёт — лабораторная 6

Автор: Костылев Артём, БПИ2303. Заявленная оценка — «5», трек 1 «Цена наблюдаемости»: уровни 3 и 4 подтверждены таблицей ниже, пять режимов наблюдаемости — 15 пригодными сериями. Это заявка по рубрике, а не автоматически выставленная оценка.

Ветка: solution/bpi2303-kostylev. Проверенный ревью SHA: 6ca1c7549978af3127966540385195ab0587f2e1; измеряемый код приложения, инфраструктуры и генератора: bc1d7aa7713858acb5d65b61d07e69a640f1ee97. Между ними эти файлы не менялись. Документационный коммит определяется через git log -1 --format=%H -- REPORT.md; публикация выполняется отдельным этапом, здесь не заявлены.

Актуальные результаты: индекс evidence, перенос поздних исправлений, сводка ревью, проверки отчёта, финальный аудит нагрузки. Основа ЛР5 — f88e9ba43cdfd7eb6a5a7ae5feb4247b4e820071, поздний перенос доведён до immutable source c7b8feb805d151e878d77b0dff47320a9436b172; учтены 281 путь source diff. Результаты ЛР5 не выдаются за проверки ЛР6.

Запуск из чистого clone

Нужны Git, Docker с Compose v2, uv, Python 3.14 для приложения и Python 3.9+ для stdlib-проверок. OpenSpec CLI нужен только для валидации спецификаций. Проверенный host: macOS arm64, 16 CPU; Docker 28.3.2, 16 vCPU и 8 217 190 400 bytes RAM. Версии зависимостей закреплены в uv.lock, образы — тегом и digest в Dockerfile и compose.yaml.

REPOSITORY_URL оператор задаёт адресом своего private fork в MTUCI-Labs. Команды ниже — инструкция воспроизведения; на этапе отчёта Docker и нагрузки не запускались.

git clone "$REPOSITORY_URL" mtusi2026lab6
cd mtusi2026lab6
git switch -c solution/bpi2303-kostylev origin/main
uv python install 3.14
uv sync --locked --group dev
make check validate lint
openspec validate --all --strict --no-interactive
scripts/lab6.sh make secrets
scripts/lab6.sh docker compose config --quiet
scripts/lab6.sh make up
scripts/lab6.sh make ps
curl --fail http://127.0.0.1:18086/health/ready
scripts/lab6.sh make obs-validate
scripts/lab6.sh make test
scripts/lab6.sh make telemetry-check
scripts/lab6.sh make test-persistence ACTION_SCRIPT=scripts/restart.sh
scripts/lab6.sh make test-failover ACTION_SCRIPT=scripts/stop-one.sh
scripts/lab6.sh make restore
scripts/lab6.sh make down

make secrets создаёт локальные .env и secrets/, не печатая значения; существующие значения сохраняются. make up собирает образ и ждёт healthy: PostgreSQL → one-shot alembic upgrade head, S3 → s3-init (bucket, политики и отдельные роли), RabbitMQ → API ×2 / relay / worker → LB; параллельно поднимаются Collector и хранилища. Ручной SQL, ручное создание datasource/dashboard и внешний S3 не требуются. Повторный запуск миграций: scripts/lab6.sh make migrate.

Полные собственные тесты запускаются отдельно: scripts/lab6.sh make student-test. Обвязка задаёт обход localhost через NO_PROXY, в том числе при системном прокси macOS. Тесты создают одноразовые Docker-зависимости и не должны идти одновременно с измерениями трека. В отчётном этапе использован сохранённый результат; свежий запуск фазы validation описан в финальном аудите. Данные публичного API синтетические. Для повторных экспериментов сохраняйте вывод в новый каталог, не перезаписывая принятые evidence.

make down останавливает только выбранный Compose project и сохраняет volumes. Существующая цель scripts/lab6.sh make reset-data намеренно удаляет его учебные volumes; она не входит в обычный запуск и в отчётном этапе не выполнялась. Не останавливайте чужие контейнеры. Основной project — mtusi2026lab6 в этом репозитории; временный — только hlpipe-lab6-* в разрешённом координатором каталоге, с отдельными портами/volumes.

Порты и настройки

Все опубликованные порты привязаны к 127.0.0.1; API-реплики, PostgreSQL, Valkey, S3, AMQP, OTLP и self-metrics Collector доступны только внутри стенда. scripts/lab6.sh задаёт project, порты, URL проверок и NO_PROXY, затем выполняет переданную команду. Перед запуском оператор проверяет доступность портов и отсутствие конфликтующих переменных своего shell.

Назначение Переменная Host port
API через HAProxy LB_HTTP_PORT 18086
HAProxy stats LB_STATS_PORT 26085
RabbitMQ management BROKER_MANAGEMENT_PORT 26086
Prometheus PROMETHEUS_PORT 26090
Loki LOKI_PORT 26310
Tempo query TEMPO_PORT 26320
Grafana GRAFANA_PORT 26300

Grafana: пользователь admin, пароль из локального secrets/grafana_admin_password; его значение не входит в отчёт. Provisioning создаёт datasources prometheus, loki, tempo и dashboards API/pipeline, переходы exemplar → trace и trace ↔ logs.

Настройки из .env.example Фактическое применение
APP_HOST, APP_PORT, APP_ENV Логические поля skeleton; Compose не передаёт их приложению. Образ слушает HOST=0.0.0.0, PORT=8080; окружение OTel задаёт deployment.environment.name=lab
SESSION_STORE=postgres, CACHE_URL_FILE, SESSION_TTL_SECONDS PostgreSQL — источник сессий; Valkey — адаптер кэша. Переключателя backend через SESSION_STORE нет; TTL по умолчанию 3600 s
DATABASE_URL_FILE, CURSOR_SECRET_FILE, S3 *_FILE Compose монтирует роли в /run/secrets; SQLAlchemy переводит DSN в postgresql+asyncpg
BROKER_URL_FILE В relay и worker одинаковый путь /run/secrets/broker_url, но разные secrets broker_url_api / broker_url_worker и права
API_REPLICAS, WEB_CONCURRENCY, DB_POOL_MAX_SIZE 2 реплики ×2 процесса, пул по 8 соединений на процесс; relay/worker по PIPELINE_DB_POOL_MAX_SIZE=4
MAX_UPLOAD_BYTES, MAX_IMAGE_PIXELS, WORKER_CONCURRENCY 10 MiB, 40 MP, 2 задания; render timeout 30 s, лимит адресного пространства renderer 448 MiB
OTEL_*, TELEMETRY_SHUTDOWN_SECONDS OTLP/HTTP, timeout 2 s, метрики каждые 10 s, очереди SDK по 2048, bounded shutdown 2 s; SDK off через OTEL_SDK_DISABLED=true
OTEL_TRACE_RATIO, OTEL_COLLECTOR_CONFIG, COST_EXPERIMENT Дополнительные Compose-параметры: по умолчанию 1, collector.yaml, false. Генератор включает fault hook лишь на серию и восстанавливает default в finally

Архитектура и решения

flowchart LR
    Client[Клиент] --> LB[HAProxy]
    LB --> API[API ×2]
    API --> PG[(PostgreSQL)]
    API --> Cache[(Valkey)]
    API --> S3[(RustFS / S3)]
    PG --> Relay[Outbox relay]
    Relay --> Broker[(RabbitMQ)]
    Broker --> Worker[FastStream worker]
    Worker --> PG
    Worker --> S3
    API -. OTLP .-> Collector[OTel Collector]
    Relay -. OTLP .-> Collector
    Worker -. OTLP .-> Collector
    Collector --> Prom[(Prometheus)]
    Collector --> Loki[(Loki)]
    Collector --> Tempo[(Tempo)]
    Grafana[Grafana] --> Prom
    Grafana --> Loki
    Grafana --> Tempo

Python 3.14; SQLAlchemy 2.0.45 async, Alembic 1.16.5, FastAPI, dishka, structlog, FastStream 0.7.8 + aio-pika 10.2.1; OTel SDK 1.45.1 и инструментации 0.66b1. Инфраструктура: HAProxy 3.2.26, PostgreSQL 17.11, Valkey 8.1.11, RustFS 1.0.4, RabbitMQ 4.1.8, otelcol-contrib 0.163.2, Prometheus 3.15.1, Loki 3.7.9, Tempo 2.10.10, Grafana 12.4.14. Фактические image IDs, non-root users и лимиты: runtime.json.

Зоны identity, messaging, attachments разделены на domain/application/infrastructure/entrypoints; домен зависит от портов. shared содержит только платформу. main.py, relay.py, worker.py собирают процессы. PostgreSQL хранит пользователей, сессии, сообщения, состояния вложений, jobs и outbox; RustFS — байты, RabbitMQ — доставку, Valkey — ускорение чтения. Prometheus хранит численные временные ряды, Loki — структурные логи, Tempo — spans. Collector принимает/фильтрует/буферизует сигналы, Grafana запрашивает их и связывает; ни один из них не источник бизнес-данных.

Все runtime-запросы PostgreSQL проходят через SQLAlchemy ORM/Core: DeclarativeBase, create_async_engine, async_sessionmaker, отдельная AsyncSession на UoW. asyncpg остаётся драйвером и точкой инструментации. Миграции — alembic/env.py и alembic/versions: async engine, run_sync, advisory lock, legacy adoption, транзакция на ревизию, head 0007 для trace context. Старого исполняемого SQL-мигратора в инструкции запуска нет.

Upload возвращает 202 queued после durable acceptance; задание и outbox фиксируются атомарно. Relay публикует persistent сообщение с confirms через FastStream/aio-pika, затем отмечает outbox. Неустранимое окно между publish и отметкой допускает повторную доставку. Worker использует manual ack после COMMIT; lease/fencing и ключ эффекта (attachment_id, pipeline_version, variant) не допускают повторной публикации результата. До ready /content отвечает 409. Retry/backoff, DLQ, реестр failed и replay сохранены. Цена outbox — дополнительный poll/таблица и eventual consistency; брокер не даёт exactly-once.

ЛР6 добавила SDK после fork (без preload приложения в gunicorn), OTLP, корреляцию, resource attributes и наблюдение фоновых задач. traceparent/tracestate сохраняются отдельно от payload в jobs/outbox и передаются в headers; producer/consumer spans создаёт RabbitTelemetryMiddleware. S3 spans показывают операцию без ключей, SQL client spans — работу БД. Retry сохраняет причинную связь, что видно в одной цепочке из 86 spans.

Экспорт выполняют BatchSpanProcessor, BatchLogRecordProcessor, PeriodicExportingMetricReader; network timeout короткий, readiness не проверяет наблюдаемость. Collector: memory limiter 75% / spike 20%, batch 1024/2048 с timeout 2 s, очереди 20 000 spans, 20 000 logs, 50 000 metric points, 2 consumers, retry до 60 s. Буферы конечны и не долговременны: при длительном отказе telemetry теряется, бизнес-запросы продолжаются. Logger ограничивает поля, HTTP headers не захватываются, Collector редактирует подозрительные ключи/значения. Границы проверки утечек явно указаны ниже.

Доказательства критериев

Команды в таблице выполняются с префиксом scripts/lab6.sh, если работают со стендом. Полные команды, UTC, SHA и exit code сохранены в указанных логах. Актуальный набор — forward-published; исторические исключения помечены явно и применяются только к неизменным механизмам согласно preserved-mechanisms.json.

Критерий Команда / сценарий Наблюдение Файл
Структура, контракт, качество make check validate lint OpenAPI 1.6.0 / JSON Schema, ruff, 216 форматированных файлов, ty — PASS final-quality.txt, свежая проверка отчёта
Собственные регрессии, SQLAlchemy/Alembic scripts/lab6.sh make student-test Сохранённый полный: 995 passed, 2 Linux-only skipped, 19 stack deselected. Свежий validation: 993 passed, 2 ошибки подготовки S3; адресный повтор с NO_PROXY — 2 passed прежний полный, свежий полный, повтор S3, разбор
3: минимум lab5 при telemetry on make test Public API PASS; final smoke после возврата defaults smoke.txt, final-smoke.txt
3: durable pipeline и повторы python3 scripts/pipeline_suite.py --level 4 --only smoke_pipeline,worker_down_broker_restart,duplicate_after_ready,poison_image,s3_outage_recovers,retry_exhausted,crash_after_s3_before_commit,crash_after_commit_before_ack,malformed_message_dead_lettered --output evidence/reproduction-pipeline.json 9 сценариев; 7 принятых заданий достигают ожидаемых состояний, single effect и другие инварианты PASS pipeline.txt, pipeline.json
3: сохранение данных и сессий make test-persistence ACTION_SCRIPT=scripts/restart.sh Подтверждённые данные и прежняя сессия сохранены, 14,386 s на сценарий persistence.txt, hook
3: отказ реплики и возврат make test-failover ACTION_SCRIPT=scripts/stop-one.sh; make restore 2 исходные реплики, 130 успешных записей, 0 failed attempts; первый успех через 2,876 s, api-2 возвращена healthy failover.txt, restore.txt
3: воспроизводимый общий стенд make up; make obs-validate Сервисы готовы, Collector/Prometheus/Loki/Tempo и JSON dashboards валидны up.txt, obs-config.txt, runtime.json
3: история наблюдаемости в volumes python3 scripts/obs_recovery.py Исторический прогон: 7 spans до/после, 1 лог, значение метрики 352 сохранено при рестарте storage telemetry-recovery.txt, основание применимости
3: API → лог → trace, реальные server/client spans python3 scripts/obs_check.py request --base-url http://127.0.0.1:18086 request.handled, trace/span IDs; 7 spans, включая HTTP server и DB client telemetry-request.txt
3: worker → лог → trace, consumer spans python3 scripts/obs_check.py job --base-url http://127.0.0.1:18086 Attachment ready, 52 spans, job.processed / audit.job_settled с одним trace_id telemetry-job.txt
3: RED API, jobs outcome/duration, provisioning python3 scripts/obs_check.py dashboards --strict 32 targets, problems=[], реальные series; два dashboard JSON в Git dashboards.txt, dashboards
3: низкая кардинальность / resource attributes python3 scripts/obs_check.py query 'count by (__name__, job) ({job=~"messenger-.*"})' Шаблон маршрута, method/status, job_type/outcome, service/instance; IDs не используются как labels исторические series неизменных инструментов, свежие dashboard queries
3: отсутствие запрещённых данных python3 scripts/obs_check.py leaks --base-url http://127.0.0.1:18086 0 совпадений password/token/text/filename в проверенных log lines и 8 traces за 20 s; metadata Loki этим тестом не покрыта telemetry-leaks.txt, minor M1
4: W3C API → outbox → broker → worker → S3/DB python3 scripts/obs_incidents.py chain 55 spans, producer/consumer, итог done incident-chain.txt
4: та же цепочка с retry python3 scripts/obs_incidents.py retry 86 spans; retry_scheduled → done, один trace incident-retry.txt
4: p50/p95/p99, error ratio, backlog, pool, saturation, CPU/RAM, time-to-ready python3 scripts/obs_check.py dashboards --strict Все используемые запросы разрешаются; имена/единицы и ограничения приведены ниже dashboards.txt, recording rules
4: SLI/SLO, error rate alert python3 scripts/obs_incidents.py database SQL client ERROR 2002,866 ms, error ratio 0,9181, firing → resolved incident-database.txt, alert rules
4: queue lag alert и восстановление python3 scripts/obs_incidents.py worker 8 jobs, age 34,470 s, firing → resolved, depth 8 → 0 incident-worker.txt
4: ограниченные очереди, отказ telemetry storage python3 scripts/obs_incidents.py storage Исторический неизменный механизм: smoke PASS, 74 успешных probes, потеря 2 traces, RAM ≤252,7/256 MiB, очереди после recovery =0 storage-incident.txt, основание применимости
4: readiness и shutdown при отказе Collector python3 scripts/obs_recovery.py Исторический прогон: ready=200, smoke PASS, shutdown API 4,592 s, exit 0 telemetry-recovery.txt
Поздние исправления сессий/HTTP .venv/bin/python student-tests/tools/forward_network.py; stack pytest из логов Негативный Basic/NUL, logout обеих реплик, идемпотентность; Valkey bypass и logout503→204 network.txt, cache-outage.txt
Поздние исправления доставки/изображений env PYTHONPATH=.:scripts:student-tests .venv/bin/python student-tests/tools/forward_runtime.py postgres-outage (также png-http, png-boundary) 12 requeue без роста DLQ, тот же job/attempt; PNG 40 MP, две версии, конкурентный peak 913 227 776 <1 073 741 824 bytes, OOM=0 postgres-outage.json, png-http.json, png-boundary.json
5: off/on/head/tail/balanced, цена и сохранность python3 scripts/obs_cost.py --mode MODE --repeat N --duration 40 --rate 20 --output evidence/reproduction/MODE-N.json 15 пригодных серий, 12 000 запросов; balanced −92,2% Tempo ingest, 48/48 error и 48/48 slow методика, comparison.json, результаты
OpenSpec propose/apply/archive openspec list --json; openspec validate --all --strict --no-interactive 0 active changes, 26 specs PASS; циклы 3/4/5 и поздний перенос архивированы архивы, spec-sync.json, проверка отчёта

restart.sh останавливает lb api relay worker, перезапускает postgres valkey s3 broker, затем ждёт Compose healthy с прежними volumes. Публичный тест подавляет stdout hook: 14,386 s — время всего сценария, а не измеренная длительность недоступности каждого процесса; отдельного timestamp-аудита всех перезапусков в этом логе нет. restore.txt непосредственно подтверждает запуск остановленной api-2. История telemetry проверена отдельным obs_recovery.py. Старый запуск из чистого clone на 2903d9d — clean-clone.txt; он не является свежим clean-clone прогоном позднего кода.

Сигналы и запросы

Resource: service.name=messenger-api|messenger-relay|messenger-worker, service.version=1.6.0, уникальный service.instance.id=<hostname>-<pid>, deployment.environment.name=lab. В Prometheus ресурс виден через job, instance и target_info; в Loki — нормализованные поля, включая service_name. Технические request/job IDs допустимы в логах/spans для корреляции синтетических данных, но не в labels метрик.

Логический сигнал контракта Реальное имя / поля Единицы и измерения / запрос
HTTP requests http_server_request_duration_seconds_count counter наблюдений histogram; http_request_method, http_route, http_response_status_code; sum(messenger:http_requests:rate2m) — RPS; recording rule формирует status_class
HTTP duration http_server_request_duration_seconds_bucket секунды; histogram_quantile(0.95, sum by (le) (rate(http_server_request_duration_seconds_bucket{job="messenger-api",http_route!~"/health/.*"}[5m]))); для p50/p99 заменить 0.95
HTTP errors messenger:http_errors:ratio_rate2m 5xx / все бизнес-запросы, без health; 4xx остаются в знаменателе, не считаются отказами
Jobs processed / failed messenger_jobs_processed_total доставки, job_type, outcome; sum by(job_type,outcome)(rate(messenger_jobs_processed_total[5m])); outcome содержит done/retry_scheduled/failed и другие ветки
Job duration messenger_job_duration_seconds_bucket секунды обработки доставки, job_type, outcome; percentile из суммы bucket rates
Time to ready messenger_job_time_to_ready_seconds_bucket секунды от Job.created_at до done после commit, job_type; учитывает ожидание и retries
Queue depth / oldest age messenger_queue_depth, messenger_queue_oldest_age_seconds jobs / секунды, queue_name=attachments.process; SQLAlchemy poll 5 s, durable queued/processing включая leased/retry, не только AMQP messages_ready
DB pool messenger_db_pool_used, _waiting, _capacity занятые connections / acquisitions / лимит; waiting включает получение/создание соединения, не только очередь слотов
Worker saturation messenger_worker_busy, messenger_worker_capacity активные deliveries / доступная capacity; отношение сумм даёт долю занятости
Process CPU / RAM process_cpu_time_seconds_total, process_memory_usage_bytes sum by(job)(rate(process_cpu_time_seconds_total[2m])) — cores; sum by(job)(process_memory_usage_bytes) — bytes RSS; CPU renderer-детей не входит
Logs timestamp, severity, resource service.name, event, trace_id, span_id request.handled, job.processed; LogQL `{service_name="messenger-api"}
Traces SERVER, PRODUCER, CONSUMER, CLIENT Tempo по trace_id; DB/S3 операции, duration/status, связь parent; ссылки из Grafana provisioning

HTTP histogram (секунды): 0.005, 0.01, 0.025, 0.05, 0.075, 0.1, 0.25, 0.5, 0.75, 1, 2.5, 5, 7.5, 10, +Inf. Job/time-to-ready: 0.05, 0.1, 0.25, 0.5, 1, 2, 5, 10, 30, 60, +Inf. Они различают быстрый HTTP, таймауты зависимостей и 30-секундный SLO job. Квантили агрегируются по buckets всех реплик; среднее арифметическое p99 реплик не используется. CPU/RAM трека дополнительно измерены извне по cgroups, независимо от состояния SDK.

Эксперименты и отказы

SLI/SLO и диагностика

API availability: 1 − 5xx/все бизнес-HTTP за 1 h, цель ≥99%, health исключён. Это SLI приложения: ответы самого HAProxy не входят. Job SLI: доля завершённых jobs с time-to-ready ≤30 s за 1 h, цель ≥95%; незавершённые отдельно контролируются возрастом backlog. Эти цели заданы и измеримы, но короткие опыты не доказывают месячный production SLO.

MessengerHighErrorRate: доля 5xx >5% за 1 min, for: 15s. MessengerQueueLag: max age >15 s и depth >0, for: 15s. Проверка rules каждые 5 s; доставка наружу не требуется. Runbooks связывают alert с запросами и действиями.

Воздействие и доказательство Ожидание и наблюдение Время / потери
Остановка worker; свежий лог API принимает 8 jobs, backlog=8, oldest=34,470 s; после возврата depth=0, alert resolved UTC 06.11: stop 23:47:05, firing 23:47:49 (44 s), restore 23:47:52, resolved 23:48:04 (12 s после возврата). Все 8 jobs обработаны
Ограниченная SQL-блокировка users; свежий лог 168 контролируемых 503; error ratio=0,9181, pool waiting=0; SELECT client ERROR длится 2002,866 ms UTC 06.11: lock 23:48:16, firing/снятие lock 23:48:59 (43 s), resolved 23:49:54 (55 s). Блокировка сама данные не меняет; полноценный RPO здесь не измерялся
S3 временно недоступен; retry Одна цепочка из 86 spans показывает retry_scheduled → done, затем DB commit Сценарий 23:46:51–23:47:04 UTC (≈13 s); принятое вложение ready, отдельное время unavailable не выделено
PostgreSQL недоступен worker; JSON 12 requeue, delivery-limit=-1; job_id и attempt=1 сохранены, DLQ 0→0, после восстановления done без replay Targeted case 20,39 s; это время кейса, не точный RTO. Потери принятого задания не обнаружены
Остановка одной API-реплики; failover 130 writes, 0 failed attempts, подтверждённые данные и сессия сохранились Первый успешный запрос после воздействия через 2,876 s; restore завершился за 3,660 s
Рестарт приложений и business stores; persistence Сессия и подтверждённые данные сохранены; volumes не удаляются 14,386 s на весь сценарий; отдельный RTO не измерен
Остановка Prometheus/Loki/Tempo; исторический storage, неизменные механизмы Smoke PASS, 74 успешных probes; queue logs/metrics/traces=381/1287/465, после recovery 0/0/0; Collector без наблюдаемого OOM UTC 06.11: 18:14:29–18:16:16 (107 s), проверка закончилась 18:16:39. 72/74 traces найдены, 2 потеряны; RAM 252,7/256 MiB (98,7%)
Остановка Collector / рестарт telemetry stores; исторический recovery Ready=200, smoke PASS, ранее сохранённая история доступна API shutdown 4,592 s, exit 0; 7/7 прежних spans и лог найдены после рестарта

Первый инцидент диагностируется по растущим depth/age при отсутствии обработки: после возврата worker backlog исчезает, значит узкое место — consumer. Во втором 503 server span содержит PostgreSQL client ERROR около 2 s, при этом pool waiting=0: причина в выполнении SQL, а не в очереди пула или просто медленном HTTP handler. Снятие lock и последующий resolved подтверждают гипотезу. Это разбор сохранённых наблюдений контролируемых отказов; слепой runbook-прогон другого оператора (трек 2) не заявлен.

При отказе telemetry storage retry ограничен 60 s. В сохранённых counters есть 440 failed span exports, 11 log records и 72 metric points; эти единицы не равны числу потерянных запросов/полных трасс. Непосредственный контроль trace IDs показал 2 потерянные трассы из 74 успешных запросов. Рост памяти ограничен наблюдаемым окном и лимитом контейнера; запаса Collector почти нет, бесконечная устойчивость не доказана.

Трек 1: цена наблюдаемости

Гипотеза: head sampling снижает ingest, но теряет важные события; tail sampling оставляет ERROR/slow и уменьшает запись в Tempo, сохраняя расходы SDK. Сбалансированный режим должен сохранить контрольные события при меньшей записи обычных traces и более редком экспорте метрик.

Измеряемый SHA: bc1d7aa7713858acb5d65b61d07e69a640f1ee97, image ID sha256:66c7d75903f514e14fea21689d039eeba1d9d85a0d27ef3d70d4ab41288e2f6d. Серии выполнены 06–07.11.2026 UTC. Нагрузка — GET /api/v1/users/me по одному созданному для серии пользователю/сессии; это HTTP/DB-профиль, не массовый рендер изображений. Существующие volumes между режимами сохраняются, полный размер БД не нормировался. Условия, host load и список контейнеров сохранены в conditions-start.json, снимках каждого круга и raw JSON. В снимках других Docker projects нет; эксклюзивность всего host не заявляется.

Режим SDK / выбор traces Метрики
off SDK полностью выключен Нет метрик приложения; self-scrapes storage продолжаются
on Все server roots и их дочерние spans Каждые 10 s
head ParentBased root ratio 10% Каждые 10 s
tail Все spans до Collector; сохранить ERROR, latency ≥300 ms, 10% остальных Каждые 10 s
balanced Все spans до Collector; ERROR, latency ≥300 ms, 5% остальных Каждые 30 s

По три повтора каждого режима, последовательно off/on/head/tail/balanced. 20 прогревочных GET и 35 s ожидания экспорта; затем 40 s open-loop, 20 arrivals/s, 800 запросов, максимум 64 клиентских потока. В каждой серии 768 обычных, 16 ожидаемых 503 и 16 задержек 350 ms; после — 35 s drain. Всего 12 000 запросов, 11 760 ожидаемых 200 и 240 намеренных 503, 0 неожиданных ответов. Фактическая скорость 20,012–20,020 req/s; максимум schedule lag 61,055 ms. Это заданная нагрузка, не поиск предельного throughput.

Команда серии и разбор всех параметров — method.md. CPU: delta cgroup CPU time / длительность внешних samples; RAM: working set usage−inactive_file, 21 sample с периодом около 2 s. Application = API/relay/worker; observability = Collector/Prometheus/Loki/Tempo/Grafana; business stores/LB считаются отдельно. CPU-окно охватывает нагрузку, но не всю работу tail во время drain. Ingest включает drain; bytes Tempo/Loki и samples Prometheus не складываются в одну единицу.

Медианы трёх повторов; диапазон normal p95 — min/max, не доверительный интервал. Общие p50/p95/p99 посчитаны клиентом по всем категориям, поэтому p99 отражает вброшенную задержку.

Режим p50 / p95 / p99, ms normal p95, ms [min;max] CPU app / obs / stores+LB, cores RAM app / obs / stores+LB, MiB (median peak)
off 8,052 / 12,102 / 358,732 11,583 [11,572;11,856] 0,1404 / 0,0256 / 0,1085 655,5 / 1013,3 / 419,9
on 7,460 / 13,148 / 359,469 12,709 [12,554;12,993] 0,1726 / 0,0287 / 0,1030 706,8 / 1058,5 / 425,5
head 9,195 / 13,116 / 358,373 12,556 [12,354;12,652] 0,1657 / 0,0261 / 0,1023 723,8 / 1076,1 / 347,1
tail 8,942 / 13,281 / 359,109 12,781 [12,555;12,920] 0,1717 / 0,0272 / 0,1026 721,0 / 1021,2 / 430,6
balanced 8,269 / 13,230 / 359,753 12,895 [12,833;13,031] 0,1749 / 0,0258 / 0,1030 707,1 / 1027,9 / 423,1

Фактические лимиты: API 2×(1 CPU/512 MiB), relay 0,5 CPU/192 MiB, worker 2 CPU/1 GiB; Collector 0,5/256 MiB, Prometheus 0,5/512 MiB, Loki/Tempo/Grafana каждый 0,5/384 MiB; PostgreSQL 2/768 MiB, S3 1/512 MiB, RabbitMQ 1/512 MiB, Valkey 0,5/128 MiB, LB 1/128 MiB. PG_MEMORY в измерении 768m, в .env.example — 1g: для повторения именно этих условий задайте PG_MEMORY=768m до make up. Остальные значения сверяйте с runtime.json.

Режим Tempo / Loki, KiB (median) Prom samples (median) SDK ended / sent spans (median) Найдено normal /2304 error /48 slow /48
off 0,0 / 0,0 33118 0 / 0 0 0 0
on 1662,2 / 288,3 36284 5489 / 5489 2304 48 48
head 176,2 / 288,4 37234 543 / 543 237 6 3
tail 251,8 / 289,7 36657 5492 / 699 235 48 48
balanced 130,2 / 289,8 34459 5486 / 352 101 48 48

Во всех пригодных сериях SDK ended = Collector accepted, exporter failures=0. Head намеренно не создал 42/48 error и 45/48 slow server traces; число несозданных дочерних spans неизвестно и не выдумывается. Tail/balanced фильтруют уже созданные spans; accepted−sent здесь не означает неисправность доставки. Off означает отключение SDK. В режиме on найдены все 2400 server traces трёх повторов.

Balanced снизил медианный Tempo ingest на 92,2% относительно on, сохранив 48/48 error и 48/48 slow. Loki почти не изменился; Prometheus включает постоянный фон self-scrapes. Normal p95 у on выше off примерно на 1,127 ms (+9,7%), CPU приложения — 0,1726 против 0,1404 cores; это описательные разности данного опыта, не доказательство статистической значимости. Balanced не устраняет цену SDK и не показал ускорения HTTP. Проверенная рекомендация относится к сокращению записи traces при этом профиле и окне решения tail 10 s.

Повторы, медианы и диапазоны цены наблюдаемости

Сырые серии и comparison.json, сводка, аудит пригодности. Первоначальные on-3/head-3 (ещё 1600 запросов) исключены из сравнения из-за разрывов wall clock: 932,714 s после нагрузки и 938,154 s вместо 40 s, gap samples до 900,354 s. Их HTTP PASS не означает пригодность CPU/ingest. Оригиналы с hashes сохранены в invalid-series.json и invalid-time-gap; повторены только эти две серии. Причина разрыва времени достоверно не установлена.

Проверенный запуск balanced:

OTEL_COLLECTOR_CONFIG=collector-balanced.yaml OTEL_METRIC_EXPORT_INTERVAL=30000 scripts/lab6.sh docker compose up -d --no-deps --wait otel-collector api relay worker

После опытов возвращены SDK on/ratio1/interval10s, collector.yaml, COST_EXPERIMENT=false: defaults-restored.json. Стенд остановлен без удаления данных, 9 volumes сохранены: shutdown.txt, closure.json. Это зафиксированное состояние окончания реализации, не новое обращение отчётного этапа к Docker.

Финальная validation перед публикацией

На входном HEAD 1e00d861a803a6d49ef443175b8231cbf048fc02 аудит подтвердил применимость всех 15 серий: runtime и измеритель совпадают с прошедшим ревью кодом. Все raw JSON и comparison пересчитаны, временные окна и hashes исключённых оригиналов проверены. Нагрузку повторно не запускали. Аудит содержит решение по каждой серии, конфигурации, dataset, фону и ограничениям.

Свежие make check validate lint и OpenSpec strict (26 specs) прошли. Свежий полный make student-test завершился с 993 passed, 2 skipped, 19 deselected и 2 ошибками подготовки RustFS. В окружении был системный прокси macOS без обхода localhost; только два затронутых теста повторены штатной обвязкой с NO_PROXY: 2 passed. Полный первый запуск не объявляется PASS; оба лога сохранены. Код и прежние сырые измерения не менялись; публикация в фазе validation не выполнялась.

Ограничения и следующие шаги

Ревью 6ca1c7549978af3127966540385195ab0587f2e1 не выявило major. Пять minor сохранены; по правилу пользователя они не блокируют отчёт/release и в документационном этапе не исправляются:

ID Ограничение и последствие Файлы / доказательства
M1 Loki leak-check ищет маркеры через line filter, но не во всех attributes/structured metadata. Нулевые hits — ограниченная проверка, не полный аудит отсутствия секретов. Фактическая утечка не обнаружена obs_check.py, telemetry.py, leaks
M2 Унаследованные allowlists make limits и published-port audit CI не учитывают OTel/helper services и отклоняют штатную ЛР6. Весь CI не объявляется зелёным; лимиты проверены отдельно limits.py, workflow, runtime
M3 API SLI не учитывает 503 HAProxy, rate новой серии может пропустить первый всплеск. Полная пауза БД не вызвала alert; успешен именно отдельный SQL-lock сценарий alerts, неуспешный старый опыт, свежий SQL-lock
M4 Collector достиг 98,7% лимита (252,7/256 MiB) без наблюдаемого OOM. Запас мал; опыт не доказывает устойчивость при любой нагрузке/длительности отказа collector.yaml, compose, storage
M5 Whitespace в SVG и сыром stdout: ревью получило git show --check exit 2, 2320 замечаний. Это косметика артефактов; make lint исходников проходит comparison.svg, whitespace-check.txt

Полный текст и происхождение замечаний — review-summary.md. Улучшения охвата leak-check, CI allowlists, edge SLI и запаса памяти остаются будущей работой; результат их реализации не заявлен.

Дополнительные границы: один host, одиночные PostgreSQL/RabbitMQ/S3/Collector и локальные volumes, без HA этих компонентов и disaster recovery. Сбой узла и удаление volumes не покрыты. TLS/mTLS, внешние receivers alerts и multi-window burn-rate относятся к другим задачам. Три повтора, фиксированный порядок, общий host и накопленная история storage ограничивают выводы о CPU/RAM/latency; CPU во время drain и непрерывный пик RAM не измерены. Tail window 10 s не гарантирует полноту очень поздних retry. Queue gauge — durable backlog; time-to-ready SLI не включает pending; process CPU не включает renderer. Full suite имеет 2 macOS skip и 19 deselected stack, поэтому дополнен targeted Docker evidence, но не выдаётся за исполнение всех тестов.

Старые grade3, grade4, track5, level3.json привязаны к своим SHA в индексе; прежние 519 passed и −91,1% Tempo не являются результатом позднего кода. Неуспешные/прерванные smoke, retry, persistence, тесты и измерения сохранены и размечены в исторических notes. Новый clean-clone и динамический прогон в отчётном этапе не выполнялись. Сырые evidence, OpenSpec и реализация не менялись. Конфигурация OpenSpec уже актуальна; новая proposal/apply/archive для документационного этапа не создавалась по его явному ограничению на изменения.

Вопросы защиты

  1. Чем отличаются три сигнала? Метрика показывает рост error rate/backlog, лог даёт событие и технический ID, trace показывает длительность зависимостей и причинную цепочку.
  2. Почему нельзя chat_id в labels? Число series растёт с чатами и комбинациями labels; память/индекс хранилища расходуются даже при малом RPS. Нужен route template; ID оставляют для выборочного поиска логов/traces.
  3. Как связаны API и worker? W3C carrier сохраняется вместе с durable job/outbox, затем идёт в AMQP headers; consumer извлекает parent, retry сохраняет связь. Сбой relay не стирает контекст из БД.
  4. Почему ack после COMMIT? Ранний ack может потерять работу при падении до commit; поздний допускает повтор, который нейтрализуют effect key и fencing.
  5. Почему SQLAlchemy и Alembic? ORM/Core задают единые транзакции/блокировки и пул, Alembic — упорядоченный head с lock/legacy adoption. OTel asyncpg инструментация наблюдает драйвер под SQLAlchemy, не заменяя его.
  6. Почему среднее не заменяет p99? Редкая задержка скрывается средним; p99 реплик нельзя усреднять. Сначала складываются bucket rates, затем вычисляется quantile.
  7. Как отличили DB от медленного handler? В сохранённом trace SELECT client ERROR около 2 s внутри server 503, pool waiting=0; снятие SQL lock убрало причину и затем alert.
  8. Почему head потерял ошибки, а balanced сохранил? Head решает до исхода, tail — после получения ERROR/duration. Цена tail — создание всех spans и ограниченное ожидание в памяти Collector.
  9. Почему наблюдаемость может теряться без потери сообщения? Её очереди и retry конечны и отделены от бизнес-коммита; 2/74 traces потеряны при продолжающем работать API.
  10. Что доказано треком? Сокращение записи в Tempo на 92,2% с сохранением контрольных событий при 20 req/s. Production capacity, статистическое ускорение и полнота всех поздних retry не доказаны.

Источники и помощь

Нормы: README, контракт наблюдаемости, API, COURSE. Архитектура портов/UoW — конспект Персиваля—Грегори. Код и проверенные конфигурации версионируются в этом репозитории.

SQLAlchemy async sessions/engine и Alembic async run_sync сверены с SQLAlchemy 2.0 и Alembic cookbook. Context7 в этом этапе ответил Monthly quota exceeded, поэтому использована официальная документация; закреплённые версии проекта не обновлялись. Остальные первичные материалы OTel, W3C, Prometheus и Grafana перечислены в README; фактические имена/настройки сверены с локальным кодом и evidence.

Codex использован как инструмент подготовки реализации, проверок, анализа и отчёта; автор работы — Костылев Артём. Независимое ревью получено отдельным этапом runner. Динамические результаты в этом документе — сохранённые измерения исполнителей, а не повторные прогоны агента отчёта.