Files
mtusi2026lab6/evidence/grade4/notes.md
T

7.3 KiB

Уровень 4 — заметки для отдельного отчёта

Код приложения: 44d81fd80e. Обвязка retry: 447a6507f9. Даты UTC, SHA, команды и exit_code находятся в command logs. Команды выполняются через scripts/lab6.sh.

Реализованные сигналы

Контекст traceparent/tracestate хранится отдельно от job payload в JSONB jobs/outbox (Alembic 0007); retry использует consumer context, восстановление аренды — сохранённый origin. FastStream relay создаёт producer spans; consumer сохраняет родителя. S3 client spans содержат только операцию, rpc.service=S3, тип ошибки; ключи и exception payload не записываются. SQLAlchemy/asyncpg дают DB client spans. Ack после COMMIT сохранён.

Сигнал Источник, единица, labels
messenger_queue_depth / messenger_queue_oldest_age_seconds SQLAlchemy poll каждые 5 s: durable queued/processing, включая retry; jobs / s; queue_name=attachments.process
messenger_db_pool_used/waiting/capacity SQLAlchemy ObservedPool; connections / acquisitions / connections; service resource, без IDs в labels
messenger_worker_busy/capacity текущие выполняемые deliveries / prefetch capacity, jobs
messenger_job_time_to_ready_seconds_* histogram от Job.created_at до done после commit; buckets 0.05,0.1,0.25,0.5,1,2,5,10,30,60,+Inf; job_type
process_cpu_time_seconds_total os.times user+system процесса; s; rate даёт cores; CPU дочерних renderer не включён
process_memory_usage_bytes текущий RSS /proc/self/statm внутри Linux container; bytes

API p50/p95/p99 = histogram_quantile по sum(rate(bucket[5m])) всех реплик. Доля ошибок — 5xx/все бизнес-HTTP без health. Availability SLO 99% за 1 h; time-to-ready SLO 95% <=30 s за 1 h среди завершённых jobs; pending отдельно контролирует queue lag. Все запросы и единицы находятся в provisioned dashboards. Runbooks: infra/prometheus/runbooks.md. Alerts локальные, без внешней отправки.

Проверки

  • obs-validate.txt: Collector, Prometheus, Loki, Tempo, dashboard JSON — PASS.
  • quality.txt: check, validate, lint — PASS.
  • student-tests-final.txt: 516 passed, 1 Linux-only skip, 19 stack deselected; migrations fresh/legacy/idempotence и context/lease recovery проходят.
  • chain.txt: реальный upload trace API→S3/DB→producer→consumer→DB COMMIT.
  • retry-isolated.txt: тот же trace включает retry_scheduled и done после отказа S3.
  • smoke.txt, persistence-resumed.txt, failover.txt: публичные сценарии PASS; replica restored.

Неуспешные и прерванные попытки

student-tests-first.txt выявил раннее получение DB connection: нарушались lazy session и advisory-lock autocommit. Исправлено обёрткой ObservedPool._do_get без изменения границ транзакции. student-tests.txt затем обнаружил неверно расширенный allowlist собственного архитектурного теста; исправлено, итоговый полный прогон зелёный. retry.txt не создал отказ: docker compose start worker запускал зависимости, включая S3. retry-isolated.txt использует up --no-deps и подтверждает настоящий retry. persistence.txt прерван извне без exit_code и не является PASS; persistence-resumed.txt завершён после восстановления того же образа с прежними volumes.

Ограничения

Waiting включает получение/создание connection, а не только время ожидания свободного слота; используется закреплённый SQLAlchemy 2.0.45. Gauge после остановки процесса может оставаться видимым в Prometheus до lookback expiry. Queue metric описывает durable backlog, не AMQP messages_ready. Учебные пороги alerts (5%/1m и age>15s, for15s) не являются production-рекомендацией. Корректность off/on cost пока не оценивается этим уровнем.

Minor из foundation: scripts/limits.py и CI allowlist не учитывают OTel/helper services; отдельные runtime проверки лимитов есть в grade3/runtime.json. REPORT.md не изменяется: финальный отчёт подготовит следующий агент.

Дополнительные ограничения проверки

Полная пауза PostgreSQL (database-incident.txt) дала реальные 503, но не firing: HAProxy быстро снял API с ротации, а первоначальный скачок новой серии 503 не дал положительного rate. Ответы LB не входят в SLI приложения. Это minor ограничение охвата alert; итоговый обязательный сценарий использует ограниченную 120 s SQL-блокировку users при работающем readiness, а не объявляет первую попытку успешной. Блокировка освобождается finally и не изменяет данные.

SQL-инцидент: 3 error traces PostgreSQL, error ratio 1.000; firing 2026-11-06T18:13:13+00:00, resolved 2026-11-06T18:14:14+00:00. Блокировка началась 2026-11-06T18:12:37+00:00, освобождена 2026-11-06T18:13:13+00:00. Диагностика: server 503 → client PostgreSQL ERROR около 2 s; это зависимость, не просто медленный handler. См. database-lock.txt.

Telemetry storage: 74 успешных probes, сохранено 72 traces, потеряно 2; максимум RAM 98.7% лимита. smoke PASS во время отказа. Raw memory samples и counters accepted/sent/send_failed/queue до/во время/после — storage-incident.txt. Backend остановлен 2026-11-06T18:14:29+00:00, восстановлен 2026-11-06T18:16:16+00:00. Потеря trace после retry budget 60 s допустима; бизнес-данные сохранены.

leaks.txt: 0 утечек; dashboards.txt: реальные series, без ошибок. Ошибочный вызов cardinality сохранён как FAIL; фактические series/labels — cardinality-series.json. recovered-smoke.txt PASS. Collector RAM 252.7/256 MiB: малый запас отмечен minor. Преждевременная архивация была отменена перемещением change обратно в active; после smoke и сохранения series задачи закрыты и change архивирован повторно.