diff --git a/AGENTS.md b/AGENTS.md index 9ce7970..675f3b6 100644 --- a/AGENTS.md +++ b/AGENTS.md @@ -2,7 +2,7 @@ Skeleton лабораторной 6 курса «Мессенджер под нагрузкой» (МТУСИ, 7 независимых лаб) и решение в ветке `solution/bpi2303-kostylev`. Skeleton даёт задание (`README.md`), нормативный контракт (`contracts/`, включая `contracts/observability.md`) и публичные black-box проверки (`tests/`). Реализация API, relay, worker, Dockerfile, compose-стенд, конфигурация балансировщика, S3, брокера и стека наблюдаемости, миграции, хуки отказов и собственные тесты — студенческие; решение лабы 6 построено переносом решения лабы 5. -Лаба 6: наблюдаемость всей системы, включая фоновую обработку. Бизнес-API не меняется (контракт 1.6.0). API, relay и worker инициализируют **OpenTelemetry SDK** в каждом процессе после fork (gunicorn-воркер, процесс relay, процесс worker) и отдают OTLP/HTTP в **OTel Collector** (`otelcol-contrib`); Collector раскладывает метрики в **Prometheus 3** (OTLP-приём), логи в **Loki 3** (OTLP `/otlp`), трассы в **Tempo 2**; **Grafana 12** только показывает и связывает их, datasources и dashboards приходят из provisioning в Git. HTTP-метрики и server spans даёт инструментация FastAPI, client spans БД — инструментация asyncpg, consumer spans — `RabbitTelemetryMiddleware` FastStream. Логи идут через порт `Logger` (structlog → stdout JSON и OTLP) с `trace_id`/`span_id`, без тел сообщений и секретов. Остаётся всё из лаб 1–5: HAProxy перед ≥2 репликами, PostgreSQL, Valkey, RustFS, RabbitMQ, outbox, relay, worker с арендой и вариантами, хуки остановки реплики и рестарта стенда. +Лаба 6: наблюдаемость всей системы, включая фоновую обработку. Бизнес-API не меняется (контракт 1.6.0). API, relay и worker инициализируют **OpenTelemetry SDK** в каждом процессе после fork (gunicorn-воркер, процесс relay, процесс worker) и отдают OTLP/HTTP в **OTel Collector** (`otelcol-contrib`); Collector раскладывает метрики в **Prometheus 3** (OTLP-приём), логи в **Loki 3** (OTLP `/otlp`), трассы в **Tempo 2**; **Grafana 12** только показывает и связывает их, datasources и dashboards приходят из provisioning в Git. HTTP-метрики и server spans даёт инструментация FastAPI, client spans БД — инструментация asyncpg под SQLAlchemy 2.0.45 async (ORM/Core, async_sessionmaker, DeclarativeBase); миграции — Alembic 1.16.5, consumer spans — `RabbitTelemetryMiddleware` FastStream. Логи идут через порт `Logger` (structlog → stdout JSON и OTLP) с `trace_id`/`span_id`, без тел сообщений и секретов. Остаётся всё из лаб 1–5: HAProxy перед ≥2 репликами, PostgreSQL, Valkey, RustFS, RabbitMQ, outbox, relay, worker с арендой и вариантами, хуки остановки реплики и рестарта стенда. ## Команды @@ -13,11 +13,11 @@ make install # uv sync --group dev make lint # ruff check + ruff format --check + ty check; обязательно перед commit make student-test # собственные тесты (одноразовые PostgreSQL, Valkey, RustFS и RabbitMQ в Docker) -make secrets # локальные secrets/* (lab5 + Grafana и DSN Collector) и .env +make secrets # локальные secrets/* (БД, кэш, S3, broker, Grafana) и .env make up # docker compose build, затем up -d --wait: хранилища, broker, стек наблюдаемости → migrate, s3-init → api ×2, relay, worker → lb make obs-validate # otelcol validate, promtool check config, loki/tempo verify, JSON dashboards make telemetry-check # Grafana provisioning, запрос → лог → трасса, job → трасса и лог worker, утечки -make test # публичный smoke через LB (BASE_URL, по умолчанию http://localhost:8080) +make test # публичный smoke через LB (через scripts/lab6.sh: http://127.0.0.1:18086) make test-persistence ACTION_SCRIPT=scripts/restart.sh # рестарт lb, api, relay, worker и postgres, valkey, s3, broker с volumes make test-failover ACTION_SCRIPT=scripts/stop-one.sh # остановка реплики TARGET_INSTANCE_ID под запросами make restore # вернуть остановленные реплики и дождаться их в ротации LB @@ -25,6 +25,8 @@ make level3 # сценарии уровня «3» лабы 5 make down # остановка без удаления данных; make reset-data — намеренное удаление volumes ``` +Команды стенда выше запускаются через `scripts/lab6.sh`, например `scripts/lab6.sh make up`. Локальные `make check validate lint` запускаются напрямую; `make student-test` создаёт одноразовые Docker-зависимости и не выполняется в документационной фазе. + `tests/*.py` и `scripts/*.py` — только stdlib, синтаксис Python 3.9 (`make check` разбирает их системным `python3`). Проверки сами не поднимают стенд. Хуки `scripts/stop-one.sh` и `scripts/restart.sh` запускаются тестом без shell, поэтому исполняемые и с shebang. Адреса Prometheus, Loki, Tempo и Grafana для `scripts/obs_check.py` — переменные `PROMETHEUS_URL`, `LOKI_URL`, `TEMPO_URL`, `GRAFANA_URL` (по умолчанию стандартные порты на `127.0.0.1`). ## Архитектура skeleton @@ -46,9 +48,9 @@ make down # остановка без удаления д ## Правила работы с репозиторием - Не менять и не ослаблять `contracts/`, `tests/`, `README.md`, `COURSE.md`, `infra/README.md`, `infra/otel/README.md`, рубрику. Расхождение оформляется вопросом преподавателю. -- Код — `src/messenger/`, миграции — `src/messenger/migrations/NNNN_*.sql`, конфигурация LB, нагрузки, S3, брокера и наблюдаемости — `infra/` (`infra/otel`, `infra/prometheus`, `infra/loki`, `infra/tempo`, `infra/grafana`), хуки и обвязка стенда — `scripts/`, собственные тесты — `student-tests/`, обезличенные доказательства — `evidence/`. +- Код — `src/messenger/`, миграции — `alembic/versions/`, async `alembic/env.py`, one-shot `alembic upgrade head`; работа с БД — только SQLAlchemy ORM/Core, asyncpg используется как драйвер, конфигурация LB, нагрузки, S3, брокера и наблюдаемости — `infra/` (`infra/otel`, `infra/prometheus`, `infra/loki`, `infra/tempo`, `infra/grafana`), хуки и обвязка стенда — `scripts/`, собственные тесты — `student-tests/`, обезличенные доказательства — `evidence/`. - Без комментариев в коде; отступы — пробелы (`[tool.ruff.format]`); Python 3.14 без `from __future__ import annotations` и `TYPE_CHECKING`. -- Наружу публикуются только LB, UI брокера, Prometheus, Loki, Tempo и Grafana на `127.0.0.1`; порты реплик API, OTLP и self-metrics Collector не публикуются. Порты задаются переменными `.env`, дефолты compose — стандартные. +- Наружу публикуются только LB, UI брокера, Prometheus, Loki, Tempo и Grafana на `127.0.0.1`; порты реплик API, OTLP и self-metrics Collector не публикуются. Порты задаются переменными `.env`/shell: API 18086, HAProxy stats 26085, broker UI 26086, Prometheus 26090, Loki 26310, Tempo 26320, Grafana 26300. Для команд стенда используй `scripts/lab6.sh`, который согласует project, порты, URL проверок и NO_PROXY. - `REPORT.md`: команды из чистого clone, архитектура, таблица «критерий → команда → наблюдение → файл», таблица отказов, сопоставление сигналов `observability.md` реальным именам метрик. PASS без команды не доказательство. - Ветка `solution/bpi2303-kostylev`, коммиты на английском, перед каждым — `make lint`. Никогда не коммитить `.env`, `secrets/`, токены, пароли Grafana, ключи S3, пароли брокера, volumes, дампы. @@ -59,3 +61,15 @@ make down # остановка без удаления д - **3** — минимум lab5 работает при включённой телеметрии; Collector, Prometheus, Loki, Tempo и Grafana в общем стенде с volumes и provisioning из Git; API, relay и worker отдают OTLP; RPS/errors/duration API, jobs по исходу и duration worker; структурные логи с `trace_id`/`span_id`; реальные server и consumer spans; импортируемые dashboards; нет секретов и тел в telemetry; запрос → трасса и лог, job → трасса и лог worker. - **4** — W3C trace context API → outbox → broker → worker (producer/consumer), цепочка до S3/DB с retry; p50/p95/p99 из histogram, доля ошибок, queue depth и возраст старейшей job, DB pool, saturation worker, CPU/RAM; SLI/SLO, alert rules error rate и queue lag (firing → resolved); memory_limiter, batch, ограниченные очереди, отказ хранилищ телеметрии; два разобранных инцидента. - **5** — трек 1: telemetry off / on / head sampling / tail sampling / сбалансированная конфигурация при одинаковой open-loop нагрузке — latency с клиента, CPU/RAM вне телеметрии, объём ingest, потери spans и захват вброшенных ошибок и медленных запросов. + +## Актуальное состояние и границы этапов + +- Автор: Костылев Артём, БПИ2303. Итоговый отчёт — [REPORT.md](REPORT.md), индекс — [evidence/README.md](evidence/README.md). +- Актуальный runtime и измеритель: `bc1d7aa7713858acb5d65b61d07e69a640f1ee97`; успешное независимое ревью: `6ca1c7549978af3127966540385195ab0587f2e1`. Поздние исправления ЛР5 доведены до immutable source `c7b8feb805d151e878d77b0dff47320a9436b172`, решения по путям — [forward-port.md](evidence/forward-port.md). +- Текущий набор — `evidence/forward-published/`: 995 passed, 2 skipped, 19 deselected в сохранённом полном suite; 15 пригодных серий, 12000 запросов, balanced −92,2% медианного Tempo ingest, 48/48 error и 48/48 slow. Исторические `grade3/grade4/track5` не выдаются за измерение позднего кода. Незатронутые storage/history проверки переиспользуются только с основанием из `preserved-mechanisms.json`. +- Пять minor после ревью — [review-summary.md](evidence/review-summary.md) и ограничения REPORT. Исправлять только major: доказанная угроза безопасности, потеря/повреждение данных, недоступность сервиса, неработающий обязательный сценарий. Minor сохранять, не блокировать ими отчёт/release; не объявлять неуспешный тест успешным. +- Этапы запускает только runner: один агент переноса/уровней 3→4→5/evidence → review (отдельный fix major и re-review при необходимости) → отдельный отчёт → один агент нагрузки и публикации. Ревью/отчёт предыдущей лабы может идти параллельно реализации следующей. Самостоятельно фоновых агентов не создавать, runner/state не менять. +- Обычные Docker-этапы используют отдельные project/порты/volumes совместно с другими лабами; эксклюзивный доступ получает только финальная нагрузка/release. Разрешён `mtusi2026lab6` в основном репозитории либо `hlpipe-lab6-*` в каталоге под ним или `/Users/artemkostylev/projects/learning/HL/labs/.pipeline/.runs/labs`. Чужие контейнеры не трогать; в конце остановить свои без удаления постоянных volumes. Не выполнять reset/clean и удаление пользовательских данных. +- Фон и условия измерения фиксировать. Пригодные сохранённые серии переиспользовать после проверки SHA/diff; повторять лишь отсутствующие, неуспешные или признанные непригодными. Изменение только документации не требует новой нагрузки. +- Отчётная фаза меняет только REPORT.md, AGENTS.md и Markdown внутри evidence; OpenSpec/config, код и raw measurements не меняет. `openspec/config.yaml` уже содержит актуальный стек; циклы propose/apply/archive закрыты, проверка — `openspec validate --all --strict --no-interactive`. +- Публикация только в private MTUCI-Labs на явно назначенном этапе PUBLICATION. Самостоятельные push и Telegram вне назначенной фазы запрещены; для разрешённого Telegram — только `telegram-send`. ЛР1/2 заморожены; другие репозитории читать только через предоставленный snapshot. diff --git a/REPORT.md b/REPORT.md index b97ae42..9f98003 100644 --- a/REPORT.md +++ b/REPORT.md @@ -1,37 +1,275 @@ # Отчёт — лабораторная 6 -- Автор, группа: TODO -- Целевая оценка; выбранный трек 5, если нужен: TODO -- Commit/PR: TODO после публикации -- Использованные источники, библиотеки и помощь ИИ: TODO +Автор: **Костылев Артём, БПИ2303**. Заявленная оценка — **«5»**, трек 1 «Цена наблюдаемости»: уровни 3 и 4 подтверждены таблицей ниже, пять режимов наблюдаемости — 15 пригодными сериями. Это заявка по рубрике, а не автоматически выставленная оценка. + +Ветка: `solution/bpi2303-kostylev`. Проверенный ревью SHA: `6ca1c7549978af3127966540385195ab0587f2e1`; измеряемый код приложения, инфраструктуры и генератора: `bc1d7aa7713858acb5d65b61d07e69a640f1ee97`. Между ними эти файлы не менялись. Документационный коммит определяется через `git log -1 --format=%H -- REPORT.md`; публикация/PR выполняются отдельным этапом, здесь не заявлены. + +Актуальные результаты: [индекс evidence](evidence/README.md), [перенос поздних исправлений](evidence/forward-port.md), [сводка ревью](evidence/review-summary.md), [проверки отчёта](evidence/report-audit.md). Основа ЛР5 — `f88e9ba43cdfd7eb6a5a7ae5feb4247b4e820071`, поздний перенос доведён до immutable source `c7b8feb805d151e878d77b0dff47320a9436b172`; учтены 281 путь source diff. Результаты ЛР5 не выдаются за проверки ЛР6. ## Запуск из чистого clone -TODO: версии runtime/образов, prerequisites, команды создания локальных secrets/.env, build, миграций, запуска, ожидания готовности, тестов и остановки. Указать необходимые действия оператора. Не вставлять секреты. Отдельно указать безопасную остановку и команду намеренного удаления учебных данных. +Нужны Git, Docker с Compose v2, uv, Python 3.14 для приложения и Python 3.9+ для stdlib-проверок. OpenSpec CLI нужен только для валидации спецификаций. Проверенный host: macOS arm64, 16 CPU; Docker 28.3.2, 16 vCPU и 8 217 190 400 bytes RAM. Версии зависимостей закреплены в [uv.lock](uv.lock), образы — тегом и digest в [Dockerfile](Dockerfile) и [compose.yaml](compose.yaml). + +`REPOSITORY_URL` оператор задаёт адресом своего private fork в MTUCI-Labs. Команды ниже — инструкция воспроизведения; на этапе отчёта Docker и нагрузки не запускались. + +```sh +git clone "$REPOSITORY_URL" mtusi2026lab6 +cd mtusi2026lab6 +git switch solution/bpi2303-kostylev +uv python install 3.14 +uv sync --locked --group dev +make check validate lint +openspec validate --all --strict --no-interactive +scripts/lab6.sh make secrets +scripts/lab6.sh docker compose config --quiet +scripts/lab6.sh make up +scripts/lab6.sh make ps +curl --fail http://127.0.0.1:18086/health/ready +scripts/lab6.sh make obs-validate +scripts/lab6.sh make test +scripts/lab6.sh make telemetry-check +scripts/lab6.sh make test-persistence ACTION_SCRIPT=scripts/restart.sh +scripts/lab6.sh make test-failover ACTION_SCRIPT=scripts/stop-one.sh +scripts/lab6.sh make restore +scripts/lab6.sh make down +``` + +`make secrets` создаёт локальные `.env` и `secrets/`, не печатая значения; существующие значения сохраняются. `make up` собирает образ и ждёт healthy: PostgreSQL → one-shot `alembic upgrade head`, S3 → `s3-init` (bucket, политики и отдельные роли), RabbitMQ → API ×2 / relay / worker → LB; параллельно поднимаются Collector и хранилища. Ручной SQL, ручное создание datasource/dashboard и внешний S3 не требуются. Повторный запуск миграций: `scripts/lab6.sh make migrate`. + +Полные собственные тесты запускаются отдельно: `make student-test`. Они создают одноразовые Docker-зависимости и не должны идти одновременно с измерениями трека. В этом отчётном этапе использован сохранённый результат, а не новый запуск. Данные публичного API синтетические. Для повторных экспериментов сохраняйте вывод в новый каталог, не перезаписывая принятые evidence. + +`make down` останавливает только выбранный Compose project и сохраняет volumes. Существующая цель `scripts/lab6.sh make reset-data` намеренно удаляет его учебные volumes; она не входит в обычный запуск и в отчётном этапе не выполнялась. Не останавливайте чужие контейнеры. Основной project — `mtusi2026lab6` в этом репозитории; временный — только `hlpipe-lab6-*` в разрешённом координатором каталоге, с отдельными портами/volumes. + +### Порты и настройки + +Все опубликованные порты привязаны к `127.0.0.1`; API-реплики, PostgreSQL, Valkey, S3, AMQP, OTLP и self-metrics Collector доступны только внутри стенда. [scripts/lab6.sh](scripts/lab6.sh) задаёт project, порты, URL проверок и `NO_PROXY`, затем выполняет переданную команду. Перед запуском оператор проверяет доступность портов и отсутствие конфликтующих переменных своего shell. + +| Назначение | Переменная | Host port | +| --- | --- | ---: | +| API через HAProxy | `LB_HTTP_PORT` | 18086 | +| HAProxy stats | `LB_STATS_PORT` | 26085 | +| RabbitMQ management | `BROKER_MANAGEMENT_PORT` | 26086 | +| Prometheus | `PROMETHEUS_PORT` | 26090 | +| Loki | `LOKI_PORT` | 26310 | +| Tempo query | `TEMPO_PORT` | 26320 | +| Grafana | `GRAFANA_PORT` | 26300 | + +Grafana: пользователь `admin`, пароль из локального `secrets/grafana_admin_password`; его значение не входит в отчёт. Provisioning создаёт datasources `prometheus`, `loki`, `tempo` и dashboards API/pipeline, переходы exemplar → trace и trace ↔ logs. + +| Настройки из `.env.example` | Фактическое применение | +| --- | --- | +| `APP_HOST`, `APP_PORT`, `APP_ENV` | Логические поля skeleton; Compose не передаёт их приложению. Образ слушает `HOST=0.0.0.0`, `PORT=8080`; окружение OTel задаёт `deployment.environment.name=lab` | +| `SESSION_STORE=postgres`, `CACHE_URL_FILE`, `SESSION_TTL_SECONDS` | PostgreSQL — источник сессий; Valkey — адаптер кэша. Переключателя backend через `SESSION_STORE` нет; TTL по умолчанию 3600 s | +| `DATABASE_URL_FILE`, `CURSOR_SECRET_FILE`, S3 `*_FILE` | Compose монтирует роли в `/run/secrets`; SQLAlchemy переводит DSN в `postgresql+asyncpg` | +| `BROKER_URL_FILE` | В relay и worker одинаковый путь `/run/secrets/broker_url`, но разные secrets `broker_url_api` / `broker_url_worker` и права | +| `API_REPLICAS`, `WEB_CONCURRENCY`, `DB_POOL_MAX_SIZE` | 2 реплики ×2 процесса, пул по 8 соединений на процесс; relay/worker по `PIPELINE_DB_POOL_MAX_SIZE=4` | +| `MAX_UPLOAD_BYTES`, `MAX_IMAGE_PIXELS`, `WORKER_CONCURRENCY` | 10 MiB, 40 MP, 2 задания; render timeout 30 s, лимит адресного пространства renderer 448 MiB | +| `OTEL_*`, `TELEMETRY_SHUTDOWN_SECONDS` | OTLP/HTTP, timeout 2 s, метрики каждые 10 s, очереди SDK по 2048, bounded shutdown 2 s; SDK off через `OTEL_SDK_DISABLED=true` | +| `OTEL_TRACE_RATIO`, `OTEL_COLLECTOR_CONFIG`, `COST_EXPERIMENT` | Дополнительные Compose-параметры: по умолчанию 1, `collector.yaml`, false. Генератор включает fault hook лишь на серию и восстанавливает default в `finally` | ## Архитектура и решения -TODO: схема процессов/хранилищ, источник истины, транзакционные границы, ограничения. Что перенесено из lab5, что изменено в этой работе. Соответствие переменных из .env.example реальной конфигурации. +```mermaid +flowchart LR + Client[Клиент] --> LB[HAProxy] + LB --> API[API ×2] + API --> PG[(PostgreSQL)] + API --> Cache[(Valkey)] + API --> S3[(RustFS / S3)] + PG --> Relay[Outbox relay] + Relay --> Broker[(RabbitMQ)] + Broker --> Worker[FastStream worker] + Worker --> PG + Worker --> S3 + API -. OTLP .-> Collector[OTel Collector] + Relay -. OTLP .-> Collector + Worker -. OTLP .-> Collector + Collector --> Prom[(Prometheus)] + Collector --> Loki[(Loki)] + Collector --> Tempo[(Tempo)] + Grafana[Grafana] --> Prom + Grafana --> Loki + Grafana --> Tempo +``` + +Python 3.14; SQLAlchemy **2.0.45 async**, Alembic **1.16.5**, FastAPI, dishka, structlog, FastStream **0.7.8** + aio-pika **10.2.1**; OTel SDK 1.45.1 и инструментации 0.66b1. Инфраструктура: HAProxy 3.2.26, PostgreSQL 17.11, Valkey 8.1.11, RustFS 1.0.4, RabbitMQ 4.1.8, otelcol-contrib 0.163.2, Prometheus 3.15.1, Loki 3.7.9, Tempo 2.10.10, Grafana 12.4.14. Фактические image IDs, non-root users и лимиты: [runtime.json](evidence/forward-published/runtime.json). + +Зоны `identity`, `messaging`, `attachments` разделены на domain/application/infrastructure/entrypoints; домен зависит от портов. `shared` содержит только платформу. `main.py`, `relay.py`, `worker.py` собирают процессы. PostgreSQL хранит пользователей, сессии, сообщения, состояния вложений, jobs и outbox; RustFS — байты, RabbitMQ — доставку, Valkey — ускорение чтения. Prometheus хранит численные временные ряды, Loki — структурные логи, Tempo — spans. Collector принимает/фильтрует/буферизует сигналы, Grafana запрашивает их и связывает; ни один из них не источник бизнес-данных. + +Все runtime-запросы PostgreSQL проходят через SQLAlchemy ORM/Core: `DeclarativeBase`, `create_async_engine`, `async_sessionmaker`, отдельная `AsyncSession` на UoW. `asyncpg` остаётся драйвером и точкой инструментации. Миграции — [alembic/env.py](alembic/env.py) и [alembic/versions](alembic/versions): async engine, `run_sync`, advisory lock, legacy adoption, транзакция на ревизию, head `0007` для trace context. Старого исполняемого SQL-мигратора в инструкции запуска нет. + +Upload возвращает `202 queued` после durable acceptance; задание и outbox фиксируются атомарно. Relay публикует persistent сообщение с confirms через FastStream/aio-pika, затем отмечает outbox. Неустранимое окно между publish и отметкой допускает повторную доставку. Worker использует manual ack **после COMMIT**; lease/fencing и ключ эффекта `(attachment_id, pipeline_version, variant)` не допускают повторной публикации результата. До ready `/content` отвечает 409. Retry/backoff, DLQ, реестр failed и replay сохранены. Цена outbox — дополнительный poll/таблица и eventual consistency; брокер не даёт exactly-once. + +ЛР6 добавила SDK после fork (без preload приложения в gunicorn), OTLP, корреляцию, resource attributes и наблюдение фоновых задач. `traceparent`/`tracestate` сохраняются отдельно от payload в jobs/outbox и передаются в headers; producer/consumer spans создаёт `RabbitTelemetryMiddleware`. S3 spans показывают операцию без ключей, SQL client spans — работу БД. Retry сохраняет причинную связь, что видно в одной цепочке из 86 spans. + +Экспорт выполняют `BatchSpanProcessor`, `BatchLogRecordProcessor`, `PeriodicExportingMetricReader`; network timeout короткий, readiness не проверяет наблюдаемость. Collector: memory limiter 75% / spike 20%, batch 1024/2048 с timeout 2 s, очереди 20 000 spans, 20 000 logs, 50 000 metric points, 2 consumers, retry до 60 s. Буферы конечны и не долговременны: при длительном отказе telemetry теряется, бизнес-запросы продолжаются. `Logger` ограничивает поля, HTTP headers не захватываются, Collector редактирует подозрительные ключи/значения. Границы проверки утечек явно указаны ниже. ## Доказательства критериев -| Критерий README | Команда/сценарий | Наблюдаемый результат | Файл доказательства | -| --- | --- | --- | --- | -| Публичный smoke | make test | TODO | TODO | -| Остальные пункты уровня 3 | TODO | TODO | TODO | -| Все пункты уровня 4, если заявлен | TODO | TODO | TODO | -| Выбранный трек 5, если заявлен | TODO | TODO | TODO | +Команды в таблице выполняются с префиксом `scripts/lab6.sh`, если работают со стендом. Полные команды, UTC, SHA и exit code сохранены в указанных логах. **Актуальный набор — `forward-published`**; исторические исключения помечены явно и применяются только к неизменным механизмам согласно [preserved-mechanisms.json](evidence/forward-published/preserved-mechanisms.json). -TODO: добавить отдельную строку для каждого заявленного критерия. PASS без команды и наблюдения не является доказательством. Проверка инфраструктурного hook требует подтверждения, какие реальные процессы/хранилища перезапущены. +| Критерий | Команда / сценарий | Наблюдение | Файл | +| --- | --- | --- | --- | +| Структура, контракт, качество | `make check validate lint` | OpenAPI 1.6.0 / JSON Schema, ruff, 216 форматированных файлов, ty — PASS | [final-quality.txt](evidence/forward-published/final-quality.txt), [свежая проверка отчёта](evidence/report-audit.md) | +| Собственные регрессии, SQLAlchemy/Alembic | `make student-test` | 995 passed, 2 Linux-only skipped, 19 stack deselected; сохранённый полный прогон | [student-test.txt](evidence/forward-published/student-test.txt) | +| 3: минимум lab5 при telemetry on | `make test` | Public API PASS; final smoke после возврата defaults | [smoke.txt](evidence/forward-published/smoke.txt), [final-smoke.txt](evidence/forward-published/final-smoke.txt) | +| 3: durable pipeline и повторы | `python3 scripts/pipeline_suite.py --level 4 --only smoke_pipeline,worker_down_broker_restart,duplicate_after_ready,poison_image,s3_outage_recovers,retry_exhausted,crash_after_s3_before_commit,crash_after_commit_before_ack,malformed_message_dead_lettered --output evidence/reproduction-pipeline.json` | 9 сценариев; 7 принятых заданий достигают ожидаемых состояний, single effect и другие инварианты PASS | [pipeline.txt](evidence/forward-published/pipeline.txt), [pipeline.json](evidence/forward-published/pipeline.json) | +| 3: сохранение данных и сессий | `make test-persistence ACTION_SCRIPT=scripts/restart.sh` | Подтверждённые данные и прежняя сессия сохранены, 14,386 s на сценарий | [persistence.txt](evidence/forward-published/persistence.txt), [hook](scripts/restart.sh) | +| 3: отказ реплики и возврат | `make test-failover ACTION_SCRIPT=scripts/stop-one.sh`; `make restore` | 2 исходные реплики, 130 успешных записей, 0 failed attempts; первый успех через 2,876 s, api-2 возвращена healthy | [failover.txt](evidence/forward-published/failover.txt), [restore.txt](evidence/forward-published/restore.txt) | +| 3: воспроизводимый общий стенд | `make up`; `make obs-validate` | Сервисы готовы, Collector/Prometheus/Loki/Tempo и JSON dashboards валидны | [up.txt](evidence/forward-published/up.txt), [obs-config.txt](evidence/forward-published/obs-config.txt), [runtime.json](evidence/forward-published/runtime.json) | +| 3: история наблюдаемости в volumes | `python3 scripts/obs_recovery.py` | Исторический прогон: 7 spans до/после, 1 лог, значение метрики 352 сохранено при рестарте storage | [telemetry-recovery.txt](evidence/grade3/telemetry-recovery.txt), [основание применимости](evidence/forward-published/preserved-mechanisms.json) | +| 3: API → лог → trace, реальные server/client spans | `python3 scripts/obs_check.py request --base-url http://127.0.0.1:18086` | `request.handled`, trace/span IDs; 7 spans, включая HTTP server и DB client | [telemetry-request.txt](evidence/forward-published/telemetry-request.txt) | +| 3: worker → лог → trace, consumer spans | `python3 scripts/obs_check.py job --base-url http://127.0.0.1:18086` | Attachment ready, 52 spans, `job.processed` / `audit.job_settled` с одним trace_id | [telemetry-job.txt](evidence/forward-published/telemetry-job.txt) | +| 3: RED API, jobs outcome/duration, provisioning | `python3 scripts/obs_check.py dashboards --strict` | 32 targets, problems=[], реальные series; два dashboard JSON в Git | [dashboards.txt](evidence/forward-published/dashboards.txt), [dashboards](infra/grafana/dashboards) | +| 3: низкая кардинальность / resource attributes | `python3 scripts/obs_check.py query 'count by (__name__, job) ({job=~"messenger-.*"})'` | Шаблон маршрута, method/status, job_type/outcome, service/instance; IDs не используются как labels | [исторические series неизменных инструментов](evidence/grade4/cardinality-series.json), [свежие dashboard queries](evidence/forward-published/dashboards.txt) | +| 3: отсутствие запрещённых данных | `python3 scripts/obs_check.py leaks --base-url http://127.0.0.1:18086` | 0 совпадений password/token/text/filename в проверенных log lines и 8 traces за 20 s; metadata Loki этим тестом не покрыта | [telemetry-leaks.txt](evidence/forward-published/telemetry-leaks.txt), [minor M1](evidence/review-summary.md) | +| 4: W3C API → outbox → broker → worker → S3/DB | `python3 scripts/obs_incidents.py chain` | 55 spans, producer/consumer, итог done | [incident-chain.txt](evidence/forward-published/incident-chain.txt) | +| 4: та же цепочка с retry | `python3 scripts/obs_incidents.py retry` | 86 spans; `retry_scheduled` → `done`, один trace | [incident-retry.txt](evidence/forward-published/incident-retry.txt) | +| 4: p50/p95/p99, error ratio, backlog, pool, saturation, CPU/RAM, time-to-ready | `python3 scripts/obs_check.py dashboards --strict` | Все используемые запросы разрешаются; имена/единицы и ограничения приведены ниже | [dashboards.txt](evidence/forward-published/dashboards.txt), [recording rules](infra/prometheus/rules/messenger.recording.yml) | +| 4: SLI/SLO, error rate alert | `python3 scripts/obs_incidents.py database` | SQL client ERROR 2002,866 ms, error ratio 0,9181, firing → resolved | [incident-database.txt](evidence/forward-published/incident-database.txt), [alert rules](infra/prometheus/rules/messenger.alerts.yml) | +| 4: queue lag alert и восстановление | `python3 scripts/obs_incidents.py worker` | 8 jobs, age 34,470 s, firing → resolved, depth 8 → 0 | [incident-worker.txt](evidence/forward-published/incident-worker.txt) | +| 4: ограниченные очереди, отказ telemetry storage | `python3 scripts/obs_incidents.py storage` | Исторический неизменный механизм: smoke PASS, 74 успешных probes, потеря 2 traces, RAM ≤252,7/256 MiB, очереди после recovery =0 | [storage-incident.txt](evidence/grade4/storage-incident.txt), [основание применимости](evidence/forward-published/preserved-mechanisms.json) | +| 4: readiness и shutdown при отказе Collector | `python3 scripts/obs_recovery.py` | Исторический прогон: ready=200, smoke PASS, shutdown API 4,592 s, exit 0 | [telemetry-recovery.txt](evidence/grade3/telemetry-recovery.txt) | +| Поздние исправления сессий/HTTP | `.venv/bin/python student-tests/tools/forward_network.py`; stack pytest из логов | Негативный Basic/NUL, logout обеих реплик, идемпотентность; Valkey bypass и logout503→204 | [network.txt](evidence/forward-published/network.txt), [cache-outage.txt](evidence/forward-published/cache-outage.txt) | +| Поздние исправления доставки/изображений | `env PYTHONPATH=.:scripts:student-tests .venv/bin/python student-tests/tools/forward_runtime.py postgres-outage` (также `png-http`, `png-boundary`) | 12 requeue без роста DLQ, тот же job/attempt; PNG 40 MP, две версии, конкурентный peak 913 227 776 <1 073 741 824 bytes, OOM=0 | [postgres-outage.json](evidence/forward-published/postgres-outage.json), [png-http.json](evidence/forward-published/png-http.json), [png-boundary.json](evidence/forward-published/png-boundary.json) | +| 5: off/on/head/tail/balanced, цена и сохранность | `python3 scripts/obs_cost.py --mode MODE --repeat N --duration 40 --rate 20 --output evidence/reproduction/MODE-N.json` | 15 пригодных серий, 12 000 запросов; balanced −92,2% Tempo ingest, 48/48 error и 48/48 slow | [методика](evidence/forward-published/cost/method.md), [comparison.json](evidence/forward-published/cost/comparison.json), [результаты](evidence/forward-published/cost/results.md) | +| OpenSpec propose/apply/archive | `openspec list --json`; `openspec validate --all --strict --no-interactive` | 0 active changes, 26 specs PASS; циклы 3/4/5 и поздний перенос архивированы | [архивы](openspec/changes/archive), [spec-sync.json](evidence/forward-published/spec-sync.json), [проверка отчёта](evidence/report-audit.md) | + +`restart.sh` останавливает `lb api relay worker`, перезапускает `postgres valkey s3 broker`, затем ждёт Compose healthy с прежними volumes. Публичный тест подавляет stdout hook: 14,386 s — время всего сценария, а не измеренная длительность недоступности каждого процесса; отдельного timestamp-аудита всех перезапусков в этом логе нет. `restore.txt` непосредственно подтверждает запуск остановленной api-2. История telemetry проверена отдельным `obs_recovery.py`. Старый запуск из чистого clone на `2903d9d` — [clean-clone.txt](evidence/grade3/clean/clean-clone.txt); он не является свежим clean-clone прогоном позднего кода. + +### Сигналы и запросы + +Resource: `service.name=messenger-api|messenger-relay|messenger-worker`, `service.version=1.6.0`, уникальный `service.instance.id=-`, `deployment.environment.name=lab`. В Prometheus ресурс виден через `job`, `instance` и `target_info`; в Loki — нормализованные поля, включая `service_name`. Технические request/job IDs допустимы в логах/spans для корреляции синтетических данных, но не в labels метрик. + +| Логический сигнал контракта | Реальное имя / поля | Единицы и измерения / запрос | +| --- | --- | --- | +| HTTP requests | `http_server_request_duration_seconds_count` | counter наблюдений histogram; `http_request_method`, `http_route`, `http_response_status_code`; `sum(messenger:http_requests:rate2m)` — RPS; recording rule формирует `status_class` | +| HTTP duration | `http_server_request_duration_seconds_bucket` | секунды; `histogram_quantile(0.95, sum by (le) (rate(http_server_request_duration_seconds_bucket{job="messenger-api",http_route!~"/health/.*"}[5m])))`; для p50/p99 заменить 0.95 | +| HTTP errors | `messenger:http_errors:ratio_rate2m` | 5xx / все бизнес-запросы, без health; 4xx остаются в знаменателе, не считаются отказами | +| Jobs processed / failed | `messenger_jobs_processed_total` | доставки, `job_type`, `outcome`; `sum by(job_type,outcome)(rate(messenger_jobs_processed_total[5m]))`; outcome содержит done/retry_scheduled/failed и другие ветки | +| Job duration | `messenger_job_duration_seconds_bucket` | секунды обработки доставки, `job_type`, `outcome`; percentile из суммы bucket rates | +| Time to ready | `messenger_job_time_to_ready_seconds_bucket` | секунды от Job.created_at до done после commit, `job_type`; учитывает ожидание и retries | +| Queue depth / oldest age | `messenger_queue_depth`, `messenger_queue_oldest_age_seconds` | jobs / секунды, `queue_name=attachments.process`; SQLAlchemy poll 5 s, durable queued/processing включая leased/retry, не только AMQP messages_ready | +| DB pool | `messenger_db_pool_used`, `_waiting`, `_capacity` | занятые connections / acquisitions / лимит; waiting включает получение/создание соединения, не только очередь слотов | +| Worker saturation | `messenger_worker_busy`, `messenger_worker_capacity` | активные deliveries / доступная capacity; отношение сумм даёт долю занятости | +| Process CPU / RAM | `process_cpu_time_seconds_total`, `process_memory_usage_bytes` | `sum by(job)(rate(process_cpu_time_seconds_total[2m]))` — cores; `sum by(job)(process_memory_usage_bytes)` — bytes RSS; CPU renderer-детей не входит | +| Logs | timestamp, severity, resource service.name, event, trace_id, span_id | `request.handled`, `job.processed`; LogQL `{service_name="messenger-api"} | trace_id=""`; поля OTel представлены structured metadata | +| Traces | SERVER, PRODUCER, CONSUMER, CLIENT | Tempo по trace_id; DB/S3 операции, duration/status, связь parent; ссылки из Grafana provisioning | + +HTTP histogram (секунды): 0.005, 0.01, 0.025, 0.05, 0.075, 0.1, 0.25, 0.5, 0.75, 1, 2.5, 5, 7.5, 10, +Inf. Job/time-to-ready: 0.05, 0.1, 0.25, 0.5, 1, 2, 5, 10, 30, 60, +Inf. Они различают быстрый HTTP, таймауты зависимостей и 30-секундный SLO job. Квантили агрегируются по buckets всех реплик; среднее арифметическое p99 реплик не используется. CPU/RAM трека дополнительно измерены извне по cgroups, независимо от состояния SDK. ## Эксперименты и отказы -TODO: гипотеза, hardware/лимиты, версии, объём данных, профиль нагрузки, concurrency/arrival rate, длительность/прогрев, повторы, успешные RPS, ошибки, p50/p95/p99, CPU/RAM. Сохранить raw summary без tokens и объяснить ограничения измерения. +### SLI/SLO и диагностика -| Воздействие | Что ожидаем | Что наблюдали | Время восстановления / потеря данных | -| --- | --- | --- | --- | -| TODO | TODO | TODO | TODO | +API availability: `1 − 5xx/все бизнес-HTTP` за **1 h**, цель **≥99%**, health исключён. Это SLI приложения: ответы самого HAProxy не входят. Job SLI: доля **завершённых** jobs с time-to-ready **≤30 s** за **1 h**, цель **≥95%**; незавершённые отдельно контролируются возрастом backlog. Эти цели заданы и измеримы, но короткие опыты не доказывают месячный production SLO. + +`MessengerHighErrorRate`: доля 5xx >5% за 1 min, `for: 15s`. `MessengerQueueLag`: max age >15 s и depth >0, `for: 15s`. Проверка rules каждые 5 s; доставка наружу не требуется. [Runbooks](infra/prometheus/runbooks.md) связывают alert с запросами и действиями. + +| Воздействие и доказательство | Ожидание и наблюдение | Время / потери | +| --- | --- | --- | +| Остановка worker; [свежий лог](evidence/forward-published/incident-worker.txt) | API принимает 8 jobs, backlog=8, oldest=34,470 s; после возврата depth=0, alert resolved | UTC 06.11: stop 23:47:05, firing 23:47:49 (**44 s**), restore 23:47:52, resolved 23:48:04 (**12 s** после возврата). Все 8 jobs обработаны | +| Ограниченная SQL-блокировка users; [свежий лог](evidence/forward-published/incident-database.txt) | 168 контролируемых 503; error ratio=0,9181, pool waiting=0; SELECT client ERROR длится 2002,866 ms | UTC 06.11: lock 23:48:16, firing/снятие lock 23:48:59 (**43 s**), resolved 23:49:54 (**55 s**). Блокировка сама данные не меняет; полноценный RPO здесь не измерялся | +| S3 временно недоступен; [retry](evidence/forward-published/incident-retry.txt) | Одна цепочка из 86 spans показывает retry_scheduled → done, затем DB commit | Сценарий 23:46:51–23:47:04 UTC (≈13 s); принятое вложение ready, отдельное время unavailable не выделено | +| PostgreSQL недоступен worker; [JSON](evidence/forward-published/postgres-outage.json) | 12 requeue, delivery-limit=-1; job_id и attempt=1 сохранены, DLQ 0→0, после восстановления done без replay | Targeted case 20,39 s; это время кейса, не точный RTO. Потери принятого задания не обнаружены | +| Остановка одной API-реплики; [failover](evidence/forward-published/failover.txt) | 130 writes, 0 failed attempts, подтверждённые данные и сессия сохранились | Первый успешный запрос после воздействия через 2,876 s; restore завершился за 3,660 s | +| Рестарт приложений и business stores; [persistence](evidence/forward-published/persistence.txt) | Сессия и подтверждённые данные сохранены; volumes не удаляются | 14,386 s на весь сценарий; отдельный RTO не измерен | +| Остановка Prometheus/Loki/Tempo; **исторический** [storage](evidence/grade4/storage-incident.txt), неизменные механизмы | Smoke PASS, 74 успешных probes; queue logs/metrics/traces=381/1287/465, после recovery 0/0/0; Collector без наблюдаемого OOM | UTC 06.11: 18:14:29–18:16:16 (**107 s**), проверка закончилась 18:16:39. 72/74 traces найдены, **2 потеряны**; RAM 252,7/256 MiB (98,7%) | +| Остановка Collector / рестарт telemetry stores; **исторический** [recovery](evidence/grade3/telemetry-recovery.txt) | Ready=200, smoke PASS, ранее сохранённая история доступна | API shutdown 4,592 s, exit 0; 7/7 прежних spans и лог найдены после рестарта | + +Первый инцидент диагностируется по растущим depth/age при отсутствии обработки: после возврата worker backlog исчезает, значит узкое место — consumer. Во втором 503 server span содержит PostgreSQL client ERROR около 2 s, при этом pool waiting=0: причина в выполнении SQL, а не в очереди пула или просто медленном HTTP handler. Снятие lock и последующий resolved подтверждают гипотезу. Это разбор сохранённых наблюдений контролируемых отказов; слепой runbook-прогон другого оператора (трек 2) не заявлен. + +При отказе telemetry storage retry ограничен 60 s. В сохранённых counters есть 440 failed span exports, 11 log records и 72 metric points; эти единицы не равны числу потерянных запросов/полных трасс. Непосредственный контроль trace IDs показал 2 потерянные трассы из 74 успешных запросов. Рост памяти ограничен наблюдаемым окном и лимитом контейнера; запаса Collector почти нет, бесконечная устойчивость не доказана. + +### Трек 1: цена наблюдаемости + +Гипотеза: head sampling снижает ingest, но теряет важные события; tail sampling оставляет ERROR/slow и уменьшает запись в Tempo, сохраняя расходы SDK. Сбалансированный режим должен сохранить контрольные события при меньшей записи обычных traces и более редком экспорте метрик. + +Измеряемый SHA: `bc1d7aa7713858acb5d65b61d07e69a640f1ee97`, image ID `sha256:66c7d75903f514e14fea21689d039eeba1d9d85a0d27ef3d70d4ab41288e2f6d`. Серии выполнены 06–07.11.2026 UTC. Нагрузка — GET `/api/v1/users/me` по одному созданному для серии пользователю/сессии; это HTTP/DB-профиль, не массовый рендер изображений. Существующие volumes между режимами сохраняются, полный размер БД не нормировался. Условия, host load и список контейнеров сохранены в [conditions-start.json](evidence/forward-published/cost/conditions-start.json), снимках каждого круга и raw JSON. В снимках других Docker projects нет; эксклюзивность всего host не заявляется. + +| Режим | SDK / выбор traces | Метрики | +| --- | --- | --- | +| off | SDK полностью выключен | Нет метрик приложения; self-scrapes storage продолжаются | +| on | Все server roots и их дочерние spans | Каждые 10 s | +| head | ParentBased root ratio 10% | Каждые 10 s | +| tail | Все spans до Collector; сохранить ERROR, latency ≥300 ms, 10% остальных | Каждые 10 s | +| balanced | Все spans до Collector; ERROR, latency ≥300 ms, 5% остальных | Каждые 30 s | + +По три повтора каждого режима, последовательно off/on/head/tail/balanced. 20 прогревочных GET и 35 s ожидания экспорта; затем **40 s open-loop, 20 arrivals/s, 800 запросов**, максимум 64 клиентских потока. В каждой серии 768 обычных, 16 ожидаемых 503 и 16 задержек 350 ms; после — 35 s drain. Всего **12 000 запросов**, 11 760 ожидаемых 200 и 240 намеренных 503, **0 неожиданных ответов**. Фактическая скорость 20,012–20,020 req/s; максимум schedule lag 61,055 ms. Это заданная нагрузка, не поиск предельного throughput. + +Команда серии и разбор всех параметров — [method.md](evidence/forward-published/cost/method.md). CPU: delta cgroup CPU time / длительность внешних samples; RAM: working set usage−inactive_file, 21 sample с периодом около 2 s. Application = API/relay/worker; observability = Collector/Prometheus/Loki/Tempo/Grafana; business stores/LB считаются отдельно. CPU-окно охватывает нагрузку, но не всю работу tail во время drain. Ingest включает drain; bytes Tempo/Loki и samples Prometheus не складываются в одну единицу. + +Медианы трёх повторов; диапазон normal p95 — min/max, не доверительный интервал. Общие p50/p95/p99 посчитаны клиентом по всем категориям, поэтому p99 отражает вброшенную задержку. + +| Режим | p50 / p95 / p99, ms | normal p95, ms [min;max] | CPU app / obs / stores+LB, cores | RAM app / obs / stores+LB, MiB (median peak) | +| --- | --- | --- | --- | --- | +| off | 8,052 / 12,102 / 358,732 | 11,583 [11,572;11,856] | 0,1404 / 0,0256 / 0,1085 | 655,5 / 1013,3 / 419,9 | +| on | 7,460 / 13,148 / 359,469 | 12,709 [12,554;12,993] | 0,1726 / 0,0287 / 0,1030 | 706,8 / 1058,5 / 425,5 | +| head | 9,195 / 13,116 / 358,373 | 12,556 [12,354;12,652] | 0,1657 / 0,0261 / 0,1023 | 723,8 / 1076,1 / 347,1 | +| tail | 8,942 / 13,281 / 359,109 | 12,781 [12,555;12,920] | 0,1717 / 0,0272 / 0,1026 | 721,0 / 1021,2 / 430,6 | +| balanced | 8,269 / 13,230 / 359,753 | 12,895 [12,833;13,031] | 0,1749 / 0,0258 / 0,1030 | 707,1 / 1027,9 / 423,1 | + +Фактические лимиты: API 2×(1 CPU/512 MiB), relay 0,5 CPU/192 MiB, worker 2 CPU/1 GiB; Collector 0,5/256 MiB, Prometheus 0,5/512 MiB, Loki/Tempo/Grafana каждый 0,5/384 MiB; PostgreSQL 2/768 MiB, S3 1/512 MiB, RabbitMQ 1/512 MiB, Valkey 0,5/128 MiB, LB 1/128 MiB. **PG_MEMORY в измерении 768m, в `.env.example` — 1g**: для повторения именно этих условий задайте `PG_MEMORY=768m` до `make up`. Остальные значения сверяйте с [runtime.json](evidence/forward-published/runtime.json). + +| Режим | Tempo / Loki, KiB (median) | Prom samples (median) | SDK ended / sent spans (median) | Найдено normal /2304 | error /48 | slow /48 | +| --- | ---: | ---: | ---: | ---: | ---: | ---: | +| off | 0,0 / 0,0 | 33118 | 0 / 0 | 0 | 0 | 0 | +| on | 1662,2 / 288,3 | 36284 | 5489 / 5489 | 2304 | 48 | 48 | +| head | 176,2 / 288,4 | 37234 | 543 / 543 | 237 | 6 | 3 | +| tail | 251,8 / 289,7 | 36657 | 5492 / 699 | 235 | 48 | 48 | +| balanced | 130,2 / 289,8 | 34459 | 5486 / 352 | 101 | 48 | 48 | + +Во всех пригодных сериях **SDK ended = Collector accepted**, exporter failures=0. Head намеренно не создал 42/48 error и 45/48 slow server traces; число несозданных дочерних spans неизвестно и не выдумывается. Tail/balanced фильтруют уже созданные spans; accepted−sent здесь не означает неисправность доставки. Off означает отключение SDK. В режиме on найдены все 2400 server traces трёх повторов. + +**Balanced снизил медианный Tempo ingest на 92,2% относительно on**, сохранив 48/48 error и 48/48 slow. Loki почти не изменился; Prometheus включает постоянный фон self-scrapes. Normal p95 у on выше off примерно на 1,127 ms (+9,7%), CPU приложения — 0,1726 против 0,1404 cores; это описательные разности данного опыта, не доказательство статистической значимости. Balanced не устраняет цену SDK и не показал ускорения HTTP. Проверенная рекомендация относится к сокращению записи traces при этом профиле и окне решения tail 10 s. + +![Повторы, медианы и диапазоны цены наблюдаемости](evidence/forward-published/cost/comparison.png) + +[Сырые серии и comparison.json](evidence/forward-published/cost/comparison.json), [сводка](evidence/forward-published/cost/results.md), [аудит пригодности](evidence/forward-published/cost/measurement-audit.json). Первоначальные on-3/head-3 (ещё 1600 запросов) исключены из сравнения из-за разрывов wall clock: 932,714 s после нагрузки и 938,154 s вместо 40 s, gap samples до 900,354 s. Их HTTP PASS не означает пригодность CPU/ingest. Оригиналы с hashes сохранены в [invalid-series.json](evidence/forward-published/cost/invalid-series.json) и [invalid-time-gap](evidence/forward-published/cost/invalid-time-gap); повторены только эти две серии. Причина разрыва времени достоверно не установлена. + +Проверенный запуск balanced: + +```sh +OTEL_COLLECTOR_CONFIG=collector-balanced.yaml OTEL_METRIC_EXPORT_INTERVAL=30000 scripts/lab6.sh docker compose up -d --no-deps --wait otel-collector api relay worker +``` + +После опытов возвращены SDK on/ratio1/interval10s, `collector.yaml`, `COST_EXPERIMENT=false`: [defaults-restored.json](evidence/forward-published/defaults-restored.json). Стенд остановлен без удаления данных, 9 volumes сохранены: [shutdown.txt](evidence/forward-published/shutdown.txt), [closure.json](evidence/forward-published/closure.json). Это зафиксированное состояние окончания реализации, не новое обращение отчётного этапа к Docker. ## Ограничения и следующие шаги -TODO: какие отказы выдерживаются и какие нет; что не реализовано; где учебное упрощение; какое улучшение подтверждено, а какое пока гипотеза. +Ревью `6ca1c7549978af3127966540385195ab0587f2e1` не выявило major. Пять minor сохранены; по правилу пользователя они не блокируют отчёт/release и в документационном этапе не исправляются: + +| ID | Ограничение и последствие | Файлы / доказательства | +| --- | --- | --- | +| M1 | Loki leak-check ищет маркеры через line filter, но не во всех attributes/structured metadata. Нулевые hits — ограниченная проверка, не полный аудит отсутствия секретов. Фактическая утечка не обнаружена | [obs_check.py](scripts/obs_check.py), [telemetry.py](src/messenger/shared/infrastructure/telemetry.py), [leaks](evidence/forward-published/telemetry-leaks.txt) | +| M2 | Унаследованные allowlists `make limits` и published-port audit CI не учитывают OTel/helper services и отклоняют штатную ЛР6. Весь CI не объявляется зелёным; лимиты проверены отдельно | [limits.py](scripts/limits.py), [workflow](.github/workflows/application.yml), [runtime](evidence/forward-published/runtime.json) | +| M3 | API SLI не учитывает 503 HAProxy, rate новой серии может пропустить первый всплеск. Полная пауза БД не вызвала alert; успешен именно отдельный SQL-lock сценарий | [alerts](infra/prometheus/rules/messenger.alerts.yml), [неуспешный старый опыт](evidence/grade4/database-incident.txt), [свежий SQL-lock](evidence/forward-published/incident-database.txt) | +| M4 | Collector достиг 98,7% лимита (252,7/256 MiB) без наблюдаемого OOM. Запас мал; опыт не доказывает устойчивость при любой нагрузке/длительности отказа | [collector.yaml](infra/otel/collector.yaml), [compose](compose.yaml), [storage](evidence/grade4/storage-incident.txt) | +| M5 | Whitespace в SVG и сыром stdout: ревью получило `git show --check` exit 2, 2320 замечаний. Это косметика артефактов; `make lint` исходников проходит | [comparison.svg](evidence/forward-published/cost/comparison.svg), [whitespace-check.txt](evidence/forward-published/whitespace-check.txt) | + +Полный текст и происхождение замечаний — [review-summary.md](evidence/review-summary.md). Улучшения охвата leak-check, CI allowlists, edge SLI и запаса памяти остаются будущей работой; результат их реализации не заявлен. + +Дополнительные границы: один host, одиночные PostgreSQL/RabbitMQ/S3/Collector и локальные volumes, без HA этих компонентов и disaster recovery. Сбой узла и удаление volumes не покрыты. TLS/mTLS, внешние receivers alerts и multi-window burn-rate относятся к другим задачам. Три повтора, фиксированный порядок, общий host и накопленная история storage ограничивают выводы о CPU/RAM/latency; CPU во время drain и непрерывный пик RAM не измерены. Tail window 10 s не гарантирует полноту очень поздних retry. Queue gauge — durable backlog; time-to-ready SLI не включает pending; process CPU не включает renderer. Full suite имеет 2 macOS skip и 19 deselected stack, поэтому дополнен targeted Docker evidence, но не выдаётся за исполнение всех тестов. + +Старые `grade3`, `grade4`, `track5`, `level3.json` привязаны к своим SHA в [индексе](evidence/README.md); прежние 519 passed и −91,1% Tempo не являются результатом позднего кода. Неуспешные/прерванные smoke, retry, persistence, тесты и измерения сохранены и размечены в исторических notes. Новый clean-clone и динамический прогон в отчётном этапе не выполнялись. Сырые evidence, OpenSpec и реализация не менялись. Конфигурация OpenSpec уже актуальна; новая proposal/apply/archive для документационного этапа не создавалась по его явному ограничению на изменения. + +## Вопросы защиты + +1. **Чем отличаются три сигнала?** Метрика показывает рост error rate/backlog, лог даёт событие и технический ID, trace показывает длительность зависимостей и причинную цепочку. +2. **Почему нельзя chat_id в labels?** Число series растёт с чатами и комбинациями labels; память/индекс хранилища расходуются даже при малом RPS. Нужен route template; ID оставляют для выборочного поиска логов/traces. +3. **Как связаны API и worker?** W3C carrier сохраняется вместе с durable job/outbox, затем идёт в AMQP headers; consumer извлекает parent, retry сохраняет связь. Сбой relay не стирает контекст из БД. +4. **Почему ack после COMMIT?** Ранний ack может потерять работу при падении до commit; поздний допускает повтор, который нейтрализуют effect key и fencing. +5. **Почему SQLAlchemy и Alembic?** ORM/Core задают единые транзакции/блокировки и пул, Alembic — упорядоченный head с lock/legacy adoption. OTel asyncpg инструментация наблюдает драйвер под SQLAlchemy, не заменяя его. +6. **Почему среднее не заменяет p99?** Редкая задержка скрывается средним; p99 реплик нельзя усреднять. Сначала складываются bucket rates, затем вычисляется quantile. +7. **Как отличили DB от медленного handler?** В сохранённом trace SELECT client ERROR около 2 s внутри server 503, pool waiting=0; снятие SQL lock убрало причину и затем alert. +8. **Почему head потерял ошибки, а balanced сохранил?** Head решает до исхода, tail — после получения ERROR/duration. Цена tail — создание всех spans и ограниченное ожидание в памяти Collector. +9. **Почему наблюдаемость может теряться без потери сообщения?** Её очереди и retry конечны и отделены от бизнес-коммита; 2/74 traces потеряны при продолжающем работать API. +10. **Что доказано треком?** Сокращение записи в Tempo на 92,2% с сохранением контрольных событий при 20 req/s. Production capacity, статистическое ускорение и полнота всех поздних retry не доказаны. + +## Источники и помощь + +Нормы: [README](README.md), [контракт наблюдаемости](contracts/observability.md), [API](contracts/openapi.json), [COURSE](COURSE.md). Архитектура портов/UoW — [конспект Персиваля—Грегори](openspec/notes/architecture-patterns-python.md). Код и проверенные конфигурации версионируются в этом репозитории. + +SQLAlchemy async sessions/engine и Alembic async `run_sync` сверены с [SQLAlchemy 2.0](https://docs.sqlalchemy.org/en/20/orm/extensions/asyncio.html) и [Alembic cookbook](https://alembic.sqlalchemy.org/en/latest/cookbook.html#using-asyncio-with-alembic). Context7 в этом этапе ответил `Monthly quota exceeded`, поэтому использована официальная документация; закреплённые версии проекта не обновлялись. Остальные первичные материалы OTel, W3C, Prometheus и Grafana перечислены в README; фактические имена/настройки сверены с локальным кодом и evidence. + +Codex использован как инструмент подготовки реализации, проверок, анализа и отчёта; автор работы — Костылев Артём. Независимое ревью получено отдельным этапом runner. Динамические результаты в этом документе — сохранённые измерения исполнителей, а не повторные прогоны агента отчёта. diff --git a/evidence/README.md b/evidence/README.md index 8df7001..ee5f5d5 100644 --- a/evidence/README.md +++ b/evidence/README.md @@ -1,5 +1,63 @@ -# Доказательства +# Индекс доказательств ЛР6 -Храните небольшие обезличенные результаты: команды и stdout проверок, JSON/CSV агрегатов нагрузки, EXPLAIN, dashboard JSON, текст разбора отказа. Укажите дату, commit, аппаратные лимиты и профиль нагрузки. +Автор: Костылев Артём, БПИ2303. Итог: [REPORT.md](../REPORT.md), заявлены уровни 3/4 и трек 1 «Цена наблюдаемости». **Основной актуальный набор — `forward-published/`**. Имя каталога описывает перенос опубликованного источника ЛР5 и не означает публикацию ЛР6. -Не добавляйте .env, session tokens, cookies, приватные ключи, credentials, реальные сообщения, raw dumps и signed URLs. Для скриншотов скрывайте секреты. Большие логи/бинарные traces сохраняйте отдельно по правилам преподавателя; одного скриншота без методики недостаточно. +## Происхождение и актуальность + +| Набор | SHA и назначение | Как использовать | +| --- | --- | --- | +| [forward-port.md](forward-port.md), [source-inventory.json](forward-published/source-inventory.json) | ЛР5 `f88e9ba43cdfd7eb6a5a7ae5feb4247b4e820071` → `c7b8feb805d151e878d77b0dff47320a9436b172`; все 281 путь diff учтены | Карта позднего переноса, исключения и причина повторения измерений | +| [forward-published](forward-published) | Runtime/измеритель `bc1d7aa7713858acb5d65b61d07e69a640f1ee97`; evidence-коммит/ревью `6ca1c7549978af3127966540385195ab0587f2e1` | Свежие доказательства после исправлений; runtime между этими SHA не менялся | +| [grade3/notes.md](grade3/notes.md), [level3.json](level3.json) | **Исторический код** `95511002b12510178a3cc2a22566b43e2b2b6c81`; чистый clone `2903d9d` | Не свежие smoke/нагрузка. История telemetry и независимость от Collector переиспользуются только для незатронутых механизмов | +| [grade4/notes.md](grade4/notes.md) | **Исторический код** `44d81fd80ee13faa42bca069245ee0943f88b2df`, retry harness `447a6507f973596e612f40c1484dda922bf0e50d`; storage incident `cd9d91550aa4eeba31489e07b71ee2767acfc7d8` | Отказ storage и кардинальность применимы в пределах [preserved-mechanisms.json](forward-published/preserved-mechanisms.json); chain/retry/alerts заменены свежими | +| [track5/notes.md](track5/notes.md) | **Исторический код** `202b985deacda79b6d8df65dcefe8a1af43f1a8e`, измеритель `bc0b1620825b53fd3a3019623326ebf68cbbbeec` | Старые 519 passed, −91,1% Tempo и 15 серий не смешивать с актуальными 995 passed / −92,2%; auth/cache путь изменился и был перемерен | +| [review-summary.md](review-summary.md) | Результат независимого review из runner на `6ca1c75…` | 0 major, 5 minor; полный список ограничений, не новое ревью | +| [report-audit.md](report-audit.md) | Документационный этап поверх `6ca1c75…` | Только статические проверки и сверка сохранённых чисел; Docker/нагрузка не запускались | + +[closure.json](forward-published/closure.json) фиксирует окончание реализации: runtime не менялся после замеров, 22 проверяемых тогда файла и прежний evidence сохранены, своих работающих контейнеров нет, 9 volumes оставлены. Число 22 включает документы, которые отчётный этап имеет право обновить; это исторический снимок, не запрет на REPORT/AGENTS/этот индекс. Нормативные contracts/tests/README/COURSE и infra README неизменны. В отчётном этапе raw evidence не переписывается; в старые notes добавлена только отметка исторического кода. + +## Карта актуального набора + +| Что проверено | Команда / средство | Доказательства | +| --- | --- | --- | +| Конфигурация, образы, условия и limits | `scripts/lab6.sh make up`; снимки runtime/host | [up.txt](forward-published/up.txt), [runtime.json](forward-published/runtime.json), [conditions-before.json](forward-published/conditions-before.json) | +| Структура, схемы, ruff/ty | `make check validate lint` | [quality.txt](forward-published/quality.txt), [final-quality.txt](forward-published/final-quality.txt) | +| Полный собственный suite | `make student-test` | [student-test.txt](forward-published/student-test.txt): 995 passed, 2 skipped, 19 deselected; запуск до runtime-коммита на WIP поверх `97feb04…`, зафиксированном затем в `bc1d7aa…` | +| Public API, persistent stores, failover | `make test`, `make test-persistence ACTION_SCRIPT=scripts/restart.sh`, `make test-failover ACTION_SCRIPT=scripts/stop-one.sh`, `make restore` | [smoke](forward-published/smoke.txt), [persistence](forward-published/persistence.txt), [failover](forward-published/failover.txt), [restore](forward-published/restore.txt), [final-smoke](forward-published/final-smoke.txt) | +| Поздние auth/cache/HTTP регрессии | `student-tests/tools/forward_network.py`, stack tests, точные команды внутри логов | [network](forward-published/network.txt), [cache-outage](forward-published/cache-outage.txt), [HAProxy errors](forward-published/haproxy-errors.txt), [negative upload](forward-published/upload-negative.txt) | +| Requeue при отказе PostgreSQL | `student-tests/tools/forward_runtime.py postgres-outage` | [JSON](forward-published/postgres-outage.json), [команда](forward-published/postgres-outage.txt), [worker](forward-published/postgres-outage-worker.txt), [broker policy](forward-published/policy.txt) | +| PNG корректность и ограничения памяти | `student-tests/tools/forward_runtime.py png-http` / `png-boundary` | [png-http.json](forward-published/png-http.json), [png-http.txt](forward-published/png-http.txt), [png-boundary.json](forward-published/png-boundary.json), [png-boundary.txt](forward-published/png-boundary.txt) | +| Pipeline, retry, COMMIT/ack, DLQ | `scripts/pipeline_suite.py --level 4 --only …` (9 кейсов, полный вызов в txt) | [pipeline.json](forward-published/pipeline.json), [pipeline.txt](forward-published/pipeline.txt) | +| Конфиги наблюдаемости и dashboard queries | `make obs-validate`; `scripts/obs_check.py dashboards --strict` | [obs-config](forward-published/obs-config.txt), [dashboards](forward-published/dashboards.txt) | +| Корреляция request/job | `scripts/obs_check.py request` / `job` | [telemetry-request](forward-published/telemetry-request.txt), [telemetry-job](forward-published/telemetry-job.txt) | +| Контроль запрещённых значений | `scripts/obs_check.py leaks` | [telemetry-leaks](forward-published/telemetry-leaks.txt); ограничение Loki metadata — M1 в review-summary | +| Upload trace и retry до результата | `scripts/obs_incidents.py chain` / `retry` | [chain](forward-published/incident-chain.txt), [retry](forward-published/incident-retry.txt): 55/86 spans | +| Worker/DB incidents, alerts | `scripts/obs_incidents.py worker` / `database` | [worker](forward-published/incident-worker.txt), [database](forward-published/incident-database.txt): firing → resolved | +| История и outage telemetry (исторический код) | `scripts/obs_recovery.py`; `scripts/obs_incidents.py storage` | [recovery](grade3/telemetry-recovery.txt), [storage](grade4/storage-incident.txt), [обоснование неизменности](forward-published/preserved-mechanisms.json) | +| OpenSpec | `openspec validate --all --strict --no-interactive`, sync/archive | [validation](forward-published/openspec-validation.txt), [archive](forward-published/openspec-archive.txt), [spec-sync](forward-published/spec-sync.json) | +| Завершение без удаления данных | Возврат defaults, `make down` | [defaults-restored](forward-published/defaults-restored.json), [shutdown](forward-published/shutdown.txt), [closure](forward-published/closure.json) | + +## Трек 1: только пригодные серии + +[Методика](forward-published/cost/method.md) · [результаты](forward-published/cost/results.md) · [comparison.json](forward-published/cost/comparison.json) · [PNG](forward-published/cost/comparison.png) · [SVG](forward-published/cost/comparison.svg). Все численные сводки берутся из 15 raw JSON на `bc1d7aa…`; TXT той же серии содержит точный вызов, дату/SHA и exit code. + +| Режим | Raw JSON (повторы 1 / 2 / 3) | Команды/вывод | +| --- | --- | --- | +| off | [1](forward-published/cost/off-1.json) / [2](forward-published/cost/off-2.json) / [3](forward-published/cost/off-3.json) | [1](forward-published/cost/off-1.txt) / [2](forward-published/cost/off-2.txt) / [3](forward-published/cost/off-3.txt) | +| on | [1](forward-published/cost/on-1.json) / [2](forward-published/cost/on-2.json) / [3](forward-published/cost/on-3.json) | [1](forward-published/cost/on-1.txt) / [2](forward-published/cost/on-2.txt) / [3](forward-published/cost/on-3.txt) | +| head | [1](forward-published/cost/head-1.json) / [2](forward-published/cost/head-2.json) / [3](forward-published/cost/head-3.json) | [1](forward-published/cost/head-1.txt) / [2](forward-published/cost/head-2.txt) / [3](forward-published/cost/head-3.txt) | +| tail | [1](forward-published/cost/tail-1.json) / [2](forward-published/cost/tail-2.json) / [3](forward-published/cost/tail-3.json) | [1](forward-published/cost/tail-1.txt) / [2](forward-published/cost/tail-2.txt) / [3](forward-published/cost/tail-3.txt) | +| balanced | [1](forward-published/cost/balanced-1.json) / [2](forward-published/cost/balanced-2.json) / [3](forward-published/cost/balanced-3.json) | [1](forward-published/cost/balanced-1.txt) / [2](forward-published/cost/balanced-2.txt) / [3](forward-published/cost/balanced-3.txt) | + +[Measurement audit](forward-published/cost/measurement-audit.json) проверяет окно 38..42 s, drain/report 30..45 s и max gap samples <5 s. Два непригодных оригинала — [on-3](forward-published/cost/invalid-time-gap/on-3.json), [head-3](forward-published/cost/invalid-time-gap/head-3.json); причина исключения, hashes и решение повторить только их — [invalid-series.json](forward-published/cost/invalid-series.json). Их 1600 запросов не входят в 12000 пригодных. + +Фон: [start](forward-published/cost/conditions-start.json), [round 1](forward-published/cost/conditions-round-1.json), [round 2](forward-published/cost/conditions-round-2.json), [round 3](forward-published/cost/conditions-round-3.json), [repeat start](forward-published/cost/conditions-repeat-start.json), [repeat end](forward-published/cost/conditions-repeat-end.json). Других Docker projects в снимках нет; общий host остаётся ограничением. Пригодные измерения сохраняются для финального аудита; документационные изменения не основание прогонять их заново. + +## Неуспешные попытки и границы доказательств + +- В [grade3/notes.md](grade3/notes.md) размечены преждевременный smoke и job во время рестарта; успешные повторы лежат рядом. Clean-clone evidence относится только к старому `2903d9d`. +- В [grade4/notes.md](grade4/notes.md) сохранены ранние неуспешные student tests, retry без реального отказа, прерванный persistence, неправильный cardinality-вызов и DB pause без firing. Ни один не объявлен PASS итоговым отчётом. +- В [track5/notes.md](track5/notes.md) отмечены ранний smoke, ошибка Docker stats до нагрузки и пустые validation-файлы. Все результаты этого каталога исторические. +- [Старые findings позднего переноса](forward-published/findings.json) содержат четыре minor; [review-summary.md](review-summary.md) добавляет пятое, про Loki metadata. [Whitespaces](forward-published/whitespace-check.txt) — реальный неуспех косметической проверки, не неуспех `make lint`. + +Не добавлять `.env`, tokens/cookies, credentials, реальные сообщения, raw dumps и signed URLs. Технические IDs в проверках синтетические; они служат корреляции, не являются секретами. Наличие файла/скриншота само по себе не доказательство: нужны команда, SHA, наблюдение и границы применимости. diff --git a/evidence/grade3/notes.md b/evidence/grade3/notes.md index f38bbe0..8090eb6 100644 --- a/evidence/grade3/notes.md +++ b/evidence/grade3/notes.md @@ -1,5 +1,7 @@ # Уровень 3 — сведения для отдельного отчёта +> Исторический уровень 3: результаты кода до позднего переноса ЛР5. Для текущего SHA используйте [индекс](../README.md) и `../forward-published/`. Эти исходные заметки сохранены как история; применимость отдельных незатронутых механизмов оговорена в индексе. + Приложение проверено на SQLAlchemy-коде 95511002b12510178a3cc2a22566b43e2b2b6c81. Новый код этой фазы — обвязка запуска и строгая проверка реальных spans. Команды запускаются через `scripts/lab6.sh`, задающий только порты ЛР6, project и NO_PROXY; значения secrets не выводятся. Дата/SHA и exit_code есть в каждом command log. | Критерий | Команда и доказательство | diff --git a/evidence/grade4/notes.md b/evidence/grade4/notes.md index bdf8e1d..17c658c 100644 --- a/evidence/grade4/notes.md +++ b/evidence/grade4/notes.md @@ -1,5 +1,7 @@ # Уровень 4 — заметки для отдельного отчёта +> Исторический уровень 4: результаты кода до позднего переноса ЛР5. Для текущего SHA используйте [индекс](../README.md) и `../forward-published/`. Эти исходные заметки сохранены как история; применимость отдельных незатронутых механизмов оговорена в индексе. + Код приложения: 44d81fd80ee13faa42bca069245ee0943f88b2df. Обвязка retry: 447a6507f973596e612f40c1484dda922bf0e50d. Даты UTC, SHA, команды и exit_code находятся в command logs. Команды выполняются через scripts/lab6.sh. ## Реализованные сигналы diff --git a/evidence/report-audit.md b/evidence/report-audit.md new file mode 100644 index 0000000..d341afe --- /dev/null +++ b/evidence/report-audit.md @@ -0,0 +1,31 @@ +# Аудит документационного этапа + +Дата: 2026-11-07. Рабочая ветка `solution/bpi2303-kostylev`, исходный HEAD `6ca1c7549978af3127966540385195ab0587f2e1`, дерево при старте чистое. Автор работы: Костылев Артём, БПИ2303. Изменены только REPORT.md, AGENTS.md и Markdown внутри evidence. Новые динамические, нагрузочные, Docker-прогоны и публикация не выполнялись; сырые данные не изменялись. + +## Выполненные проверки + +| Команда / проверка | Реальный результат в этом этапе | +| --- | --- | +| `make check` | PASS: offline skeleton structure, local refs and Python syntax; application NOT tested | +| `make validate` | PASS: full OpenAPI 3.1 and JSON Schema validation; application NOT tested | +| `make lint` | ruff check — All checks passed; ruff format — 216 files already formatted; ty — All checks passed | +| `openspec list --json` | `changes: []`, root — текущий репозиторий | +| `openspec validate --all --strict --no-interactive` | 26 passed, 0 failed | +| `git diff --name-only bc1d7aa7713858acb5d65b61d07e69a640f1ee97 HEAD -- src alembic scripts infra compose.yaml Dockerfile pyproject.toml uv.lock` | Пусто: runtime, зависимости, конфигурации и измеритель после серий не менялись | +| Пересчёт через `scripts/obs_cost_summary.py:summarize` в памяти без `main()`/записи файлов | Все 15 записей `comparison.json.runs` точно совпали с raw JSON; 12000 запросов, unexpected=0, SDK ended=accepted, export failures=0 | +| Подсчёт raw HTTP-ответов | 11760 ответов 200, 240 контролируемых 503; категории normal=11520, slow=240, error=240; один измеряемый SHA `bc1d7aa…` | +| Проверка ссылок Markdown через `pathlib.Path.exists` | Все относительные ссылки итоговых REPORT, AGENTS, evidence index, review summary и этого аудита разрешаются | +| Синтаксис команд документации: каждый блок `sh` через `sh -n` | 3 блока проходят, сами команды стенда не исполнялись | +| `git diff --check` по документационным изменениям | PASS; историческое whitespace-замечание M5 о прежнем коммите сохраняется | + +## Что проверено по сохранённым результатам + +[Полный student-test](forward-published/student-test.txt) — 995 passed, 2 skipped, 19 deselected. Это запуск этапа реализации, **не запуск агента отчёта**. В отчётной фазе тяжёлые тесты/Docker запрещены, поэтому `make student-test` не повторён. Лог относится к WIP поверх `97feb04b3f2a6008f636e1fdbdf284b1c97282a1`, затем зафиксированному runtime-коммитом `bc1d7aa7713858acb5d65b61d07e69a640f1ee97`. + +Сверены [методика трека](forward-published/cost/method.md), [raw comparison](forward-published/cost/comparison.json), [measurement-audit](forward-published/cost/measurement-audit.json), [исключённые серии](forward-published/cost/invalid-series.json), времена в [worker incident](forward-published/incident-worker.txt) и [DB incident](forward-published/incident-database.txt). Успех обязательных динамических сценариев заявлен по этим сохранённым evidence, а не по статическим проверкам. + +Исторические результаты отделены в [индексе](README.md) и баннерах grade3/grade4/track5. Неизменность 21 пути telemetry относительно прежней реализации обоснована в [preserved-mechanisms.json](forward-published/preserved-mechanisms.json); storage/history проверки переиспользуются только в этих границах. Пять minor из успешного независимого ревью переданы в [review-summary.md](review-summary.md) и ограничения [REPORT](../REPORT.md). + +`openspec/config.yaml` прочитан и сверен: ЛР6, SQLAlchemy 2.0.45/Alembic 1.16.5, FastStream/aio-pika, текущий контур OTel. Он уже актуален и оставлен неизменным по разрешённому списку файлов. Propose/apply/archive уровней 3/4/5 и позднего переноса выполнены предыдущим этапом; активных changes нет. Документационная правка не выдаётся за новую реализацию или новый цикл OpenSpec. + +Context7 resolve SQLAlchemy вернул `Monthly quota exceeded`. Для справки использованы официальные [SQLAlchemy 2.0 async](https://docs.sqlalchemy.org/en/20/orm/extensions/asyncio.html) и [Alembic cookbook](https://alembic.sqlalchemy.org/en/latest/cookbook.html#using-asyncio-with-alembic); актуальные версии проекта сверены с локальным pyproject/uv.lock, зависимости не обновлялись. diff --git a/evidence/review-summary.md b/evidence/review-summary.md new file mode 100644 index 0000000..304ede9 --- /dev/null +++ b/evidence/review-summary.md @@ -0,0 +1,13 @@ +# Результат независимого ревью для отчёта + +Источник: переданный runner результат этапа `lab6-review` (и совпадающий `lab6-review-review-round1`), SHA `6ca1c7549978af3127966540385195ab0587f2e1`. Это перенос результата в постоянный документ, **не новое независимое ревью** агента отчёта. Major не выявлены, пять minor не блокируют report/release по правилу пользователя. Код и сырые измерения при подготовке отчёта не изменены. + +| ID | Severity | Файл | Проблема и доказательство | +| --- | --- | --- | --- | +| M1 | minor | [scripts/obs_check.py](../scripts/obs_check.py):318; [telemetry.py](../src/messenger/shared/infrastructure/telemetry.py):97 | Loki leak-check использует `\|=` по строке; OTel log fields экспортируются также в attributes/structured metadata. Нули [telemetry-leaks.txt](forward-published/telemetry-leaks.txt) не покрывают metadata. Фактическая утечка не найдена. Ревью сослалось на [семантику line filter](https://grafana.com/docs/loki/latest/query/log_queries/#line-filter-expression) | +| M2 | minor | [scripts/limits.py](../scripts/limits.py):33; [application.yml](../.github/workflows/application.yml):85 | Allowlists не учитывают OTel/helper services; `make limits` и CI-проверка опубликованных портов отклоняют штатную ЛР6. Фактические лимиты сохранены отдельно в [runtime.json](forward-published/runtime.json) | +| M3 | minor | [messenger.alerts.yml](../infra/prometheus/rules/messenger.alerts.yml):7 | API SLI исключает 503 HAProxy и может пропустить первый всплеск новой серии. Полный отказ PostgreSQL не вызвал alert: [старый неуспешный сценарий](grade4/database-incident.txt). Обязательный SQL-lock сценарий успешно подтверждён отдельно: [incident-database.txt](forward-published/incident-database.txt) | +| M4 | minor | [collector.yaml](../infra/otel/collector.yaml); [compose.yaml](../compose.yaml):462 | Collector достиг 252,7/256 MiB (98,7%) без наблюдаемого OOM при storage outage: [storage-incident.txt](grade4/storage-incident.txt). Малый запас памяти; конфигурация не менялась | +| M5 | minor | [comparison.svg](forward-published/cost/comparison.svg); `forward-published/*.txt` | Ревью получило `git show --check HEAD` exit 2 и 2320 whitespace-замечаний в сгенерированных артефактах/сыром stdout. Форматирование кода проходит. Сохранённый предыдущим этапом вывод: [whitespace-check.txt](forward-published/whitespace-check.txt) | + +Ревью сверило 15 raw-серий (12000 запросов), актуальность измеряемого `bc1d7aa7713858acb5d65b61d07e69a640f1ee97`, SQLAlchemy/Alembic, outbox, fencing и ack после COMMIT. Динамические результаты оно оценивало по сохранённым evidence без запуска Docker/нагрузки. Свежие проверки именно документационного этапа перечислены отдельно в [report-audit.md](report-audit.md). diff --git a/evidence/track5/notes.md b/evidence/track5/notes.md index 25a1668..28faa95 100644 --- a/evidence/track5/notes.md +++ b/evidence/track5/notes.md @@ -1,5 +1,7 @@ # Трек 1 — сведения для отдельного отчёта +> Исторический трек 1: результаты кода до позднего переноса ЛР5. Для текущего SHA используйте [индекс](../README.md) и `../forward-published/`. Эти исходные заметки сохранены как история; применимость отдельных незатронутых механизмов оговорена в индексе. + Код приложения/образ: 202b985deacda79b6d8df65dcefe8a1af43f1a8e; исправление измерителя: bc0b1620825b53fd3a3019623326ebf68cbbbeec. Raw JSON содержит SHA, UTC, все ответы клиента, samples Docker, counters до/после и IDs найденных traces. Команды и exit_code — в одноимённых txt. REPORT.md не изменяется. ## Гипотеза и метод