From d169076e30970964b2a98cd995db92403ec3337a Mon Sep 17 00:00:00 2001 From: vasyukova Date: Fri, 30 Oct 2026 19:30:47 +0300 Subject: [PATCH] =?UTF-8?q?=D0=9F=D0=BE=D0=B4=D0=B3=D0=BE=D1=82=D0=BE?= =?UTF-8?q?=D0=B2=D0=B8=D0=BB=D0=B0=20=D0=BE=D1=82=D1=87=D0=B5=D1=82?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- REPORT.md | 195 +++++++++++++++++++++++++++++++----------------------- 1 file changed, 114 insertions(+), 81 deletions(-) diff --git a/REPORT.md b/REPORT.md index 154391d..c758d3b 100644 --- a/REPORT.md +++ b/REPORT.md @@ -4,9 +4,9 @@ - Целевая оценка: 4 - Commit/PR: solution/BVT2303-Vasyukova - Использованные источники, библиотеки и помощь ИИ: - - Контракт: contracts/openapi.json, contracts/README.md + - Контракт: contracts/openapi.json, contracts/README.md, contracts/observability.md - Инструкции: README.md, COURSE.md, CONTRIBUTING.md - - Библиотеки: fastapi==0.115.0, uvicorn[standard]==0.32.0, psycopg[binary]==3.2.3, psycopg_pool==3.2.3, redis==5.2.0, boto3==1.35.74, Pillow==11.0.0, pika==1.3.2, pydantic (из fastapi) + - Библиотеки: fastapi==0.115.0, uvicorn[standard]==0.32.0, psycopg[binary]==3.2.3, psycopg_pool==3.2.3, redis==5.2.0, boto3==1.35.74, Pillow==11.0.0, pika==1.3.2, opentelemetry-api==1.28.2, opentelemetry-sdk==1.28.2, opentelemetry-exporter-otlp-proto-http==1.28.2, opentelemetry-instrumentation-fastapi==0.49b2, opentelemetry-instrumentation-requests==0.49b2 - ИИ: DeepSeek — помощь в структурировании кода и отчёта. Весь код проверен, отредактирован и запущен разработчиком. ## Запуск из чистого clone @@ -14,9 +14,12 @@ Версии runtime/образов: - Python: 3.12 (образ `python:3.12-slim`) - FastAPI 0.115.0, uvicorn[standard] 0.32.0, psycopg[binary] 3.2.3, psycopg_pool 3.2.3, redis 5.2.0, boto3 1.35.74, Pillow 11.0.0, pika 1.3.2 +- OTel SDK 1.28.2, FastAPI instrumentation 0.49b2 - PostgreSQL 18.6-alpine, Redis 7.4.1-alpine, nginx 1.27.3-alpine - RabbitMQ 3.13.7-management-alpine - MinIO: `netvark/minio:20260213` (зеркало официального образа; оригинальные `minio/minio` удалены с Docker Hub). CLI `mc`: `netvark/mc:20260920`. +- OTel Collector: `otel/opentelemetry-collector-contrib:0.108.0` +- Prometheus: `prom/prometheus:v2.54.1`, Loki: `grafana/loki:3.1.1`, Tempo: `grafana/tempo:2.5.0`, Grafana: `grafana/grafana:11.2.0` - Docker Desktop (Windows) ### Запуск стека @@ -30,7 +33,7 @@ ``` copy .env.example .env ``` -3. Собрать и поднять (LB + 2 реплики API + PostgreSQL + Redis + MinIO + minio-init + rabbitmq + worker + outbox + s3_cleanup): +3. Собрать и поднять (LB + 2 реплики API + PostgreSQL + Redis + MinIO + minio-init + rabbitmq + worker + outbox + s3_cleanup + OTel Collector + Prometheus + Loki + Tempo + Grafana): ``` docker compose --env-file .env up -d --build ``` @@ -39,6 +42,7 @@ curl.exe -s http://localhost:8080/health/ready ``` Ожидается: `{"status":"ok"}`. +5. Grafana доступна на `http://localhost:3000` (admin/admin). Дашборд `messenger-lab6` и datasources импортируются автоматически. Все проверки ниже выполнялись с `PYTHONUTF8=1` (Windows по умолчанию использует cp1251 и падает на чтении UTF-8 JSON): ``` @@ -56,28 +60,16 @@ $env:PYTHONUTF8="1" | `make test` | `python tests/smoke.py --base-url http://localhost:8080` | | `make test-persistence` | `python tests/resilience.py --mode persistence --action-script scripts/restart.bat --base-url http://localhost:8080` | | `make test-failover` | `python tests/resilience.py --mode failover --action-script scripts/stop-one.bat --base-url http://localhost:8080` | -| `make test-student` | `python student-tests/lab5_test_level4.py --base-url http://localhost:8080` | +| `make test-student` | `python student-tests/lab6_test_level4.py --base-url http://localhost:8080` | ### Остановка и удаление учебных данных ``` -docker compose stop # данные PostgreSQL, Redis, MinIO, RabbitMQ сохраняются (volumes) +docker compose stop # данные PostgreSQL, Redis, MinIO, RabbitMQ, Prometheus, Loki, Tempo, Grafana сохраняются (volumes) docker compose down # volumes сохраняются docker compose down -v # ТОЛЬКО если осознанно стираем данные ``` -### Операторский replay failed-задач - -Причина ошибки устранена — вернуть задачи в обработку (failed → queued + новая строка outbox, готовые не трогаются): - -``` -docker compose --env-file .env exec -T worker python -m app.storage.replay_failed --all-failed -# или конкретные ID: -docker compose --env-file .env exec -T worker python -m app.storage.replay_failed [...] -``` - -Публикацию делает существующий `outbox`, обработку — `worker`; оба должны быть запущены. Проверка: `status=queued`, затем `ready`. - ## Архитектура и решения Схема процессов и хранилищ: @@ -93,15 +85,21 @@ HTTP-клиент → lb:80 ──┤ │ outbox (publisher) → читает unpublished из PostgreSQL → публикует в RabbitMQ worker (consumer) → забирает job из RabbitMQ → читает staging → пишет final+variants → status=ready s3_cleanup → сверка S3↔БД, recover зависших processing + +API/worker/outbox → OTLP/HTTP → otel-collector → ┬→ Tempo (traces) + ├→ Loki (logs) + └→ Prometheus (metrics) + → Grafana (дашборд, алерты) ``` -Все сервисы — в одной compose-сети `mtuci2026lab5_default`. Публично опубликован только порт LB `127.0.0.1:8080:80`. Реплики `api` **не имеют `ports`** — трафик к ним идёт исключительно через LB. PostgreSQL, Redis, MinIO и RabbitMQ доступны только по внутренним именам. Административная консоль MinIO (`:9001`), S3 API (`:9000`) и RabbitMQ management (`:15672`) **не публикуются** наружу. +Все сервисы — в одной compose-сети `mtuci2026lab6_default`. Публично опубликован только порт LB `127.0.0.1:8080:80` и Grafana `127.0.0.1:3000:3000`. Реплики `api` **не имеют `ports`** — трафик к ним идёт исключительно через LB. PostgreSQL, Redis, MinIO, RabbitMQ, OTel Collector (4317/4318/8888/8889), Prometheus (9090), Loki (3100), Tempo (3200) доступны только по внутренним именам. Источники истины: - PostgreSQL — данные (пользователи, чаты, членство, сообщения, метаданные вложений, варианты, outbox, ключи идемпотентности). - Redis — серверные сессии (общие для всех реплик). - MinIO (S3) — байты вложений: staging (`staging/…`) и финальный `attachments/…` (приватный bucket). - RabbitMQ — durable очередь job'ов. Сама по себе не источник истины: намерение сохраняется в `outbox` до публикации. +- Tempo/Loki/Prometheus — telemetry storage. Их падение не останавливает API. Схема БД (подробнее — `src/app/storage/db.py`, константа `SCHEMA_SQL`): ``` @@ -118,7 +116,7 @@ idempotency_keys(user_id FK→users, method TEXT, path TEXT, key TEXT, attachments(id UUID PK, chat_id FK→chats, owner_id FK→users, filename TEXT, content_type TEXT, size_bytes BIGINT, sha256 TEXT, object_key TEXT UNIQUE, status TEXT, error_code TEXT, - processing_until TIMESTAMPTZ, -- lab5: lease для worker + processing_until TIMESTAMPTZ, created_at TIMESTAMPTZ, updated_at TIMESTAMPTZ) + INDEX idx_attachments_chat(chat_id) message_attachments(message_id FK→messages, attachment_id FK→attachments, position INT, @@ -126,9 +124,9 @@ message_attachments(message_id FK→messages, attachment_id FK→attachments, po attachment_variants(attachment_id FK→attachments, pipeline_version INT, variant TEXT, object_key TEXT, content_type TEXT, size_bytes BIGINT, width INT, height INT, sha256 TEXT, created_at TIMESTAMPTZ, - PRIMARY KEY (attachment_id, pipeline_version, variant)) -- lab5 + PRIMARY KEY (attachment_id, pipeline_version, variant)) outbox(id BIGSERIAL PK, job_id UUID UNIQUE, payload JSONB, created_at TIMESTAMPTZ, - published_at TIMESTAMPTZ) -- lab5 level 4 + published_at TIMESTAMPTZ) + PARTIAL INDEX idx_outbox_unpublished(id) WHERE published_at IS NULL ``` @@ -138,67 +136,78 @@ outbox(id BIGSERIAL PK, job_id UUID UNIQUE, payload JSONB, created_at TIMESTAMPT - `create_user` — SELECT-проверка username и INSERT в одной транзакции; при гонке `UniqueViolation` → 409. - `create_chat` — INSERT `chats` + INSERT `chat_members` в одной транзакции, откат целиком. - `add_message_idempotent` — INSERT ключа идемпотентности, INSERT сообщения, INSERT связей с вложениями и UPDATE ответа ключа в **одной** транзакции. -- `create_attachment_queued` (lab5) — INSERT `attachments` (status=`queued`) + INSERT `outbox` в **одной** транзакции. Это durable handoff: если API упадёт сразу после ответа 202, outbox гарантирует публикацию job'а. +- `create_attachment_queued` — INSERT `attachments` (status=`queued`) + INSERT `outbox` в **одной** транзакции. Это durable handoff: если API упадёт сразу после ответа 202, outbox гарантирует публикацию job'а. - `finalize_ready` — UPDATE `attachments` (status=`ready`, `object_key`=final) + INSERT `attachment_variants` с `ON CONFLICT (attachment_id, pipeline_version, variant) DO NOTHING` в **одной** транзакции. Идемпотентно к повторной доставке. -### Дерево проекта (изменения относительно lab4 отмечены `*`) +### Дерево проекта (изменения относительно lab5 отмечены `*`) ``` -mtuci2026lab5/ -├── compose.yaml * # + rabbitmq, worker, outbox; tag lab5 для всех сервисов +mtuci2026lab6/ +├── compose.yaml * # + otel-collector, prometheus, loki, tempo, grafana; tag lab6 ├── Dockerfile ├── docker-entrypoint.sh # генерирует INSTANCE_ID, пишет /tmp/instance_id -├── infra/nginx.conf +├── infra/ +│ ├── nginx.conf +│ ├── otel/collector.yaml * # OTLP receivers, memory_limiter, batch, exporters +│ ├── prometheus/ +│ │ ├── prometheus.yaml * # scrape otel-collector:8889 +│ │ └── rules/alerts.yaml * +│ ├── loki/loki.yaml * +│ ├── tempo/tempo.yaml * +│ ├── grafana/provisioning/ +│ │ ├── datasources/datasources.yaml * # Prometheus/Loki/Tempo +│ │ ├── dashboards/provider.yaml * +│ │ ├── dashboards/json/messenger.json * +│ │ └── alerting/{contactpoints,policies,rules}.yaml * +│ └── runbooks/ * # high-error-rate.md, queue-lag.md, slow-upload.md ├── Makefile -├── requirements.txt * # + pika +├── requirements.txt * # + opentelemetry-* ├── src/app/ -│ ├── main.py * # версия 1.5.0, title lab5 -│ ├── api/ -│ │ ├── attachments.py * # upload → 202 queued; download variant -│ │ ├── messages.py # без изменений с lab4 -│ │ └── health.py # без изменений с lab4 -│ ├── models/ -│ │ └── schemas.py # без изменений с lab4 -│ ├── storage/ -│ │ ├── db.py * # + attachment_variants, outbox, processing_until -│ │ ├── postgres.py * # + lab5 методы (queued, variants, outbox, lease, recover) -│ │ ├── s3.py * # + staging_key, variant_key -│ │ ├── rabbit.py * # новый: topology, publish с confirm, retry, DLQ -│ │ └── s3_cleanup.py * # + cleanup staging, recover processing -│ ├── worker.py * # новый: consumer, обработка изображений -│ └── outbox_worker.py * # новый: outbox publisher (level 4) +│ ├── main.py * # OTel init, HTTP-метрики, X-Request-Id/X-Instance-Id +│ ├── telemetry.py * # новый: единая точка init OTel + лог-формат +│ ├── outbox_worker.py * # trace context из outbox payload → job.publish span +│ ├── worker.py * # consumer span job.consume, метрики jobs_* +│ ├── api/attachments.py * # inject traceparent в outbox payload +│ ├── api/... # без изменений с lab5 +│ ├── models/schemas.py +│ └── storage/ # без изменений с lab5 ├── scripts/ -│ ├── restart.sh / .bat * # + rabbitmq, worker, outbox -│ └── stop-one.sh / .bat # без изменений +│ ├── restart.sh / .bat +│ ├── stop-one.sh / .bat +│ └── rolling-update.sh └── student-tests/ - └── lab5_test_level4.py * # новый: variants, outbox, DLQ, lease, retry + └── lab6_test_level4.py * # новый: traces, metrics, logs, dashboard, alerts, telemetry down ``` -### Что нового в lab5 относительно lab4 +### Что нового в lab6 относительно lab5 -TODO +- **OTel SDK** в API, worker и outbox: `init_telemetry()` настраивает TracerProvider, MeterProvider, LoggerProvider; OTLP/HTTP → `otel-collector:4318`. +- **Resource attributes**: `service.name` (messenger-api / messenger-worker / messenger-outbox), `service.version=1.6.0`, `service.instance.id`, `deployment.environment.name=lab`. +- **Логи**: единый формат с `trace_id=`/`span_id=`; `TraceContextFilter` подставляет их из активного span и в stdout, и в OTLP-экспортёр → Loki. +- **Метрики**: `http_requests_total{http.method,http.route,http.status_class}`, `http_request_duration_seconds_bucket`, `jobs_processed_total{job.type,outcome}`, `job_processing_duration_seconds_bucket`. +- **Трассы**: server span FastAPI + собственный `http.request` span в middleware; `job.publish` (PRODUCER) в outbox; `job.consume` (CONSUMER) в worker. W3C traceparent инжектится API → outbox payload → RabbitMQ headers → worker extract. +- **Collector**: `memory_limiter` (192 MiB + spike 64), `batch`, `resource` (upsert deployment.environment.name); exporters otlphttp/tempo, otlphttp/loki, prometheus:8889. Retry ограничен (`max_elapsed_time=60s`), sending_queue `queue_size=1000`. +- **Grafana provisioning**: datasources Prometheus/Loki/Tempo, dashboard `messenger-lab6`, alert rules `MessengerHighErrorRate` + `MessengerJobsBacklogGrowing` (+ `MessengerUploadLatencyHigh`). ## Доказательства критериев | Критерий | Команда | Наблюдаемый результат | Уровень | | --- | --- | --- | --- | -| Публичный smoke | `python tests/smoke.py` | PASS: lab5 public API scenario | 3 | -| Broker + worker в общем стенде, at-least-once | `docker compose ps`; `rabbitmqctl list_queues` | rabbitmq/worker/outbox Up; consumer на `attachment.process.v1` | 3 | -| Upload возвращает 202 queued, работа переживает остановку worker | `lab5_test_level4.py::test_worker_stopped` | 202 queued → content 409 → старт worker → ready | 3 | +| Публичный smoke | `python tests/smoke.py` | PASS: lab6 public API scenario | 3 | +| Collector + хранилища 3 сигналов + Grafana в общем стенде | `docker compose ps` | otel-collector, prometheus, loki, tempo, grafana Up | 3 | +| API/worker отдают OTLP в Collector | Grafana → Explore → Prometheus/Tempo/Loki | метрики `http_*`, `jobs_*`; реальные traces; логи `messenger-api/worker` | 3 | +| Импортируемый dashboard | `test_grafana_provisioning` | `/api/dashboards/uid/messenger-lab6` → 200, панели RPS/errors/p95/jobs | 3 | +| Логи с trace_id | `lab6_test_level4.py::test_logs_in_loki` | ненулевой `trace_id=` в логах api+worker | 3/4 | | Сохранение метаданных и сессии при рестарте | `resilience.py --mode persistence` | PASS: тот же токен и SHA-256 файла | 3 | -| Отказ одной API-реплики | `resilience.py --mode failover` | observed_instances_before=2, successful_writes=7, failed_attempts=0, first_recovery=4.245 s | 3 | -| Worker сохраняет original + один thumbnail по контракту | `lab5_test_level4.py::test_variants` | thumbnail JPEG 256×160, sha256/size совпадают | 3 | -| Ограниченный retry, финальный failed с error_code | `lab5_test_level4.py::test_broken_staging_dlq` | failed `retry_exhausted` + DLQ | 3 | -| Повтор job не создаёт второго набора вариантов | `lab5_test_level4.py::test_duplicate_delivery_no_duplicates` | variants не выросли, status=ready | 3 | -| Original неизменен, download побайтно | smoke + `test_variants` | SHA-256 совпадает; при скачивании — те же байты | 3 | -| Crop 128×128 (JPEG) | `lab5_test_level4.py::test_variants` | jpeg_size(crop) == (128,128) | 4 | -| Optimized WebP (≤1280×1280) | `lab5_test_level4.py::test_variants` | Content-Type image/webp, RIFF/WEBP | 4 | -| Outbox закрывает разрыв COMMIT → publish | `lab5_test_level4.py::test_outbox_crash` | stop outbox → upload 202 + outbox unpublished → start outbox → ready | 4 | -| Retry с backoff, DLQ, безопасный replay | `lab5_test_level4.py::test_broken_staging_dlq` | 4 попытки, `retry_exhausted`, DLQ +1 | 4 | -| Ограниченная конкуренция, prefetch=1, очистка staging | `worker.py`, `s3_cleanup.py` | prefetch_count=1; staging удаляется после finalize | 4 | -| Lease: зависший processing возвращается в queued | `lab5_test_level4.py::test_stuck_processing_recovered` | processing (lease истёк) → queued → ready | 4 | -| Лимиты времени/памяти worker | `Pillow`, `MAX_IMAGE_PIXELS`, threadpool | Pillow в threadpool, лимит до `load()` | 4 | -| Гарантия, что в очереди ID, а не байты/креды | `rabbit.py`, `outbox_worker.py` | payload = {job_id, attachment_id, pipeline_version, created_at}; staging/финальные байты — в S3 | 4 | +| Отказ одной API-реплики | `resilience.py --mode failover` | observed_instances_before=2, failed_attempts=0 | 3 | +| Сквозной trace API → broker → worker | `lab6_test_level4.py::test_trace_api_to_worker` | один trace со span'ами `POST /api/v1/chats/{chat_id}/attachments`, `job.publish`, `job.consume` | 4 | +| p50/p95/p99, error ratio, jobs, duration | `lab6_test_level4.py::test_metrics_in_prometheus` | все required метрики в Prometheus; `http_route` без UUID | 4 | +| Низкокардинальные labels | `test_metrics_in_prometheus` | `http_route` соответствует `/api/…` / `/health…`, raw UUID отсутствует | 4 | +| Alert rules минимум 2 | `test_grafana_provisioning` | `MessengerHighErrorRate`, `MessengerJobsBacklogGrowing` (+ upload latency) | 4 | +| Alert firing + resolved | `test_alert_firing_and_resolved` | stop postgres → firing, start postgres → inactive | 4 | +| Telemetry backend down | `test_telemetry_backend_down` | API пишет/читает; Collector жив, RSS < 260 MiB | 4 | +| Memory limiter / bounded retry в Collector | `infra/otel/collector.yaml` | `memory_limiter.limit_mib=192`; `retry_on_failure.max_elapsed_time=60s`; `sending_queue.queue_size=1000` | 4 | +| SLI/SLO и runbooks | `infra/prometheus/rules/alerts.yaml`, `infra/runbooks/` | error rate > 5% / 30s; retries > successes +5 / 5m; p95 upload > 2s / 3m | 4 | ### Выводы тестов @@ -210,7 +219,7 @@ PASS: offline skeleton structure, local refs and Python syntax; application NOT PASS: full OpenAPI 3.1 and JSON Schema validation; application NOT tested. (venv) PS ...> python tests/smoke.py --base-url http://localhost:8080 -PASS: lab5 public API scenario; infrastructure and grading evidence remain separate. +PASS: lab6 public API scenario; infrastructure and grading evidence remain separate. (venv) PS ...> python tests/resilience.py --mode persistence --action-script scripts/restart.bat --base-url http://localhost:8080 Executing explicit persistence hook; hook output suppressed to avoid leaking secrets. @@ -221,30 +230,54 @@ Executing explicit failover hook; hook output suppressed to avoid leaking secret {"observed_instances_before": 2, "successful_writes": 7, "failed_attempts": 0, "first_recovery_seconds": 4.245} PASS: failover preserved confirmed data and existing session. Hook scope needs operator evidence. -(venv) PS ...> python student-tests/lab5_test_level4.py --base-url http://localhost:8080 -=== variants (thumbnail/crop/optimized) === -PASS: original, thumbnail 256×160, crop 128×128, optimized WebP -=== outbox crash between COMMIT and publish === -PASS: outbox recovers job after stop/start without manual intervention -=== duplicate delivery does not create duplicates === -PASS: re-delivery of the same job is a no-op -=== worker stopped: 202 → content 409 → ready === -PASS: accepted work survives worker restart -=== broken staging → retry_exhausted → failed + DLQ === -PASS: bounded retry, failed with safe error_code, message in DLQ -=== stuck processing (lease) → queued → ready === -PASS: expired lease is recovered, same attachment becomes ready -PASS: all lab5 level-4 checks passed +(venv) PS ...> python student-tests/lab6_test_level4.py --base-url http://localhost:8080 +=== trace API -> broker -> worker (Tempo) === + trace_id: b5259be38ee2e0400bd833c7eb723160 + spans: POST /api/v1/chats/{chat_id}/attachments, POST /api/v1/chats/{chat_id}/attachments http receive, POST /api/v1/chats/{chat_id}/attachments http send, http.request, job.consume, job.publish +PASS: single trace with upload + job.publish + job.consume +=== metrics in Prometheus === + metrics in Prometheus: ['http_request_duration_seconds_bucket', 'http_requests_total', 'job_processing_duration_seconds_bucket', 'jobs_processed_total'] + jobs_processed_total{outcome=success} = 5.0 +PASS: http_requests_total + duration + jobs_processed_total present, low-cardinality route labels +=== logs in Loki === + Loki OK: api+worker logs with non-zero trace_id found +PASS: structured logs of api+worker with trace_id +=== Grafana provisioning === + datasources: ['loki', 'prometheus', 'tempo'] + dashboard panels: ['API + worker logs', 'API RPS (total)', 'API error ratio (5xx / total)', 'HTTP latency p50/p95/p99 (s)', 'Job duration p95 (s) by outcome', 'Jobs processed by outcome'] + alert rules: ['MessengerHighErrorRate', 'MessengerJobsBacklogGrowing'] +PASS: dashboard messenger-lab6 + >=2 alert rules provisioned +=== alert firing and resolved === + MessengerHighErrorRate firing + MessengerHighErrorRate resolved +PASS: alert fires on artificial outage and resolves on recovery +=== telemetry backend down === + otel-collector RSS while backends down: 81.24 MiB + API and Collector remained healthy while backends were down +PASS: API works, Collector stays within memory limit +PASS: all lab6 level-4 checks passed ``` ## Эксперименты и отказы -TODO: гипотеза, hardware/лимиты, версии, объём данных, профиль нагрузки, concurrency/arrival rate, длительность/прогрев, повторы, успешные RPS, ошибки, p50/p95/p99, CPU/RAM. Сохранить raw summary без tokens и объяснить ограничения измерения. +Стенд: Windows 11, Docker Desktop (WSL2), 16 ГБ RAM, лимиты compose из `compose.yaml` (API 1 CPU / 512 MiB ×2; worker 1 CPU / 512 MiB; Collector 0.5 CPU / 256 MiB). Все данные синтетические; профиль — публичный `smoke.py` + `student-tests/lab6_test_level4.py`. | Воздействие | Что ожидаем | Что наблюдали | Время восстановления / потеря данных | | --- | --- | --- | --- | -| TODO | TODO | TODO | TODO | +| `docker compose stop postgres` (~30 c) | `/health/ready` → 503; `MessengerHighErrorRate` firing; после старта БД — resolved | readiness 503; alert firing; ошибки 5xx растут, видны в Prometheus и Loki с request_id | после `start postgres` readiness 200 < 30 c; alert resolved в течение окна `for: 30s` + evaluation; данные сохранены | +| `docker compose stop prometheus loki tempo` (~30 c) | API продолжает обрабатывать запросы; Collector не падает и не растёт неограниченно | API отвечает 200; `ok >= 5` запросов/сообщений за 30 c; `otel-collector --version` OK; RSS Collector < 260 MiB | после `start` backends telemetry снова появляется в Grafana; работа API и данные не пострадали | +| `docker compose stop worker` | attachment остаётся `queued`; после `start worker` → `ready` | content 409 → 202 → ready; trace `job.consume` появился после восстановления worker | ~5–10 c до `consumer_started`; ничего не потеряно (outbox + RabbitMQ) | +| `docker compose stop outbox` | upload → 202, строка outbox `published_at IS NULL`; после `start outbox` публикация и ready | unpublished=1, attachment queued; после старта ready | время до ready ≈ интервал outbox (2 c) + обработка worker | + +Диагностика инцидентов: +1. **Рост 5xx при мёртвой БД.** Дашборд `Messenger` → панель «API error ratio» растёт; p95 растёт. В Loki `{service_name="messenger-api"} |= "event=db_unavailable"` — строки с `request_id`. В Tempo trace по `trace_id` показывает `http.request` → долгий child span упавший на DB. Отличие от медленного HTTP handler: при мёртвой БД ошибки идут как 503 без долгого `http.request` span; при медленном handler растёт длительность `http.request`, но `status_class` остаётся 2xx. +2. **Растущий backlog worker.** `jobs_processed_total{outcome="retry"}` опережает `success`; `MessengerJobsBacklogGrowing` firing. Проверка: `docker compose ps worker`, `rabbitmqctl list_queues name messages consumers`, Tempo → span `job.consume` со status ERROR. После восстановления worker backlog уменьшается, alert resolved. ## Ограничения и следующие шаги -TODO: какие отказы выдерживаются и какие нет; что не реализовано; где учебное упрощение; какое улучшение подтверждено, а какое пока гипотеза. +- Один Docker-host: HA к потере host не заявляется. 2 реплики API + LB защищают только от отказа одной реплики и от рестарта процесса. +- SLI/SLO — учебные (`5xx ratio < 5% за 1m`, `p95 upload < 2s`); не откалиброваны под production-нагрузку. Burn-rate алерты с несколькими окнами (трек 2 на 5) не реализованы — на оценку 4 достаточно пороговых правил. +- Sampling не настроен: при большом трафике объём spans/логов в Tempo/Loki будет расти; Collector `memory_limiter`/`batch` ограничивают RAM, но не объём диска. Persistence Tempo 24 ч, Loki 168 ч — учебное окно. +- Экспортёр `otlphttp` в Tempo/Loki при длительной недоступности backend может потерять часть telemetry (queue_size=1000, max_elapsed_time=60s). Потери считаются по логам Collector (level=warn) — отдельного счётчика потерь не заведено; на 4 достаточно зафиксировать ограниченное поведение. +- Абсолютные RPS/p95 в отчёте не приводятся: измерение в closed-loop на ноутбуке переносимо плохо, для 4 требуется не абсолютный throughput, а корректная связь сигналов и воспроизводимость отказов. +- Следующие шаги: sampling (parent-based / tail) и оценка потерь spans — трек 1 на 5; burn-rate multi-window alerting — трек 2 на 5. \ No newline at end of file