Подготовила отчет

This commit is contained in:
vasyukova
2026-10-30 19:30:47 +03:00
parent 1be8f323a5
commit d169076e30
+114 -81
View File
@@ -4,9 +4,9 @@
- Целевая оценка: 4
- Commit/PR: solution/BVT2303-Vasyukova
- Использованные источники, библиотеки и помощь ИИ:
- Контракт: contracts/openapi.json, contracts/README.md
- Контракт: contracts/openapi.json, contracts/README.md, contracts/observability.md
- Инструкции: README.md, COURSE.md, CONTRIBUTING.md
- Библиотеки: fastapi==0.115.0, uvicorn[standard]==0.32.0, psycopg[binary]==3.2.3, psycopg_pool==3.2.3, redis==5.2.0, boto3==1.35.74, Pillow==11.0.0, pika==1.3.2, pydantic (из fastapi)
- Библиотеки: fastapi==0.115.0, uvicorn[standard]==0.32.0, psycopg[binary]==3.2.3, psycopg_pool==3.2.3, redis==5.2.0, boto3==1.35.74, Pillow==11.0.0, pika==1.3.2, opentelemetry-api==1.28.2, opentelemetry-sdk==1.28.2, opentelemetry-exporter-otlp-proto-http==1.28.2, opentelemetry-instrumentation-fastapi==0.49b2, opentelemetry-instrumentation-requests==0.49b2
- ИИ: DeepSeek — помощь в структурировании кода и отчёта. Весь код проверен, отредактирован и запущен разработчиком.
## Запуск из чистого clone
@@ -14,9 +14,12 @@
Версии runtime/образов:
- Python: 3.12 (образ `python:3.12-slim`)
- FastAPI 0.115.0, uvicorn[standard] 0.32.0, psycopg[binary] 3.2.3, psycopg_pool 3.2.3, redis 5.2.0, boto3 1.35.74, Pillow 11.0.0, pika 1.3.2
- OTel SDK 1.28.2, FastAPI instrumentation 0.49b2
- PostgreSQL 18.6-alpine, Redis 7.4.1-alpine, nginx 1.27.3-alpine
- RabbitMQ 3.13.7-management-alpine
- MinIO: `netvark/minio:20260213` (зеркало официального образа; оригинальные `minio/minio` удалены с Docker Hub). CLI `mc`: `netvark/mc:20260920`.
- OTel Collector: `otel/opentelemetry-collector-contrib:0.108.0`
- Prometheus: `prom/prometheus:v2.54.1`, Loki: `grafana/loki:3.1.1`, Tempo: `grafana/tempo:2.5.0`, Grafana: `grafana/grafana:11.2.0`
- Docker Desktop (Windows)
### Запуск стека
@@ -30,7 +33,7 @@
```
copy .env.example .env
```
3. Собрать и поднять (LB + 2 реплики API + PostgreSQL + Redis + MinIO + minio-init + rabbitmq + worker + outbox + s3_cleanup):
3. Собрать и поднять (LB + 2 реплики API + PostgreSQL + Redis + MinIO + minio-init + rabbitmq + worker + outbox + s3_cleanup + OTel Collector + Prometheus + Loki + Tempo + Grafana):
```
docker compose --env-file .env up -d --build
```
@@ -39,6 +42,7 @@
curl.exe -s http://localhost:8080/health/ready
```
Ожидается: `{"status":"ok"}`.
5. Grafana доступна на `http://localhost:3000` (admin/admin). Дашборд `messenger-lab6` и datasources импортируются автоматически.
Все проверки ниже выполнялись с `PYTHONUTF8=1` (Windows по умолчанию использует cp1251 и падает на чтении UTF-8 JSON):
```
@@ -56,28 +60,16 @@ $env:PYTHONUTF8="1"
| `make test` | `python tests/smoke.py --base-url http://localhost:8080` |
| `make test-persistence` | `python tests/resilience.py --mode persistence --action-script scripts/restart.bat --base-url http://localhost:8080` |
| `make test-failover` | `python tests/resilience.py --mode failover --action-script scripts/stop-one.bat --base-url http://localhost:8080` |
| `make test-student` | `python student-tests/lab5_test_level4.py --base-url http://localhost:8080` |
| `make test-student` | `python student-tests/lab6_test_level4.py --base-url http://localhost:8080` |
### Остановка и удаление учебных данных
```
docker compose stop # данные PostgreSQL, Redis, MinIO, RabbitMQ сохраняются (volumes)
docker compose stop # данные PostgreSQL, Redis, MinIO, RabbitMQ, Prometheus, Loki, Tempo, Grafana сохраняются (volumes)
docker compose down # volumes сохраняются
docker compose down -v # ТОЛЬКО если осознанно стираем данные
```
### Операторский replay failed-задач
Причина ошибки устранена — вернуть задачи в обработку (failed → queued + новая строка outbox, готовые не трогаются):
```
docker compose --env-file .env exec -T worker python -m app.storage.replay_failed --all-failed
# или конкретные ID:
docker compose --env-file .env exec -T worker python -m app.storage.replay_failed <attachment_id> [...]
```
Публикацию делает существующий `outbox`, обработку — `worker`; оба должны быть запущены. Проверка: `status=queued`, затем `ready`.
## Архитектура и решения
Схема процессов и хранилищ:
@@ -93,15 +85,21 @@ HTTP-клиент → lb:80 ──┤ │
outbox (publisher) → читает unpublished из PostgreSQL → публикует в RabbitMQ
worker (consumer) → забирает job из RabbitMQ → читает staging → пишет final+variants → status=ready
s3_cleanup → сверка S3↔БД, recover зависших processing
API/worker/outbox → OTLP/HTTP → otel-collector → ┬→ Tempo (traces)
├→ Loki (logs)
└→ Prometheus (metrics)
→ Grafana (дашборд, алерты)
```
Все сервисы — в одной compose-сети `mtuci2026lab5_default`. Публично опубликован только порт LB `127.0.0.1:8080:80`. Реплики `api` **не имеют `ports`** — трафик к ним идёт исключительно через LB. PostgreSQL, Redis, MinIO и RabbitMQ доступны только по внутренним именам. Административная консоль MinIO (`:9001`), S3 API (`:9000`) и RabbitMQ management (`:15672`) **не публикуются** наружу.
Все сервисы — в одной compose-сети `mtuci2026lab6_default`. Публично опубликован только порт LB `127.0.0.1:8080:80` и Grafana `127.0.0.1:3000:3000`. Реплики `api` **не имеют `ports`** — трафик к ним идёт исключительно через LB. PostgreSQL, Redis, MinIO, RabbitMQ, OTel Collector (4317/4318/8888/8889), Prometheus (9090), Loki (3100), Tempo (3200) доступны только по внутренним именам.
Источники истины:
- PostgreSQL — данные (пользователи, чаты, членство, сообщения, метаданные вложений, варианты, outbox, ключи идемпотентности).
- Redis — серверные сессии (общие для всех реплик).
- MinIO (S3) — байты вложений: staging (`staging/…`) и финальный `attachments/…` (приватный bucket).
- RabbitMQ — durable очередь job'ов. Сама по себе не источник истины: намерение сохраняется в `outbox` до публикации.
- Tempo/Loki/Prometheus — telemetry storage. Их падение не останавливает API.
Схема БД (подробнее — `src/app/storage/db.py`, константа `SCHEMA_SQL`):
```
@@ -118,7 +116,7 @@ idempotency_keys(user_id FK→users, method TEXT, path TEXT, key TEXT,
attachments(id UUID PK, chat_id FK→chats, owner_id FK→users,
filename TEXT, content_type TEXT, size_bytes BIGINT, sha256 TEXT,
object_key TEXT UNIQUE, status TEXT, error_code TEXT,
processing_until TIMESTAMPTZ, -- lab5: lease для worker
processing_until TIMESTAMPTZ,
created_at TIMESTAMPTZ, updated_at TIMESTAMPTZ)
+ INDEX idx_attachments_chat(chat_id)
message_attachments(message_id FK→messages, attachment_id FK→attachments, position INT,
@@ -126,9 +124,9 @@ message_attachments(message_id FK→messages, attachment_id FK→attachments, po
attachment_variants(attachment_id FK→attachments, pipeline_version INT, variant TEXT,
object_key TEXT, content_type TEXT, size_bytes BIGINT,
width INT, height INT, sha256 TEXT, created_at TIMESTAMPTZ,
PRIMARY KEY (attachment_id, pipeline_version, variant)) -- lab5
PRIMARY KEY (attachment_id, pipeline_version, variant))
outbox(id BIGSERIAL PK, job_id UUID UNIQUE, payload JSONB, created_at TIMESTAMPTZ,
published_at TIMESTAMPTZ) -- lab5 level 4
published_at TIMESTAMPTZ)
+ PARTIAL INDEX idx_outbox_unpublished(id) WHERE published_at IS NULL
```
@@ -138,67 +136,78 @@ outbox(id BIGSERIAL PK, job_id UUID UNIQUE, payload JSONB, created_at TIMESTAMPT
- `create_user` — SELECT-проверка username и INSERT в одной транзакции; при гонке `UniqueViolation` → 409.
- `create_chat` — INSERT `chats` + INSERT `chat_members` в одной транзакции, откат целиком.
- `add_message_idempotent` — INSERT ключа идемпотентности, INSERT сообщения, INSERT связей с вложениями и UPDATE ответа ключа в **одной** транзакции.
- `create_attachment_queued` (lab5) — INSERT `attachments` (status=`queued`) + INSERT `outbox` в **одной** транзакции. Это durable handoff: если API упадёт сразу после ответа 202, outbox гарантирует публикацию job'а.
- `create_attachment_queued` — INSERT `attachments` (status=`queued`) + INSERT `outbox` в **одной** транзакции. Это durable handoff: если API упадёт сразу после ответа 202, outbox гарантирует публикацию job'а.
- `finalize_ready` — UPDATE `attachments` (status=`ready`, `object_key`=final) + INSERT `attachment_variants` с `ON CONFLICT (attachment_id, pipeline_version, variant) DO NOTHING` в **одной** транзакции. Идемпотентно к повторной доставке.
### Дерево проекта (изменения относительно lab4 отмечены `*`)
### Дерево проекта (изменения относительно lab5 отмечены `*`)
```
mtuci2026lab5/
├── compose.yaml * # + rabbitmq, worker, outbox; tag lab5 для всех сервисов
mtuci2026lab6/
├── compose.yaml * # + otel-collector, prometheus, loki, tempo, grafana; tag lab6
├── Dockerfile
├── docker-entrypoint.sh # генерирует INSTANCE_ID, пишет /tmp/instance_id
├── infra/nginx.conf
├── infra/
│ ├── nginx.conf
│ ├── otel/collector.yaml * # OTLP receivers, memory_limiter, batch, exporters
│ ├── prometheus/
│ │ ├── prometheus.yaml * # scrape otel-collector:8889
│ │ └── rules/alerts.yaml *
│ ├── loki/loki.yaml *
│ ├── tempo/tempo.yaml *
│ ├── grafana/provisioning/
│ │ ├── datasources/datasources.yaml * # Prometheus/Loki/Tempo
│ │ ├── dashboards/provider.yaml *
│ │ ├── dashboards/json/messenger.json *
│ │ └── alerting/{contactpoints,policies,rules}.yaml *
│ └── runbooks/ * # high-error-rate.md, queue-lag.md, slow-upload.md
├── Makefile
├── requirements.txt * # + pika
├── requirements.txt * # + opentelemetry-*
├── src/app/
│ ├── main.py * # версия 1.5.0, title lab5
│ ├── api/
│ │ ├── attachments.py * # upload → 202 queued; download variant
│ │ ├── messages.py # без изменений с lab4
│ │ └── health.py # без изменений с lab4
│ ├── models/
│ │ └── schemas.py # без изменений с lab4
│ ├── storage/
│ │ ├── db.py * # + attachment_variants, outbox, processing_until
│ │ ├── postgres.py * # + lab5 методы (queued, variants, outbox, lease, recover)
│ │ ├── s3.py * # + staging_key, variant_key
│ │ ├── rabbit.py * # новый: topology, publish с confirm, retry, DLQ
│ │ └── s3_cleanup.py * # + cleanup staging, recover processing
│ ├── worker.py * # новый: consumer, обработка изображений
│ └── outbox_worker.py * # новый: outbox publisher (level 4)
│ ├── main.py * # OTel init, HTTP-метрики, X-Request-Id/X-Instance-Id
│ ├── telemetry.py * # новый: единая точка init OTel + лог-формат
│ ├── outbox_worker.py * # trace context из outbox payload → job.publish span
│ ├── worker.py * # consumer span job.consume, метрики jobs_*
│ ├── api/attachments.py * # inject traceparent в outbox payload
│ ├── api/... # без изменений с lab5
│ ├── models/schemas.py
│ └── storage/ # без изменений с lab5
├── scripts/
│ ├── restart.sh / .bat * # + rabbitmq, worker, outbox
│ └── stop-one.sh / .bat # без изменений
│ ├── restart.sh / .bat
│ ├── stop-one.sh / .bat
│ └── rolling-update.sh
└── student-tests/
└── lab5_test_level4.py * # новый: variants, outbox, DLQ, lease, retry
└── lab6_test_level4.py * # новый: traces, metrics, logs, dashboard, alerts, telemetry down
```
### Что нового в lab5 относительно lab4
### Что нового в lab6 относительно lab5
TODO
- **OTel SDK** в API, worker и outbox: `init_telemetry()` настраивает TracerProvider, MeterProvider, LoggerProvider; OTLP/HTTP → `otel-collector:4318`.
- **Resource attributes**: `service.name` (messenger-api / messenger-worker / messenger-outbox), `service.version=1.6.0`, `service.instance.id`, `deployment.environment.name=lab`.
- **Логи**: единый формат с `trace_id=`/`span_id=`; `TraceContextFilter` подставляет их из активного span и в stdout, и в OTLP-экспортёр → Loki.
- **Метрики**: `http_requests_total{http.method,http.route,http.status_class}`, `http_request_duration_seconds_bucket`, `jobs_processed_total{job.type,outcome}`, `job_processing_duration_seconds_bucket`.
- **Трассы**: server span FastAPI + собственный `http.request` span в middleware; `job.publish` (PRODUCER) в outbox; `job.consume` (CONSUMER) в worker. W3C traceparent инжектится API → outbox payload → RabbitMQ headers → worker extract.
- **Collector**: `memory_limiter` (192 MiB + spike 64), `batch`, `resource` (upsert deployment.environment.name); exporters otlphttp/tempo, otlphttp/loki, prometheus:8889. Retry ограничен (`max_elapsed_time=60s`), sending_queue `queue_size=1000`.
- **Grafana provisioning**: datasources Prometheus/Loki/Tempo, dashboard `messenger-lab6`, alert rules `MessengerHighErrorRate` + `MessengerJobsBacklogGrowing` (+ `MessengerUploadLatencyHigh`).
## Доказательства критериев
| Критерий | Команда | Наблюдаемый результат | Уровень |
| --- | --- | --- | --- |
| Публичный smoke | `python tests/smoke.py` | PASS: lab5 public API scenario | 3 |
| Broker + worker в общем стенде, at-least-once | `docker compose ps`; `rabbitmqctl list_queues` | rabbitmq/worker/outbox Up; consumer на `attachment.process.v1` | 3 |
| Upload возвращает 202 queued, работа переживает остановку worker | `lab5_test_level4.py::test_worker_stopped` | 202 queued → content 409 → старт worker → ready | 3 |
| Публичный smoke | `python tests/smoke.py` | PASS: lab6 public API scenario | 3 |
| Collector + хранилища 3 сигналов + Grafana в общем стенде | `docker compose ps` | otel-collector, prometheus, loki, tempo, grafana Up | 3 |
| API/worker отдают OTLP в Collector | Grafana → Explore → Prometheus/Tempo/Loki | метрики `http_*`, `jobs_*`; реальные traces; логи `messenger-api/worker` | 3 |
| Импортируемый dashboard | `test_grafana_provisioning` | `/api/dashboards/uid/messenger-lab6` → 200, панели RPS/errors/p95/jobs | 3 |
| Логи с trace_id | `lab6_test_level4.py::test_logs_in_loki` | ненулевой `trace_id=` в логах api+worker | 3/4 |
| Сохранение метаданных и сессии при рестарте | `resilience.py --mode persistence` | PASS: тот же токен и SHA-256 файла | 3 |
| Отказ одной API-реплики | `resilience.py --mode failover` | observed_instances_before=2, successful_writes=7, failed_attempts=0, first_recovery=4.245 s | 3 |
| Worker сохраняет original + один thumbnail по контракту | `lab5_test_level4.py::test_variants` | thumbnail JPEG 256×160, sha256/size совпадают | 3 |
| Ограниченный retry, финальный failed с error_code | `lab5_test_level4.py::test_broken_staging_dlq` | failed `retry_exhausted` + DLQ | 3 |
| Повтор job не создаёт второго набора вариантов | `lab5_test_level4.py::test_duplicate_delivery_no_duplicates` | variants не выросли, status=ready | 3 |
| Original неизменен, download побайтно | smoke + `test_variants` | SHA-256 совпадает; при скачивании — те же байты | 3 |
| Crop 128×128 (JPEG) | `lab5_test_level4.py::test_variants` | jpeg_size(crop) == (128,128) | 4 |
| Optimized WebP (≤1280×1280) | `lab5_test_level4.py::test_variants` | Content-Type image/webp, RIFF/WEBP | 4 |
| Outbox закрывает разрыв COMMIT → publish | `lab5_test_level4.py::test_outbox_crash` | stop outbox → upload 202 + outbox unpublished → start outbox → ready | 4 |
| Retry с backoff, DLQ, безопасный replay | `lab5_test_level4.py::test_broken_staging_dlq` | 4 попытки, `retry_exhausted`, DLQ +1 | 4 |
| Ограниченная конкуренция, prefetch=1, очистка staging | `worker.py`, `s3_cleanup.py` | prefetch_count=1; staging удаляется после finalize | 4 |
| Lease: зависший processing возвращается в queued | `lab5_test_level4.py::test_stuck_processing_recovered` | processing (lease истёк) → queued → ready | 4 |
| Лимиты времени/памяти worker | `Pillow`, `MAX_IMAGE_PIXELS`, threadpool | Pillow в threadpool, лимит до `load()` | 4 |
| Гарантия, что в очереди ID, а не байты/креды | `rabbit.py`, `outbox_worker.py` | payload = {job_id, attachment_id, pipeline_version, created_at}; staging/финальные байты — в S3 | 4 |
| Отказ одной API-реплики | `resilience.py --mode failover` | observed_instances_before=2, failed_attempts=0 | 3 |
| Сквозной trace API → broker → worker | `lab6_test_level4.py::test_trace_api_to_worker` | один trace со span'ами `POST /api/v1/chats/{chat_id}/attachments`, `job.publish`, `job.consume` | 4 |
| p50/p95/p99, error ratio, jobs, duration | `lab6_test_level4.py::test_metrics_in_prometheus` | все required метрики в Prometheus; `http_route` без UUID | 4 |
| Низкокардинальные labels | `test_metrics_in_prometheus` | `http_route` соответствует `/api/…` / `/health…`, raw UUID отсутствует | 4 |
| Alert rules минимум 2 | `test_grafana_provisioning` | `MessengerHighErrorRate`, `MessengerJobsBacklogGrowing` (+ upload latency) | 4 |
| Alert firing + resolved | `test_alert_firing_and_resolved` | stop postgres → firing, start postgres → inactive | 4 |
| Telemetry backend down | `test_telemetry_backend_down` | API пишет/читает; Collector жив, RSS < 260 MiB | 4 |
| Memory limiter / bounded retry в Collector | `infra/otel/collector.yaml` | `memory_limiter.limit_mib=192`; `retry_on_failure.max_elapsed_time=60s`; `sending_queue.queue_size=1000` | 4 |
| SLI/SLO и runbooks | `infra/prometheus/rules/alerts.yaml`, `infra/runbooks/` | error rate > 5% / 30s; retries > successes +5 / 5m; p95 upload > 2s / 3m | 4 |
### Выводы тестов
@@ -210,7 +219,7 @@ PASS: offline skeleton structure, local refs and Python syntax; application NOT
PASS: full OpenAPI 3.1 and JSON Schema validation; application NOT tested.
(venv) PS ...> python tests/smoke.py --base-url http://localhost:8080
PASS: lab5 public API scenario; infrastructure and grading evidence remain separate.
PASS: lab6 public API scenario; infrastructure and grading evidence remain separate.
(venv) PS ...> python tests/resilience.py --mode persistence --action-script scripts/restart.bat --base-url http://localhost:8080
Executing explicit persistence hook; hook output suppressed to avoid leaking secrets.
@@ -221,30 +230,54 @@ Executing explicit failover hook; hook output suppressed to avoid leaking secret
{"observed_instances_before": 2, "successful_writes": 7, "failed_attempts": 0, "first_recovery_seconds": 4.245}
PASS: failover preserved confirmed data and existing session. Hook scope needs operator evidence.
(venv) PS ...> python student-tests/lab5_test_level4.py --base-url http://localhost:8080
=== variants (thumbnail/crop/optimized) ===
PASS: original, thumbnail 256×160, crop 128×128, optimized WebP
=== outbox crash between COMMIT and publish ===
PASS: outbox recovers job after stop/start without manual intervention
=== duplicate delivery does not create duplicates ===
PASS: re-delivery of the same job is a no-op
=== worker stopped: 202 → content 409 → ready ===
PASS: accepted work survives worker restart
=== broken staging → retry_exhausted → failed + DLQ ===
PASS: bounded retry, failed with safe error_code, message in DLQ
=== stuck processing (lease) → queued → ready ===
PASS: expired lease is recovered, same attachment becomes ready
PASS: all lab5 level-4 checks passed
(venv) PS ...> python student-tests/lab6_test_level4.py --base-url http://localhost:8080
=== trace API -> broker -> worker (Tempo) ===
trace_id: b5259be38ee2e0400bd833c7eb723160
spans: POST /api/v1/chats/{chat_id}/attachments, POST /api/v1/chats/{chat_id}/attachments http receive, POST /api/v1/chats/{chat_id}/attachments http send, http.request, job.consume, job.publish
PASS: single trace with upload + job.publish + job.consume
=== metrics in Prometheus ===
metrics in Prometheus: ['http_request_duration_seconds_bucket', 'http_requests_total', 'job_processing_duration_seconds_bucket', 'jobs_processed_total']
jobs_processed_total{outcome=success} = 5.0
PASS: http_requests_total + duration + jobs_processed_total present, low-cardinality route labels
=== logs in Loki ===
Loki OK: api+worker logs with non-zero trace_id found
PASS: structured logs of api+worker with trace_id
=== Grafana provisioning ===
datasources: ['loki', 'prometheus', 'tempo']
dashboard panels: ['API + worker logs', 'API RPS (total)', 'API error ratio (5xx / total)', 'HTTP latency p50/p95/p99 (s)', 'Job duration p95 (s) by outcome', 'Jobs processed by outcome']
alert rules: ['MessengerHighErrorRate', 'MessengerJobsBacklogGrowing']
PASS: dashboard messenger-lab6 + >=2 alert rules provisioned
=== alert firing and resolved ===
MessengerHighErrorRate firing
MessengerHighErrorRate resolved
PASS: alert fires on artificial outage and resolves on recovery
=== telemetry backend down ===
otel-collector RSS while backends down: 81.24 MiB
API and Collector remained healthy while backends were down
PASS: API works, Collector stays within memory limit
PASS: all lab6 level-4 checks passed
```
## Эксперименты и отказы
TODO: гипотеза, hardware/лимиты, версии, объём данных, профиль нагрузки, concurrency/arrival rate, длительность/прогрев, повторы, успешные RPS, ошибки, p50/p95/p99, CPU/RAM. Сохранить raw summary без tokens и объяснить ограничения измерения.
Стенд: Windows 11, Docker Desktop (WSL2), 16 ГБ RAM, лимиты compose из `compose.yaml` (API 1 CPU / 512 MiB ×2; worker 1 CPU / 512 MiB; Collector 0.5 CPU / 256 MiB). Все данные синтетические; профиль — публичный `smoke.py` + `student-tests/lab6_test_level4.py`.
| Воздействие | Что ожидаем | Что наблюдали | Время восстановления / потеря данных |
| --- | --- | --- | --- |
| TODO | TODO | TODO | TODO |
| `docker compose stop postgres` (~30 c) | `/health/ready` → 503; `MessengerHighErrorRate` firing; после старта БД — resolved | readiness 503; alert firing; ошибки 5xx растут, видны в Prometheus и Loki с request_id | после `start postgres` readiness 200 < 30 c; alert resolved в течение окна `for: 30s` + evaluation; данные сохранены |
| `docker compose stop prometheus loki tempo` (~30 c) | API продолжает обрабатывать запросы; Collector не падает и не растёт неограниченно | API отвечает 200; `ok >= 5` запросов/сообщений за 30 c; `otel-collector --version` OK; RSS Collector < 260 MiB | после `start` backends telemetry снова появляется в Grafana; работа API и данные не пострадали |
| `docker compose stop worker` | attachment остаётся `queued`; после `start worker` → `ready` | content 409 → 202 → ready; trace `job.consume` появился после восстановления worker | ~5–10 c до `consumer_started`; ничего не потеряно (outbox + RabbitMQ) |
| `docker compose stop outbox` | upload → 202, строка outbox `published_at IS NULL`; после `start outbox` публикация и ready | unpublished=1, attachment queued; после старта ready | время до ready ≈ интервал outbox (2 c) + обработка worker |
Диагностика инцидентов:
1. **Рост 5xx при мёртвой БД.** Дашборд `Messenger` → панель «API error ratio» растёт; p95 растёт. В Loki `{service_name="messenger-api"} |= "event=db_unavailable"` — строки с `request_id`. В Tempo trace по `trace_id` показывает `http.request` → долгий child span упавший на DB. Отличие от медленного HTTP handler: при мёртвой БД ошибки идут как 503 без долгого `http.request` span; при медленном handler растёт длительность `http.request`, но `status_class` остаётся 2xx.
2. **Растущий backlog worker.** `jobs_processed_total{outcome="retry"}` опережает `success`; `MessengerJobsBacklogGrowing` firing. Проверка: `docker compose ps worker`, `rabbitmqctl list_queues name messages consumers`, Tempo → span `job.consume` со status ERROR. После восстановления worker backlog уменьшается, alert resolved.
## Ограничения и следующие шаги
TODO: какие отказы выдерживаются и какие нет; что не реализовано; где учебное упрощение; какое улучшение подтверждено, а какое пока гипотеза.
- Один Docker-host: HA к потере host не заявляется. 2 реплики API + LB защищают только от отказа одной реплики и от рестарта процесса.
- SLI/SLO — учебные (`5xx ratio < 5% за 1m`, `p95 upload < 2s`); не откалиброваны под production-нагрузку. Burn-rate алерты с несколькими окнами (трек 2 на 5) не реализованы — на оценку 4 достаточно пороговых правил.
- Sampling не настроен: при большом трафике объём spans/логов в Tempo/Loki будет расти; Collector `memory_limiter`/`batch` ограничивают RAM, но не объём диска. Persistence Tempo 24 ч, Loki 168 ч — учебное окно.
- Экспортёр `otlphttp` в Tempo/Loki при длительной недоступности backend может потерять часть telemetry (queue_size=1000, max_elapsed_time=60s). Потери считаются по логам Collector (level=warn) — отдельного счётчика потерь не заведено; на 4 достаточно зафиксировать ограниченное поведение.
- Абсолютные RPS/p95 в отчёте не приводятся: измерение в closed-loop на ноутбуке переносимо плохо, для 4 требуется не абсолютный throughput, а корректная связь сигналов и воспроизводимость отказов.
- Следующие шаги: sampling (parent-based / tail) и оценка потерь spans — трек 1 на 5; burn-rate multi-window alerting — трек 2 на 5.