forked from mtusi2026/mtusi2026lab6
369 lines
73 KiB
Markdown
369 lines
73 KiB
Markdown
# Отчёт — лабораторная 6
|
||
|
||
- Автор, группа: Бабиченко Максим, БВТ2303
|
||
- Целевая оценка; выбранный трек 5, если нужен: **4**, трек 5 не выбран
|
||
- Commit/PR: <<ссылка на MR в Gitea после публикации>>
|
||
- Использованные источники, библиотеки и помощь ИИ: всё из lab5 (FastAPI, psycopg 3, pika, boto3, Pillow, RabbitMQ 4.1, SeaweedFS 3.80, PostgreSQL 17, Redis 7.4, HAProxy 3.2). Новое: OpenTelemetry Python SDK 1.45.2 (`opentelemetry-sdk`, `opentelemetry-exporter-otlp-proto-http`) и `opentelemetry-instrumentation-psycopg` 0.66b2; образы `otel/opentelemetry-collector-contrib:0.164.0`, `prom/prometheus:v3.15.1`, `grafana/loki:3.7.9`, `grafana/tempo:3.1.1`, `grafana/grafana:12.4.14`, `busybox:1.37.0` (bootstrap прав volumes). Документация: OTel Collector configuration (memory_limiter, batch, exporterhelper sending_queue/retry_on_failure, internal telemetry), OTel semantic conventions (HTTP, database, messaging, `otel.sdk.*`), W3C Trace Context, Prometheus OTLP receiver и histograms/`histogram_quantile`, promtool unit testing, Loki OTLP ingestion и structured metadata, Tempo 3 single binary, Grafana provisioning (datasources, dashboards, derived fields, traces-to-logs). При написании кода, конфигураций и тестов использовался ИИ-ассистент (Claude); весь код я прогнал и могу объяснить и изменить на защите.
|
||
|
||
## Запуск из чистого clone
|
||
|
||
Проверяю на Windows (PowerShell, Docker Desktop). Python на хосте нужен только для тестов (стандартная библиотека). Перед запуском остановить стенд lab5 (`docker compose down` в его папке): заняты порты 8080/8404. Имя проекта Compose — `messenger-lab6`, volumes отдельные от lab5.
|
||
|
||
```powershell
|
||
git clone https://gitea.privcloud.tech/Kalibr/mtusi2026lab6.git
|
||
cd mtusi2026lab6
|
||
git checkout solution/bvt2303-babichenko
|
||
$env:PYTHONUTF8 = "1"
|
||
Copy-Item .env.example .env
|
||
python scripts/init_secrets.py # как в lab5 + secrets/grafana_admin_password (папка secrets/ в .gitignore)
|
||
docker compose --env-file .env config --quiet
|
||
docker compose up -d --build --wait # postgres, s3, rabbitmq, otel-collector, prometheus, loki, tempo ->
|
||
# migrate, s3-init, telemetry-init -> api x2, janitor, dispatcher, worker,
|
||
# grafana -> lb
|
||
docker compose ps -a # migrate, s3-init, telemetry-init: Exited (0); остальные running/healthy
|
||
python tests/smoke.py --base-url http://127.0.0.1:8080 # make test при включённой телеметрии
|
||
|
||
# доказательства lab6 (~35 мин) в evidence/ и таблица замеров в этот отчёт:
|
||
python student-tests/collect_evidence.py check stack smoke configs telemetry dashboard telemetry-history `
|
||
incident-worker incident-db incident-telemetry incident-collector load
|
||
```
|
||
|
||
| Что | Где |
|
||
| --- | --- |
|
||
| Grafana (dashboard «Messenger — lab6 observability», Explore, Alerting) | http://127.0.0.1:3000, логин `admin`, пароль — `secrets/grafana_admin_password` |
|
||
| Prometheus: алерты pending/firing, запросы | http://127.0.0.1:9090/alerts, http://127.0.0.1:9090/graph |
|
||
| Loki / Tempo HTTP API (для тестов) | http://127.0.0.1:3100, http://127.0.0.1:3200 |
|
||
| Трасса конкретного ответа API | заголовок ответа `X-Trace-Id` (или свой `traceparent` в запросе) → Grafana → Explore → Tempo |
|
||
|
||
Отдельные проверки (make на Windows нет):
|
||
|
||
| Команда | Что проверяет |
|
||
| --- | --- |
|
||
| `python scripts/check_contract.py` | make check |
|
||
| `python student-tests/check_configs.py` | конфиги Collector/Prometheus/Loki/Tempo их же инструментами, unit-тесты алертов (promtool), provisioning Grafana через её API |
|
||
| `python student-tests/test_telemetry.py [request upload-chain retry-chain replay-link history]` | запрос ↔ лог ↔ трасса, цепочка upload → worker, retry, replay с link, сохранность истории |
|
||
| `python student-tests/check_dashboard.py` | каждый запрос dashboard и правил выполняется на живых данных, запрещённых меток нет |
|
||
| `python student-tests/incidents.py [worker-stop db-slow telemetry-down collector-down]` | инциденты: firing → диагностика → resolved |
|
||
| `docker compose exec prometheus promtool test rules /etc/prometheus/tests/alerts_test.yml` | unit-тесты порогов/окон/`for` алертов |
|
||
| `python scripts/build_dashboard.py` | пересобрать `infra/grafana/dashboards/messenger.json` из описания панелей |
|
||
|
||
Bootstrap: как в lab5 (`migrate`, `s3-init`, definitions RabbitMQ) плюс `telemetry-init` (одноразовый `chown 10001` volumes Loki и Tempo: оба процесса работают не от root). Provisioning Grafana — файлы `infra/grafana/provisioning` и `infra/grafana/dashboards`, монтируются только для чтения: источники данных и dashboard появляются при старте, ручного набора нет. Всё идемпотентно: повторный `up` ничего не пересоздаёт и не дублирует.
|
||
|
||
Остановка без потери данных: `docker compose down` (volumes `pgdata`, `redisdata`, `s3data`, `rabbitmqdata`, `faults`, `promdata`, `lokidata`, `tempodata`, `grafanadata` остаются). Намеренное удаление учебных данных: `docker compose down -v`, затем удалить папку `secrets` и снова `python scripts/init_secrets.py`. Выключить телеметрию целиком (для сравнения): `OTEL_SDK_DISABLED=true` в `.env` и `docker compose up -d`.
|
||
|
||
## Архитектура и решения
|
||
|
||
```text
|
||
+--------------------------- сеть telemetry (internal) ----------------------------+
|
||
Клиент -> lb -> api x2 ---|-- OTLP/HTTP :4318 --> otel-collector --+-- traces OTLP gRPC --> tempo (tempodata) |
|
||
| | (traces, metrics, memory_limiter |-- logs OTLP HTTP --> loki (lokidata) |
|
||
| | logs) batch, queues +-- metrics OTLP HTTP --> prometheus(promdata)|
|
||
PostgreSQL <-+ outbox | ^ pull :8888 (метрики Collector)|
|
||
(источник истины) | dispatcher, worker, janitor -- OTLP --^ | |
|
||
| grafana -------+--> prometheus, loki, tempo |
|
||
+----------------------------------------------------------------------------------+
|
||
W3C traceparent: API (спан create, outbox) -> dispatcher (спан publish, AMQP headers + поле сообщения)
|
||
-> worker (спан process, consumer) -> S3/PostgreSQL; retry/replay -> новая строка outbox
|
||
127.0.0.1: 8080 (lb), 8404 (stats), 3000 (grafana), 9090 (prometheus), 3100 (loki), 3200 (tempo)
|
||
```
|
||
|
||
Перенесено из lab5 без изменения бизнес-логики и контракта: всё приложение (API, outbox, dispatcher, worker, janitor, варианты изображений, повторы, DLQ, replay), миграции, тесты lab1–5, hooks. Бизнес-API не менялся; единственное расширение — необязательный заголовок ответа `X-Trace-Id` (trace_id запроса) и приём входящего `traceparent` (обратно совместимо, клиент может не знать о них).
|
||
|
||
Что добавлено в lab6:
|
||
- `telemetry.py` — настройка OpenTelemetry SDK для всех процессов: ресурс, три провайдера (traces/metrics/logs) с OTLP/HTTP exporter, ограниченные очереди, сэмплер, JSON-логи в stderr + OTLP, метрики процесса/контейнера, W3C propagator, помощники спанов.
|
||
- Инструментирование: HTTP server-спаны и метрики в middleware `main.py`; спаны PostgreSQL (`opentelemetry-instrumentation-psycopg`, текст SQL с плейсхолдерами, без значений), S3 (`storage.py`), Redis и Argon2id (`auth.py`); messaging-спаны и перенос контекста через outbox/RabbitMQ (`pipeline.py`, `dispatcher.py`, `broker.py`, `worker.py`); метрики очереди/outbox (dispatcher), пула БД (`db.py`), занятости worker, времени до ready; структурные события логов (`event=...`).
|
||
- Конфигурации в Git: `infra/otel/collector.yaml`, `infra/prometheus/prometheus.yml`, `infra/prometheus/rules/{recording,alerts}.yml`, `infra/prometheus/tests/alerts_test.yml`, `infra/loki/loki.yaml`, `infra/tempo/tempo.yaml`, `infra/grafana/provisioning/**`, `infra/grafana/dashboards/messenger.json` (генерирует `scripts/build_dashboard.py`), `docs/runbooks.md`.
|
||
- `compose.yaml`: сервисы `otel-collector`, `telemetry-init`, `prometheus`, `loki`, `tempo`, `grafana`; сети `telemetry` (internal) и `ops` (только чтобы опубликовать UI на 127.0.0.1); volumes `promdata`, `lokidata`, `tempodata`, `grafanadata`; секрет `grafana_admin_password`. Restart hook перезапускает и хранилища телеметрии.
|
||
- Тесты: `student-tests/{obs.py, test_telemetry.py, check_dashboard.py, check_configs.py, incidents.py}`, обновлены `check_stack.py`, `run_persistence.py`, `collect_evidence.py`.
|
||
|
||
### Роли и назначение хранилищ
|
||
|
||
| Роль | Сервис | Версия | Зачем | Health | Volume | Сеть / порт | Credentials |
|
||
| --- | --- | --- | --- | --- | --- | --- | --- |
|
||
| Collector | `otel-collector` | otelcol-contrib 0.164.0 | приём OTLP, защита памяти, пакетирование, буфер на время недоступности хранилища, маршрутизация в 3 хранилища. **Не хранит** | метрики `otelcol_*` (scrape) — образ distroless, без shell | нет (очередь в памяти) | telemetry; 4317/4318/8888 не публикуются | нет |
|
||
| Метрики | `prometheus` | 3.15.1 | числовые ряды: «что, сколько, когда», percentiles из histogram, SLI, alert rules, состояние алертов | `/-/ready` | `promdata` (7 дней, ≤ 1 GB) | telemetry, ops; 127.0.0.1:9090 | нет |
|
||
| Логи | `loki` | 3.7.9 | события с контекстом: «почему» (error_type, request_id, trace_id) | — (`/ready` проверяют тесты) | `lokidata` (7 дней) | telemetry, ops; 127.0.0.1:3100 | нет |
|
||
| Трассы | `tempo` | 3.1.1 | причинная цепочка запроса через процессы и время каждого шага: «где» | — (`/ready`) | `tempodata` (7 дней) | telemetry, ops; 127.0.0.1:3200 | нет |
|
||
| UI | `grafana` | 12.4.14 | запросы к трём хранилищам, dashboard, связки лог ↔ трасса ↔ метрика; сама сигналы не хранит | `/api/health` | `grafanadata` (сессии/настройки UI) | telemetry, ops; 127.0.0.1:3000 | `grafana_admin_password` |
|
||
|
||
Почему так: Grafana сама не хранит сигналы, а каждому сигналу нужно своё хранилище с подходящей моделью — TSDB для рядов (Prometheus умеет OTLP напрямую, поэтому без remote-write и без exporter-а в Collector), индекс по меткам + сжатые строки для логов (Loki принимает OTLP и хранит атрибуты записи как structured metadata, поэтому `trace_id`/`request_id` не становятся метками индекса), блоки трасс по trace_id (Tempo 3 single binary без Kafka). Collector отделяет приложение от хранилищ: приложение знает один адрес, а смена/недоступность хранилища его не касается.
|
||
|
||
### Сигналы: контракт → реальные имена
|
||
|
||
Имена OTel переводит в Prometheus `translation_strategy: UnderscoreEscapingWithSuffixes` (зафиксировано в `prometheus.yml`): точки → `_`, суффикс единицы (`_seconds`, `_bytes`) и `_total` для счётчиков; `service.name` → метка `job`, `service.instance.id` → `instance`, остальные ресурсные атрибуты — в `target_info`.
|
||
|
||
| Сигнал контракта (уровень) | Инструмент OTel (единица) | В хранилище | Метки / поля |
|
||
| --- | --- | --- | --- |
|
||
| HTTP requests (3) | `http.server.request.duration` histogram, его `_count` | `http_server_request_duration_seconds_count` | `http_request_method`, `http_route` (шаблон), `http_response_status_code`, `http_response_status_class` (`2xx`…) |
|
||
| HTTP duration (3) | то же, секунды; buckets 5 мс … 10 с | `http_server_request_duration_seconds_bucket` | те же + `le` |
|
||
| Jobs processed / failed (3) | `messenger.job.duration` histogram, `_count` (одна метрика, без дубля) | `messenger_job_duration_seconds_count` | `job_type="attachment.process.v1"`, `outcome` = ready / retry / failed / stale / lease_lost / db_error |
|
||
| Job processing duration (3) | `messenger.job.duration` (s), buckets 0,1 … 120 с | `messenger_job_duration_seconds_bucket` | те же |
|
||
| Доставки/публикации (доп.) | `messenger.messages.consumed`, `messenger.messages.published` counters | `messenger_messages_consumed_total`, `..._published_total` | `messaging_destination_name`, `outcome` (processed/noop/dead_lettered/requeued; ok/error) |
|
||
| Логи API и worker (3) | Python `logging` → OTel Logs API | Loki: метки `service_name`, `service_instance_id`, `deployment_environment_name`; structured metadata `event`, `severity_text`, `trace_id`, `span_id`, `request_id`, `job_id`, `error_type`… | в stderr та же запись одной JSON-строкой (`ts`, `severity`, `service.name`, `event`, `trace_id`, `span_id`) |
|
||
| Трассы API и worker (3) | server / producer / consumer / client / internal спаны | Tempo | `http.route`, `http.response.status_code`, `messaging.*`, `messenger.job.*`, `db.statement`, `aws.s3.key`, `error.type` |
|
||
| Queue depth / oldest job age (4) | `messenger.queue.depth` gauge; `messenger.queue.oldest_age` (s); доп. `messenger.jobs.backlog`, `messenger.queue.consumers`, `messenger.outbox.pending`, `messenger.outbox.oldest_age` (s) | `messenger_queue_depth`, `messenger_queue_oldest_age_seconds`, … | `messaging_destination_name` (очередь/DLQ), `status` |
|
||
| DB pool used/waiting (4) | `db.client.connection.count` (`state`=used/idle), `.max`, `.pending_requests`, `.timeouts`, `db.client.connection.wait_time` (s, histogram) | `db_client_connection_*` | `db_client_connection_pool_name="messenger-api"`, `db_client_connection_state` |
|
||
| Worker busy/capacity (4) | `messenger.worker.busy`, `messenger.worker.capacity` | `messenger_worker_busy`, `messenger_worker_capacity` | `messaging_destination_name` |
|
||
| Process / container CPU, RAM (4) | `process.cpu.time` (s), `process.memory.usage` (By); `container.cpu.time`, `container.cpu.limit`, `container.memory.usage`, `container.memory.limit` (cgroup v2, только в Docker) | `process_cpu_time_seconds_total`, `process_memory_usage_bytes`, `container_*` | `cpu_mode` |
|
||
| End-to-end time to ready (4) | `messenger.attachment.time_to_ready` (s), buckets 0,5 … 600 с; от COMMIT задания в API до COMMIT ready, по часам PostgreSQL | `messenger_attachment_time_to_ready_seconds_*` | `job_type` |
|
||
| Сквозная связь upload → publish → consume → S3/DB (4) | W3C `traceparent`/`tracestate`: parent-child, replay — link | Tempo | см. ниже |
|
||
| Потери телеметрии (4) | SDK: `otel.sdk.processor.span.processed{error.type}`, `otel.sdk.exporter.span.exported{error.type}`; Collector: `otelcol_exporter_{sent,send_failed,enqueue_failed}_*`, `otelcol_exporter_queue_size/capacity`, `otelcol_receiver_refused_*` | Prometheus | `exporter`, `error_type` |
|
||
|
||
Ресурс (одинаков для всех трёх сигналов процесса): `service.name` = `messenger-api` / `messenger-worker` / `messenger-dispatcher` / `messenger-janitor` (и `messenger-ops` у `ops.py`) — задаётся в коде процесса, поэтому общий `.env` не делает janitor «api»; `service.version` = `APP_VERSION`; `service.instance.id` = hostname контейнера (тот же, что `X-Instance-Id`); `deployment.environment.name=lab` (`OTEL_RESOURCE_ATTRIBUTES`).
|
||
|
||
**Что не попадает в телеметрию.** Метки метрик — только перечисленные выше (метод, шаблон маршрута, класс/код статуса, тип/исход задания, очередь, состояние соединения, режим CPU); `check_dashboard.py` проверяет, что у метрик приложения нет `user_id`, `chat_id`, `message_id`, `attachment_id`, `request_id`, URL, имени файла, текста и значений-UUID. В спанах и логах есть технические ID синтетических данных (`job_id`, `attachment_id`, `request_id`, ключ S3 вида `attachments/<uuid>/v1/crop.jpg`) — без них нельзя пройти от загрузки к результату worker. Не пишутся: пароли, `Authorization`, токен сессии и его хеш (спаны Redis без ключа), текст сообщения, имя файла, байты изображения, значения параметров SQL (`capture_parameters=False`), signed URL (их нет). `test_telemetry.py request` ищет текст сообщения, пароль и токен в Loki и атрибутах спанов — 0 совпадений. В Collector дополнительно `attributes/scrub` удаляет любой атрибут, чьё имя похоже на password/authorization/cookie/secret/token/api key.
|
||
|
||
### Перенос контекста через очередь
|
||
|
||
```text
|
||
[api] POST /api/v1/chats/{chat_id}/attachments SERVER
|
||
├─ PostgreSQL INSERT attachments, S3 PutObject staging/<hex>, UPDATE ... state='queued'
|
||
└─ create attachments PRODUCER ← строка outbox в ТОЙ ЖЕ транзакции; traceparent этого спана
|
||
│ пишется в attachment_jobs.traceparent и в payload outbox
|
||
└─ [dispatcher] publish attachments PRODUCER ← родитель = traceparent из outbox; свой контекст
|
||
│ кладёт в AMQP header traceparent и в поле сообщения
|
||
└─ [worker] process attachments.process.v1 CONSUMER ← родитель = header (запасной — поле тела)
|
||
├─ claim (PostgreSQL), S3 GetObject, imaging, S3 PutObject x4, commit result (PostgreSQL)
|
||
├─ (ошибка) create attachments PRODUCER → publish → process (попытка 2) — та же трасса
|
||
└─ cleanup staging (S3 DeleteObject, UPDATE) — после ack, в той же трассе
|
||
```
|
||
|
||
Выбранная семантика: **parent-child** вдоль причинной цепочки (публикация и обработка — продолжение запроса пользователя, а задержка между ними видна как разрыв во времени). **Link** — когда это новое решение, а не продолжение: `ops.py replay` создаёт новую трассу (корень `ops replay`), спан `create` которой ссылается на исходную загрузку. Восстановление истёкшей аренды dispatcher-ом и сверка «queued без сообщения» создают спаны `recover expired lease` / `republish lost message` с родителем из `attachment_jobs.traceparent`. В lab5 `traceparent` был случайным; теперь это контекст реального спана.
|
||
|
||
Сэмплирование: `ParentBased(AlwaysOn)`, но клиентский спан без родителя не записывается — это фоновые опросы (dispatcher раз в секунду читает outbox, продление аренды, проверка соединений пула). Всё, что относится к запросу или заданию, сохраняется полностью (100%). Проверки здоровья (`/health/*`, HAProxy раз в секунду) — только в метриках, без трасс.
|
||
|
||
### SLI / SLO и окно
|
||
|
||
| SLO | SLI (числитель / знаменатель) | Цель | Окно | Recording rule |
|
||
| --- | --- | --- | --- | --- |
|
||
| SLO-1 доступность API | бизнес-запросы API без 5xx / все бизнес-запросы API (все маршруты кроме `/health/*`). 4xx — ошибки клиента, не входят в числитель | ≥ 99% | скользящий 1 ч (учебное окно; в эксплуатации то же выражение с 28d) | `messenger:slo_availability:ratio_1h`, бюджет `messenger:slo_availability:error_budget_remaining_1h` |
|
||
| SLO-2 задержка записи | успешные `POST /api/v1/chats/{chat_id}/messages` быстрее 250 мс (bucket `le="0.25"`) / все успешные такие запросы | ≥ 95% | 1 ч | `messenger:slo_latency_messages:ratio_1h` |
|
||
| SLO-3 фоновая обработка | вложения ready не позже 30 с от приёма (bucket `le="30"` гистограммы time_to_ready) / все ставшие ready | ≥ 95% | 1 ч | `messenger:slo_time_to_ready:ratio_1h` |
|
||
|
||
Проверяемость: все SLI — отношения счётчиков/buckets гистограмм, просуммированных по репликам (`sum(increase(...[1h]))`), поэтому SLO вычисляется одинаково на любом наборе реплик и видно на dashboard (строка «Обзор и SLO»).
|
||
|
||
### Dashboard: запросы и единицы
|
||
|
||
Dashboard — `infra/grafana/dashboards/messenger.json` (импортируется provisioning-ом, папка Messenger; 34 панели в 6 строках: обзор/SLO и алерты, API RED, фоновая обработка, насыщение, конвейер телеметрии, логи и трассы). Ключевые запросы (`$__rate_interval` подставляет Grafana; `API` = `job="messenger-api", http_route!~"/health/.*"`):
|
||
|
||
| Панель | PromQL | Единица |
|
||
| --- | --- | --- |
|
||
| RPS по маршрутам / по классу статуса | `sum by (http_request_method, http_route) (rate(http_server_request_duration_seconds_count{API}[$__rate_interval]))` | req/s |
|
||
| Доля 5xx | `(sum(rate(..._count{API, http_response_status_class="5xx"}[…])) or on() vector(0)) / sum(rate(..._count{API}[…]))` | доля (0–1) |
|
||
| p50 / p95 / p99 API | `histogram_quantile(0.95, sum by (le) (rate(http_server_request_duration_seconds_bucket{API}[$__rate_interval])))` | с |
|
||
| p95 по маршрутам | `histogram_quantile(0.95, sum by (le, http_route) (rate(..._bucket{API}[…])))` | с |
|
||
| Попытки заданий по исходу | `sum by (outcome) (rate(messenger_job_duration_seconds_count[…]))` | 1/с |
|
||
| Длительность попытки / время до ready p50/p95/p99 | `histogram_quantile(q, sum by (le) (rate(messenger_job_duration_seconds_bucket{outcome="ready"}[…])))`, то же для `messenger_attachment_time_to_ready_seconds_bucket` | с |
|
||
| Глубина очереди и backlog | `max by (messaging_destination_name) (messenger_queue_depth)`, `max by (status) (messenger_jobs_backlog)` | сообщений / заданий |
|
||
| Возраст старейшего задания и outbox | `max(messenger_queue_oldest_age_seconds{messaging_destination_name="attachments.process.v1"})`, `max(messenger_outbox_oldest_age_seconds)` | с |
|
||
| Пул БД | `sum by (instance) (db_client_connection_count{db_client_connection_state="used"})`, `max(db_client_connection_max)`, `sum by (instance) (db_client_connection_pending_requests)`; p95 ожидания `histogram_quantile(0.95, sum by (le, instance) (rate(db_client_connection_wait_time_seconds_bucket[…])))` | соединений / с |
|
||
| Насыщение worker | `sum(messenger_worker_busy) / sum(messenger_worker_capacity)` | доля |
|
||
| CPU / RAM | `sum by (job, instance) (rate(process_cpu_time_seconds_total[…]))` (ядер), `rate(container_cpu_time_seconds_total) / container_cpu_limit` (доля лимита), `process_memory_usage_bytes`, `container_memory_usage_bytes` | ядра / доля / байты |
|
||
| Collector и SDK | `rate(otelcol_receiver_accepted_spans[…])`, `rate(otelcol_exporter_send_failed_spans[…])`, `otelcol_exporter_queue_size / otelcol_exporter_queue_capacity`, `otelcol_process_memory_rss`, `rate(otel_sdk_exporter_span_exported_total{error_type!=""}[…])` | 1/с, доля, байты |
|
||
| Логи / трассы | Loki `{service_name=~"messenger-.*"} \| detected_level=~"warn\|error"`; Tempo TraceQL `{ status = error }` | — |
|
||
|
||
Percentile только из buckets гистограммы, просуммированных по всем репликам **до** `histogram_quantile` (`sum by (le)`); среднее и усреднение p95 реплик не используются. Точность — ширина bucket: например, при запросах по 5,0 с (statement_timeout) интерполяция внутри bucket 5–7,5 с даёт p95 ≈ 7,4 с; это ограничение метода, видно на инциденте 2.
|
||
|
||
### Алерты
|
||
|
||
`infra/prometheus/rules/alerts.yml`; состояние — Prometheus `/alerts` и `ALERTS{}` (видно и resolved по истории), Grafana показывает их как data source rules. Внешней доставки нет (по заданию).
|
||
|
||
| Алерт | Условие | Окно | Порог | for | Runbook |
|
||
| --- | --- | --- | --- | --- | --- |
|
||
| MessengerHighErrorRate | доля 5xx бизнес-запросов API и трафик > 0,2 запроса/с | rate 1m | > 5% (в 5 раз выше бюджета SLO-1) | 1m | `docs/runbooks.md#messengerhigherrorrate` |
|
||
| MessengerQueueLagGrowing | возраст старейшего готового задания | мгновенное значение (обновление 5–10 с) | > 30 с (SLO-3) | 1m | `#messengerqueuelaggrowing` |
|
||
| MessengerWorkerNoConsumers | consumers очереди = 0 | — | 0 | 1m | `#messengerworkernoconsumers` |
|
||
| MessengerDbPoolSaturated | запросы ждут соединение из пула | — | > 0 | 1m | `#messengerdbpoolsaturated` |
|
||
| TelemetryExportFailing | потери в Collector (send/enqueue failed) **или** очередь exporter заполнена > 5% | rate 2m | > 0 / > 5% | 1m | `#telemetryexportfailing` |
|
||
| TelemetryCollectorDown | `up{job="otel-collector"} == 0` | — | — | 1m | `#telemetrycollectordown` |
|
||
|
||
Пороги, окна и `for` проверены unit-тестами `infra/prometheus/tests/alerts_test.yml` (promtool: не срабатывает раньше `for`, не срабатывает при пустом трафике и на ошибках `/health`, resolved после восстановления) и живыми инцидентами ниже.
|
||
|
||
### Collector и SDK: память и недоступность хранилища
|
||
|
||
- SDK (каждый процесс): `BatchSpanProcessor` и `BatchLogRecordProcessor` с очередью 2048 (`OTEL_BSP_MAX_QUEUE_SIZE`, `OTEL_BLRP_MAX_QUEUE_SIZE`), экспорт в фоновом потоке, таймаут 5 с (`OTEL_EXPORTER_OTLP_TIMEOUT`); метрики — агрегаты фиксированного размера раз в 10 с. Переполнение и непринятые пакеты считаются самим SDK (`OTEL_PYTHON_SDK_INTERNAL_METRICS_ENABLED=true`). Ошибки экспорта пишутся в лог не чаще раза в 30 с и не отправляются тем же экспортом (иначе петля).
|
||
- Collector: первым в каждом pipeline `memory_limiter` (heap Go: жёсткий предел 200 MiB, мягкий 160 MiB — receiver отвечает клиентам ошибкой, SDK отбрасывает у себя), затем `batch` (2 с / 1024–2048 элементов). У каждого exporter своя `sending_queue` в памяти (Tempo, Loki — 200 пакетов, Prometheus — 100) и `retry_on_failure` (1 → 10 с, `max_elapsed_time` 120 с). Окно повторов считается для пакета с первой попытки; ожидание в очереди в него не входит, поэтому буфер на время недоступности — это очередь. Пакет отбрасывается, когда истекли его 120 с повторов (`otelcol_exporter_send_failed_*`) или очередь полна (`otelcol_exporter_enqueue_failed_*`). Pipeline независимы: недоступный Tempo не мешает логам и метрикам. Очередь не персистентная: рестарт Collector теряет буфер (осознанный компромисс учебного стенда, `file_storage` не нужен).
|
||
- Контейнер Collector 384 MiB: RSS = heap (≤ 200 MiB) + runtime Go + отображённый в память бинарник contrib (~150 MiB вытесняемых страниц); поэтому тест сравнивает с лимитом именно heap (`otelcol_process_runtime_heap_alloc_bytes`), а RSS/память контейнера приводит для сведения.
|
||
|
||
### Соответствие `.env.example`
|
||
|
||
| Переменная | Что делает в этом решении |
|
||
| --- | --- |
|
||
| всё из lab5 | как в lab5 (см. REPORT lab5) |
|
||
| OTEL_SERVICE_NAME | `messenger-api` для api; compose задаёт свой каждому сервису; фактически `service.name` берётся из кода процесса |
|
||
| OTEL_EXPORTER_OTLP_ENDPOINT / _PROTOCOL | `http://otel-collector:4318`, `http/protobuf` (SDK добавляет `/v1/traces`, `/v1/metrics`, `/v1/logs`) |
|
||
| OTEL_RESOURCE_ATTRIBUTES | `deployment.environment.name=lab` |
|
||
| OTEL_SDK_DISABLED | `true` — SDK выключен во всех процессах (логи остаются JSON в stderr); для сравнения telemetry off/on |
|
||
| (только compose) OTEL_EXPORTER_OTLP_TIMEOUT, OTEL_METRIC_EXPORT_INTERVAL, OTEL_BSP_MAX_QUEUE_SIZE, OTEL_BLRP_MAX_QUEUE_SIZE, OTEL_PYTHON_SDK_INTERNAL_METRICS_ENABLED | 5 с, 10000 мс, 2048, 2048, `true` |
|
||
|
||
## Доказательства критериев
|
||
|
||
`python student-tests/collect_evidence.py …` пишет вывод каждого шага в `evidence/<шаг>.txt` (дата, commit, код выхода), итог — `evidence/summary.md`, JSON инцидентов — `evidence/incident-*.json`, а таблицы замеров — в блок «Замеры (Docker)» ниже. Те же сценарии прогнаны в нативной песочнице (те же версии Collector/Prometheus/Loki/Tempo, процессы без Docker; см. «Где проверено») — `evidence/native-sandbox/`.
|
||
|
||
| Критерий README | Команда/сценарий | Наблюдаемый результат (Docker-стенд, `evidence/`; то же в нативной песочнице — `evidence/native-sandbox/`) | Файл доказательства |
|
||
| --- | --- | --- | --- |
|
||
| 3: минимум lab5 работает, `make test` при включённой телеметрии | `tests/smoke.py` | PASS через балансировщик с SDK во всех процессах | smoke.txt |
|
||
| 3: Collector, 3 хранилища и Grafana в одном воспроизводимом стенде; конфиги/provisioning в Git; persistent volumes | `check_stack.py`, `check_configs.py`, `test_telemetry.py history` | конфиги валидны инструментами тех же версий; unit-тесты алертов SUCCESS; после restart prometheus/loki/tempo прежние трасса, логи и точка метрики находятся | stack.txt, configs.txt, telemetry-history.txt |
|
||
| 3: API и worker отдают OTLP; RPS/errors/duration API, jobs ok/failed и duration worker; логи и реальные трассы | `check_dashboard.py`, `test_telemetry.py` | все 54 PromQL-выражения dashboard и 16 выражений правил выполняются без ошибок, ключевые сигналы с данными; трассы API, dispatcher, worker | dashboard.txt, telemetry.txt |
|
||
| 3: импортируемый dashboard; низкая кардинальность; trace/span id в логах; нет содержимого/секретов | `check_dashboard.py`, `check_configs.py` (Grafana API), `test_telemetry.py request` | метки только из белого списка, `http_route` — шаблоны; dashboard provisioned=true; текст, пароль, токен: 0 совпадений в Loki и спанах | dashboard.txt, configs.txt, telemetry.txt |
|
||
| 3: контролируемый запрос → trace + лог; job → worker trace + лог | `test_telemetry.py request upload-chain` | свой `traceparent` → server-спан с дочерними PostgreSQL/Redis → лог `event=http.request` с тем же trace_id/span_id и request_id = `X-Request-Id`; логи worker `job.claimed`/`job.ready` с trace_id загрузки | telemetry.txt |
|
||
| 3: назначение каждого хранилища | раздел «Роли и назначение хранилищ» | — | REPORT.md |
|
||
| 4: W3C через API → broker → worker, producer/consumer, цепочка до S3/DB, включая retry | `test_telemetry.py upload-chain retry-chain replay-link` | одна трасса: server → create (producer) → publish (producer, dispatcher) → process (consumer, worker) → 4×S3 PutObject + commit; retry: попытка 1 ERROR `storage_unavailable` → create → publish → попытка 2 ready; replay — новая трасса с link на исходную | telemetry.txt |
|
||
| 4: p50/p95/p99 из histogram, доля ошибок, queue depth/oldest age, DB pool, saturation worker; запросы и единицы | dashboard + раздел «Dashboard: запросы и единицы» | все панели выполняются на живых данных | dashboard.txt |
|
||
| 4: SLI/SLO и окно; alert rules high error rate и queue lag; проверены отказом (firing/resolved) | `incidents.py worker-stop db-slow`, `promtool test rules` | см. таблицы инцидентов: firing и resolved по каждому алерту | incident-worker.txt, incident-db.txt, configs.txt |
|
||
| 4: memory limiter/batch, ограниченная буферизация; остановка хранилища телеметрии не ломает сообщения и не растит RAM | `incidents.py telemetry-down collector-down` | API 100% успешных ответов, heap Collector ограничен, потери посчитаны | incident-telemetry.txt, incident-collector.txt |
|
||
| 4: разбор двух инцидентов и шаги диагностики | раздел «Эксперименты и отказы» | — | REPORT.md, docs/runbooks.md |
|
||
| Выбранный трек 5 | — | не выбран | — |
|
||
|
||
### Где проверено
|
||
|
||
**Нативная песочница (выполнено).** Среда, где писалось решение, не имеет доступа к Docker Hub, поэтому весь стенд был поднят теми же процессами без контейнеров: PostgreSQL 16, Redis 7, RabbitMQ 3.12, SeaweedFS 3.80, HAProxy 2.8, 2 реплики API за балансировщиком, dispatcher, worker, janitor (Python 3.11, те же `requirements.txt`) и **те же версии** otelcol-contrib 0.164.0, Prometheus 3.15.1, Loki 3.7.9, Tempo 3.1.1 с конфигами из `infra/` (заменены только адреса `tempo:4317` → `127.0.0.1:14317` и т.п.). Тесты запускались без изменений через тонкую подмену команды `docker compose` (stop/start/exec на процессы). Результаты — `evidence/native-sandbox/`, цифры — в разделе ниже. Grafana в песочнице не запускалась (нет бинарника без Docker Hub): её provisioning проверяет `check_configs.py` через HTTP API Grafana на Docker-стенде, а все запросы dashboard выполнены против живых Prometheus/Loki/Tempo (`check_dashboard.py`).
|
||
|
||
**Docker-стенд (Windows 10, Docker Desktop 28.1.1, Compose 2.35.1; VM 16 CPU / 15,2 GiB) — выполнено 2026-11-01.** Стенд поднят из чистого состояния (`init_secrets.py`, `docker compose pull`, `up -d --build --wait`) без правок кода и конфигов: `migrate`, `s3-init`, `telemetry-init` — Exited (0), остальные running/healthy; Loki и Tempo пишут в volumes от uid 10001 без ошибок прав. Полный прогон `collect_evidence.py` — все шаги PASS: lab6 (check, stack, smoke, configs, telemetry, dashboard, telemetry-history, 4 инцидента, load) и регрессия lab1–5 (`--from jobs-variants`, 22 шага, включая failover и persistence; restart hook вместе с ожиданием готовности — 60,9 с при лимите 90 с). Вывод — `evidence/*.txt`, сводка — `evidence/summary.md`, таблицы — блок «Замеры (Docker)» ниже. Grafana проверена через её API: 3 источника данных healthy, dashboard provisioned, трасса по `X-Trace-Id` открывается через источник Tempo, лог с тем же `trace_id` — через Loki (связки tracesToLogs и derived field TraceID).
|
||
|
||
## Эксперименты и отказы
|
||
|
||
Гипотезы:
|
||
1. По сохранённым метрикам, логам и трассам можно найти причину инцидента, не заходя в контейнеры: остановленный worker отличается от медленной БД, а медленная БД — от медленного обработчика.
|
||
2. Недоступность любого звена телеметрии (хранилище, Collector) не влияет на ответы API, память Collector и процессов приложения ограничена, а потери телеметрии считаются.
|
||
|
||
Методика: `student-tests/incidents.py` — нагрузка (closed loop, POST сообщений), контролируемый отказ, опрос `/api/v1/alerts` каждые 5 с до firing, «диагностика» только запросами к Prometheus/Loki/Tempo, устранение отказа, ожидание resolved; хронология в выводе, итог в `evidence/incident-*.json` (без токенов и текстов).
|
||
|
||
### Нативная песочница: результаты
|
||
|
||
Окружение: Linux x86_64, 2 vCPU, 8 GiB RAM на всё (стенд, хранилища телеметрии и клиент нагрузки); PostgreSQL 16, Redis 7, RabbitMQ 3.12, SeaweedFS 3.80, HAProxy 2.8, 2 реплики API, Python 3.11; otelcol-contrib 0.164.0, Prometheus 3.15.1, Loki 3.7.9, Tempo 3.1.1 (те же версии и конфиги, что в compose.yaml). Дата прогона 2026-11-01. Сводка шагов (все PASS, включая регрессию lab1–5: варианты изображений, outbox, повторы/DLQ/replay, конкуренция worker, вложения, идемпотентность, гонки) — `evidence/native-sandbox/summary.md`.
|
||
|
||
Алерты на контролируемых инцидентах (`student-tests/incidents.py`, состояние из Prometheus /api/v1/alerts):
|
||
|
||
| Инцидент | Воздействие | Алерт | firing через, с | resolved через, с после устранения |
|
||
| --- | --- | --- | --- | --- |
|
||
| 1. worker | `docker compose stop worker` + 3 загрузки | MessengerWorkerNoConsumers | 66.4 (от stop) | 17.0 (от start) |
|
||
| 1. worker | `docker compose stop worker` + 3 загрузки | MessengerQueueLagGrowing | 111.4 (от stop) | 17.0 (от start) |
|
||
| 2. PostgreSQL | `LOCK TABLE messages IN ACCESS EXCLUSIVE MODE` на 210 с под нагрузкой 8 потоков | MessengerHighErrorRate | 120.1 (от LOCK) | 30.0 (от COMMIT блокировки) |
|
||
| 3. телеметрия | `docker compose stop tempo loki` на 150 с | TelemetryExportFailing | 101.4 (от stop) | 155.4 (от start) |
|
||
|
||
Инцидент 1, наблюдения в момент firing: consumers очереди = 0.0, сообщений в RabbitMQ = 3.0, queued заданий = 3.0, возраст старейшего = 97.3 с, возраст outbox = 0.0 с (публикация работает), метрики worker не обновлялись 110.0 с, последний лог worker: event=`service.stopped`; трасса загрузки содержит `publish attachments`, но не содержит `process attachments.process.v1`. После start: вложения ready через 2.0 с, backlog 0.0.
|
||
|
||
Инцидент 2, наблюдения: доля 5xx (1m) = 1.0, коды POST /messages за 1m = {'201': 0.0, '200': 0.0, '404': 0.0, '400': 0.0, '409': 0.0, '503': 1.6}, p95 POST /messages = 7.375 с, чтения других таблиц (GET /users/me, /chats) во время блокировки {'GET /users/me + GET /chats, avg per request': 4.7, 'max': 5.4} мс, занято соединений пула = 8.0, p95 ожидания пула = 0.001 с, логи API event=db.unavailable по error_type: {'QueryCanceled': 184}. Error-трасса 1c7f8dd06427574a5f155558aa4cd975: server-спан 5006.7 мс, из них `INSERT` 5000.6 мс (доля 0.999, статус ERROR). Контраст «медленный обработчик» (трасса a6da2e3fe7b0c229773f36fa507293ca, POST /users): server 34.0 мс, `argon2id hash` 29.0 мс, все спаны БД 0.6 мс. Нагрузка: до 132.4 успешных записей/с, во время блокировки {'503': 320, '201': 6}, после 131.9/с без ошибок.
|
||
|
||
| Отказ телеметрии | API во время отказа | Память | Потери телеметрии |
|
||
| --- | --- | --- | --- |
|
||
| `stop tempo loki` на 150 с (окно повторов Collector 120 с) | 11500 запросов, коды {'201': 11500}, доля успеха 1.0 | heap Collector 44.1 -> max 92.7 MiB (limit 200), контейнер max 273.3 MiB | send/enqueue failed в Collector: {'spans': 4096, 'log_records': 269}; пробные трассы дошли 14/15, потеряны отправленные на [142.1] с |
|
||
| `stop otel-collector` на 90 с | 6263 запросов, коды {'201': 6263}, доля успеха 1.0 | api 280.5 -> max 292.5 MiB (2 реплики) | SDK api потерял спанов: {'processor_queue_full': 0, 'exporter_failed': 24576} (queue_full — очередь 2048 полна, exporter_failed — Collector не принял пакет); после start экспорт возобновился (10524 спанов за минуту) |
|
||
|
||
Публичный генератор нагрузки при включённой телеметрии (`tests/load.py`, closed loop, concurrency 4, 30 с, 2 реплики): 291.265 успешных POST/с, ошибок 0, p50 11.557 мс, p95 26.659 мс, p99 56.425 мс (песочница 2 vCPU на всё: стенд + хранилища + клиент; не сравнивать с Docker-машиной).
|
||
|
||
### Инцидент 1: остановлен worker («задания не обрабатываются»)
|
||
|
||
Воздействие: `docker compose stop worker`, затем 3 загрузки вложений (API отвечает 202 queued — приём от worker не зависит).
|
||
|
||
Шаги диагностики (как в `docs/runbooks.md`):
|
||
1. **Алерт** `MessengerWorkerNoConsumers` (consumers = 0), затем `MessengerQueueLagGrowing` (возраст старейшего задания > 30 с). Dashboard «Возраст старейшего задания» растёт линейно — задания не забирают, а не «их стало много».
|
||
2. **Публикация или обработка?** `messenger_outbox_oldest_age_seconds` = 0 и `messenger_messages_published_total{outcome="ok"}` растёт → dispatcher и RabbitMQ работают, сообщения в брокере (`messenger_queue_depth` = числу загрузок).
|
||
3. **Кто не забирает?** `messenger_queue_consumers` = 0, метрики `messenger_worker_*` перестали обновляться (worker не экспортирует), последний лог worker в Loki — `event=service.stopped` (штатная остановка, а не падение — тогда был бы `job.handler_crashed`/обрыв без stopped).
|
||
4. **Трасса любой из загрузок** (trace_id из лога API `event=http.request` или `X-Trace-Id`): есть `publish attachments`, нет `process attachments.process.v1` — сообщение доставлено в очередь, но не взято.
|
||
5. Причина: worker остановлен. Действие: `docker compose start worker`. Проверка: вложения ready через 2–5 с (Docker 4,7 с, песочница 2,0 с), backlog → 0, оба алерта resolved (Docker — через 29,7 с после start).
|
||
|
||
### Инцидент 2: медленная БД (блокировка таблицы `messages`) vs медленный обработчик
|
||
|
||
Воздействие: под нагрузкой 8 потоков `LOCK TABLE messages IN ACCESS EXCLUSIVE MODE` в отдельной транзакции на 210 с (PostgreSQL жив, `/health/ready` 200, но каждая запись ждёт блокировку и через `statement_timeout` 5 с отменяется → API 503).
|
||
|
||
Шаги диагностики:
|
||
1. **Алерт** `MessengerHighErrorRate`. Срабатывает не сразу: окно rate 1m заполнено быстрыми запросами до инцидента (~115–130/с), а во время блокировки closed-loop нагрузка даёт ~1,6 запроса/с (каждый висит 5 с), поэтому доля > 5% появляется только через 50–80 с, плюс `for: 1m` (firing через 140,8 с от LOCK в Docker, 120,1 с в песочнице).
|
||
2. **Какие маршруты и коды**: только `POST /api/v1/chats/{chat_id}/messages`, код 503; чтения других таблиц (`GET /api/v1/users/me`, `GET /api/v1/chats`) во время блокировки 5–20 мс (Docker 17,2 мс, песочница 4,7 мс) → не «всё медленно», а конкретная таблица/операция.
|
||
3. **БД или обработчик — по трассе**: TraceQL `{ resource.service.name = "messenger-api" && status = error }` → server-спан ≈ 5005–5015 мс, из них дочерний `INSERT` (PostgreSQL) ≈ 5001 мс со статусом ERROR — 99,8–99,9% времени запрос ждал БД. Для контраста медленный **обработчик**: `POST /api/v1/users` — server 20–35 мс, из них `argon2id hash` 16–29 мс (CPU в процессе API), все спаны БД < 1 мс. По метрикам то же различие: при медленной БД растут `db_client_connection_count{state="used"}` (соединения заняты ожиданием) и p95 конкретного маршрута, при медленном обработчике пул свободен, а растёт CPU процесса API (`process_cpu_time_seconds_total`).
|
||
4. **Почему — по логам**: `{service_name="messenger-api"} | event="db.unavailable"` с `error_type=QueryCanceled` (statement_timeout), а не `OperationalError` (БД недоступна) или `PoolTimeout` (нет соединений).
|
||
5. **Подтверждение в PostgreSQL**: `pg_stat_activity` показывает сессии с `wait_event_type=Lock` и держателя блокировки (`LOCK TABLE ...`). Действие: завершить транзакцию-держателя. Проверка: 5xx → 0, алерт resolved через 30–50 с после снятия блокировки (Docker 50,1 с, песочница 30,0 с: окно rate 1m заполняется успешными запросами, затем ближайшая оценка правила).
|
||
|
||
### Инцидент 3: недоступна телеметрия (Tempo + Loki; затем сам Collector)
|
||
|
||
Ожидаем: API не замечает отказа; Collector копит пакеты в ограниченной очереди, heap не выходит за `memory_limiter`; `TelemetryExportFailing` firing → resolved; после восстановления очередь досылается, потери посчитаны. Без Collector: SDK каждого процесса отбрасывает лишнее (очередь 2048), память API не растёт, потери видны в `otel_sdk_exporter_span_exported_total{error_type!=""}` после восстановления.
|
||
|
||
Что показал эксперимент (числа — в таблицах выше):
|
||
- Tempo + Loki остановлены на 150 с под нагрузкой ~60 записей/с (Docker; в песочнице ~68/с): все ответы API 201 (9555 запросов), p95 не изменился (31 мс до и во время отказа). Очереди exporter Tempo/Loki росли (метрики продолжали идти в Prometheus — pipeline независимы), heap Collector вырос с 35,5 до max 86,9 MiB (песочница 44 → 93 MiB) — далеко от предела 200 MiB, память контейнера Collector не выше 107 MiB; `TelemetryExportFailing` перешёл в firing через 73 с (песочница ~100 с) — по заполнению очереди, ещё до первых потерь. После start очереди досланы за 60 с (песочница ~80 с), алерт resolved через 166 с после start (песочница ~155 с: окно rate 2m по счётчику потерь — последние пакеты с истёкшим окном повторов отброшены около момента восстановления, плюс `for`); все 13 пробных трасс, отправленных во время отказа, нашлись в Tempo (песочница 14 из 15). Потеряно и посчитано Collector-ом 4096 спанов и 235 записей логов (песочница 4096 и 269) — пакеты, у которых истекло окно повторов.
|
||
- Collector остановлен на 90 с: все ответы API 201 (5852 запроса), память двух реплик API 295 → max 314 MiB (+18 MiB; песочница +12 MiB) и после восстановления не растёт. Экспорт в SDK получает ошибку соединения, пакет отбрасывается (буфера на диске нет). В Docker остановленный контейнер исчезает из DNS сети, и каждая попытка экспорта висит до таймаута 5 с. Экспорт становится медленнее, чем API создаёт спаны, поэтому ограниченная очередь процессора (2048) переполняется и лишнее отбрасывается сразу: за отказ потеряно и посчитано 8252 спана `processor_queue_full` и 10752 `exporter_failed` (`otel_sdk_processor_span_processed_total`, `otel_sdk_exporter_span_exported_total` с `error_type`). В песочнице соединение отклонялось мгновенно: 24,6 тыс. `exporter_failed`, очередь не переполнялась. В обоих случаях память ограничена очередью и ответы API не замедлились (p95 31–32 мс); после start экспорт возобновился без перезапуска приложения (10287 спанов за минуту).
|
||
- Вывод: отказ любого звена телеметрии не затрагивает пользователей и не растит память без предела; потери ограничены временем отказа и видны в метриках. Короткую недоступность хранилища (до заполнения очереди Collector, здесь минуты) Collector переживает почти без потерь, недоступность самого Collector — нет.
|
||
|
||
<!-- measurements:begin -->
|
||
Машина: Windows 10, AMD64 Family 26 Model 68 Stepping 0, AuthenticAMD; Docker VM: 16 CPU, 15.2 GiB RAM; клиент Python 3.11.1; дата прогона 2026-11-01, commit 470d9d6 + uncommitted changes. Лимиты контейнеров: api 1 CPU / 512 MiB каждая, postgres, s3 (SeaweedFS) и rabbitmq по 1 CPU / 512 MiB, redis и lb по 0,5 CPU / 128 MiB, janitor 0,25 CPU / 192 MiB, dispatcher 0,25 CPU / 128 MiB, worker 2 CPU / 1536 MiB; lab6: otel-collector 0,5 CPU / 384 MiB, prometheus, loki, tempo по 1 CPU / 512 MiB, grafana 0,5 CPU / 384 MiB.
|
||
|
||
Алерты на контролируемых инцидентах (`student-tests/incidents.py`, состояние из Prometheus /api/v1/alerts):
|
||
|
||
| Инцидент | Воздействие | Алерт | firing через, с | resolved через, с после устранения |
|
||
| --- | --- | --- | --- | --- |
|
||
| 1. worker | `docker compose stop worker` + 3 загрузки | MessengerWorkerNoConsumers | 101.7 (от stop) | 29.7 (от start) |
|
||
| 1. worker | `docker compose stop worker` + 3 загрузки | MessengerQueueLagGrowing | 131.8 (от stop) | 29.7 (от start) |
|
||
| 2. PostgreSQL | `LOCK TABLE messages IN ACCESS EXCLUSIVE MODE` на 210 с под нагрузкой 8 потоков | MessengerHighErrorRate | 140.8 (от LOCK) | 50.1 (от COMMIT блокировки) |
|
||
| 3. телеметрия | `docker compose stop tempo loki` на 150 с | TelemetryExportFailing | 73.1 (от stop) | 165.6 (от start) |
|
||
|
||
Инцидент 1, наблюдения в момент firing: consumers очереди = 0.0, сообщений в RabbitMQ = 6.0, queued заданий = 3.0, возраст старейшего = 127.3 с, возраст outbox = 0.0 с (публикация работает), метрики worker не обновлялись 131.0 с, последний лог worker: event=`service.stopped`; трасса загрузки содержит `publish attachments`, но не содержит `process attachments.process.v1`. После start: вложения ready через 4.7 с, backlog 0.0.
|
||
|
||
Инцидент 2, наблюдения: доля 5xx (1m) = 1.0, коды POST /messages за 1m = {'201': 0.0, '200': 0.0, '404': 0.0, '400': 0.0, '409': 0.0, '503': 1.6}, p95 POST /messages = 7.375 с, чтения других таблиц (GET /users/me, /chats) во время блокировки {'GET /users/me + GET /chats, avg per request': 17.2, 'max': 23.5} мс, занято соединений пула = 8.0, p95 ожидания пула = 0.001 с, логи API event=db.unavailable по error_type: {'QueryCanceled': 216}. Error-трасса 237e2d6b1c7db22adbb7d4752fa47f2: server-спан 5013.3 мс, из них `INSERT` 5001.3 мс (доля 0.998, статус ERROR). Контраст «медленный обработчик» (трасса 4a222e478c2d51006538a7bfeb485eb1, POST /users): server 21.2 мс, `argon2id hash` 16.4 мс, все спаны БД 0.7 мс. Нагрузка: до 115.5 успешных записей/с, во время блокировки {'503': 320, '201': 8}, после 116.8/с без ошибок.
|
||
|
||
| Отказ телеметрии | API во время отказа | Память | Потери телеметрии |
|
||
| --- | --- | --- | --- |
|
||
| `stop tempo loki` на 150 с (окно повторов Collector 120 с) | 9555 запросов, коды {'201': 9555}, доля успеха 1.0 | heap Collector 35.5 -> max 86.9 MiB (limit 200), контейнер max 107.0 MiB | send/enqueue failed в Collector: {'spans': 4096, 'log_records': 235}; пробные трассы дошли 13/13, потеряны отправленные на [] с |
|
||
| `stop otel-collector` на 90 с | 5852 запросов, коды {'201': 5852}, доля успеха 1.0 | api 295.2 -> max 313.5 MiB (2 реплики) | SDK api потерял спанов: {'processor_queue_full': 8252, 'exporter_failed': 10752} (queue_full — очередь 2048 полна, exporter_failed — Collector не принял пакет); после start экспорт возобновился (10287 спанов за минуту) |
|
||
|
||
Публичный тест отказа (`make test-failover`, 15 с записи во время остановки реплики):
|
||
|
||
| Прогон | Остановлена реплика | Реплик до отказа | Успешных записей | Неудачных попыток (повторены с тем же ключом) | Первая запись после hook, с |
|
||
| --- | --- | --- | --- | --- | --- |
|
||
| 1 | 171a473b0d28 | 2 | 127 | 0 | 4.75 |
|
||
| 2 | 1db2fedff78f | 2 | 126 | 0 | 4.578 |
|
||
|
||
Одновременные загрузки (`student-tests/upload_memory.py`, перед каждым сценарием реплики перезапускаются, лимит api 512 MiB / 1 CPU). Пик RSS — VmHWM процесса API; cgroup — память контейнера, включая page cache временных файлов:
|
||
|
||
| Сценарий | Одновременно | Объём, MiB | Время, с (p50 / max) | Реплика: загрузок | RSS до, MiB | Пик RSS, MiB | Рост, MiB | Пик cgroup, MiB |
|
||
| --- | --- | --- | --- | --- | --- | --- | --- | --- |
|
||
| 10 x ~9.5 MiB PNG (noise) | 10 | 94.9 | 1.77 / 1.95 | 171a473b0d28: 5 | 109.6 | 124.5 | 14.9 | 162.8 |
|
||
| | | | | 1db2fedff78f: 5 | 110.5 | 125.6 | 15.1 | 163.3 |
|
||
| 10 x 40 Mpx PNG (8000x5000 RGB) | 10 | 1.1 | 0.98 / 1.3 | 171a473b0d28: 5 | 107.6 | 112.4 | 4.8 | 101.5 |
|
||
| | | | | 1db2fedff78f: 5 | 107.1 | 109.8 | 2.7 | 100.0 |
|
||
| 20 mixed: large + 40 Mpx + JPEG | 20 | 133.2 | 1.45 / 1.95 | 171a473b0d28: 10 | 109.0 | 136.3 | 27.3 | 191.4 |
|
||
| | | | | 1db2fedff78f: 10 | 110.6 | 135.0 | 24.3 | 172.8 |
|
||
|
||
Один PNG 8000x5000 RGB внутри контейнера api, дополнительный пик RSS: наивно (тело целиком в памяти + полное декодирование Pillow) 161 MiB, потоковая проверка 0 MiB. 10 таких наивных загрузок одновременно не поместились бы в 512 MiB.
|
||
|
||
Публичный генератор нагрузки (`tests/load.py`, closed loop, concurrency 4, 30 с, 2 реплики): 239.02 успешных POST/с, ошибок 0 (доля 0.0), задержка успешных p50 16.0 мс, p95 32.0 мс, p99 47.0 мс.
|
||
|
||
| Воздействие | Что ожидаем | Что наблюдали | Время восстановления / потеря данных |
|
||
| --- | --- | --- | --- |
|
||
| публичный `make test-failover` для каждой реплики | запись продолжается не позже 10 с, подтверждённые сообщения на месте, дублей нет | PASS 2 раз(а), неудачных попыток: 0, 0 | первая запись после hook через 4.75, 4.578 с (hook ждёт остановки ~4 с); потерь нет |
|
||
| перезапуск всего стенда (`restart` hook: postgres, redis, s3, api, janitor, lb) | данные, файл и прежний токен живы | PASS, те же контейнеры с новым временем старта | 60.9 с до готовности; потерь нет |
|
||
| `docker compose stop s3` (SeaweedFS остановлен) | загрузка и скачивание -> 503, метаданные, сообщения и /health/ready работают | upload 503 за 20234 мс, download 503, остальное 200/201 | после start файлы на месте; uploading-строку убрал janitor; потерь нет |
|
||
| `docker compose pause s3` (SeaweedFS завис) | то же, но через таймауты S3-клиента | upload 503 за 14703 мс (2 попытки x 5 с + откат 2 с) | после unpause файлы на месте; потерь нет |
|
||
| падение между PUT в S3 и COMMIT в БД (код API в контейнере, finish_upload падает) | вложение не видно, janitor не трогает его до конца grace period, потом удаляет объект и строку | GET/прикрепление -> 404; janitor: свежая строка сохранена, dry-run только отчёт, затем удалено | мусора не осталось; повторный проход ничего не делает |
|
||
| обрыв загрузки клиентом (9 МБ заявлено, отправлено 0,2 и 3 МБ) | ничего не сохраняется | строк и объектов не прибавилось, временных файлов 0 | мгновенно |
|
||
| worker остановлен, upload, рестарт rabbitmq и api с volumes, start worker | 202 queued, сообщение с вложением 201, content 409; после рестартов job в очереди; тот же job_id -> ready | worker started -> same job 6a45774d-0d88-46ec-87b9-70fb4c122bbd ready, thumbnail downloadable; staging object deleted | потерь нет; staging удалён после COMMIT |
|
||
| rabbitmq остановлен во время upload | 202 и /health/ready 200 без брокера; строка outbox ждёт; после start публикуется | rabbitmq started -> dispatcher published the pending row -> ready | потерь нет |
|
||
| crash dispatcher между COMMIT задания и publish | строка outbox не отмечена -> публикуется после рестарта процесса | dispatcher killed between COMMIT and publish; restarted by policy, outbox re-published -> job d1eb476a-fbe1-4271-861f-74f3e943b8cc ready, attempt 1, no manual action | без ручного действия |
|
||
| crash dispatcher после confirm, до отметки outbox | дубль сообщения, worker распознаёт по состоянию job | dispatcher killed after publisher confirm, before marking outbox -> message published twice; worker: ['created', 'claimed', 'ready', 'duplicate_ignored'] -> one result set | один набор вариантов |
|
||
| crash worker после PUT в S3, до COMMIT и ack | повтор после истечения аренды перезаписывает те же ключи | worker killed after S3 PUT (before COMMIT and ack): redelivery saw a live lease (no-op), lease expired after 15 s, attempt 2 rewrote the same keys -> one set; events ['created', 'claimed', 'duplicate_ignored', 'lease_expired', 'claimed', 'ready'] | один набор, 4 объекта |
|
||
| crash worker после COMMIT, до ack | redelivery ready-задачи -> no-op ack | worker killed after COMMIT, before ack: broker redelivered, worker acked as no-op (1:duplicate_ignored:status=ready); queue empty (0 ready, 0 unacked) | очередь пуста, дублей нет |
|
||
| worker завис (не продлевает аренду) | dispatcher возвращает job, другой поток завершает; поздний результат отклонён fencing | frozen attempt 1 stopped renewing; lease expired, recovered by dispatcher, attempt 2 ready after 17 s; frozen attempt woke up -> stale_result_rejected; events ['created', 'claimed', 'lease_expired', 'claimed', 'ready', 'stale_result_rejected'] | ready не откатан |
|
||
| зависание обработки изображения | процесс убит по JOB_TIMEOUT_SECONDS, временная ошибка, аренда продлевалась | imaging hang -> killed after 60 s (processing_timeout, temporary), lease renewed meanwhile (no lease_expired), attempt 2 ready after 62 s | повтор -> ready |
|
||
| нехватка памяти в процессе обработки (RLIMIT_AS) | failed/resource_limit, worker жив | memory bomb in the imaging process -> failed/resource_limit after attempt 1; worker itself survived | постоянная ошибка, без повторов |
|
||
| 2 временные ошибки S3 | backoff с jitter, затем ready | 2 x storage_unavailable -> retries after 1.90 s and 3.20 s (equal jitter: 1..2 s, 2..4 s), attempt 3 ready | - |
|
||
| 5 временных ошибок подряд | failed/retry_exhausted, реестр failed, content 409 | 5 temporary errors -> failed/retry_exhausted (public error_code), content 409, attach 409, listed by ops.py failed (replayable) | replay оператора |
|
||
| replay failed и повторный replay ready | тот же job_id -> ready; повтор отклонён | ops replay -> same job_id d8ab860c-eb40-4df2-8d98-67aade24f2f2 attempt 6 ready; second replay refused: "job is ready, replay is only for failed jobs" | дубля нет |
|
||
| невалидное сообщение и неизвестный job_id | reject -> DLQ, dlq-replay не исполняет | schema-invalid message and unknown job_id -> reject -> DLQ (2 message(s)); dlq-replay kept them: ['invalid message is kept for analysis', 'unknown job'] | сообщения сохранены |
|
||
| 8 заданий в очереди, старт worker | WORKER_CONCURRENCY=2, prefetch 1 | 2 consumers, prefetch_count 1, manual ack; 8 queued 3000x2000 JPEG drained in 2.4 s after worker start, peak processing 2 of 8 (6 samples) | - |
|
||
<!-- measurements:end -->
|
||
|
||
## Ограничения и следующие шаги
|
||
|
||
- Выдерживается: недоступность любого хранилища телеметрии и самого Collector — API и обработка вложений продолжают работать; память ограничена очередями SDK (2048 на сигнал и процесс) и Collector (memory_limiter, очереди фиксированного размера). Переживают рестарт хранилищ (volumes): метрики, логи, трассы, настройки Grafana.
|
||
- Теряется (и считается): телеметрия, отправленная, пока Collector недоступен (SDK не буферизует на диск); пакеты, у которых истекло окно повторов Collector или очередь переполнена; буфер Collector при его рестарте. Метрики приложения за время недоступности Collector — пропуск на графиках (cumulative-счётчики после восстановления продолжают с верного итога).
|
||
- Один экземпляр каждого хранилища и Collector на одном Docker-host — нет HA телеметрии; при отказе Prometheus алерты не вычисляются (нужен внешний «мета-мониторинг» — вне учебного стенда).
|
||
- Метрики очереди считает один dispatcher: если он упал, значения `messenger_queue_*` устаревают (видно по отсутствию свежих точек); алерт `absent()` на них — следующий шаг.
|
||
- Учебные упрощения: внутренние соединения OTLP и UI без TLS (lab7), Prometheus/Loki/Tempo опубликованы на 127.0.0.1 для тестов и защиты; сэмплирование трасс 100% (для учебной нагрузки; стоимость и баланс сэмплирования — трек 5.1, не заявлен); burn-rate алерты с несколькими окнами — трек 5.2, не заявлен.
|
||
- Подтверждено измерением: алерты срабатывают и снимаются на контролируемых отказах; диагностика отличает остановленный worker, медленную БД и медленный обработчик; отказ телеметрии не влияет на API. Гипотеза без измерения: накладные расходы телеметрии на задержку и CPU (сравнение `OTEL_SDK_DISABLED=true/false` при одинаковой нагрузке) — трек 5.1.
|
||
|
||
## Ответы на вопросы защиты (кратко)
|
||
|
||
- **Лог, метрика и trace об одном инциденте.** Метрика отвечает «что и когда, насколько массово» (доля 5xx выросла в 14:02, только на POST messages) — дёшево, агрегатно, для алертов. Трасса — «где именно» в одном запросе (5 с из 5,004 с — `INSERT` в PostgreSQL), через все процессы. Лог — «почему» с деталями события (`QueryCanceled`, request_id, job_id). Связаны через `trace_id`: из алерта → error-трасса → её логи.
|
||
- **Почему `chat_id` в labels может исчерпать хранилище.** Каждая уникальная комбинация меток — отдельный временной ряд со своим индексом и чанками в памяти. Чатов — неограниченное и растущее число, умноженное на маршруты, коды и buckets гистограммы → миллионы рядов, рост RAM/диска TSDB и медленные запросы. Поэтому в метрики — только ограниченные множества, а ID — в трассы/логи.
|
||
- **Как очередь переносит причинную связь между процессами.** Producer записывает W3C `traceparent` (trace_id + id своего спана) в сообщение — здесь в строку outbox, затем dispatcher в AMQP header и поле тела; consumer извлекает его и начинает свой спан с этим родителем (или с link). Так trace_id один для HTTP-запроса и фоновой обработки, хотя между ними секунды и разные процессы.
|
||
- **Почему среднее latency не заменяет p99 и почему нельзя усреднять p99 реплик.** Среднее прячет хвост: 99 запросов по 10 мс и один по 5 с дают среднее 60 мс, а пользователь видит 5 с. Перцентиль — не аддитивная величина: p99 двух реплик с разной нагрузкой нельзя усреднить (реплика с 10 запросами весила бы как реплика с 10 000). Правильно — сложить buckets гистограмм всех реплик (`sum by (le)`) и уже из суммы вычислить `histogram_quantile`.
|