test: extend collector outage to 300 s in telemetry incident

This commit is contained in:
2026-11-20 18:11:19 +03:00
parent d83876fa90
commit 2718c3b432
14 changed files with 818 additions and 587 deletions
+26 -13
View File
@@ -143,27 +143,40 @@ Collector — получатель и маршрутизатор, а не БД:
## Доказательства критериев
⟨EVIDENCE_COMMIT⟩
Файлы собраны `docker compose run --rm tools sh scripts/collect-evidence.sh` на commit `d83876f` с чистых volumes (`docker compose down -v`, затем `up`); в заголовке каждого файла — дата и commit. ⟨TELEMETRY_RERUN⟩
| Критерий README | Команда/сценарий | Наблюдаемый результат | Файл доказательства |
| --- | --- | --- | --- |
| Публичный smoke с телеметрией | `make check`, `make test` через LB | ⟨SMOKE⟩ | [evidence/smoke.txt](evidence/smoke.txt) |
| **3**: минимум lab5 сохранён | собственные тесты, `make test-persistence`, `make test-failover`, `check-s3.sh`, сценарии `job-scenario.py` | ⟨LAB5⟩ | [evidence/tests.txt](evidence/tests.txt), [evidence/persistence.txt](evidence/persistence.txt), [evidence/failover.txt](evidence/failover.txt), [evidence/s3.txt](evidence/s3.txt), [evidence/jobs.txt](evidence/jobs.txt) |
| **3**: Collector, хранилища трёх сигналов, Grafana в стенде; конфиги и provisioning в Git; volumes | `docker compose ps`, images, сети, datasources | ⟨STACK⟩ | [evidence/container.txt](evidence/container.txt), [evidence/telemetry.txt](evidence/telemetry.txt) |
| **3**: API и worker отдают OTLP; RPS, ошибки, длительность API, jobs и длительность worker, логи, трассы видны в Grafana | `dashboard-check.py` | ⟨DASH⟩ | [evidence/telemetry.txt](evidence/telemetry.txt) |
| **3**: логи с trace_id/span_id; для контрольного запроса находятся trace и лог, для job — trace и лог worker | `trace-check.py` | ⟨TRACE⟩ | [evidence/telemetry.txt](evidence/telemetry.txt) |
| **3**: пароли, токены, тексты сообщений не экспортируются; нет ID в labels | `telemetry-privacy.py` | ⟨PRIVACY⟩ | [evidence/telemetry.txt](evidence/telemetry.txt) |
| **4**: W3C context API → broker → worker, producer/consumer spans, цепочка до S3/DB включая retry | `incidents.py retry-trace`, `trace-check.py` | ⟨RETRY⟩ | [evidence/incident-retry-trace.txt](evidence/incident-retry-trace.txt) |
| **4**: p50/p95/p99 из histogram, доля ошибок, очередь и возраст, пул БД, насыщение worker, CPU/RAM, time to ready | `dashboard-check.py`, `latency-compare.py` | ⟨P95⟩ | [evidence/telemetry.txt](evidence/telemetry.txt) |
| **4**: SLI/SLO с окном; alert rules на error rate и queue lag, firing → resolved | `promtool`, `incidents.py worker-stop`, `db` | ⟨ALERTS⟩ | [evidence/telemetry.txt](evidence/telemetry.txt), [evidence/incident-worker-stop.txt](evidence/incident-worker-stop.txt), [evidence/incident-db.txt](evidence/incident-db.txt) |
| Публичный smoke с телеметрией | `make check`, `make test` через LB | `make check` PASS; `PASS: lab6 public API scenario` при включённой телеметрии; запросы одной сессии обслуживают обе реплики | [evidence/smoke.txt](evidence/smoke.txt) |
| **3**: минимум lab5 сохранён | собственные тесты, `make test-persistence`, `make test-failover`, `check-s3.sh`, сценарии `job-scenario.py` | 201/201 тест; persistence PASS; failover PASS (128 записей, 0 ошибок, восстановление 3,57 s); S3 PASS; все 7 сценариев lab5 (crash-after-store/commit, outbox-gap, relay-crash, retry-replay, broker) воспроизводятся с телеметрией | [evidence/tests.txt](evidence/tests.txt), [evidence/persistence.txt](evidence/persistence.txt), [evidence/failover.txt](evidence/failover.txt), [evidence/s3.txt](evidence/s3.txt), [evidence/jobs.txt](evidence/jobs.txt) |
| **3**: Collector, хранилища трёх сигналов, Grafana в стенде; конфиги и provisioning в Git; volumes | `docker compose ps`, images, сети, datasources | сервисы `otel-collector`, `prometheus`, `loki`, `tempo`, `grafana` работают, образы закреплены по digest; наружу только `127.0.0.1:8080` и `127.0.0.1:3000`; хранилища только в сети `telemetry` (`internal=true`); volumes `prometheusdata`, `lokidata`, `tempodata`, `grafanadata`; datasources с UID `prometheus`/`loki`/`tempo` | [evidence/container.txt](evidence/container.txt), [evidence/telemetry.txt](evidence/telemetry.txt) |
| **3**: API и worker отдают OTLP; RPS, ошибки, длительность API, jobs и длительность worker, логи, трассы видны в Grafana | `dashboard-check.py` | dashboard загружен из provisioning (папка Messenger); все запросы панелей возвращают данные, кроме истории alerts (в спокойном состоянии alerts нет); «время до ready» за последнюю минуту — NaN, т. к. новых готовых вложений в эту минуту не было | [evidence/telemetry.txt](evidence/telemetry.txt) |
| **3**: логи с trace_id/span_id; для контрольного запроса находятся trace и лог, для job — trace и лог worker | `trace-check.py` | upload с клиентским `traceparent` → trace из 79 spans: SERVER API (родитель — span клиента) → PRODUCER relay → CONSUMER worker → S3 и SQL; в Loki по `trace_id` — `http.request` API и `job.handled` worker, у каждого свой `span_id` | [evidence/telemetry.txt](evidence/telemetry.txt) |
| **3**: пароли, токены, тексты сообщений не экспортируются; нет ID в labels | `telemetry-privacy.py` | пароль, session token, Basic-учётка, заголовок Authorization, текст сообщения, filename — 0 вхождений в 6 трассах этих запросов и в Loki (контроль: 7 строк логов этих запросов найдены); 893 серии, 0 с UUID в значениях labels; `http_route` — только шаблоны | [evidence/telemetry.txt](evidence/telemetry.txt) |
| **4**: W3C context API → broker → worker, producer/consumer spans, цепочка до S3/DB включая retry | `incidents.py retry-trace`, `trace-check.py` | одна загрузка — одна трасса: 3 пары PRODUCER → CONSUMER (`attempt` 1, 2, 3); в попытках 1–2 `S3.GetObject` с ошибкой (S3 остановлен), попытка 3 — S3 Put ×4, COMMIT, ready; события `enqueued → processing → retry_scheduled → processing → retry_scheduled → processing → ready` | [evidence/incident-retry-trace.txt](evidence/incident-retry-trace.txt) |
| **4**: p50/p95/p99 из histogram, доля ошибок, очередь и возраст, пул БД, насыщение worker, CPU/RAM, time to ready | `dashboard-check.py`, `latency-compare.py` | панели p50/p95/p99 (`sum by (le)`), доля 5xx, глубина/возраст очереди, пул used/waiting/max, busy/capacity, CPU, RSS, time to ready возвращают данные; клиент / histogram: p50 18,3 / 19,7 ms, p95 89,2 / 92,2 ms, p99 163,3 / 176,8 ms (3411 POST, 113 rps) | [evidence/telemetry.txt](evidence/telemetry.txt) |
| **4**: SLI/SLO с окном; alert rules на error rate и queue lag, firing → resolved | `promtool`, `incidents.py worker-stop`, `db` | `promtool`: 13 правил; все `health ok`; `MessengerJobQueueLag` и `MessengerApiNotReady` прошли pending → firing → inactive | [evidence/telemetry.txt](evidence/telemetry.txt), [evidence/incident-worker-stop.txt](evidence/incident-worker-stop.txt), [evidence/incident-db.txt](evidence/incident-db.txt) |
| **4**: Collector с memory_limiter, batch, ограниченной очередью; остановка backend не ломает API и не растит RAM | `incidents.py telemetry` | ⟨TELEMETRY⟩ | [evidence/incident-telemetry.txt](evidence/incident-telemetry.txt) |
| **4**: инцидент 1 — worker остановлен | `incidents.py worker-stop` | см. «Эксперименты и отказы» | [evidence/incident-worker-stop.txt](evidence/incident-worker-stop.txt) |
| **4**: инцидент 2 — медленная/недоступная БД отличима от медленного handler | `incidents.py db` | см. «Эксперименты и отказы» | [evidence/incident-db.txt](evidence/incident-db.txt) |
| Собственные тесты | `docker compose -f compose.test.yaml run --rm --build tests` | ⟨TESTS⟩ | [evidence/tests.txt](evidence/tests.txt) |
| Собственные тесты | `docker compose -f compose.test.yaml run --rm --build tests` | `Tests: 201 passed, 201 total` | [evidence/tests.txt](evidence/tests.txt) |
## Эксперименты и отказы
⟨EXPERIMENTS⟩
Стенд: Docker Desktop WSL2, 12 vCPU, 8 GiB; лимиты контейнеров — в `compose.yaml` и `evidence/container.txt` (API 0,5 CPU / 256M ×2, worker 1 CPU / 768M, Collector 0,5 CPU / 256M, хранилища по 0,5 CPU / 512M). Каждый сценарий выполнен один раз в составе `collect-evidence.sh`. Фоновая нагрузка в инцидентах — `Traffic` из `scripts/incidents.py`: 4–6 потоков closed loop через LB, POST сообщения и GET истории по очереди, пауза 0,05–0,2 s; файл для job — `sample.png` 320×200. Клиентские p50/p95/p99 считаются по успешным ответам фазы.
**Сверка перцентилей** (`latency-compare.py`, 30 s, 4 потока, POST сообщений): клиент 3411 успешных запросов, 113 rps, 0 ошибок; p50 / p95 / p99 — 18,3 / 89,2 / 163,3 ms у клиента и 19,7 / 92,2 / 176,8 ms по `histogram_quantile` (`increase` за окно). Серверная гистограмма не включает сеть и клиент, значение интерполируется внутри bucket (50–100 ms и 100–250 ms), поэтому расхождение в пределах ширины bucket. Счётчик Prometheus за окно (3661) больше клиентского: `increase()` экстраполирует до границ окна.
| Воздействие | Что ожидаем | Что наблюдали | Время восстановления / потеря данных |
| --- | --- | --- | --- |
| **Инцидент 1:** `docker compose stop worker`, 12 загрузок по одной в 10 s | 202 продолжаются; растёт возраст старейшего задания; alert по lag; после старта backlog уменьшается | все загрузки 202; `jobs_queue_depth{state="due"}` до 12, `oldest_age` до 132,5 s (обновляется с шагом экспорта метрик), `worker_busy` 0, серии worker перестают обновляться; `MessengerJobQueueLag` pending → **firing через 151 s** простоя | после `start worker` очередь пуста через ≤ 20 s (12 → 2 → 0), alert **resolved через 30 s**; 12 из 12 `ready`; фактическое время до ready по БД 41,9–152,1 s, histogram p99 176 s (bucket 150–180 s); потерь нет |
| **Инцидент 2а — медленный handler (контроль):** upload PNG 1700×1700 шума, 8,3 MiB | время в обработчике и S3, БД быстрая | trace 525 ms: вызовы БД 40 ms (SQL 22 ms, ожидание пула 1 ms), S3 246 ms, сам обработчик (полное декодирование) 240 ms | — |
| **Инцидент 2б — медленная БД:** `docker update --cpus 0.05 postgres` на 150 s под нагрузкой | рост задержки, причина в SQL | 0 ошибок; клиент p95 23 → 196 ms, p99 49 → 637 ms; p95 в Prometheus (1m) до ~250 ms; trace 790 ms: БД 788 ms (SQL 781 ms, пул 0 ms), обработчик 1 ms; trace 505 ms: SQL 498 ms. `MessengerSlowApi` (порог p95 > 1 s) не сработал — деградация ниже порога | после `--cpus 1.0` p95 вернулся к ~24 ms за 1–2 мин |
| **Инцидент 2в — БД недоступна:** `docker pause postgres` на ~105 s | 503 вместо зависаний; alert | API: ожидание пула 5 s → `503 database unavailable` (trace 5005 ms: `prisma:engine:connection` 5000 ms); `/health/core` 503 → HAProxy выводит обе реплики, клиенты получают `503 no API replica available` (1910 ответов) и 3 × 504; доля 5xx в метриках API не растёт — запросы не доходят до API; `MessengerApiNotReady` **firing**; в Loki `http.error` / `database unavailable` | после `unpause` реплики вернулись в LB за секунды, 25 ответов 503 в хвосте; alert **resolved через ~60 s**; p95 23 ms; данных не потеряно (неподтверждённые записи получили 503) |
| **Инцидент 3а — Loki и Tempo остановлены** до срабатывания alert (150 s) под нагрузкой 6 потоков | API работает; Collector ограничивает очередь и память; потери считаются | клиент: 14 385 успешных, **0 ошибок**, p95 29 ms (до — 30 ms); очередь exporter 0 → **200 из 200**; `send_failed` ~1250 spans и ~930 log records в минуту; затем `memory_limiter` отказывает в приёме (`refused` до ~91 000 в минуту); RSS Collector 144 → **240 MiB** (лимит 256M, перезапусков и OOM нет); `TelemetryExportFailing` **firing** | после `start loki tempo` очередь опустела за ~15 s, RSS 155 MiB, alert **resolved** через ~105 s; трассы и логи за время простоя потеряны (посчитаны), логи остаются в `docker compose logs` |
| **Инцидент 3б — Collector остановлен** | API работает, RAM не растёт бесконечно | ⟨COLLECTOR⟩ | ⟨COLLECTOR_RECOVERY⟩ |
| S3 остановлен на время первых попыток job (`retry-trace`) | повторы в одной трассе | см. критерий W3C выше: 3 попытки в одной трассе | ready через ~9 s после upload |
| `restart.sh`, `stop-one.sh`, сценарии lab5 | как в lab5 | PASS; failover 128 записей, 0 ошибок, восстановление 3,57 s | потерь нет |
## Сверка с замечаниями проверяющих
@@ -171,7 +184,7 @@ Collector — получатель и маршрутизатор, а не БД:
| Замечание к чужому PR | Наш результат |
| --- | --- |
| Стандартные buckets (0, 5, 10 … s) дают p95 4,75 s при реальных 5 ms; сверить график с контрольным измерением | buckets от 1 ms; `latency-compare.py` сравнивает с клиентом — ⟨P95_SHORT⟩. Та же проблема найдена у нас для time to ready (p99 296 s при реальных ≤ 160 s между границами 120 и 300 s) и исправлена добавлением границ 150/180/240 s |
| Стандартные buckets (0, 5, 10 … s) дают p95 4,75 s при реальных 5 ms; сверить график с контрольным измерением | buckets от 1 ms; `latency-compare.py` сравнивает с клиентом — p95 89 ms у клиента и 92 ms по histogram. Та же проблема найдена у нас для time to ready (p99 296 s при реальных ≤ 160 s между границами 120 и 300 s) и исправлена добавлением границ 150/180/240 s |
| Datasources без UID → rules и панели с UID `prometheus`/`loki` в состоянии `data source not found` | UID заданы в provisioning и используются во всех панелях; `telemetry.txt` показывает UID, все запросы dashboard возвращают данные. Alerts вычисляет Prometheus, а не Grafana, health правил `ok` |
| Alert «остановка worker» по числу retry не срабатывает, т. к. без worker retry не появляются; нужны queue depth и oldest age | alert по возрасту старейшего задания из БД, gauge отдаёт relay, поэтому он растёт при мёртвом worker; firing → resolved показан |
| API создаёт новый trace вместо продолжения клиентского `traceparent`, нет SERVER spans | SERVER span — потомок клиентского span (`trace-check.py`: `parent=client`) |
+21 -21
View File
@@ -1,27 +1,27 @@
# Стенд: сервисы, порты, лимиты, секреты, миграции, топология брокера
# date: 2026-11-20T13:43:42Z
# commit: 5f870e4
# date: 2026-11-20T14:30:52Z
# commit: d83876f
$ docker compose ps -a --format table {{.Service}}\t{{.Name}}\t{{.Image}}\t{{.Status}}\t{{.Ports}}
SERVICE NAME IMAGE STATUS PORTS
api messenger-lab6-api-1 mtusi-messenger-lab6-api:dev Up 13 seconds (healthy) 8080/tcp
api messenger-lab6-api-2 mtusi-messenger-lab6-api:dev Up 14 seconds (healthy) 8080/tcp
grafana messenger-lab6-grafana-1 grafana/grafana:11.4.0@sha256:d8ea37798ccc41061a62ab080f2676dda6bf7815558499f901bdb0f533a456fb Up 18 seconds (healthy) 127.0.0.1:3000->3000/tcp
api messenger-lab6-api-2 mtusi-messenger-lab6-api:dev Up 13 seconds (healthy) 8080/tcp
grafana messenger-lab6-grafana-1 grafana/grafana:11.4.0@sha256:d8ea37798ccc41061a62ab080f2676dda6bf7815558499f901bdb0f533a456fb Up 19 seconds (healthy) 127.0.0.1:3000->3000/tcp
lb messenger-lab6-lb-1 haproxy:3.0.6-alpine Up 7 seconds 127.0.0.1:8080->8080/tcp
loki messenger-lab6-loki-1 grafana/loki:3.3.2@sha256:8af2de1abbdd7aa92b27c9bcc96f0f4140c9096b507c77921ffddf1c6ad6c48f Up 24 seconds 3100/tcp
loki messenger-lab6-loki-1 grafana/loki:3.3.2@sha256:8af2de1abbdd7aa92b27c9bcc96f0f4140c9096b507c77921ffddf1c6ad6c48f Up 25 seconds 3100/tcp
migrate messenger-lab6-migrate-1 mtusi-messenger-lab6-migrate:dev Exited (0) 14 seconds ago
otel-collector messenger-lab6-otel-collector-1 otel/opentelemetry-collector-contrib:0.115.1@sha256:d2da12c4336a79758826700be9e21ecf4a9f7d945b7f8a58ba55ee3fa45427c8 Up 24 seconds 4317-4318/tcp, 55678-55679/tcp
postgres messenger-lab6-postgres-1 postgres:17.2-alpine Up 23 seconds (healthy) 5432/tcp
prometheus messenger-lab6-prometheus-1 prom/prometheus:v3.1.0@sha256:6559acbd5d770b15bb3c954629ce190ac3cbbdb2b7f1c30f0385c4e05104e218 Up 24 seconds (healthy) 9090/tcp
rabbitmq messenger-lab6-rabbitmq-1 rabbitmq:4.0.5-alpine@sha256:e045b5166b9188a38eee5c99411709aa1f0ffa2ac75664053e64cb69411f7c32 Up 23 seconds (healthy) 4369/tcp, 5671-5672/tcp, 15691-15692/tcp, 25672/tcp
reconciler messenger-lab6-reconciler-1 mtusi-messenger-lab6-api:dev Up 14 seconds 8080/tcp
redis messenger-lab6-redis-1 redis:7.4.1-alpine Up 23 seconds (healthy) 6379/tcp
otel-collector messenger-lab6-otel-collector-1 otel/opentelemetry-collector-contrib:0.115.1@sha256:d2da12c4336a79758826700be9e21ecf4a9f7d945b7f8a58ba55ee3fa45427c8 Up 25 seconds 4317-4318/tcp, 55678-55679/tcp
postgres messenger-lab6-postgres-1 postgres:17.2-alpine Up 24 seconds (healthy) 5432/tcp
prometheus messenger-lab6-prometheus-1 prom/prometheus:v3.1.0@sha256:6559acbd5d770b15bb3c954629ce190ac3cbbdb2b7f1c30f0385c4e05104e218 Up 25 seconds (healthy) 9090/tcp
rabbitmq messenger-lab6-rabbitmq-1 rabbitmq:4.0.5-alpine@sha256:e045b5166b9188a38eee5c99411709aa1f0ffa2ac75664053e64cb69411f7c32 Up 24 seconds (healthy) 4369/tcp, 5671-5672/tcp, 15691-15692/tcp, 25672/tcp
reconciler messenger-lab6-reconciler-1 mtusi-messenger-lab6-api:dev Up 13 seconds 8080/tcp
redis messenger-lab6-redis-1 redis:7.4.1-alpine Up 24 seconds (healthy) 6379/tcp
relay messenger-lab6-relay-1 mtusi-messenger-lab6-api:dev Up 7 seconds 8080/tcp
s3 messenger-lab6-s3-1 pgsty/minio:RELEASE.2026-08-04T00-00-00Z@sha256:b6bfe7239bfc83fb90d31612d9704d86039dd714f7904b3f1ad68f211e602372 Up 23 seconds (healthy) 9000/tcp
s3-init messenger-lab6-s3-init-1 pgsty/mc:RELEASE.2026-10-26T00-00-00Z@sha256:ce62c9053c69ce12a527a322345b5ad9f44b5f8a7b8189f82e516f2e3f30f1d8 Exited (0) 15 seconds ago
s3 messenger-lab6-s3-1 pgsty/minio:RELEASE.2026-08-04T00-00-00Z@sha256:b6bfe7239bfc83fb90d31612d9704d86039dd714f7904b3f1ad68f211e602372 Up 24 seconds (healthy) 9000/tcp
s3-init messenger-lab6-s3-init-1 pgsty/mc:RELEASE.2026-10-26T00-00-00Z@sha256:ce62c9053c69ce12a527a322345b5ad9f44b5f8a7b8189f82e516f2e3f30f1d8 Exited (0) 14 seconds ago
secrets-init messenger-lab6-secrets-init-1 alpine:3.20.3 Exited (0) 24 seconds ago
tempo messenger-lab6-tempo-1 grafana/tempo:2.6.1@sha256:ef4384fce6e8ad22b95b243d8fc165628cda655376fd50e7850536ad89d71d50 Up 24 seconds
tools messenger-lab6-tools-run-97526746648b mtusi-messenger-lab6-tools:dev Up 6 seconds
tempo messenger-lab6-tempo-1 grafana/tempo:2.6.1@sha256:ef4384fce6e8ad22b95b243d8fc165628cda655376fd50e7850536ad89d71d50 Up 25 seconds
tools messenger-lab6-tools-run-68bd7ed38f92 mtusi-messenger-lab6-tools:dev Up 5 seconds
worker messenger-lab6-worker-1 mtusi-messenger-lab6-api:dev Up 7 seconds 8080/tcp
## CPU/RAM-лимиты (NanoCpus: 1e9 = 1 CPU; Memory в байтах)
@@ -43,7 +43,7 @@ $ sh -c docker inspect -f '{{.Name}} cpus={{.HostConfig.NanoCpus}} memory={{.Hos
/messenger-lab6-s3-init-1 cpus=250000000 memory=268435456
/messenger-lab6-secrets-init-1 cpus=100000000 memory=33554432
/messenger-lab6-tempo-1 cpus=500000000 memory=536870912
/messenger-lab6-tools-run-97526746648b cpus=1000000000 memory=268435456
/messenger-lab6-tools-run-68bd7ed38f92 cpus=1000000000 memory=268435456
/messenger-lab6-worker-1 cpus=1000000000 memory=805306368
## Опубликованные порты: только LB и Grafana на 127.0.0.1; OTLP, Prometheus, Loki, Tempo наружу не открыты
@@ -308,11 +308,11 @@ No difference detected.
$ docker compose exec -T postgres psql -U messenger -d messenger -c SELECT migration_name, finished_at FROM _prisma_migrations ORDER BY started_at
migration_name | finished_at
---------------------------------+-------------------------------
20261021000000_init | 2026-11-20 13:43:28.446961+00
20261021010000_auth_sessions | 2026-11-20 13:43:28.460558+00
20261101000000_idempotency_keys | 2026-11-20 13:43:28.472356+00
20261105000000_attachments | 2026-11-20 13:43:28.494531+00
20261115000000_attachment_jobs | 2026-11-20 13:43:28.540792+00
20261021000000_init | 2026-11-20 14:30:37.860315+00
20261021010000_auth_sessions | 2026-11-20 14:30:37.880522+00
20261101000000_idempotency_keys | 2026-11-20 14:30:37.895909+00
20261105000000_attachments | 2026-11-20 14:30:37.918762+00
20261115000000_attachment_jobs | 2026-11-20 14:30:37.951618+00
(5 rows)
+9 -9
View File
@@ -1,17 +1,17 @@
# make test-failover: stop-one.sh останавливает реплику, обслужившую тест
# date: 2026-11-20T13:47:23Z
# commit: 5f870e4
# date: 2026-11-20T14:33:10Z
# commit: d83876f
## до
/messenger-lab6-api-1 id=5eb61d3915d1 created exit=0 finished=0001-01-01T00:00:00Z
/messenger-lab6-api-2 id=b4948f100e42 created exit=0 finished=0001-01-01T00:00:00Z
/messenger-lab6-api-1 id=64377e499417 running exit=0 finished=2026-11-20T14:33:08.109900069Z
/messenger-lab6-api-2 id=25ff01cef182 running exit=0 finished=2026-11-20T14:33:05.646476717Z
$ make test-failover ACTION_SCRIPT=scripts/stop-one.sh
python3 tests/resilience.py --mode failover --action-script "scripts/stop-one.sh" --base-url "http://lb:8080"
FAIL: GET /health/live: connection/TLS failure (URLError)
make: *** [Makefile:30: test-failover] Error 1
EXIT CODE 2
Executing explicit failover hook; hook output suppressed to avoid leaking secrets.
{"observed_instances_before": 2, "successful_writes": 128, "failed_attempts": 0, "first_recovery_seconds": 3.571}
PASS: failover preserved confirmed data and existing session. Hook scope needs operator evidence.
## после: остановленная реплика Exited (0) — штатное завершение по SIGTERM
/messenger-lab6-api-1 id=5eb61d3915d1 created exit=0 finished=0001-01-01T00:00:00Z
/messenger-lab6-api-2 id=b4948f100e42 created exit=0 finished=0001-01-01T00:00:00Z
/messenger-lab6-api-1 id=64377e499417 running exit=0 finished=2026-11-20T14:33:08.109900069Z
/messenger-lab6-api-2 id=25ff01cef182 exited exit=0 finished=2026-11-20T14:33:19.073873959Z
+60 -4
View File
@@ -1,8 +1,64 @@
# Инцидент: scripts/incidents.py db
# date: 2026-11-20T14:03:28Z
# commit: 5f870e4
# date: 2026-11-20T14:41:32Z
# commit: d83876f
$ python3 scripts/incidents.py db
API did not become ready
EXIT CODE 1
[ 0.1s] user df6eb947-ae87-4aa5-9d75-0c0c8091ab4d chat e46df417-75d8-4eaa-bca3-e19e3a86da1a
[ 0.1s] == baseline: 60 s of traffic
[ 0.2s] p95_1m=16ms 5xx_1m=0.0% pool_wait=0 pool_used=0 core_5xx_1m=- api_cpu=0 MessengerSlowApi=inactive MessengerHighErrorRate=inactive MessengerApiNotReady=inactive
[ 20.2s] p95_1m=25ms 5xx_1m=0.0% pool_wait=0 pool_used=0 core_5xx_1m=- api_cpu=0 MessengerSlowApi=inactive MessengerHighErrorRate=inactive MessengerApiNotReady=inactive
[ 40.2s] p95_1m=24ms 5xx_1m=0.0% pool_wait=0 pool_used=0 core_5xx_1m=- api_cpu=0.1 MessengerSlowApi=inactive MessengerHighErrorRate=inactive MessengerApiNotReady=inactive
[ 60.3s] p95_1m=24ms 5xx_1m=0.0% pool_wait=0 pool_used=0 core_5xx_1m=- api_cpu=0.1 MessengerSlowApi=inactive MessengerHighErrorRate=inactive MessengerApiNotReady=inactive
[ 60.3s] client [baseline]: 200:567 201:568; p50=11ms p95=23ms p99=49ms
[ 60.3s] == slow handler (not DB): 1700x1700 noise PNG upload — decoding and S3 dominate
[ 61.1s] POST 8.3 MiB attachment -> 202
[ 76.1s] slow handler: trace 7c5c169b5e229a27d34765e20c7dc102 POST /api/v1/chats/{chat_id}/attachments -> 202, 525 ms
[ 76.1s] DB calls 40 ms (pool wait 1 ms, SQL 22 ms); S3 246 ms; handler itself 240 ms
[ 76.1s] == slow DB: postgres limited to 0.05 CPU for 150 s
[ 76.3s] $ docker update --cpus 0.05 27a9b1f465438247ed81c48a9b572b24ab12ea5ffc7112d9817be18636e47310
[ 76.3s] p95_1m=24ms 5xx_1m=0.0% pool_wait=0 pool_used=0 core_5xx_1m=- api_cpu=0.2 MessengerSlowApi=inactive MessengerHighErrorRate=inactive MessengerApiNotReady=inactive
[ 91.4s] p95_1m=24ms 5xx_1m=0.0% pool_wait=0 pool_used=0 core_5xx_1m=- api_cpu=0.1 MessengerSlowApi=inactive MessengerHighErrorRate=inactive MessengerApiNotReady=inactive
[ 106.4s] p95_1m=75ms 5xx_1m=0.0% pool_wait=0 pool_used=0 core_5xx_1m=- api_cpu=0.1 MessengerSlowApi=inactive MessengerHighErrorRate=inactive MessengerApiNotReady=inactive
[ 121.4s] p95_1m=102ms 5xx_1m=0.0% pool_wait=0 pool_used=1 core_5xx_1m=- api_cpu=0.1 MessengerSlowApi=inactive MessengerHighErrorRate=inactive MessengerApiNotReady=inactive
[ 136.5s] p95_1m=319ms 5xx_1m=0.0% pool_wait=0 pool_used=1 core_5xx_1m=- api_cpu=0.1 MessengerSlowApi=inactive MessengerHighErrorRate=inactive MessengerApiNotReady=inactive
[ 151.5s] p95_1m=309ms 5xx_1m=0.0% pool_wait=0 pool_used=0 core_5xx_1m=- api_cpu=0.1 MessengerSlowApi=inactive MessengerHighErrorRate=inactive MessengerApiNotReady=inactive
[ 166.5s] p95_1m=268ms 5xx_1m=0.0% pool_wait=0 pool_used=0 core_5xx_1m=- api_cpu=0.1 MessengerSlowApi=inactive MessengerHighErrorRate=inactive MessengerApiNotReady=inactive
[ 181.6s] p95_1m=282ms 5xx_1m=0.0% pool_wait=0 pool_used=0 core_5xx_1m=- api_cpu=0.1 MessengerSlowApi=inactive MessengerHighErrorRate=inactive MessengerApiNotReady=inactive
[ 196.6s] p95_1m=180ms 5xx_1m=0.0% pool_wait=0 pool_used=0 core_5xx_1m=- api_cpu=0.1 MessengerSlowApi=inactive MessengerHighErrorRate=inactive MessengerApiNotReady=inactive
[ 211.6s] p95_1m=187ms 5xx_1m=0.0% pool_wait=0 pool_used=1 core_5xx_1m=- api_cpu=0.1 MessengerSlowApi=inactive MessengerHighErrorRate=inactive MessengerApiNotReady=inactive
[ 226.7s] p95_1m=183ms 5xx_1m=0.0% pool_wait=0 pool_used=0 core_5xx_1m=- api_cpu=0.1 MessengerSlowApi=inactive MessengerHighErrorRate=inactive MessengerApiNotReady=inactive
[ 226.7s] client [slow DB]: 200:1391 201:1390; p50=12ms p95=196ms p99=637ms
[ 226.7s] slow DB: trace 4fa46b85e073eddb48c09bce00a7b150 POST /api/v1/chats/{chat_id}/messages -> 201, 790 ms
[ 226.7s] DB calls 788 ms (pool wait 0 ms, SQL 781 ms); S3 0 ms; handler itself 1 ms
[ 226.7s] slow DB: trace 20868735bb9111efc35f20b042032875 POST /api/v1/chats/{chat_id}/messages -> 201, 505 ms
[ 226.7s] DB calls 502 ms (pool wait 0 ms, SQL 498 ms); S3 0 ms; handler itself 3 ms
[ 226.7s] $ docker update --cpus 1.0 27a9b1f465438247ed81c48a9b572b24ab12ea5ffc7112d9817be18636e47310
[ 226.8s] p95_1m=183ms 5xx_1m=0.0% pool_wait=0 pool_used=0 core_5xx_1m=- api_cpu=0.1 MessengerSlowApi=inactive MessengerHighErrorRate=inactive MessengerApiNotReady=inactive
[ 226.8s] client [after slow DB]: ; p50=0ms p95=0ms p99=0ms
[ 226.8s] == DB unavailable: postgres paused for 120 s
[ 226.8s] $ docker pause 27a9b1f465438247ed81c48a9b572b24ab12ea5ffc7112d9817be18636e47310
[ 226.9s] p95_1m=183ms 5xx_1m=0.0% pool_wait=0 pool_used=0 core_5xx_1m=- api_cpu=0.1 MessengerSlowApi=inactive MessengerHighErrorRate=inactive MessengerApiNotReady=inactive
[ 242.0s] p95_1m=176ms 5xx_1m=0.0% pool_wait=5 pool_used=5 core_5xx_1m=- api_cpu=0.1 MessengerSlowApi=inactive MessengerHighErrorRate=inactive MessengerApiNotReady=inactive
[ 257.0s] p95_1m=212ms 5xx_1m=0.0% pool_wait=6 pool_used=0 core_5xx_1m=8 api_cpu=0.1 MessengerSlowApi=inactive MessengerHighErrorRate=inactive MessengerApiNotReady=inactive
[ 272.1s] p95_1m=197ms 5xx_1m=0.0% pool_wait=7 pool_used=0 core_5xx_1m=10.9 api_cpu=0 MessengerSlowApi=inactive MessengerHighErrorRate=inactive MessengerApiNotReady=inactive
[ 287.1s] p95_1m=nanms 5xx_1m=nan% pool_wait=7 pool_used=0 core_5xx_1m=15.7 api_cpu=0 MessengerSlowApi=inactive MessengerHighErrorRate=inactive MessengerApiNotReady=inactive
[ 302.1s] p95_1m=nanms 5xx_1m=nan% pool_wait=6 pool_used=0 core_5xx_1m=18 api_cpu=0 MessengerSlowApi=inactive MessengerHighErrorRate=inactive MessengerApiNotReady=pending
[ 317.2s] p95_1m=nanms 5xx_1m=nan% pool_wait=7 pool_used=0 core_5xx_1m=16.8 api_cpu=0 MessengerSlowApi=inactive MessengerHighErrorRate=inactive MessengerApiNotReady=pending
[ 332.2s] p95_1m=nanms 5xx_1m=nan% pool_wait=7 pool_used=0 core_5xx_1m=16.8 api_cpu=0 MessengerSlowApi=inactive MessengerHighErrorRate=inactive MessengerApiNotReady=firing
[ 332.2s] client [DB paused]: 201:1 503:1910 504:3; p50=41ms p95=41ms p99=41ms
[ 332.3s] DB unavailable: trace 96521ffdb7e21480980d75738932c94d GET /api/v1/chats/{chat_id}/messages -> 503, 5005 ms
[ 332.3s] DB calls 5001 ms (pool wait 5000 ms, SQL 5000 ms); S3 0 ms; handler itself 3 ms
[ 332.3s] spans with error status: GET /api/v1/chats/{chat_id}/messages
[ 332.3s] loki: {"timestamp":"2026-11-20T14:47:01.051Z","severity":"ERROR","service.name":"messenger-api","event":"http.error","logger":"HttpExceptionFilter","message":"database unavailable","method":"GET","route":"/
[ 332.3s] loki: {"timestamp":"2026-11-20T14:47:01.115Z","severity":"ERROR","service.name":"messenger-api","event":"http.error","logger":"HttpExceptionFilter","message":"database unavailable","method":"GET","route":"/
[ 332.3s] loki: {"timestamp":"2026-11-20T14:47:03.054Z","severity":"ERROR","service.name":"messenger-api","event":"http.error","logger":"HttpExceptionFilter","message":"database unavailable","method":"GET","route":"/
[ 332.3s] $ docker unpause 27a9b1f465438247ed81c48a9b572b24ab12ea5ffc7112d9817be18636e47310
[ 332.4s] p95_1m=nanms 5xx_1m=nan% pool_wait=7 pool_used=0 core_5xx_1m=16.8 api_cpu=0 MessengerSlowApi=inactive MessengerHighErrorRate=inactive MessengerApiNotReady=firing
[ 347.5s] p95_1m=24ms 5xx_1m=0.0% pool_wait=0 pool_used=0 core_5xx_1m=13.2 api_cpu=0 MessengerSlowApi=inactive MessengerHighErrorRate=inactive MessengerApiNotReady=firing
[ 362.5s] p95_1m=24ms 5xx_1m=0.0% pool_wait=0 pool_used=0 core_5xx_1m=9.6 api_cpu=0.1 MessengerSlowApi=inactive MessengerHighErrorRate=inactive MessengerApiNotReady=firing
[ 377.5s] p95_1m=24ms 5xx_1m=0.0% pool_wait=0 pool_used=0 core_5xx_1m=3.6 api_cpu=0.1 MessengerSlowApi=inactive MessengerHighErrorRate=inactive MessengerApiNotReady=firing
[ 392.6s] p95_1m=24ms 5xx_1m=0.0% pool_wait=0 pool_used=0 core_5xx_1m=0 api_cpu=0.1 MessengerSlowApi=inactive MessengerHighErrorRate=inactive MessengerApiNotReady=inactive
[ 392.6s] client [after DB unpaused]: 200:556 201:556 503:25; p50=11ms p95=23ms p99=42ms
[ 393.1s] MessengerApiNotReady fired: True, resolved after recovery: True
[ 393.1s] PASS
+32 -4
View File
@@ -1,8 +1,36 @@
# Инцидент: scripts/incidents.py retry-trace
# date: 2026-11-20T14:00:26Z
# commit: 5f870e4
# date: 2026-11-20T14:37:50Z
# commit: d83876f
$ python3 scripts/incidents.py retry-trace
API did not become ready
EXIT CODE 1
[ 0.1s] user cd196c28-14b5-40a2-9c7d-c9a822ff9787 chat ef415dfb-4b85-421e-9e6f-45ecba61630e
[ 0.1s] $ docker compose stop worker
[ 0.8s] upload -> 202 b1a9f7a4-1eeb-4549-8fea-702494f5e4b7 trace d703294a338bfef3bf9f088ecc76f645
[ 0.8s] $ docker compose stop s3
[ 1.3s] $ docker start worker (without dependencies)
[ 6.8s] $ docker start s3 (without dependencies)
[ 7.2s] GET attachment -> status=queued error_code=None
[ 8.2s] GET attachment -> status=processing error_code=None
[ 9.2s] GET attachment -> status=ready error_code=None
[ 9.4s] job: d7ba0597-706c-4e41-bf88-353c21ab4e76 | ready | 3 | 5 |
[ 9.5s] variants rows: 3
[ 9.7s] events: enqueued -> processing -> retry_scheduled -> processing -> retry_scheduled -> processing -> ready
[ 24.7s] messenger-api SERVER POST /api/v1/chats/{chat_id}/attachments attempt= 57.8 ms
[ 24.7s] messenger-api CLIENT S3.PutObject attempt= 14.8 ms
[ 24.7s] messenger-relay PRODUCER attachment.jobs publish attempt=1 4.5 ms
[ 24.7s] messenger-worker CONSUMER attachment.jobs process attempt=1 1065.4 ms
[ 24.7s] messenger-worker CLIENT S3.GetObject attempt= 1013.7 ms ERROR
[ 24.7s] messenger-relay PRODUCER attachment.jobs publish attempt=2 10.5 ms
[ 24.7s] messenger-worker CONSUMER attachment.jobs process attempt=2 1028.0 ms
[ 24.7s] messenger-worker CLIENT S3.GetObject attempt= 1003.1 ms ERROR
[ 24.7s] messenger-relay PRODUCER attachment.jobs publish attempt=3 7.4 ms
[ 24.7s] messenger-worker CONSUMER attachment.jobs process attempt=3 1052.5 ms
[ 24.7s] messenger-worker CLIENT S3.GetObject attempt= 969.5 ms
[ 24.7s] messenger-worker CLIENT S3.PutObject attempt= 13.8 ms
[ 24.7s] messenger-worker CLIENT S3.PutObject attempt= 6.5 ms
[ 24.7s] messenger-worker CLIENT S3.PutObject attempt= 5.9 ms
[ 24.7s] messenger-worker CLIENT S3.PutObject attempt= 6.0 ms
[ 24.7s] messenger-worker CLIENT S3.DeleteObject attempt= 3.5 ms
[ 24.7s] consumer spans in one trace: 3 (attempts ['1', '2', '3'])
[ 24.7s] PASS
+42 -4
View File
@@ -1,8 +1,46 @@
# Инцидент: scripts/incidents.py telemetry
# date: 2026-11-20T14:04:59Z
# commit: 5f870e4
# date: 2026-11-20T14:48:05Z
# commit: d83876f
$ python3 scripts/incidents.py telemetry
API did not become ready
EXIT CODE 1
[ 0.1s] user b8211787-a380-40f3-b09b-107048ccafdf chat cb1f8ca9-090c-4f2b-b43b-35ad07360676
[ 0.2s] spans_failed_1m=0 logs_failed_1m=0 queue=0 queue_cap=200 refused_1m=0 collector_rss=153MiB api_rss=227MiB TelemetryExportFailing=inactive MessengerHighErrorRate=inactive
[ 15.2s] spans_failed_1m=0 logs_failed_1m=0 queue=0 queue_cap=200 refused_1m=0 collector_rss=151MiB api_rss=229MiB TelemetryExportFailing=inactive MessengerHighErrorRate=inactive
[ 30.2s] spans_failed_1m=0 logs_failed_1m=0 queue=0 queue_cap=200 refused_1m=0 collector_rss=144MiB api_rss=228MiB TelemetryExportFailing=inactive MessengerHighErrorRate=inactive
[ 30.2s] client [baseline]: 200:1427 201:1431; p50=11ms p95=30ms p99=66ms
[ 30.2s] == Loki and Tempo stopped until TelemetryExportFailing fires (max 240 s)
[ 30.2s] $ docker compose stop loki tempo
[ 32.0s] spans_failed_1m=0 logs_failed_1m=0 queue=0 queue_cap=200 refused_1m=0 collector_rss=144MiB api_rss=227MiB TelemetryExportFailing=inactive MessengerHighErrorRate=inactive
[ 47.0s] spans_failed_1m=0 logs_failed_1m=0 queue=16 queue_cap=200 refused_1m=0 collector_rss=148MiB api_rss=227MiB TelemetryExportFailing=inactive MessengerHighErrorRate=inactive
[ 62.0s] spans_failed_1m=0 logs_failed_1m=0 queue=58 queue_cap=200 refused_1m=0 collector_rss=150MiB api_rss=229MiB TelemetryExportFailing=inactive MessengerHighErrorRate=inactive
[ 77.1s] spans_failed_1m=0 logs_failed_1m=0 queue=102 queue_cap=200 refused_1m=0 collector_rss=175MiB api_rss=229MiB TelemetryExportFailing=inactive MessengerHighErrorRate=inactive
[ 92.1s] spans_failed_1m=0 logs_failed_1m=0 queue=145 queue_cap=200 refused_1m=0 collector_rss=181MiB api_rss=230MiB TelemetryExportFailing=inactive MessengerHighErrorRate=inactive
[ 107.2s] spans_failed_1m=1251.9 logs_failed_1m=583.2 queue=186 queue_cap=200 refused_1m=0 collector_rss=188MiB api_rss=228MiB TelemetryExportFailing=inactive MessengerHighErrorRate=inactive
[ 122.2s] spans_failed_1m=1252.6 logs_failed_1m=583.5 queue=200 queue_cap=200 refused_1m=14887.5 collector_rss=215MiB api_rss=229MiB TelemetryExportFailing=pending MessengerHighErrorRate=inactive
[ 137.2s] spans_failed_1m=1253.4 logs_failed_1m=583.9 queue=200 queue_cap=200 refused_1m=38541.8 collector_rss=230MiB api_rss=235MiB TelemetryExportFailing=pending MessengerHighErrorRate=inactive
[ 152.3s] spans_failed_1m=0 logs_failed_1m=0 queue=200 queue_cap=200 refused_1m=69789.2 collector_rss=231MiB api_rss=231MiB TelemetryExportFailing=pending MessengerHighErrorRate=inactive
[ 167.3s] spans_failed_1m=1365.5 logs_failed_1m=932.1 queue=198 queue_cap=200 refused_1m=87575.8 collector_rss=233MiB api_rss=234MiB TelemetryExportFailing=pending MessengerHighErrorRate=inactive
[ 182.3s] spans_failed_1m=1365.4 logs_failed_1m=932 queue=200 queue_cap=200 refused_1m=91415.4 collector_rss=237MiB api_rss=228MiB TelemetryExportFailing=firing MessengerHighErrorRate=inactive
[ 182.3s] client [Loki+Tempo down]: 200:7194 201:7191; p50=10ms p95=29ms p99=78ms
[ 182.3s] $ docker compose start loki tempo
[ 182.9s] spans_failed_1m=1365.4 logs_failed_1m=932 queue=200 queue_cap=200 refused_1m=91415.4 collector_rss=237MiB api_rss=228MiB TelemetryExportFailing=firing MessengerHighErrorRate=inactive
[ 197.9s] spans_failed_1m=1365.4 logs_failed_1m=932.1 queue=200 queue_cap=200 refused_1m=85848.4 collector_rss=238MiB api_rss=234MiB TelemetryExportFailing=firing MessengerHighErrorRate=inactive
[ 213.0s] spans_failed_1m=0 logs_failed_1m=0 queue=0 queue_cap=200 refused_1m=69153.5 collector_rss=240MiB api_rss=230MiB TelemetryExportFailing=firing MessengerHighErrorRate=inactive
[ 228.0s] spans_failed_1m=0 logs_failed_1m=0 queue=0 queue_cap=200 refused_1m=39560.8 collector_rss=155MiB api_rss=230MiB TelemetryExportFailing=firing MessengerHighErrorRate=inactive
[ 243.0s] spans_failed_1m=0 logs_failed_1m=0 queue=0 queue_cap=200 refused_1m=11155.2 collector_rss=155MiB api_rss=230MiB TelemetryExportFailing=firing MessengerHighErrorRate=inactive
[ 258.1s] spans_failed_1m=0 logs_failed_1m=0 queue=0 queue_cap=200 refused_1m=0 collector_rss=155MiB api_rss=229MiB TelemetryExportFailing=firing MessengerHighErrorRate=inactive
[ 273.1s] spans_failed_1m=0 logs_failed_1m=0 queue=0 queue_cap=200 refused_1m=0 collector_rss=155MiB api_rss=229MiB TelemetryExportFailing=firing MessengerHighErrorRate=inactive
[ 288.2s] spans_failed_1m=0 logs_failed_1m=0 queue=0 queue_cap=200 refused_1m=0 collector_rss=155MiB api_rss=230MiB TelemetryExportFailing=inactive MessengerHighErrorRate=inactive
[ 288.2s] client [after start]: 200:4986 201:4987; p50=10ms p95=34ms p99=82ms
[ 288.2s] == Collector stopped for 60 s: SDK export fails fast (5 s timeout, bounded queues)
[ 288.2s] $ docker compose stop otel-collector
[ 306.8s] docker stats: messenger-lab6-api-1 171.3MiB / 256MiB; messenger-lab6-api-2 184.8MiB / 256MiB; messenger-lab6-worker-1 72.1MiB / 768MiB;
[ 323.9s] docker stats: messenger-lab6-api-1 178.6MiB / 256MiB; messenger-lab6-api-2 194.5MiB / 256MiB; messenger-lab6-worker-1 72.61MiB / 768MiB;
[ 341.8s] docker stats: messenger-lab6-api-1 187.5MiB / 256MiB; messenger-lab6-api-2 200.2MiB / 256MiB; messenger-lab6-worker-1 71.97MiB / 768MiB;
[ 359.6s] docker stats: messenger-lab6-api-1 191.7MiB / 256MiB; messenger-lab6-api-2 202.9MiB / 256MiB; messenger-lab6-worker-1 72.51MiB / 768MiB;
[ 359.6s] client [collector down]: 200:3307 201:3306; p50=11ms p95=30ms p99=111ms
[ 359.6s] $ docker compose start otel-collector
[ 390.3s] client [collector back]: 200:1429 201:1431; p50=11ms p95=32ms p99=91ms
[ 390.5s] TelemetryExportFailing fired: True, resolved: True
[ 390.5s] PASS
+43 -4
View File
@@ -1,8 +1,47 @@
# Инцидент: scripts/incidents.py worker-stop
# date: 2026-11-20T14:01:57Z
# commit: 5f870e4
# date: 2026-11-20T14:38:15Z
# commit: d83876f
$ python3 scripts/incidents.py worker-stop
API did not become ready
EXIT CODE 1
[ 0.1s] user d494cd19-eea4-48ae-a471-64b35e821933 chat 0369989a-4572-4abd-8dd4-7aafb56e9d84
[ 0.1s] $ docker compose stop worker
[ 0.7s] due=0 processing=0 oldest_age_s=0 worker_busy=0 worker_up=1 ready_per_s=0 MessengerJobQueueLag=inactive
[ 0.7s] POST attachment -> 202 status=queued id=2a8a08ff-2af0-47be-ac68-9404ea8c0f70 instance=25ff01cef182
[ 10.7s] due=1 processing=0 oldest_age_s=0 worker_busy=0 worker_up=1 ready_per_s=0 MessengerJobQueueLag=inactive
[ 10.8s] POST attachment -> 202 status=queued id=90500e1c-2b31-45d7-b584-a3df08532497 instance=64377e499417
[ 20.8s] due=2 processing=0 oldest_age_s=2.5 worker_busy=0 worker_up=1 ready_per_s=0 MessengerJobQueueLag=inactive
[ 20.8s] POST attachment -> 202 status=queued id=d388cce7-ef51-4bc6-a990-c9f7c25934cc instance=25ff01cef182
[ 30.9s] due=3 processing=0 oldest_age_s=2.5 worker_busy=0 worker_up=- ready_per_s=0 MessengerJobQueueLag=inactive
[ 30.9s] POST attachment -> 202 status=queued id=93a3b0d8-3a39-47ac-8bc0-79fa17c5aed0 instance=64377e499417
[ 40.9s] due=4 processing=0 oldest_age_s=12.5 worker_busy=0 worker_up=- ready_per_s=0 MessengerJobQueueLag=inactive
[ 41.0s] POST attachment -> 202 status=queued id=26b1886f-f54c-4fff-aea7-ebddbeba4662 instance=25ff01cef182
[ 51.0s] due=5 processing=0 oldest_age_s=32.5 worker_busy=0 worker_up=- ready_per_s=0 MessengerJobQueueLag=inactive
[ 51.1s] POST attachment -> 202 status=queued id=43da824d-5d9f-4ecb-9621-58a1d0ff0f73 instance=64377e499417
[ 61.1s] due=6 processing=0 oldest_age_s=32.5 worker_busy=0 worker_up=- ready_per_s=- MessengerJobQueueLag=inactive
[ 61.1s] POST attachment -> 202 status=queued id=1810e49b-e341-4820-8d01-40151a8ed795 instance=25ff01cef182
[ 71.2s] due=7 processing=0 oldest_age_s=42.5 worker_busy=0 worker_up=- ready_per_s=- MessengerJobQueueLag=inactive
[ 71.2s] POST attachment -> 202 status=queued id=9884d9e1-6e5b-4e2b-953e-c08af021adfd instance=64377e499417
[ 81.2s] due=8 processing=0 oldest_age_s=62.5 worker_busy=0 worker_up=- ready_per_s=- MessengerJobQueueLag=inactive
[ 81.3s] POST attachment -> 202 status=queued id=cb6af66e-bc34-41d8-ba90-1f5664611708 instance=25ff01cef182
[ 91.3s] due=9 processing=0 oldest_age_s=62.5 worker_busy=0 worker_up=- ready_per_s=- MessengerJobQueueLag=pending
[ 91.3s] POST attachment -> 202 status=queued id=614d8080-709e-4574-96c5-8d5b2ebe66f8 instance=64377e499417
[ 101.4s] due=10 processing=0 oldest_age_s=72.5 worker_busy=0 worker_up=- ready_per_s=- MessengerJobQueueLag=pending
[ 101.4s] POST attachment -> 202 status=queued id=5b201a4e-3f9e-4927-b282-10530a4c2be2 instance=25ff01cef182
[ 111.4s] due=11 processing=0 oldest_age_s=92.5 worker_busy=0 worker_up=- ready_per_s=- MessengerJobQueueLag=pending
[ 111.5s] POST attachment -> 202 status=queued id=607a53d8-9583-4d79-93c4-c87f320ad7c6 instance=64377e499417
[ 121.5s] due=12 processing=0 oldest_age_s=92.5 worker_busy=0 worker_up=- ready_per_s=- MessengerJobQueueLag=pending
[ 131.5s] due=12 processing=0 oldest_age_s=102.5 worker_busy=0 worker_up=- ready_per_s=- MessengerJobQueueLag=pending
[ 141.6s] due=12 processing=0 oldest_age_s=122.5 worker_busy=0 worker_up=- ready_per_s=- MessengerJobQueueLag=pending
[ 151.6s] due=12 processing=0 oldest_age_s=122.5 worker_busy=0 worker_up=- ready_per_s=- MessengerJobQueueLag=firing
[ 151.6s] alert MessengerJobQueueLag firing after 151 s of worker downtime: True
[ 151.6s] $ docker start worker (without dependencies)
[ 152.0s] due=12 processing=0 oldest_age_s=122.5 worker_busy=0 worker_up=- ready_per_s=- MessengerJobQueueLag=firing
[ 162.0s] due=2 processing=0 oldest_age_s=132.5 worker_busy=0 worker_up=- ready_per_s=- MessengerJobQueueLag=firing
[ 172.0s] due=0 processing=0 oldest_age_s=51.8 worker_busy=0 worker_up=1 ready_per_s=- MessengerJobQueueLag=firing
[ 182.0s] due=0 processing=0 oldest_age_s=51.8 worker_busy=0 worker_up=1 ready_per_s=0 MessengerJobQueueLag=inactive
[ 182.0s] backlog drained and alert resolved 30 s after worker start: True
[ 182.1s] uploads during downtime: 12, ready now: 12
[ 197.1s] time to ready, histogram over 5m: p50=100 s, p99=176.4 s
[ 197.4s] time to ready from the database (finished_at - created_at), s: 41.9 .. 152.1
[ 197.4s] PASS
+174 -17
View File
@@ -1,47 +1,203 @@
# Фоновая обработка: сценарии защиты уровней 3 и 4 (scripts/job-scenario.py)
# date: 2026-11-20T13:49:13Z
# commit: 5f870e4
# date: 2026-11-20T14:33:45Z
# commit: d83876f
## restart
$ python3 scripts/job-scenario.py restart
API did not become ready
EXIT CODE 1
[ 0.2s] user 83a421c6-238a-430e-b23d-7065f92692ea chat 37e2da02-e39f-4a5b-bc3e-99e3072079ad
[ 0.2s] $ docker compose stop worker
[ 1.2s] POST attachment -> 202 status=queued id=b5032f63-71ca-4684-8071-8e546a2b1d38 instance=64377e499417
[ 1.2s] content while queued -> 409
[ 1.2s] POST message with 1 attachment(s) -> 201 id=3133055e-c217-4956-8b29-6c195ad7d832
[ 1.2s] POST message with 0 attachment(s) -> 201 id=485a4b3d-e797-4cd8-8c3a-b6fbd22e51fa
[ 10.3s] queues: name type durable messages_ready messages_unacknowledged
attachment.jobs quorum true 1 0
attachment.jobs.dlq quorum true 0 0
[ 10.3s] $ docker compose restart api rabbitmq
[ 27.8s] queues after broker restart: name type durable messages_ready messages_unacknowledged
attachment.jobs quorum true 1 0
attachment.jobs.dlq quorum true 0 0
[ 27.8s] status after restarts: queued
[ 27.8s] $ docker compose start worker
[ 32.3s] GET attachment -> status=queued error_code=None
[ 33.3s] GET attachment -> status=ready error_code=None
[ 33.3s] original -> 200 sha256 matches upload: True
[ 33.4s] thumbnail -> 200 image/jpeg 256x160 sha256 matches metadata: True
[ 33.4s] crop -> 200 image/jpeg 128x128 sha256 matches metadata: True
[ 33.4s] optimized -> 200 image/webp 320x200 sha256 matches metadata: True
[ 33.6s] job: 4e569601-78cf-43c7-8e00-d11cb4929ef8 | ready | 1 | 5 |
[ 33.7s] variants rows: 3
[ 33.9s] events: enqueued -> processing -> ready
## crash-after-store
$ python3 scripts/job-scenario.py crash-after-store
API did not become ready
EXIT CODE 1
[ 0.1s] user 00aee8d4-3de1-4190-ba59-145bbd9ab2e3 chat eb05fa1f-3a6f-412b-a924-23472af26d2b
[ 0.1s] $ docker compose stop worker
[ 0.7s] $ docker compose run --no-deps -e WORKER_FAULT=exit-after-store -e JOB_LEASE_SECONDS=15 worker
[ 2.7s] POST attachment -> 202 status=queued id=6c09adc1-6c17-43ad-a8ed-2fa6582fe5c5 instance=25ff01cef182
[ 3.4s] one-off: {"timestamp":"2026-11-20T14:34:22.942Z","severity":"WARN","service.name":"messenger-worker","event":"worker","logger":"Worker","message":"fault injection: worker killed after storing objects, before commit and ack","trace_id":"0f573fa6f35061a106d47bf5eb093c3d","span_id":"39a42f14e6f1823b"}
[ 3.6s] one-off process exit code 137 (137 = killed without ack)
[ 3.6s] status after crash: processing
[ 3.9s] lease: processing | 1 | t
[ 11.7s] queues (unacked message returned): name type durable messages_ready messages_unacknowledged
attachment.jobs quorum true 1 0
attachment.jobs.dlq quorum true 0 0
[ 11.7s] $ docker compose start worker
[ 16.8s] GET attachment -> status=processing error_code=None
[ 19.8s] GET attachment -> status=queued error_code=None
[ 20.8s] GET attachment -> status=processing error_code=None
[ 21.9s] GET attachment -> status=ready error_code=None
[ 21.9s] original -> 200 sha256 matches upload: True
[ 21.9s] thumbnail -> 200 image/jpeg 256x160 sha256 matches metadata: True
[ 21.9s] crop -> 200 image/jpeg 128x128 sha256 matches metadata: True
[ 21.9s] optimized -> 200 image/webp 320x200 sha256 matches metadata: True
[ 22.0s] job: d619929c-d660-4311-bb5e-0d3fbc1813ef | ready | 2 | 5 |
[ 22.2s] variants rows: 3
[ 22.3s] events: enqueued -> processing -> lease_expired -> processing -> ready
[ 22.6s] worker: {"timestamp":"2026-11-20T14:34:37.365Z","severity":"INFO","service.name":"messenger-worker","event":"job_processor","logger":"JobProcessor","message":"job d619929c-d660-4311-bb5e-0d3fbc1813ef: processing, not due or leased elsewhere, skipped","trace_id":"0f573fa6f35061a106d47bf5eb093c3d","span_id":"17a7f5d766544282"}
[ 22.6s] worker: {"timestamp":"2026-11-20T14:34:37.366Z","severity":"INFO","service.name":"messenger-worker","event":"job.handled","logger":"Worker","job_id":"d619929c-d660-4311-bb5e-0d3fbc1813ef","attachment_id":"6c09adc1-6c17-43ad-a8ed-2fa6582fe5c5","attempt":1,"redelivered":true,"outcome":"skipped","duration_ms":25,"trace_id":"0f573fa6f35061a106d47bf5eb093c3d","span_id":"17a7f5d766544282"}
[ 22.6s] worker: {"timestamp":"2026-11-20T14:34:40.735Z","severity":"INFO","service.name":"messenger-worker","event":"job.handled","logger":"Worker","job_id":"d619929c-d660-4311-bb5e-0d3fbc1813ef","attachment_id":"6c09adc1-6c17-43ad-a8ed-2fa6582fe5c5","attempt":2,"redelivered":false,"outcome":"success","duration_ms":159}
[ 22.7s] relay: {"timestamp":"2026-11-20T14:34:39.557Z","severity":"INFO","service.name":"messenger-relay","event":"outbox_relay","logger":"OutboxRelay","message":"lease expired: 1, stale queued republished: 0"}
## crash-after-commit
$ python3 scripts/job-scenario.py crash-after-commit
API did not become ready
EXIT CODE 1
[ 0.1s] user 34fae015-fbb7-48eb-ad9d-8f23ee67784c chat 801de767-107d-4eb7-92ff-b6aa38dc95cf
[ 0.1s] $ docker compose stop worker
[ 0.6s] $ docker compose run --no-deps -e WORKER_FAULT=exit-after-commit worker
[ 2.7s] POST attachment -> 202 status=queued id=e02d5568-ce5b-485d-9649-f9b4d7387d41 instance=25ff01cef182
[ 3.4s] one-off: {"timestamp":"2026-11-20T14:34:45.757Z","severity":"WARN","service.name":"messenger-worker","event":"worker","logger":"Worker","message":"fault injection: worker killed after commit, before ack","trace_id":"e15e253daf15a01b76410070a68e7aff","span_id":"b5b5eb6d044c2f38"}
[ 3.5s] one-off process exit code 137 (137 = killed without ack)
[ 3.9s] status after crash: ready staging_key: staging/e02d5568-ce5b-485d-9649-f9b4d7387d41
[ 11.7s] queues (unacked message returned): name type durable messages_ready messages_unacknowledged
attachment.jobs quorum true 1 0
attachment.jobs.dlq quorum true 0 0
[ 11.7s] $ docker compose start worker
[ 17.6s] staging_key after redelivery: NULL
[ 17.6s] original -> 200 sha256 matches upload: True
[ 17.6s] thumbnail -> 200 image/jpeg 256x160 sha256 matches metadata: True
[ 17.6s] crop -> 200 image/jpeg 128x128 sha256 matches metadata: True
[ 17.6s] optimized -> 200 image/webp 320x200 sha256 matches metadata: True
[ 17.8s] job: dbc6450f-1513-4fd0-9923-3c3339985866 | ready | 1 | 5 |
[ 18.0s] variants rows: 3
[ 18.2s] events: enqueued -> processing -> ready
[ 18.5s] worker: {"timestamp":"2026-11-20T14:34:59.494Z","severity":"INFO","service.name":"messenger-worker","event":"job_processor","logger":"JobProcessor","message":"job dbc6450f-1513-4fd0-9923-3c3339985866: ready, not due or leased elsewhere, skipped","trace_id":"e15e253daf15a01b76410070a68e7aff","span_id":"db61235444dfbbbc"}
[ 18.5s] worker: {"timestamp":"2026-11-20T14:34:59.494Z","severity":"INFO","service.name":"messenger-worker","event":"job.handled","logger":"Worker","job_id":"dbc6450f-1513-4fd0-9923-3c3339985866","attachment_id":"e02d5568-ce5b-485d-9649-f9b4d7387d41","attempt":1,"redelivered":true,"outcome":"skipped","duration_ms":50,"trace_id":"e15e253daf15a01b76410070a68e7aff","span_id":"db61235444dfbbbc"}
## outbox-gap
$ python3 scripts/job-scenario.py outbox-gap
API did not become ready
EXIT CODE 1
[ 0.1s] user 8646554f-5ce9-4e60-951f-9403d8e951d1 chat 196660eb-f3fc-4117-96dd-9287c6c85681
[ 0.1s] $ docker compose stop relay
[ 0.9s] POST attachment -> 202 status=queued id=14e198ac-f973-4692-9267-8dba3a1acbc0 instance=64377e499417
[ 1.1s] outbox after COMMIT: 8 | NOT PUBLISHED | 0
[ 8.8s] queues: name type durable messages_ready messages_unacknowledged
attachment.jobs quorum true 0 0
attachment.jobs.dlq quorum true 0 0
[ 8.8s] $ docker compose kill api
[ 9.4s] API killed (SIGKILL) after COMMIT, nothing was published
[ 9.4s] $ docker compose start api
[ 18.6s] status after API restart: queued
[ 18.6s] $ docker compose start relay
[ 22.9s] GET attachment -> status=queued error_code=None
[ 26.0s] GET attachment -> status=ready error_code=None
[ 26.2s] outbox after relay recovery: 8 | 2026-11-20 14:35:26.35+00 | 1
[ 26.2s] original -> 200 sha256 matches upload: True
[ 26.2s] thumbnail -> 200 image/jpeg 256x160 sha256 matches metadata: True
[ 26.2s] crop -> 200 image/jpeg 128x128 sha256 matches metadata: True
[ 26.3s] optimized -> 200 image/webp 320x200 sha256 matches metadata: True
[ 26.4s] job: 29554704-45b1-4335-87fe-8bcb0621b000 | ready | 1 | 5 |
[ 26.6s] variants rows: 3
[ 26.7s] events: enqueued -> processing -> ready
## relay-crash
$ python3 scripts/job-scenario.py relay-crash
API did not become ready
EXIT CODE 1
[ 0.1s] user da9df65a-2adb-4552-b09a-063e143f7e42 chat 59b25b73-439e-4eb9-abf5-51a8851b5dd5
[ 0.1s] $ docker compose stop relay
[ 0.7s] $ docker compose run --no-deps -e RELAY_FAULT=exit-after-confirm relay
[ 3.7s] POST attachment -> 202 status=queued id=95f87871-7463-4cec-b73e-556b32ce1f57 instance=64377e499417
[ 4.3s] one-off: {"timestamp":"2026-11-20T14:35:31.985Z","severity":"INFO","service.name":"messenger-relay","event":"outbox_relay","logger":"OutboxRelay","message":"published 1 job message(s), broker confirmed"}
[ 4.3s] one-off: {"timestamp":"2026-11-20T14:35:31.985Z","severity":"WARN","service.name":"messenger-relay","event":"outbox_relay","logger":"OutboxRelay","message":"fault injection: exit after broker confirm, before outbox is marked"}
[ 4.4s] one-off process exit code 137 (137 = killed without ack)
[ 4.8s] outbox after relay crash: 9 | NOT MARKED | 0
[ 4.8s] $ docker compose start relay
[ 9.6s] GET attachment -> status=ready error_code=None
[ 12.8s] outbox after relay restart: 9 | 2026-11-20 14:35:39.707+00 | 1
[ 12.8s] original -> 200 sha256 matches upload: True
[ 12.8s] thumbnail -> 200 image/jpeg 256x160 sha256 matches metadata: True
[ 12.8s] crop -> 200 image/jpeg 128x128 sha256 matches metadata: True
[ 12.8s] optimized -> 200 image/webp 320x200 sha256 matches metadata: True
[ 13.0s] job: 5449c7df-1ee6-435d-a8e4-60b0f672d65e | ready | 1 | 5 |
[ 13.1s] variants rows: 3
[ 13.4s] events: enqueued -> processing -> ready
[ 13.6s] worker: {"timestamp":"2026-11-20T14:35:32.064Z","severity":"INFO","service.name":"messenger-worker","event":"job.handled","logger":"Worker","job_id":"5449c7df-1ee6-435d-a8e4-60b0f672d65e","attachment_id":"95f87871-7463-4cec-b73e-556b32ce1f57","attempt":1,"redelivered":false,"outcome":"success","duration_ms":79,"trace_id":"c24603daec760a57d467aff4b2a1d515","span_id":"99e7c21fe5d815b2"}
[ 13.6s] worker: {"timestamp":"2026-11-20T14:35:39.712Z","severity":"INFO","service.name":"messenger-worker","event":"job_processor","logger":"JobProcessor","message":"job 5449c7df-1ee6-435d-a8e4-60b0f672d65e: ready, not due or leased elsewhere, skipped","trace_id":"c24603daec760a57d467aff4b2a1d515","span_id":"ee8d2b5d22aac1b4"}
[ 13.6s] worker: {"timestamp":"2026-11-20T14:35:39.713Z","severity":"INFO","service.name":"messenger-worker","event":"job.handled","logger":"Worker","job_id":"5449c7df-1ee6-435d-a8e4-60b0f672d65e","attachment_id":"95f87871-7463-4cec-b73e-556b32ce1f57","attempt":1,"redelivered":false,"outcome":"skipped","duration_ms":6,"trace_id":"c24603daec760a57d467aff4b2a1d515","span_id":"ee8d2b5d22aac1b4"}
## retry-replay
$ python3 scripts/job-scenario.py retry-replay
API did not become ready
EXIT CODE 1
[ 0.1s] user beb0f294-3e65-411c-bda5-ce3f29e2c1d7 chat a253ff82-2c8c-457b-85cf-6b8c9beee260
[ 0.1s] $ docker compose stop worker
[ 0.7s] POST attachment -> 202 status=queued id=9832fbf4-2f69-484e-87e4-463d3e8ef3a7 instance=64377e499417
[ 0.7s] $ docker compose stop s3
[ 1.2s] $ docker start worker (without dependencies)
[ 1.7s] GET attachment -> status=queued error_code=None
[ 2.7s] GET attachment -> status=processing error_code=None
[ 3.7s] GET attachment -> status=queued error_code=None
[ 4.8s] GET attachment -> status=processing error_code=None
[ 5.8s] GET attachment -> status=queued error_code=None
[ 7.8s] GET attachment -> status=processing error_code=None
[ 8.8s] GET attachment -> status=queued error_code=None
[ 12.8s] GET attachment -> status=processing error_code=None
[ 13.8s] GET attachment -> status=queued error_code=None
[ 19.9s] GET attachment -> status=processing error_code=None
[ 20.9s] GET attachment -> status=failed error_code=retry_exhausted
[ 20.9s] POST message with 1 attachment(s) -> 409 id=None
[ 20.9s] failed attachment in a new message -> 409
[ 20.9s] retries:
[ 21.0s] 1 | enqueued | | 14:35:42.501
[ 21.0s] 1 | processing | | 14:35:44.160
[ 21.0s] 1 | retry_scheduled | temporary failure: ApiError; next attempt 2 in 860 ms | 14:35:45.201
[ 21.0s] 2 | processing | | 14:35:46.335
[ 21.0s] 2 | retry_scheduled | temporary failure: ApiError; next attempt 3 in 1537 ms | 14:35:47.349
[ 21.0s] 3 | processing | | 14:35:49.390
[ 21.0s] 3 | retry_scheduled | temporary failure: ApiError; next attempt 4 in 3959 ms | 14:35:50.403
[ 21.0s] 4 | processing | | 14:35:54.463
[ 21.0s] 4 | retry_scheduled | temporary failure: ApiError; next attempt 5 in 5443 ms | 14:35:55.491
[ 21.0s] 5 | processing | | 14:36:01.035
[ 21.0s] 5 | failed | retry_exhausted: temporary failure: ApiError | 14:36:02.047
[ 21.0s] $ replay.js --list
[ 21.4s] replay: {"job_id":"b88d0626-5470-4148-83eb-cac17feb8b4c","attachment_id":"9832fbf4-2f69-484e-87e4-463d3e8ef3a7","error_code":"retry_exhausted","attempt":5,"last_error":"temporary failure: ApiError","finished_at":"2026-11-20T14:36:02.047Z"}
[ 21.4s] $ docker compose start s3
[ 23.7s] $ replay.js 9832fbf4-2f69-484e-87e4-463d3e8ef3a7
[ 24.0s] replay: {"id":"9832fbf4-2f69-484e-87e4-463d3e8ef3a7","job_id":"b88d0626-5470-4148-83eb-cac17feb8b4c","result":"replayed"}
[ 24.0s] GET attachment -> status=queued error_code=None
[ 25.1s] GET attachment -> status=ready error_code=None
[ 25.1s] original -> 200 sha256 matches upload: True
[ 25.1s] thumbnail -> 200 image/jpeg 256x160 sha256 matches metadata: True
[ 25.1s] crop -> 200 image/jpeg 128x128 sha256 matches metadata: True
[ 25.1s] optimized -> 200 image/webp 320x200 sha256 matches metadata: True
[ 25.1s] $ replay.js 9832fbf4-2f69-484e-87e4-463d3e8ef3a7 (already ready)
[ 25.4s] replay: {"id":"9832fbf4-2f69-484e-87e4-463d3e8ef3a7","job_id":"b88d0626-5470-4148-83eb-cac17feb8b4c","result":"already_ready"}
[ 25.6s] job: b88d0626-5470-4148-83eb-cac17feb8b4c | ready | 1 | 5 |
[ 25.7s] variants rows: 3
[ 25.9s] events: enqueued -> processing -> retry_scheduled -> processing -> retry_scheduled -> processing -> retry_scheduled -> processing -> retry_scheduled -> processing -> failed -> replayed -> processing -> ready
## broker
$ python3 scripts/job-scenario.py broker
API did not become ready
EXIT CODE 1
[ 2.1s] consumers: queue_name ack_required prefetch_count
attachment.jobs true 2
[ 2.2s] worker limits: cpus=1000000000 memory=805306368
[ 2.5s] malformed message published
[ 10.3s] queues: name type durable messages_ready messages_unacknowledged
attachment.jobs quorum true 0 0
attachment.jobs.dlq quorum true 1 0
[ 10.4s] worker: {"timestamp":"2026-11-20T14:36:10.245Z","severity":"WARN","service.name":"messenger-worker","event":"worker","logger":"Worker","message":"malformed job message moved to dead letter queue","trace_id":"733415ad4bdbd66df930af833ef44f18","span_id":"abc299a80e5c1e42"}
## Итог по всем заданиям стенда
$ docker compose exec -T postgres psql -U messenger -d messenger -c SELECT status, count(*) FROM attachment_jobs GROUP BY status -c SELECT count(*) AS unpublished_outbox FROM outbox WHERE published_at IS NULL -c SELECT count(*) AS staging_left_on_ready FROM attachments WHERE status = 'ready' AND staging_key IS NOT NULL
status | count
--------+-------
(0 rows)
ready | 9
(1 row)
unpublished_outbox
--------------------
@@ -55,3 +211,4 @@ $ docker compose exec -T postgres psql -U messenger -d messenger -c SELECT statu
## Последний проход reconciler
{"mode":"apply","grace_seconds":3600,"staging_expired":0,"scanned":0,"fresh_skipped":0,"referenced":0,"orphans":0,"deleted":0,"failed":0,"orphan_keys":[],"duration_ms":351}
+18 -19
View File
@@ -1,27 +1,26 @@
# make test-persistence: restart.sh перезапускает postgres, redis, s3, rabbitmq, api, lb с сохранением volumes
# date: 2026-11-20T13:47:18Z
# commit: 5f870e4
# date: 2026-11-20T14:33:01Z
# commit: d83876f
## до
/messenger-lab6-api-1 created started=0001-01-01T00:00:00Z
/messenger-lab6-api-2 created started=0001-01-01T00:00:00Z
/messenger-lab6-lb-1 created started=0001-01-01T00:00:00Z
/messenger-lab6-postgres-1 running started=2026-11-20T13:47:05.265451532Z
/messenger-lab6-rabbitmq-1 running started=2026-11-20T13:47:05.327304509Z
/messenger-lab6-redis-1 running started=2026-11-20T13:47:05.314284674Z
/messenger-lab6-s3-1 running started=2026-11-20T13:47:05.255000565Z
/messenger-lab6-api-1 running started=2026-11-20T14:32:32.185792399Z
/messenger-lab6-api-2 running started=2026-11-20T14:32:32.538220625Z
/messenger-lab6-lb-1 running started=2026-11-20T14:32:38.299124143Z
/messenger-lab6-postgres-1 running started=2026-11-20T14:32:22.796529774Z
/messenger-lab6-rabbitmq-1 running started=2026-11-20T14:32:22.722217174Z
/messenger-lab6-redis-1 running started=2026-11-20T14:32:22.787053855Z
/messenger-lab6-s3-1 running started=2026-11-20T14:32:22.813514565Z
$ make test-persistence ACTION_SCRIPT=scripts/restart.sh
python3 tests/resilience.py --mode persistence --action-script "scripts/restart.sh" --base-url "http://lb:8080"
FAIL: GET /health/live: connection/TLS failure (URLError)
make: *** [Makefile:26: test-persistence] Error 1
EXIT CODE 2
Executing explicit persistence hook; hook output suppressed to avoid leaking secrets.
PASS: persistence preserved confirmed data and existing session. Hook scope needs operator evidence.
## после
/messenger-lab6-api-1 created started=0001-01-01T00:00:00Z
/messenger-lab6-api-2 created started=0001-01-01T00:00:00Z
/messenger-lab6-lb-1 created started=0001-01-01T00:00:00Z
/messenger-lab6-postgres-1 running started=2026-11-20T13:47:05.265451532Z
/messenger-lab6-rabbitmq-1 running started=2026-11-20T13:47:05.327304509Z
/messenger-lab6-redis-1 running started=2026-11-20T13:47:05.314284674Z
/messenger-lab6-s3-1 running started=2026-11-20T13:47:05.255000565Z
/messenger-lab6-api-1 running started=2026-11-20T14:33:08.406683646Z
/messenger-lab6-api-2 running started=2026-11-20T14:33:05.908734161Z
/messenger-lab6-lb-1 running started=2026-11-20T14:33:03.32738495Z
/messenger-lab6-postgres-1 running started=2026-11-20T14:33:03.697395758Z
/messenger-lab6-rabbitmq-1 running started=2026-11-20T14:33:04.196322444Z
/messenger-lab6-redis-1 running started=2026-11-20T14:33:03.432938355Z
/messenger-lab6-s3-1 running started=2026-11-20T14:33:03.540481157Z
+2 -2
View File
@@ -1,6 +1,6 @@
# S3 (минимум lab4): идемпотентный bootstrap, приватность мимо API, права пользователя API
# date: 2026-11-20T13:49:02Z
# commit: 5f870e4
# date: 2026-11-20T14:33:34Z
# commit: d83876f
$ docker compose run --rm --no-deps -T s3-init
Bucket created successfully `root/messenger-attachments`.
+11 -8
View File
@@ -1,6 +1,6 @@
# Публичные проверки через LB; разные реплики обслуживают одну сессию
# date: 2026-11-20T13:47:06Z
# commit: 5f870e4
# date: 2026-11-20T14:32:58Z
# commit: d83876f
$ make check
python3 scripts/check_contract.py
@@ -8,12 +8,15 @@ PASS: offline skeleton structure, local refs and Python syntax; application NOT
$ make test
python3 tests/smoke.py --base-url "http://lb:8080"
FAIL: GET /health/live: connection/TLS failure (URLError)
make: *** [Makefile:19: test] Error 1
EXIT CODE 2
PASS: lab6 public API scenario; infrastructure and grading evidence remain separate.
$ python3 scripts/probe.py instances 6
register -> 0
login failed: 0 <urlopen error [Errno -2] Name does not resolve>
EXIT CODE 1
register -> 201
login -> 201 expires_at: 2026-11-20T15:33:01.208Z
GET /api/v1/users/me -> 200 X-Instance-Id: 64377e499417
GET /api/v1/users/me -> 200 X-Instance-Id: 25ff01cef182
GET /api/v1/users/me -> 200 X-Instance-Id: 64377e499417
GET /api/v1/users/me -> 200 X-Instance-Id: 25ff01cef182
GET /api/v1/users/me -> 200 X-Instance-Id: 64377e499417
GET /api/v1/users/me -> 200 X-Instance-Id: 25ff01cef182
+131 -236
View File
@@ -1,263 +1,158 @@
# Наблюдаемость: контрольный запрос (trace + логи), dashboard, перцентили, приватность, правила
# date: 2026-11-20T13:59:52Z
# commit: 5f870e4
# date: 2026-11-20T14:36:18Z
# commit: d83876f
## Prometheus: правила загружены (promtool и /api/v1/rules)
$ docker compose exec -T prometheus promtool check rules /etc/prometheus/rules/messenger.yml
Error response from daemon: Container 81bb4c2a806cbf4ed34b6b599f104167debe5fefbeeef14753ba2eec67350329 is restarting, wait until the container is running
EXIT CODE 1
Checking /etc/prometheus/rules/messenger.yml
SUCCESS: 13 rules found
$ sh -c wget -qO- http://grafana:3000/api/datasources/proxy/uid/prometheus/api/v1/rules | python3 -c 'import json,sys; [print(r["type"], r["name"], r["health"]) for g in json.load(sys.stdin)["data"]["groups"] for r in g["rules"]]'
wget: bad address 'grafana:3000'
Traceback (most recent call last):
File "<string>", line 1, in <module>
File "/usr/lib/python3.12/json/__init__.py", line 293, in load
return loads(fp.read(),
^^^^^^^^^^^^^^^^
File "/usr/lib/python3.12/json/__init__.py", line 346, in loads
return _default_decoder.decode(s)
^^^^^^^^^^^^^^^^^^^^^^^^^^
File "/usr/lib/python3.12/json/decoder.py", line 338, in decode
obj, end = self.raw_decode(s, idx=_w(s, 0).end())
^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
File "/usr/lib/python3.12/json/decoder.py", line 356, in raw_decode
raise JSONDecodeError("Expecting value", s, err.value) from None
json.decoder.JSONDecodeError: Expecting value: line 1 column 1 (char 0)
EXIT CODE 1
alerting MessengerHighErrorRate ok
alerting MessengerApiNotReady ok
alerting MessengerJobQueueLag ok
alerting MessengerSlowApi ok
alerting TelemetryExportFailing ok
recording messenger:http_requests:rate5m ok
recording messenger:http_errors:rate5m ok
recording messenger:http_error_ratio:rate5m ok
recording messenger:http_error_ratio:rate1h ok
recording messenger:http_latency_p95:rate5m ok
recording messenger:http_fast_ratio:rate1h ok
recording messenger:time_to_ready_fast_ratio:rate1h ok
recording messenger:jobs_queue_oldest_age:max ok
## Grafana: datasources с фиксированными UID, dashboard из provisioning
$ sh -c for uid in prometheus loki tempo; do wget -qO- http://grafana:3000/api/datasources/uid/$uid | python3 -c 'import json,sys; d=json.load(sys.stdin); print(d["uid"], d["type"], d["url"])'; done
wget: bad address 'grafana:3000'
Traceback (most recent call last):
File "<string>", line 1, in <module>
File "/usr/lib/python3.12/json/__init__.py", line 293, in load
return loads(fp.read(),
^^^^^^^^^^^^^^^^
File "/usr/lib/python3.12/json/__init__.py", line 346, in loads
return _default_decoder.decode(s)
^^^^^^^^^^^^^^^^^^^^^^^^^^
File "/usr/lib/python3.12/json/decoder.py", line 338, in decode
obj, end = self.raw_decode(s, idx=_w(s, 0).end())
^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
File "/usr/lib/python3.12/json/decoder.py", line 356, in raw_decode
raise JSONDecodeError("Expecting value", s, err.value) from None
json.decoder.JSONDecodeError: Expecting value: line 1 column 1 (char 0)
wget: bad address 'grafana:3000'
Traceback (most recent call last):
File "<string>", line 1, in <module>
File "/usr/lib/python3.12/json/__init__.py", line 293, in load
return loads(fp.read(),
^^^^^^^^^^^^^^^^
File "/usr/lib/python3.12/json/__init__.py", line 346, in loads
return _default_decoder.decode(s)
^^^^^^^^^^^^^^^^^^^^^^^^^^
File "/usr/lib/python3.12/json/decoder.py", line 338, in decode
obj, end = self.raw_decode(s, idx=_w(s, 0).end())
^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
File "/usr/lib/python3.12/json/decoder.py", line 356, in raw_decode
raise JSONDecodeError("Expecting value", s, err.value) from None
json.decoder.JSONDecodeError: Expecting value: line 1 column 1 (char 0)
wget: bad address 'grafana:3000'
Traceback (most recent call last):
File "<string>", line 1, in <module>
File "/usr/lib/python3.12/json/__init__.py", line 293, in load
return loads(fp.read(),
^^^^^^^^^^^^^^^^
File "/usr/lib/python3.12/json/__init__.py", line 346, in loads
return _default_decoder.decode(s)
^^^^^^^^^^^^^^^^^^^^^^^^^^
File "/usr/lib/python3.12/json/decoder.py", line 338, in decode
obj, end = self.raw_decode(s, idx=_w(s, 0).end())
^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
File "/usr/lib/python3.12/json/decoder.py", line 356, in raw_decode
raise JSONDecodeError("Expecting value", s, err.value) from None
json.decoder.JSONDecodeError: Expecting value: line 1 column 1 (char 0)
EXIT CODE 1
prometheus prometheus http://prometheus:9090
loki loki http://loki:3100
tempo tempo http://tempo:3200
## Контрольный upload с клиентским traceparent: trace в Tempo и логи в Loki
$ python3 scripts/trace-check.py
Traceback (most recent call last):
File "/usr/lib/python3.12/urllib/request.py", line 1344, in do_open
h.request(req.get_method(), req.selector, req.data, headers,
File "/usr/lib/python3.12/http/client.py", line 1358, in request
self._send_request(method, url, body, headers, encode_chunked)
File "/usr/lib/python3.12/http/client.py", line 1404, in _send_request
self.endheaders(body, encode_chunked=encode_chunked)
File "/usr/lib/python3.12/http/client.py", line 1353, in endheaders
self._send_output(message_body, encode_chunked=encode_chunked)
File "/usr/lib/python3.12/http/client.py", line 1113, in _send_output
self.send(msg)
File "/usr/lib/python3.12/http/client.py", line 1057, in send
self.connect()
File "/usr/lib/python3.12/http/client.py", line 1023, in connect
self.sock = self._create_connection(
^^^^^^^^^^^^^^^^^^^^^^^^
File "/usr/lib/python3.12/socket.py", line 841, in create_connection
for res in getaddrinfo(host, port, 0, SOCK_STREAM):
^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
File "/usr/lib/python3.12/socket.py", line 978, in getaddrinfo
for res in _socket.getaddrinfo(host, port, family, type, proto, flags):
^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
socket.gaierror: [Errno -2] Name does not resolve
upload -> 202 queued traceparent 00-0a9700e372765e5f2774c2c5347f8c1b-0de651da523f691b-01
attachment 0a91d4b0-0624-419a-824e-d4ae671e7d2b status ready after 0.57 s
During handling of the above exception, another exception occurred:
trace 0a9700e372765e5f2774c2c5347f8c1b: 79 spans (prisma:* internals except db_query omitted below)
messenger-api SPAN_KIND_SERVER POST /api/v1/chats/{chat_id}/attachments 50.36 ms parent=client
messenger-api SPAN_KIND_CLIENT prisma:engine:db_query 0.48 ms parent=prisma:engine:query
messenger-api SPAN_KIND_CLIENT S3.PutObject 25.34 ms parent=POST /api/v1/chats/{chat_id}/attachments
messenger-api SPAN_KIND_INTERNAL prisma:client:transaction 7.80 ms parent=POST /api/v1/chats/{chat_id}/attachments
messenger-api SPAN_KIND_CLIENT prisma:engine:db_query 0.15 ms parent=prisma:engine:start_transaction
messenger-api SPAN_KIND_CLIENT prisma:engine:db_query 0.81 ms parent=prisma:engine:query
messenger-api SPAN_KIND_CLIENT prisma:engine:db_query 0.51 ms parent=prisma:engine:query
messenger-api SPAN_KIND_CLIENT prisma:engine:db_query 0.27 ms parent=prisma:engine:query
messenger-api SPAN_KIND_CLIENT prisma:engine:db_query 0.31 ms parent=prisma:engine:query
messenger-api SPAN_KIND_CLIENT prisma:engine:db_query 1.33 ms parent=prisma:engine:commit_transaction
messenger-relay SPAN_KIND_PRODUCER attachment.jobs publish 5.71 ms parent=prisma:client:transaction
messenger-worker SPAN_KIND_CONSUMER attachment.jobs process 66.86 ms parent=attachment.jobs publish
messenger-worker SPAN_KIND_CLIENT prisma:engine:db_query 0.25 ms parent=prisma:engine:connection
messenger-worker SPAN_KIND_CLIENT prisma:engine:db_query 0.34 ms parent=prisma:engine:query
messenger-worker SPAN_KIND_CLIENT prisma:engine:db_query 0.26 ms parent=prisma:engine:query
messenger-worker SPAN_KIND_INTERNAL prisma:client:transaction 7.26 ms parent=attachment.jobs process
messenger-worker SPAN_KIND_CLIENT prisma:engine:db_query 0.14 ms parent=prisma:engine:start_transaction
messenger-worker SPAN_KIND_CLIENT prisma:engine:db_query 0.48 ms parent=prisma:engine:query
messenger-worker SPAN_KIND_CLIENT prisma:engine:db_query 0.50 ms parent=prisma:engine:query
messenger-worker SPAN_KIND_CLIENT prisma:engine:db_query 0.26 ms parent=prisma:engine:query
messenger-worker SPAN_KIND_CLIENT prisma:engine:db_query 0.27 ms parent=prisma:engine:query
messenger-worker SPAN_KIND_CLIENT prisma:engine:db_query 1.24 ms parent=prisma:engine:commit_transaction
messenger-worker SPAN_KIND_CLIENT S3.GetObject 3.00 ms parent=attachment.jobs process
messenger-worker SPAN_KIND_INTERNAL attachment.render_variants 12.41 ms parent=attachment.jobs process
messenger-worker SPAN_KIND_CLIENT S3.PutObject 7.85 ms parent=attachment.jobs process
messenger-worker SPAN_KIND_CLIENT S3.PutObject 5.94 ms parent=attachment.jobs process
messenger-worker SPAN_KIND_CLIENT S3.PutObject 5.73 ms parent=attachment.jobs process
messenger-worker SPAN_KIND_CLIENT S3.PutObject 5.69 ms parent=attachment.jobs process
messenger-worker SPAN_KIND_INTERNAL prisma:client:transaction 7.42 ms parent=attachment.jobs process
messenger-worker SPAN_KIND_CLIENT prisma:engine:db_query 0.16 ms parent=prisma:engine:start_transaction
messenger-worker SPAN_KIND_CLIENT prisma:engine:db_query 0.61 ms parent=prisma:engine:query
messenger-worker SPAN_KIND_CLIENT prisma:engine:db_query 0.71 ms parent=prisma:engine:query
messenger-worker SPAN_KIND_CLIENT prisma:engine:db_query 0.44 ms parent=prisma:engine:query
messenger-worker SPAN_KIND_CLIENT prisma:engine:db_query 0.26 ms parent=prisma:engine:query
messenger-worker SPAN_KIND_CLIENT prisma:engine:db_query 1.32 ms parent=prisma:engine:commit_transaction
messenger-worker SPAN_KIND_CLIENT S3.DeleteObject 3.23 ms parent=attachment.jobs process
messenger-worker SPAN_KIND_CLIENT prisma:engine:db_query 1.71 ms parent=prisma:engine:query
Traceback (most recent call last):
File "/work/scripts/trace-check.py", line 134, in <module>
main()
File "/work/scripts/trace-check.py", line 72, in main
auth, chat = session()
^^^^^^^^^
File "/work/scripts/trace-check.py", line 37, in session
_, user = call('POST', BASE + '/api/v1/users', {'username': username, 'display_name': 'Trace check', 'password': password})
^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
File "/work/scripts/trace-check.py", line 28, in call
with urllib.request.urlopen(request, timeout=15) as response:
^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
File "/usr/lib/python3.12/urllib/request.py", line 215, in urlopen
return opener.open(url, data, timeout)
^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
File "/usr/lib/python3.12/urllib/request.py", line 515, in open
response = self._open(req, data)
^^^^^^^^^^^^^^^^^^^^^
File "/usr/lib/python3.12/urllib/request.py", line 532, in _open
result = self._call_chain(self.handle_open, protocol, protocol +
^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
File "/usr/lib/python3.12/urllib/request.py", line 492, in _call_chain
result = func(*args)
^^^^^^^^^^^
File "/usr/lib/python3.12/urllib/request.py", line 1373, in http_open
return self.do_open(http.client.HTTPConnection, req)
^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
File "/usr/lib/python3.12/urllib/request.py", line 1347, in do_open
raise URLError(err)
urllib.error.URLError: <urlopen error [Errno -2] Name does not resolve>
EXIT CODE 1
Loki {service_name=~"messenger-.+"} | trace_id="0a9700e372765e5f2774c2c5347f8c1b"
messenger-worker INFO job.handled span_id=8f3cc8917f60f19d {"timestamp":"2026-11-20T14:36:19.298Z","severity":"INFO","s
messenger-api INFO http.request span_id=70c807e8b4f94da9 {"timestamp":"2026-11-20T14:36:19.155Z","severity":"INFO","s
PASS: client trace continued through api -> relay -> worker, logs linked by trace_id
## Секреты и содержимое не попадают в telemetry; в labels метрик нет ID
$ python3 scripts/telemetry-privacy.py
Traceback (most recent call last):
File "/usr/lib/python3.12/urllib/request.py", line 1344, in do_open
h.request(req.get_method(), req.selector, req.data, headers,
File "/usr/lib/python3.12/http/client.py", line 1358, in request
self._send_request(method, url, body, headers, encode_chunked)
File "/usr/lib/python3.12/http/client.py", line 1404, in _send_request
self.endheaders(body, encode_chunked=encode_chunked)
File "/usr/lib/python3.12/http/client.py", line 1353, in endheaders
self._send_output(message_body, encode_chunked=encode_chunked)
File "/usr/lib/python3.12/http/client.py", line 1113, in _send_output
self.send(msg)
File "/usr/lib/python3.12/http/client.py", line 1057, in send
self.connect()
File "/usr/lib/python3.12/http/client.py", line 1023, in connect
self.sock = self._create_connection(
^^^^^^^^^^^^^^^^^^^^^^^^
File "/usr/lib/python3.12/socket.py", line 841, in create_connection
for res in getaddrinfo(host, port, 0, SOCK_STREAM):
^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
File "/usr/lib/python3.12/socket.py", line 978, in getaddrinfo
for res in _socket.getaddrinfo(host, port, family, type, proto, flags):
^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
socket.gaierror: [Errno -2] Name does not resolve
During handling of the above exception, another exception occurred:
Traceback (most recent call last):
File "/work/scripts/telemetry-privacy.py", line 102, in <module>
main()
File "/work/scripts/telemetry-privacy.py", line 51, in main
user = call('POST', '/api/v1/users', {'username': username, 'display_name': 'Privacy', 'password': secrets['password']}, traced())
^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
File "/work/scripts/telemetry-privacy.py", line 27, in call
with urllib.request.urlopen(urllib.request.Request(BASE + path, data=data, method=method, headers=headers), timeout=15) as r:
^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
File "/usr/lib/python3.12/urllib/request.py", line 215, in urlopen
return opener.open(url, data, timeout)
^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
File "/usr/lib/python3.12/urllib/request.py", line 515, in open
response = self._open(req, data)
^^^^^^^^^^^^^^^^^^^^^
File "/usr/lib/python3.12/urllib/request.py", line 532, in _open
result = self._call_chain(self.handle_open, protocol, protocol +
^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
File "/usr/lib/python3.12/urllib/request.py", line 492, in _call_chain
result = func(*args)
^^^^^^^^^^^
File "/usr/lib/python3.12/urllib/request.py", line 1373, in http_open
return self.do_open(http.client.HTTPConnection, req)
^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
File "/usr/lib/python3.12/urllib/request.py", line 1347, in do_open
raise URLError(err)
urllib.error.URLError: <urlopen error [Errno -2] Name does not resolve>
EXIT CODE 1
sent 6 traced requests with known password, token, message text and filename; waiting 25 s for export
Tempo: 6/6 traces fetched (79945 bytes); Loki: 7 log lines carry these trace_ids (control)
password in traces: False log lines in Loki (5 min): 0
message text in traces: False log lines in Loki (5 min): 0
filename in traces: False log lines in Loki (5 min): 0
session token in traces: False log lines in Loki (5 min): 0
basic credentials in traces: False log lines in Loki (5 min): 0
Authorization hdr in traces: False log lines in Loki (5 min): 0
Prometheus: 893 series, 22 metric names from messenger services; label keys: cpu_mode, db_client_connection_state, deployment_environment_name, http_request_method, http_response_status_class, http_route, instance, job, job_type, le, messaging_destination_name, outcome, service_version, state, telemetry_sdk_language, telemetry_sdk_name, telemetry_sdk_version
series with a UUID in any label value: 0
http_route values: /api/v1/attachments/{attachment_id}, /api/v1/attachments/{attachment_id}/content, /api/v1/auth/sessions, /api/v1/auth/sessions/current, /api/v1/chats, /api/v1/chats/{chat_id}, /api/v1/chats/{chat_id}/attachments, /api/v1/chats/{chat_id}/messages, /api/v1/users, /api/v1/users/me, /health/core, /health/live, /health/ready
PASS: no secrets/content in logs and traces, no IDs in metric labels
## Перцентили dashboard против клиентского замера tests/load.py
$ python3 scripts/latency-compare.py --duration 30
Traceback (most recent call last):
File "/work/scripts/latency-compare.py", line 52, in <module>
main()
File "/work/scripts/latency-compare.py", line 31, in main
subprocess.run([sys.executable, 'tests/load.py', '--base-url', BASE, '--duration', duration, '--output', output],
File "/usr/lib/python3.12/subprocess.py", line 571, in run
raise CalledProcessError(retcode, process.args,
subprocess.CalledProcessError: Command '['/usr/bin/python3', 'tests/load.py', '--base-url', 'http://lb:8080', '--duration', '30', '--output', '/tmp/tmpn5jz4yx8/load.json']' returned non-zero exit status 1.
EXIT CODE 1
waiting 25 s for the metric export interval
client (tests/load.py): 3411 requests, 113.4 rps, errors 0
prometheus: 3661 requests in POST /api/v1/chats/{chat_id}/messages over 60 s
client, ms prometheus, ms
p50 18.33 19.68
p95 89.20 92.20
p99 163.29 176.76
server-side histogram excludes network/client overhead; values are interpolated inside buckets (…, 5, 10, 25, 50, 100 ms, …).
## Все запросы dashboard (пустые панели alerts/WARN-логов допустимы без инцидентов)
$ python3 scripts/dashboard-check.py
Traceback (most recent call last):
File "/usr/lib/python3.12/urllib/request.py", line 1344, in do_open
h.request(req.get_method(), req.selector, req.data, headers,
File "/usr/lib/python3.12/http/client.py", line 1358, in request
self._send_request(method, url, body, headers, encode_chunked)
File "/usr/lib/python3.12/http/client.py", line 1404, in _send_request
self.endheaders(body, encode_chunked=encode_chunked)
File "/usr/lib/python3.12/http/client.py", line 1353, in endheaders
self._send_output(message_body, encode_chunked=encode_chunked)
File "/usr/lib/python3.12/http/client.py", line 1113, in _send_output
self.send(msg)
File "/usr/lib/python3.12/http/client.py", line 1057, in send
self.connect()
File "/usr/lib/python3.12/http/client.py", line 1023, in connect
self.sock = self._create_connection(
^^^^^^^^^^^^^^^^^^^^^^^^
File "/usr/lib/python3.12/socket.py", line 841, in create_connection
for res in getaddrinfo(host, port, 0, SOCK_STREAM):
^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
File "/usr/lib/python3.12/socket.py", line 978, in getaddrinfo
for res in _socket.getaddrinfo(host, port, family, type, proto, flags):
^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
socket.gaierror: [Errno -2] Name does not resolve
Grafana dashboard: Messenger overview folder: Messenger
OK Доступность API, 1 ч (SLO ≥ 99% без 5xx) A 1 =1
OK Запросы быстрее 500 мс, 1 ч (SLO ≥ 95%) A 1 =1
OK Вложения готовы за ≤ 10 с, 1 ч (SLO ≥ 95%) A 1 =0.6666666666666667
EMPTY Alerts (pending / firing) A 0
OK RPS по маршрутам (без health) A 12 =0, =0, =0, =0
OK Ответы по классам статуса (без health) A 2 2xx=61.1782202581422, 4xx=0
OK Доля 5xx среди бизнес-запросов (окно 5m, порог alert 5%) A 1 =0
OK Длительность API p50 / p95 / p99 (все реплики, без health) A 1 =0.019676691515573837
OK Длительность API p50 / p95 / p99 (все реплики, без health) B 1 =0.09219914944691271
OK Длительность API p50 / p95 / p99 (все реплики, без health) C 1 =0.17675359699995996
OK p95 по маршрутам A 12 =NaN, =NaN, =NaN, =NaN
OK Глубина очереди attachment.jobs (из attachment_jobs) A 3 =0, =0, =0
OK Возраст старейшего готового задания (порог alert 60 s) A 1 =0
OK Worker: занято / ёмкость A 1 =0
OK Worker: занято / ёмкость B 1 =2
OK Worker: занято / ёмкость C 1 =0
OK Задания по исходу (в секунду) A 5 failed=0, malformed=0, retry=0, skipped=0.025
OK Длительность обработки задания p50 / p95 / p99 A 1 =NaN
OK Длительность обработки задания p50 / p95 / p99 B 1 =NaN
OK Длительность обработки задания p50 / p95 / p99 C 1 =NaN
OK Время от upload до ready p50 / p95 / p99 A 1 =NaN
OK Время от upload до ready p50 / p95 / p99 B 1 =NaN
OK Время от upload до ready p50 / p95 / p99 C 1 =NaN
OK Пул БД: занято / ожидают соединения A 3 =0, =0, =0
OK Пул БД: занято / ожидают соединения B 3 =0, =0, =0
OK Пул БД: занято / ожидают соединения C 3 =20, =3, =5
OK CPU процессов (доля ядра) A 4 =0.2771702986118047, =0.2803168326733069, =0.006292157529451772, =0.00
OK CPU процессов (доля ядра) B 2 =0.013556760600942309, =0.0006813251539196734
OK RAM процессов (RSS) A 4 =207585280, =208904192, =90546176, =106270720
OK RAM процессов (RSS) B 2 =210243584, =164040704
OK Принято / отправлено / ошибки отправки (в секунду) A 1 =1512.6751237147007
OK Принято / отправлено / ошибки отправки (в секунду) B 1 =1512.6751237147007
OK Принято / отправлено / ошибки отправки (в секунду) C 1 =0
OK Принято / отправлено / ошибки отправки (в секунду) D 1 =75.96230776068984
OK Принято / отправлено / ошибки отправки (в секунду) E 1 =0
OK Принято / отправлено / ошибки отправки (в секунду) F 1 =0
OK Очередь exporter (ограничена queue_size) A 3 =0, =0, =0
OK Очередь exporter (ограничена queue_size) B 1 =200
OK Логи API и worker (WARN и выше) A 20
OK Все логи (http.request, job.handled, …) A 20
OK Последние трассы (HTTP server и consumer spans) A 20
During handling of the above exception, another exception occurred:
Traceback (most recent call last):
File "/work/scripts/dashboard-check.py", line 57, in <module>
main()
File "/work/scripts/dashboard-check.py", line 43, in main
grafana = get('/api/dashboards/uid/messenger-overview')
^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
File "/work/scripts/dashboard-check.py", line 19, in get
with urllib.request.urlopen(url, timeout=15) as response:
^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
File "/usr/lib/python3.12/urllib/request.py", line 215, in urlopen
return opener.open(url, data, timeout)
^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
File "/usr/lib/python3.12/urllib/request.py", line 515, in open
response = self._open(req, data)
^^^^^^^^^^^^^^^^^^^^^
File "/usr/lib/python3.12/urllib/request.py", line 532, in _open
result = self._call_chain(self.handle_open, protocol, protocol +
^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
File "/usr/lib/python3.12/urllib/request.py", line 492, in _call_chain
result = func(*args)
^^^^^^^^^^^
File "/usr/lib/python3.12/urllib/request.py", line 1373, in http_open
return self.do_open(http.client.HTTPConnection, req)
^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
File "/usr/lib/python3.12/urllib/request.py", line 1347, in do_open
raise URLError(err)
urllib.error.URLError: <urlopen error [Errno -2] Name does not resolve>
WARN: 1 empty queries
EXIT CODE 1
## Пример структурного лога (stdout API)
{"timestamp":"2026-11-20T14:37:24.827Z","severity":"INFO","service.name":"messenger-api","event":"http.request","logger":"Http","method":"POST","route":"/api/v1/chats/{chat_id}/messages","status":201,"duration_ms":23.22,"request_id":"078e6db3-d15e-4bdf-bac9-5fe5ea48bd35","trace_id":"67197c10f2dc44bc87840224dec07957","span_id":"a4e80137cbbf9edc"}
{"timestamp":"2026-11-20T14:37:24.838Z","severity":"INFO","service.name":"messenger-api","event":"http.request","logger":"Http","method":"POST","route":"/api/v1/chats/{chat_id}/messages","status":201,"duration_ms":20.5,"request_id":"5513c34d-64ea-4250-9cee-a9d9a4b12892","trace_id":"ec0813f680256f525febe0676221457b","span_id":"d20713fac541ea0b"}
+243 -243
View File
@@ -1,22 +1,22 @@
# Собственные e2e-тесты (PostgreSQL + Redis + MinIO из compose.test.yaml); основной стенд на время тестов остановлен ради памяти Docker
# date: 2026-11-20T13:44:04Z
# commit: 5f870e4
# date: 2026-11-20T14:31:15Z
# commit: d83876f
$ docker compose -f compose.test.yaml run --rm tests npx jest --config ./test/jest-e2e.json --verbose
Network messenger-lab6-test_default Creating
Network messenger-lab6-test_default Created
Container messenger-lab6-test-redis-1 Creating
Container messenger-lab6-test-postgres-1 Creating
Container messenger-lab6-test-s3-1 Creating
Container messenger-lab6-test-postgres-1 Creating
Container messenger-lab6-test-s3-1 Created
Container messenger-lab6-test-redis-1 Created
Container messenger-lab6-test-postgres-1 Created
Container messenger-lab6-test-s3-1 Starting
Container messenger-lab6-test-redis-1 Starting
Container messenger-lab6-test-postgres-1 Starting
Container messenger-lab6-test-redis-1 Started
Container messenger-lab6-test-s3-1 Started
Container messenger-lab6-test-postgres-1 Started
Container messenger-lab6-test-redis-1 Started
Prisma schema loaded from prisma/schema.prisma
Datasource "db": PostgreSQL database "messenger_test", schema "public" at "postgres:5432"
@@ -43,96 +43,96 @@ migrations/
└─ migration.sql
All migrations have been successfully applied.
[Nest] 103 - 11/20/2026, 1:46:32 PM  ERROR [S3Service] get staging/1c496eff-3625-4548-a54b-25aeceba7b0b failed: NoSuchKey
PASS test/api.e2e-spec.ts (17.66 s)
[Nest] 102 - 11/20/2026, 2:31:59 PM  ERROR [S3Service] get staging/a3987d2f-e0a6-4581-8caa-8670462a94fa failed: NoSuchKey
PASS test/api.e2e-spec.ts (17.729 s)
API мессенджера (e2e) — граничные случаи сверх публичного smoke
POST /api/v1/users
✓ отклоняет некорректный JSON с кодом 400 (92 ms)
✓ отклоняет тело с лишними полями (29 ms)
✓ отклоняет username с заглавными буквами (3 ms)
✓ отклоняет некорректный JSON с кодом 400 (112 ms)
✓ отклоняет тело с лишними полями (39 ms)
✓ отклоняет username с заглавными буквами (4 ms)
✓ отклоняет display_name из одних пробелов (4 ms)
✓ отклоняет дубликат username с кодом 409 (177 ms)
✓ никогда не возвращает поле пароля или его хэша (35 ms)
✓ отклоняет username короче 3 символов (4 ms)
✓ отклоняет дубликат username с кодом 409 (183 ms)
✓ никогда не возвращает поле пароля или его хэша (32 ms)
✓ отклоняет username короче 3 символов (3 ms)
✓ отклоняет username длиннее 32 символов (4 ms)
✓ отклоняет username с недопустимыми символами (дефис) (8 ms)
✓ принимает username ровно на границах длины 3 и 32 символа (61 ms)
✓ отклоняет display_name длиннее 100 Unicode code points (2 ms)
✓ принимает display_name ровно из 100 code points, считая эмодзи вне BMP за один символ (28 ms)
✓ отклоняет display_name из 101 code point, состоящий из эмодзи вне BMP (4 ms)
✓ отклоняет username с недопустимыми символами (дефис) (3 ms)
✓ принимает username ровно на границах длины 3 и 32 символа (56 ms)
✓ отклоняет display_name длиннее 100 Unicode code points (3 ms)
✓ принимает display_name ровно из 100 code points, считая эмодзи вне BMP за один символ (27 ms)
✓ отклоняет display_name из 101 code point, состоящий из эмодзи вне BMP (3 ms)
контроль доступа
✓ возвращает 401 раньше 404, если и актор, и ресурс невалидны (6 ms)
✓ возвращает 404 (не 403), когда чат запрашивает не его участник (242 ms)
✓ отклоняет создание чата, если вызывающий не входит в member_ids (162 ms)
✓ отклоняет создание чата с дублирующимися member_ids (75 ms)
✓ считает один UUID в разном регистре дубликатом и узнаёт вызывающего в верхнем регистре (80 ms)
✓ принимает ровно 100 участников и отклоняет 101 (102 ms)
✓ отклоняет создание чата с неизвестным участником (73 ms)
✓ отклоняет создание чата с пустым/пробельным title (77 ms)
✓ возвращает 400 для синтаксически некорректного chat_id (не UUID) (82 ms)
✓ возвращает 404 для корректного по формату, но несуществующего chat_id (68 ms)
✓ возвращает 401 раньше 404, если и актор, и ресурс невалидны (5 ms)
✓ возвращает 404 (не 403), когда чат запрашивает не его участник (254 ms)
✓ отклоняет создание чата, если вызывающий не входит в member_ids (155 ms)
✓ отклоняет создание чата с дублирующимися member_ids (83 ms)
✓ считает один UUID в разном регистре дубликатом и узнаёт вызывающего в верхнем регистре (112 ms)
✓ принимает ровно 100 участников и отклоняет 101 (104 ms)
✓ отклоняет создание чата с неизвестным участником (79 ms)
✓ отклоняет создание чата с пустым/пробельным title (75 ms)
✓ возвращает 400 для синтаксически некорректного chat_id (не UUID) (74 ms)
✓ возвращает 404 для корректного по формату, но несуществующего chat_id (75 ms)
GET /api/v1/chats (пагинация)
✓ использует limit=50 по умолчанию, если limit не передан (89 ms)
✓ отклоняет нечисловой limit (72 ms)
✓ отклоняет limit=0 (67 ms)
✓ отклоняет повторённые limit и cursor (65 ms)
✓ отклоняет cursor, не являющийся корректным base64url JSON (72 ms)
✓ отклоняет корректно закодированный cursor с id чата, который никогда не существовал (125 ms)
✓ обходит весь список чатов по страницам без пропусков и дублей (236 ms)
✓ использует limit=50 по умолчанию, если limit не передан (85 ms)
✓ отклоняет нечисловой limit (75 ms)
✓ отклоняет limit=0 (77 ms)
✓ отклоняет повторённые limit и cursor (72 ms)
✓ отклоняет cursor, не являющийся корректным base64url JSON (67 ms)
✓ отклоняет корректно закодированный cursor с id чата, который никогда не существовал (69 ms)
✓ обходит весь список чатов по страницам без пропусков и дублей (114 ms)
сообщения
✓ не принимает sender_id, переданный клиентом (198 ms)
✓ считает attachment_ids: [] равным отсутствию поля, неизвестный ID — 404, неверный тип — 400 (385 ms)
✓ отклоняет пустое сообщение (290 ms)
✓ отклоняет сообщение из одних пробелов (175 ms)
✓ отклоняет отправку в чат, где вызывающий не участник (214 ms)
✓ отклоняет limit=0 при чтении истории (157 ms)
✓ отклоняет limit=101 при чтении истории (157 ms)
✓ отклоняет нечисловой limit (158 ms)
✓ отклоняет текст сообщения длиннее 4000 Unicode code points (151 ms)
✓ принимает текст сообщения ровно из 4000 Unicode code points (159 ms)
✓ отклоняет текст сообщения свыше 4000 code points, состоящий из эмодзи вне BMP (144 ms)
✓ отклоняет cursor, не являющийся корректным base64url JSON (135 ms)
✓ отклоняет корректно закодированный cursor с id сообщения, которое никогда не существовало в этом чате (195 ms)
✓ возвращает 400 для синтаксически некорректного chat_id при отправке сообщения (73 ms)
✓ возвращает 400 для синтаксически некорректного chat_id при чтении истории (97 ms)
✓ отклоняет cursor, взятый из другого чата (302 ms)
✓ обходит всю историю по страницам без пропусков и дублей (245 ms)
✓ не принимает sender_id, переданный клиентом (144 ms)
✓ считает attachment_ids: [] равным отсутствию поля, неизвестный ID — 404, неверный тип — 400 (241 ms)
✓ отклоняет пустое сообщение (148 ms)
✓ отклоняет сообщение из одних пробелов (132 ms)
✓ отклоняет отправку в чат, где вызывающий не участник (199 ms)
✓ отклоняет limit=0 при чтении истории (165 ms)
✓ отклоняет limit=101 при чтении истории (148 ms)
✓ отклоняет нечисловой limit (169 ms)
✓ отклоняет текст сообщения длиннее 4000 Unicode code points (185 ms)
✓ принимает текст сообщения ровно из 4000 Unicode code points (218 ms)
✓ отклоняет текст сообщения свыше 4000 code points, состоящий из эмодзи вне BMP (158 ms)
✓ отклоняет cursor, не являющийся корректным base64url JSON (158 ms)
✓ отклоняет корректно закодированный cursor с id сообщения, которое никогда не существовало в этом чате (168 ms)
✓ возвращает 400 для синтаксически некорректного chat_id при отправке сообщения (80 ms)
✓ возвращает 400 для синтаксически некорректного chat_id при чтении истории (68 ms)
✓ отклоняет cursor, взятый из другого чата (276 ms)
✓ обходит всю историю по страницам без пропусков и дублей (277 ms)
X-Request-Id
✓ присутствует и уникален для независимых запросов (5 ms)
✓ присутствует и уникален для независимых запросов (4 ms)
✓ совпадает с request_id внутри тела ошибки (2 ms)
[Nest] 103 - 11/20/2026, 1:46:38 PM  ERROR [S3Service] get staging/36a0d174-fee7-480c-ab57-6dfbc1fcc516 failed: NoSuchKey
[Nest] 103 - 11/20/2026, 1:46:38 PM  ERROR [S3Service] get staging/b8aa2557-6551-4669-a326-ddb062fcb935 failed: NoSuchKey
PASS test/jobs.e2e-spec.ts (18.663 s)
[Nest] 102 - 11/20/2026, 2:32:05 PM  ERROR [S3Service] get staging/02ca6856-dcd8-4bbd-9fe8-272649f2b87c failed: NoSuchKey
[Nest] 102 - 11/20/2026, 2:32:05 PM  ERROR [S3Service] get staging/8007bc99-ed6a-4a68-9ff7-1b65dcb1cd82 failed: NoSuchKey
PASS test/jobs.e2e-spec.ts (19.57 s)
Фоновая обработка вложений (e2e)
до обработки
✓ queued: метаданные доступны, content любого варианта — 409, сообщение с вложением создаётся (219 ms)
✓ queued: метаданные доступны, content любого варианта — 409, сообщение с вложением создаётся (250 ms)
результат worker
✓ ready: оригинал неизменен, thumbnail 256×160 JPEG, crop 128×128 JPEG, optimized WebP без увеличения (245 ms)
✓ маленький исходник не увеличивается в thumbnail/optimized, crop — увеличивается (107 ms)
✓ прозрачность компонуется на белый, EXIF orientation применяется (266 ms)
✓ ready: оригинал неизменен, thumbnail 256×160 JPEG, crop 128×128 JPEG, optimized WebP без увеличения (253 ms)
✓ маленький исходник не увеличивается в thumbnail/optimized, crop — увеличивается (148 ms)
✓ прозрачность компонуется на белый, EXIF orientation применяется (322 ms)
✓ worker ограничивает пиксели до распаковки: превышение — InvalidImageError (18 ms)
✓ размеры считаются целочисленно: 319×200 → 256×160, перебор совпадает с точной формулой (2848 ms)
✓ размеры считаются целочисленно: 319×200 → 256×160, перебор совпадает с точной формулой (2289 ms)
✓ размеры округляются вниз, минимум 1 px (1 ms)
идемпотентность и повторная доставка
✓ повтор уже ready-задания — no-op: второго набора вариантов нет, объекты не меняются (199 ms)
✓ пока lease действует, второй обработчик того же job не запускается (115 ms)
✓ worker упал после записи объектов, до COMMIT/ack: lease истекает, повтор завершает тот же результат (259 ms)
✓ worker упал после COMMIT, до ack: повтор — no-op, staging убирается при повторной доставке (157 ms)
✓ сообщение потеряно брокером: queued без свежей публикации публикуется повторно один раз (162 ms)
✓ устаревшее сообщение, чужой attachment_id и другая pipeline_version игнорируются (96 ms)
✓ повтор уже ready-задания — no-op: второго набора вариантов нет, объекты не меняются (249 ms)
✓ пока lease действует, второй обработчик того же job не запускается (162 ms)
✓ worker упал после записи объектов, до COMMIT/ack: lease истекает, повтор завершает тот же результат (293 ms)
✓ worker упал после COMMIT, до ack: повтор — no-op, staging убирается при повторной доставке (210 ms)
✓ сообщение потеряно брокером: queued без свежей публикации публикуется повторно один раз (233 ms)
✓ устаревшее сообщение, чужой attachment_id и другая pipeline_version игнорируются (62 ms)
ошибки, повторы и replay
✓ временная ошибка S3: повтор с backoff, до срока задание не берётся, затем ready (225 ms)
✓ попытки исчерпаны — failed retry_exhausted; replay явно возвращает в очередь и доводит до ready (289 ms)
✓ lease истёк на последней попытке — failed retry_exhausted, а не вечный processing (183 ms)
✓ replay и очистка staging не теряют исходник ни при каком порядке (252 ms)
✓ replay задания в очереди не создаёт дубль (39 ms)
✓ нераспаковываемое изображение — постоянная ошибка: сразу failed invalid_image без повторов (104 ms)
✓ staging подменён — failed checksum_mismatch; staging пропал — failed staging_missing (135 ms)
✓ превышение времени обработки — временная ошибка с повтором (129 ms)
✓ временная ошибка S3: повтор с backoff, до срока задание не берётся, затем ready (208 ms)
✓ попытки исчерпаны — failed retry_exhausted; replay явно возвращает в очередь и доводит до ready (470 ms)
✓ lease истёк на последней попытке — failed retry_exhausted, а не вечный processing (278 ms)
✓ replay и очистка staging не теряют исходник ни при каком порядке (541 ms)
✓ replay задания в очереди не создаёт дубль (76 ms)
✓ нераспаковываемое изображение — постоянная ошибка: сразу failed invalid_image без повторов (165 ms)
✓ staging подменён — failed checksum_mismatch; staging пропал — failed staging_missing (134 ms)
✓ превышение времени обработки — временная ошибка с повтором (112 ms)
формат сообщения и backoff
✓ сообщение соответствует jobs.schema.json, лишние/неверные поля отклоняются (1 ms)
✓ backoff растёт экспоненциально с jitter и ограничен сверху
✓ backoff растёт экспоненциально с jitter и ограничен сверху (1 ms)
console.warn
An error was encountered in a non-retryable streaming request.
@@ -158,327 +158,327 @@ PASS test/jobs.e2e-spec.ts (18.663 s)
at ../node_modules/@nestjs/core/router/router-execution-context.js:46:28
at Object.<anonymous> (../node_modules/@nestjs/core/router/router-proxy.js:9:17)
[Nest] 109 - 11/20/2026, 1:46:38 PM  ERROR [S3Service] put staging/d5549bb7-a5b5-4167-a7fb-a839cd6baade failed: Error
[Nest] 109 - 11/20/2026, 1:46:38 PM  ERROR [HttpExceptionFilter] Object:
[Nest] 108 - 11/20/2026, 2:32:06 PM  ERROR [S3Service] put staging/1071fe6c-2f2f-4f80-a8b5-904ca05009a2 failed: Error
[Nest] 108 - 11/20/2026, 2:32:06 PM  ERROR [HttpExceptionFilter] Object:
{
"event": "http.error",
"message": "object storage unavailable",
"method": "POST",
"route": "/api/v1/chats/{chat_id}/attachments",
"status": 503,
"request_id": "2add0c90-0471-4276-995b-aae8a5f7216d"
"request_id": "38769a67-411f-41a7-bca3-d3682a083471"
}
[Nest] 109 - 11/20/2026, 1:46:38 PM  ERROR [HttpExceptionFilter] Object:
[Nest] 108 - 11/20/2026, 2:32:06 PM  ERROR [HttpExceptionFilter] Object:
{
"event": "http.error",
"message": "Internal server error",
"method": "POST",
"route": "/api/v1/chats/{chat_id}/attachments",
"status": 500,
"request_id": "eadb3ad5-7ff3-42e4-ad74-a7e0ffd305f7"
"request_id": "be749a43-6bee-4629-ac78-3f15b6f77eac"
}
[Nest] 109 - 11/20/2026, 1:46:39 PM  ERROR [AttachmentsService] metadata insert failed for staging/0f332817-4f12-4179-b0be-fc288fc2a845
[Nest] 109 - 11/20/2026, 1:46:39 PM  ERROR [HttpExceptionFilter] Object:
[Nest] 108 - 11/20/2026, 2:32:06 PM  ERROR [AttachmentsService] metadata insert failed for staging/50082f9d-e8dd-4f01-9391-47bf371e52fb
[Nest] 108 - 11/20/2026, 2:32:06 PM  ERROR [HttpExceptionFilter] Object:
{
"event": "http.error",
"message": "database unavailable",
"method": "POST",
"route": "/api/v1/chats/{chat_id}/attachments",
"status": 503,
"request_id": "9b77d2a1-3625-405b-aa41-76d0cef2b0cc"
"request_id": "2a4d5542-1230-4568-acb5-7eb6c4390cdf"
}
[Nest] 109 - 11/20/2026, 1:46:39 PM  ERROR [HttpExceptionFilter] Object:
[Nest] 108 - 11/20/2026, 2:32:06 PM  ERROR [HttpExceptionFilter] Object:
{
"event": "http.error",
"message": "database unavailable",
"method": "POST",
"route": "/api/v1/chats/{chat_id}/attachments",
"status": 503,
"request_id": "985d7e65-e5a9-4642-adf2-262f75e46929"
"request_id": "41953d69-f89d-42ba-9f5c-61bd4fa2e40d"
}
PASS test/attachments.e2e-spec.ts (19.281 s)
PASS test/attachments.e2e-spec.ts (20.033 s)
Загрузка вложений (e2e)
успешная загрузка
✓ возвращает 202 Attachment queued по контракту, staging и задание сохранены до ответа (258 ms)
✓ возвращает 202 Attachment queued по контракту, staging и задание сохранены до ответа (307 ms)
✓ принимает реальный JPEG (48 ms)
✓ игнорирует параметры и регистр Content-Type (36 ms)
✓ принимает файл ровно 10 MiB, filename ровно 255 символов и PNG с байтами после IEND (529 ms)
✓ принимает ровно 40 млн пикселей (3204 ms)
✓ игнорирует параметры и регистр Content-Type (41 ms)
✓ принимает файл ровно 10 MiB, filename ровно 255 символов и PNG с байтами после IEND (724 ms)
✓ принимает ровно 40 млн пикселей (2896 ms)
порядок проверок и доступ
✓ без токена — 401 раньше любых проверок содержимого (14 ms)
✓ посторонний и несуществующий чат — одинаковый 404, чужой файл не сохраняется (22 ms)
✓ неверный UUID чата — 400 (4 ms)
✓ без токена — 401 раньше любых проверок содержимого (19 ms)
✓ посторонний и несуществующий чат — одинаковый 404, чужой файл не сохраняется (17 ms)
✓ неверный UUID чата — 400 (5 ms)
filename
✓ отсутствует — 400 (5 ms)
✓ отсутствует — 400 (4 ms)
✓ пустой — 400 (4 ms)
✓ только пробелы — 400 (4 ms)
✓ 256 символов — 400 (12 ms)
✓ путь через / — 400 (10 ms)
✓ путь через \ — 400 (11 ms)
✓ NUL — 400 (11 ms)
✓ перевод строки — 400 (8 ms)
✓ только пробелы — 400 (5 ms)
✓ 256 символов — 400 (5 ms)
✓ путь через / — 400 (5 ms)
✓ путь через \ — 400 (5 ms)
✓ NUL — 400 (8 ms)
✓ перевод строки — 400 (5 ms)
✓ DEL — 400 (5 ms)
✓ C1 U+0085 — 400 (7 ms)
✓ разделитель строк U+2028 — 400 (9 ms)
✓ повторённый параметр — 400 (6 ms)
✓ C1 U+0085 — 400 (5 ms)
✓ разделитель строк U+2028 — 400 (4 ms)
✓ повторённый параметр — 400 (8 ms)
тип содержимого
✓ Content-Type text/plain — 415 (6 ms)
✓ Content-Type application/json — 415 (37 ms)
✓ Content-Type application/octet-stream — 415 (4 ms)
✓ Content-Type multipart/form-data; boundary=x — 415 (4 ms)
✓ Content-Type image/gif — 415 (4 ms)
✓ Content-Type image/webp — 415 (10 ms)
✓ без Content-Type — 415 (3 ms)
✓ подмена MIME в обе стороны и чужие форматы — 415 (43 ms)
✓ пустое тело — 400 (14 ms)
✓ Content-Type text/plain — 415 (5 ms)
✓ Content-Type application/json — 415 (35 ms)
✓ Content-Type application/octet-stream — 415 (9 ms)
✓ Content-Type multipart/form-data; boundary=x — 415 (13 ms)
✓ Content-Type image/gif — 415 (13 ms)
✓ Content-Type image/webp — 415 (9 ms)
✓ без Content-Type — 415 (11 ms)
✓ подмена MIME в обе стороны и чужие форматы — 415 (84 ms)
✓ пустое тело — 400 (30 ms)
повреждённые изображения
✓ PNG: первые 33 байта sample.png — 415 (5 ms)
✓ PNG: половина файла — 415 (6 ms)
✓ PNG: без последних 20 байт — 415 (10 ms)
✓ PNG: без IEND — 415 (11 ms)
✓ PNG: неверный CRC — 415 (16 ms)
✓ PNG: фильтр строки 5 — 415 (11 ms)
✓ PNG: фильтр строки 255 — 415 (9 ms)
✓ PNG: неверный фильтр в последней строке — 415 (14 ms)
✓ PNG: мусор в IDAT с верным CRC — 415 (16 ms)
✓ PNG: данных меньше, чем строк — 415 (31 ms)
✓ PNG: палитра на 257 записей — 415 (16 ms)
✓ JPEG: все повреждения — 415 (71 ms)
✓ PNG: первые 33 байта sample.png — 415 (20 ms)
✓ PNG: половина файла — 415 (17 ms)
✓ PNG: без последних 20 байт — 415 (20 ms)
✓ PNG: без IEND — 415 (24 ms)
✓ PNG: неверный CRC — 415 (18 ms)
✓ PNG: фильтр строки 5 — 415 (15 ms)
✓ PNG: фильтр строки 255 — 415 (10 ms)
✓ PNG: неверный фильтр в последней строке — 415 (11 ms)
✓ PNG: мусор в IDAT с верным CRC — 415 (10 ms)
✓ PNG: данных меньше, чем строк — 415 (8 ms)
✓ PNG: палитра на 257 записей — 415 (11 ms)
✓ JPEG: все повреждения — 415 (68 ms)
лимиты
✓ 10 MiB + 1 байт — 413 и без чтения объявленного тела (449 ms)
✓ превышение при chunked без Content-Length — 413 (380 ms)
✓ превышение лимита пикселей — 413 до декодирования (97 ms)
✓ оборванная загрузка не оставляет временных файлов и строк в БД (809 ms)
✓ 10 MiB + 1 байт — 413 и без чтения объявленного тела (220 ms)
✓ превышение при chunked без Content-Length — 413 (944 ms)
✓ превышение лимита пикселей — 413 до декодирования (92 ms)
✓ оборванная загрузка не оставляет временных файлов и строк в БД (819 ms)
отказы
✓ S3 недоступен — 503 с заголовками, метаданные не создаются (209 ms)
✓ явный отказ транзакции после PUT удаляет объект staging (64 ms)
✓ необработанная ошибка PostgreSQL при INSERT — 503, объект не удаляется (31 ms)
✓ при неясном исходе COMMIT объект не удаляется (53 ms)
✓ S3 недоступен — 503 с заголовками, метаданные не создаются (185 ms)
✓ явный отказ транзакции после PUT удаляет объект staging (56 ms)
✓ необработанная ошибка PostgreSQL при INSERT — 503, объект не удаляется (34 ms)
✓ при неясном исходе COMMIT объект не удаляется (31 ms)
[Nest] 102 - 11/20/2026, 1:46:40 PM  ERROR [S3Service] get attachments/829ae1d8-6814-49df-a8bc-51f932fc3139/original failed: Error
[Nest] 102 - 11/20/2026, 1:46:40 PM  ERROR [HttpExceptionFilter] Object:
[Nest] 101 - 11/20/2026, 2:32:07 PM  ERROR [S3Service] get attachments/0b88f570-7a00-4713-bc1f-eb84c29804f1/original failed: Error
[Nest] 101 - 11/20/2026, 2:32:07 PM  ERROR [HttpExceptionFilter] Object:
{
"event": "http.error",
"message": "object storage unavailable",
"method": "GET",
"route": "/api/v1/attachments/{attachment_id}/content",
"status": 503,
"request_id": "7a9d3774-a21c-4af6-b908-e657ccb71c0d"
"request_id": "c2f13d3f-5110-4cc7-83af-7137dd518fea"
}
[Nest] 102 - 11/20/2026, 1:46:40 PM  ERROR [S3Service] get attachments/e7854e6a-ebb4-4aa6-8a27-1f1f411b7b9c/original failed: NoSuchKey
[Nest] 102 - 11/20/2026, 1:46:40 PM  ERROR [HttpExceptionFilter] Object:
[Nest] 101 - 11/20/2026, 2:32:07 PM  ERROR [S3Service] get attachments/6ea31e5f-9549-486c-8249-e3ffb6da6413/original failed: NoSuchKey
[Nest] 101 - 11/20/2026, 2:32:07 PM  ERROR [HttpExceptionFilter] Object:
{
"event": "http.error",
"message": "Internal server error",
"method": "GET",
"route": "/api/v1/attachments/{attachment_id}/content",
"status": 500,
"request_id": "f96f2841-2539-454f-97c8-9828cfd0d466"
"request_id": "e2f0e5e7-e052-4972-8fcc-60b05ae4bb83"
}
[Nest] 103 - 11/20/2026, 1:46:40 PM  ERROR [HttpExceptionFilter] Object:
[Nest] 102 - 11/20/2026, 2:32:08 PM  ERROR [HttpExceptionFilter] Object:
{
"event": "http.error",
"message": "object storage unavailable",
"method": "GET",
"route": "/health/ready",
"status": 503,
"request_id": "e295becf-9c2a-4772-a18d-e45dcd0d25e3"
"request_id": "fce039e2-3f6a-4a82-bcc9-516576969c72"
}
PASS test/reconciler.e2e-spec.ts
Сверка объектов S3 с метаданными (e2e)
✓ dry-run сообщает о сироте и ничего не удаляет, apply удаляет, повторный запуск ничего не делает (64 ms)
✓ не трогает свежий объект внутри grace period (29 ms)
✓ не трогает старый объект, на который есть метаданные (23 ms)
✓ при отказе PostgreSQL проход прерывается и ничего не удаляет (18 ms)
✓ сбой удаления считается и повторяется на следующем проходе (34 ms)
✓ обходит все страницы листинга (64 ms)
✓ реальная загрузка остаётся доступной после сверки всего bucket префикса вложений (241 ms)
✓ после grace period объекты вложения и staging в очереди не считаются сиротами (297 ms)
✓ staging failed-вложения удаляется после срока хранения (126 ms)
✓ объекты вариантов без строк у существующего вложения не удаляются: replay после сверки доводит до ready (483 ms)
✓ staging ready-вложения, оставшийся после сбоя worker, удаляется без ожидания срока хранения (186 ms)
Готовность при отказе S3 (e2e)
✓ ready — 503 с заголовками за короткое время, live и core — 200 (69 ms)
✓ при рабочем S3 ready — 200 (53 ms)
PASS test/request-constraints.e2e-spec.ts
Каждое ограничение запроса из контракта отклоняется 400, граница принимается (e2e)
✓ POST /users (346 ms)
✓ POST /chats (76 ms)
✓ POST /chats/{chat_id}/messages (91 ms)
✓ query и path параметры (111 ms)
✓ POST /chats/{chat_id}/attachments: filename и chat_id (62 ms)
✓ POST /users (263 ms)
✓ POST /chats (91 ms)
✓ POST /chats/{chat_id}/messages (157 ms)
✓ query и path параметры (149 ms)
✓ POST /chats/{chat_id}/attachments: filename и chat_id (91 ms)
PASS test/reconciler.e2e-spec.ts
Сверка объектов S3 с метаданными (e2e)
✓ dry-run сообщает о сироте и ничего не удаляет, apply удаляет, повторный запуск ничего не делает (67 ms)
✓ не трогает свежий объект внутри grace period (24 ms)
✓ не трогает старый объект, на который есть метаданные (19 ms)
✓ при отказе PostgreSQL проход прерывается и ничего не удаляет (27 ms)
✓ сбой удаления считается и повторяется на следующем проходе (50 ms)
✓ обходит все страницы листинга (112 ms)
✓ реальная загрузка остаётся доступной после сверки всего bucket префикса вложений (384 ms)
✓ после grace period объекты вложения и staging в очереди не считаются сиротами (282 ms)
✓ staging failed-вложения удаляется после срока хранения (88 ms)
✓ объекты вариантов без строк у существующего вложения не удаляются: replay после сверки доводит до ready (301 ms)
✓ staging ready-вложения, оставшийся после сбоя worker, удаляется без ожидания срока хранения (161 ms)
Готовность при отказе S3 (e2e)
✓ ready — 503 с заголовками за короткое время, live и core — 200 (64 ms)
✓ при рабочем S3 ready — 200 (61 ms)
PASS test/auth.e2e-spec.ts
Аутентификация и сессии (e2e)
регистрация
✓ требует password (25 ms)
✓ отклоняет password короче 12 code points (5 ms)
✓ хранит пароль как Argon2id-хеш, а не открытым текстом (103 ms)
✓ требует password (22 ms)
✓ отклоняет password короче 12 code points (3 ms)
✓ хранит пароль как Argon2id-хеш, а не открытым текстом (147 ms)
POST /api/v1/auth/sessions
✓ выдаёт непрозрачный Bearer-токен с expires_at и пользователем (187 ms)
✓ принимает пароль с двоеточием и не-ASCII символами (68 ms)
✓ отвечает одинаковым 401 на неверный пароль и неизвестного пользователя (132 ms)
✓ отклоняет JSON body при входе даже с верным Basic (66 ms)
✓ отвечает 401 без заголовка Authorization (2 ms)
✓ выдаёт непрозрачный Bearer-токен с expires_at и пользователем (117 ms)
✓ принимает пароль с двоеточием и не-ASCII символами (85 ms)
✓ отвечает одинаковым 401 на неверный пароль и неизвестного пользователя (141 ms)
✓ отклоняет JSON body при входе даже с верным Basic (83 ms)
✓ отвечает 401 без заголовка Authorization (3 ms)
защищённые endpoint
✓ не принимают Basic (67 ms)
✓ не принимают X-User-Id сам по себе (65 ms)
✓ игнорируют X-User-Id рядом с Bearer (156 ms)
✓ отвечают 401 на неизвестный токен (4 ms)
✓ не принимают Basic (68 ms)
✓ не принимают X-User-Id сам по себе (89 ms)
✓ игнорируют X-User-Id рядом с Bearer (150 ms)
✓ отвечают 401 на неизвестный токен (7 ms)
DELETE /api/v1/auth/sessions/current
✓ отзывает только текущий токен: 204, затем 401 на повтор (144 ms)
✓ отзывает только текущий токен: 204, затем 401 на повтор (195 ms)
PASS test/contract.e2e-spec.ts
Все ответы соответствуют контракту: коды, схемы, заголовки (e2e)
✓ health, пользователи и сессии (509 ms)
✓ чаты и сообщения (250 ms)
✓ вложения во всех состояниях (654 ms)
✓ health, пользователи и сессии (324 ms)
✓ чаты и сообщения (471 ms)
✓ вложения во всех состояниях (768 ms)
✓ каждая операция контракта вызвана хотя бы раз (1 ms)
PASS test/attachment-access.e2e-spec.ts (6.756 s)
PASS test/attachment-access.e2e-spec.ts (7.499 s)
Скачивание и привязка вложений (e2e)
чтение
✓ участник получает метаданные и оригинал побайтно (329 ms)
✓ JPEG отдаётся с истинным Content-Type (186 ms)
✓ посторонний и неизвестный ID получают одинаковый 404 (181 ms)
✓ UUID nil корректного формата — 404, а не 400 (30 ms)
✓ UUID v7 корректного формата — 404, а не 400 (41 ms)
✓ без токена 401, неверный UUID 400 (196 ms)
✓ variant: original явно, отсутствующий 404, неизвестный и повторённый 400 (250 ms)
✓ нет доступа к S3 — метаданные 200, content 503 с заголовками (355 ms)
✓ объект пропал из S3 — 500 без внутренних деталей (304 ms)
✓ JPEG отдаётся с истинным Content-Type (210 ms)
✓ посторонний и неизвестный ID получают одинаковый 404 (265 ms)
✓ UUID nil корректного формата — 404, а не 400 (99 ms)
✓ UUID v7 корректного формата — 404, а не 400 (46 ms)
✓ без токена 401, неверный UUID 400 (193 ms)
✓ variant: original явно, отсутствующий 404, неизвестный и повторённый 400 (218 ms)
✓ нет доступа к S3 — метаданные 200, content 503 с заголовками (225 ms)
✓ объект пропал из S3 — 500 без внутренних деталей (168 ms)
attachment_ids в сообщениях
✓ text="" с вложением принимается, Message читается вторым участником (134 ms)
✓ порядок [B, A] сохраняется в ответе, истории и повторе; перестановка с тем же ключом — 409 (324 ms)
✓ отсутствующий attachment_ids и [] равны при повторе, изменение списка — 409 (157 ms)
✓ вложение другого чата и неизвестное — одинаковый 404, сообщение не создаётся (118 ms)
✓ смесь своего и чужого вложения — 404 (196 ms)
✓ посторонний не может отправить вложение в чужой чат (143 ms)
✓ любой участник может сослаться на вложение чата, вложение можно использовать повторно (222 ms)
✓ ровно 10 вложений принимается, 11 — 400 (770 ms)
✓ UUID в другом регистре — тот же ID и дубль (163 ms)
✓ text отсутствует — 400 (160 ms)
✓ text null — 400 (157 ms)
✓ attachment_ids null — 400 (124 ms)
✓ attachment_ids строка — 400 (128 ms)
✓ элемент не UUID — 400 (119 ms)
✓ элемент число — 400 (98 ms)
✓ дубликат — 400 (119 ms)
✓ пустой текст без вложений — 400 (168 ms)
✓ пробельный текст без вложений — 400 (223 ms)
✓ text="" с вложением принимается, Message читается вторым участником (164 ms)
✓ порядок [B, A] сохраняется в ответе, истории и повторе; перестановка с тем же ключом — 409 (430 ms)
✓ отсутствующий attachment_ids и [] равны при повторе, изменение списка — 409 (179 ms)
✓ вложение другого чата и неизвестное — одинаковый 404, сообщение не создаётся (159 ms)
✓ смесь своего и чужого вложения — 404 (316 ms)
✓ посторонний не может отправить вложение в чужой чат (131 ms)
✓ любой участник может сослаться на вложение чата, вложение можно использовать повторно (165 ms)
✓ ровно 10 вложений принимается, 11 — 400 (767 ms)
✓ UUID в другом регистре — тот же ID и дубль (201 ms)
✓ text отсутствует — 400 (152 ms)
✓ text null — 400 (159 ms)
✓ attachment_ids null — 400 (137 ms)
✓ attachment_ids строка — 400 (149 ms)
✓ элемент не UUID — 400 (122 ms)
✓ элемент число — 400 (113 ms)
✓ дубликат — 400 (128 ms)
✓ пустой текст без вложений — 400 (115 ms)
✓ пробельный текст без вложений — 400 (95 ms)
PASS test/concurrency.e2e-spec.ts
Безопасность при конкурентном доступе (e2e)
✓ принимает 100 конкурентных сообщений от 10 клиентов и сохраняет ровно 100 уникальных (1237 ms)
✓ регистрирует ровно одного пользователя при гонке 10 запросов за один и тот же username (152 ms)
✓ принимает 100 конкурентных сообщений от 10 клиентов и сохраняет ровно 100 уникальных (1147 ms)
✓ регистрирует ровно одного пользователя при гонке 10 запросов за один и тот же username (192 ms)
[Nest] 109 - 11/20/2026, 1:46:47 PM  ERROR [HttpExceptionFilter] Object:
[Nest] 102 - 11/20/2026, 2:32:13 PM  ERROR [HttpExceptionFilter] Object:
{
"event": "http.error",
"message": "session cache unavailable",
"method": "DELETE",
"route": "/api/v1/auth/sessions/current",
"status": 503,
"request_id": "fd232c52-05e3-40be-8c2c-302b5e7aa8d1"
"request_id": "f7de03bc-bdf0-42ee-a767-01a1c55c8900"
}
PASS test/docs.e2e-spec.ts
Swagger UI и примеры (e2e)
✓ отдаёт Swagger UI и документ контракта со всеми путями (20 ms)
✓ каждый пример запроса и ответа проходит JSON Schema контракта (270 ms)
[Nest] 109 - 11/20/2026, 1:46:47 PM  ERROR [HttpExceptionFilter] Object:
[Nest] 102 - 11/20/2026, 2:32:13 PM  ERROR [HttpExceptionFilter] Object:
{
"event": "http.error",
"message": "session cache unavailable",
"method": "DELETE",
"route": "/api/v1/auth/sessions/current",
"status": 503,
"request_id": "6777d13f-4722-4ba6-bfc1-d9a20db9dadb"
"request_id": "3cb57701-e14e-4d0c-95b1-74125f609d5f"
}
[Nest] 109 - 11/20/2026, 1:46:47 PM  ERROR [HttpExceptionFilter] Object:
[Nest] 102 - 11/20/2026, 2:32:14 PM  ERROR [HttpExceptionFilter] Object:
{
"event": "http.error",
"message": "database unavailable",
"method": "GET",
"route": "/health/ready",
"status": 503,
"request_id": "99ef31e1-8701-4e90-b156-4095732524be"
"request_id": "c84cbd52-47cb-410d-ae40-7028a9bd486f"
}
[Nest] 109 - 11/20/2026, 1:46:47 PM  ERROR [HttpExceptionFilter] Object:
[Nest] 102 - 11/20/2026, 2:32:14 PM  ERROR [HttpExceptionFilter] Object:
{
"event": "http.error",
"message": "database unavailable",
"method": "GET",
"route": "/api/v1/chats",
"status": 503,
"request_id": "06c3d23f-c679-499f-a22e-fe924941efb7"
"request_id": "0f917fec-5b5c-4001-9fad-02c9c41c29a6"
}
[Nest] 109 - 11/20/2026, 1:46:47 PM  ERROR [HttpExceptionFilter] Object:
[Nest] 102 - 11/20/2026, 2:32:14 PM  ERROR [HttpExceptionFilter] Object:
{
"event": "http.error",
"message": "database unavailable",
"method": "GET",
"route": "/api/v1/chats",
"status": 503,
"request_id": "b85f2833-ae4e-4f26-879c-9dfeef59c492"
"request_id": "ce2feb99-927d-4095-971d-d4a91e5674d3"
}
[Nest] 109 - 11/20/2026, 1:46:47 PM  ERROR [HttpExceptionFilter] Object:
[Nest] 102 - 11/20/2026, 2:32:14 PM  ERROR [HttpExceptionFilter] Object:
{
"event": "http.error",
"message": "database unavailable",
"method": "POST",
"route": "/api/v1/users",
"status": 503,
"request_id": "1c8c803e-cc62-48a6-88ec-6ae322461547"
"request_id": "2e2483c7-5f3d-4218-94f0-5dc4813905f4"
}
[Nest] 109 - 11/20/2026, 1:46:47 PM  ERROR [HttpExceptionFilter] Object:
PASS test/idempotency.e2e-spec.ts
Идемпотентность отправки и X-Instance-Id (e2e)
✓ требует Idempotency-Key правильного формата (147 ms)
✓ повтор с тем же ключом и телом возвращает тот же 201 и то же сообщение (107 ms)
✓ тот же ключ с другим телом — 409, сообщение не создаётся (106 ms)
✓ 20 параллельных запросов с одним ключом через два экземпляра создают ровно одно сообщение (312 ms)
✓ область ключа — пользователь и чат: одинаковый ключ у разных пользователей и чатов независим (238 ms)
✓ повтор заново проверяет сессию (219 ms)
✓ после IDEMPOTENCY_TTL_SECONDS ключ можно использовать заново (1832 ms)
✓ X-Instance-Id есть в успешных ответах, ошибках и health и стабилен в процессе (58 ms)
[Nest] 102 - 11/20/2026, 2:32:14 PM  ERROR [HttpExceptionFilter] Object:
{
"event": "http.error",
"message": "Internal server error",
"method": "GET",
"route": "/api/v1/chats",
"status": 500,
"request_id": "22c62528-2f2d-417d-89c9-72c630fa1811"
"request_id": "dd8bae40-6d02-4739-b4ac-194bb45a416c"
}
PASS test/failures.e2e-spec.ts
Уровень 4: expiry, отказы зависимостей, rollback (e2e)
✓ сессия истекает при коротком SESSION_TTL_SECONDS, в том числе из кэша (2877 ms)
✓ без Redis вход и проверка сессии работают через PostgreSQL, logout — 503 без отзыва (125 ms)
✓ logout через реплику без связи с Redis не создаёт расхождения с репликой, у которой сессия в кэше (442 ms)
✓ без PostgreSQL отвечает ограниченным 503 и не пускает анонима (169 ms)
✓ неожиданное исключение — 500 internal_error без деталей, с X-Request-Id и X-Instance-Id (89 ms)
✓ откатывает создание чата целиком, если один из участников не существует (117 ms)
✓ сессия истекает при коротком SESSION_TTL_SECONDS, в том числе из кэша (2882 ms)
✓ без Redis вход и проверка сессии работают через PostgreSQL, logout — 503 без отзыва (160 ms)
✓ logout через реплику без связи с Redis не создаёт расхождения с репликой, у которой сессия в кэше (424 ms)
✓ без PostgreSQL отвечает ограниченным 503 и не пускает анонима (263 ms)
✓ неожиданное исключение — 500 internal_error без деталей, с X-Request-Id и X-Instance-Id (267 ms)
✓ откатывает создание чата целиком, если один из участников не существует (226 ms)
PASS test/idempotency.e2e-spec.ts
Идемпотентность отправки и X-Instance-Id (e2e)
✓ требует Idempotency-Key правильного формата (462 ms)
✓ повтор с тем же ключом и телом возвращает тот же 201 и то же сообщение (151 ms)
✓ тот же ключ с другим телом — 409, сообщение не создаётся (180 ms)
✓ 20 параллельных запросов с одним ключом через два экземпляра создают ровно одно сообщение (328 ms)
✓ область ключа — пользователь и чат: одинаковый ключ у разных пользователей и чатов независим (232 ms)
✓ повтор заново проверяет сессию (83 ms)
✓ после IDEMPOTENCY_TTL_SECONDS ключ можно использовать заново (1646 ms)
✓ X-Instance-Id есть в успешных ответах, ошибках и health и стабилен в процессе (33 ms)
PASS test/docs.e2e-spec.ts
Swagger UI и примеры (e2e)
✓ отдаёт Swagger UI и документ контракта со всеми путями (39 ms)
✓ каждый пример запроса и ответа проходит JSON Schema контракта (407 ms)
A worker process has failed to exit gracefully and has been force exited. This is likely caused by tests leaking due to improper teardown. Try running with --detectOpenHandles to find leaks. Active timers can also cause this, ensure that .unref() was called on them.
Test Suites: 12 passed, 12 total
Tests: 201 passed, 201 total
Snapshots: 0 total
Time: 29.383 s
Time: 30.222 s
Ran all test suites.
+6 -3
View File
@@ -325,10 +325,10 @@ def scenario_telemetry():
resolved = watch(columns, alerts, lambda: alert_state('TelemetryExportFailing') == 'inactive', timeout=240, every=15)
traffic.snapshot('after start')
log('== Collector stopped for 60 s: SDK export fails fast (5 s timeout, bounded queues)')
log('== Collector stopped for 300 s: SDK export fails fast (5 s timeout, bounded queues); RSS saw-tooth until GC')
js.compose('stop', 'otel-collector')
for _ in range(4):
time.sleep(15)
for _ in range(15):
time.sleep(20)
log('docker stats:', subprocess.run(
['docker', 'stats', '--no-stream', '--format', '{{.Name}} {{.MemUsage}}', *container('api'), *container('worker')],
capture_output=True, text=True).stdout.replace('\n', '; '))
@@ -339,6 +339,9 @@ def scenario_telemetry():
finally:
traffic.close()
subprocess.run(['docker', 'compose', 'start', 'loki', 'tempo', 'otel-collector'], capture_output=True)
restarts = subprocess.run(['docker', 'inspect', '-f', '{{.Name}} restarts={{.RestartCount}} oom={{.State.OOMKilled}}',
*container('api'), *container('worker')], capture_output=True, text=True).stdout.split('\n')
log('containers:', '; '.join(r for r in restarts if r))
log('TelemetryExportFailing fired: %s, resolved: %s' % (fired, resolved))
log('PASS' if fired and resolved else 'FAIL')