forked from mtusi2026/mtusi2026lab2
Compare commits
| Author | SHA1 | Date | |
|---|---|---|---|
|
|
6d8b76b447 |
@@ -42,5 +42,3 @@ compose*.yaml
|
||||
lab.json
|
||||
requirements-dev.txt
|
||||
.claude
|
||||
|
||||
.verification/
|
||||
|
||||
+4
-94
@@ -9,98 +9,8 @@ DATABASE_URL_FILE=/run/secrets/database_url
|
||||
# Optional on 3, required use on 4 in lab2; Redis OR Valkey:
|
||||
SESSION_STORE=postgres
|
||||
CACHE_URL_FILE=/run/secrets/cache_url
|
||||
API_REPLICAS=2
|
||||
IDEMPOTENCY_TTL_SECONDS=86400
|
||||
S3_ENDPOINT=http://s3:9000
|
||||
S3_REGION=us-east-1
|
||||
S3_BUCKET=messenger-attachments
|
||||
S3_ACCESS_KEY_ID_FILE=/run/secrets/s3_access_key_id
|
||||
S3_SECRET_ACCESS_KEY_FILE=/run/secrets/s3_secret_access_key
|
||||
MAX_UPLOAD_BYTES=10485760
|
||||
MAX_IMAGE_PIXELS=40000000
|
||||
BROKER_URL_FILE=/run/secrets/broker_url
|
||||
WORKER_CONCURRENCY=2
|
||||
JOB_MAX_ATTEMPTS=5
|
||||
JOB_TIMEOUT_SECONDS=60
|
||||
STAGING_RETENTION_SECONDS=86400
|
||||
OTEL_SERVICE_NAME=messenger-api
|
||||
# Worker must set a distinct service.name.
|
||||
OTEL_EXPORTER_OTLP_ENDPOINT=http://otel-collector:4318
|
||||
OTEL_EXPORTER_OTLP_PROTOCOL=http/protobuf
|
||||
OTEL_RESOURCE_ATTRIBUTES=deployment.environment.name=lab
|
||||
# Solution-specific: published LB ports, replica limits, workers and pool per replica,
|
||||
# LB queue per replica, drain window before closing the listener on SIGTERM, PostgreSQL
|
||||
# limits, load generator limits (profile bench), cursor key file. API_PORT/SHORTTTL_PORT of lab2 are gone:
|
||||
# only the load balancer is published.
|
||||
LB_HTTP_PORT=18086
|
||||
LB_STATS_PORT=26085
|
||||
API_CPUS=1
|
||||
API_MEMORY=512m
|
||||
WEB_CONCURRENCY=2
|
||||
DB_POOL_MAX_SIZE=8
|
||||
API_SERVER_MAXCONN=64
|
||||
DRAIN_SECONDS=2
|
||||
PG_MAX_CONNECTIONS=200
|
||||
PG_CPUS=2
|
||||
PG_MEMORY=1g
|
||||
K6_CPUS=2
|
||||
K6_MEMORY=512m
|
||||
# Solution-specific: host ports of the API and of the short TTL instance, workers, cursor key file.
|
||||
API_PORT=8080
|
||||
SHORTTTL_PORT=8082
|
||||
WEB_CONCURRENCY=4
|
||||
CURSOR_SECRET_FILE=/run/secrets/cursor_secret
|
||||
# Solution-specific for lab4: S3 client timeouts (connect + read, two attempts stay below
|
||||
# REQUEST_TIMEOUT_SECONDS=8), parallel image checks per worker, RustFS memory limit.
|
||||
S3_CONNECT_TIMEOUT_SECONDS=1
|
||||
S3_READ_TIMEOUT_SECONDS=2
|
||||
IMAGE_CHECK_CONCURRENCY=2
|
||||
S3_MEMORY=512m
|
||||
# Solution-specific for lab4 grade 4: upload bodies buffered at once per worker, grace period
|
||||
# before an abandoned pending upload is swept, sweep interval and rows per sweep pass.
|
||||
UPLOAD_CONCURRENCY=3
|
||||
UPLOAD_GRACE_SECONDS=900
|
||||
UPLOAD_SWEEP_INTERVAL_SECONDS=30
|
||||
UPLOAD_SWEEP_BATCH=100
|
||||
# Fixed glibc mmap threshold for the API: buffers above 128 KiB are returned to the system on free.
|
||||
MALLOC_MMAP_THRESHOLD_=131072
|
||||
# Solution-specific for lab5: RabbitMQ management UI on 127.0.0.1, backoff base of a transient
|
||||
# retry (doubles per attempt up to 60 s), relay poll and sweep intervals, worker limits and the
|
||||
# PostgreSQL pool of relay and worker. FAULT_POINT is set only by infra/compose.faults.yaml.
|
||||
BROKER_MANAGEMENT_PORT=26086
|
||||
JOB_BACKOFF_BASE_SECONDS=2
|
||||
OUTBOX_POLL_SECONDS=1
|
||||
SWEEP_INTERVAL_SECONDS=5
|
||||
WORKER_CPUS=2
|
||||
WORKER_MEMORY=1g
|
||||
PIPELINE_DB_POOL_MAX_SIZE=4
|
||||
# Solution-specific for lab5 grade 4: render time per job (the render process is killed after it),
|
||||
# address space of one render process (WORKER_MEMORY >= WORKER_CONCURRENCY * RENDER_MEMORY_MB plus
|
||||
# ~120 MiB of the worker itself), jobs per render process before it is replaced.
|
||||
RENDER_TIMEOUT_SECONDS=30
|
||||
RENDER_MEMORY_MB=448
|
||||
RENDER_TASKS_PER_CHILD=100
|
||||
# Solution-specific for lab6: host ports of Prometheus, Loki, Tempo and Grafana (127.0.0.1 only),
|
||||
# Prometheus retention, OTLP export timeout in seconds, metric export interval in ms, SDK queue
|
||||
# sizes, the bounded flush on shutdown; OTEL_SDK_DISABLED=true turns the SDK and instrumentations off.
|
||||
# relay and worker get OTEL_SERVICE_NAME messenger-relay and messenger-worker in compose.yaml.
|
||||
PROMETHEUS_PORT=26090
|
||||
LOKI_PORT=26310
|
||||
TEMPO_PORT=26320
|
||||
GRAFANA_PORT=26300
|
||||
PROMETHEUS_RETENTION=7d
|
||||
OTEL_SDK_DISABLED=false
|
||||
OTEL_EXPORTER_OTLP_TIMEOUT=2
|
||||
OTEL_METRIC_EXPORT_INTERVAL=10000
|
||||
OTEL_BSP_MAX_QUEUE_SIZE=2048
|
||||
OTEL_BLRP_MAX_QUEUE_SIZE=2048
|
||||
TELEMETRY_SHUTDOWN_SECONDS=2
|
||||
# Minimal client transfer rate, bytes/s: every body byte moved in either direction extends the
|
||||
# request deadline by 1/rate, so slow but steady uploads and downloads outlive REQUEST_TIMEOUT_SECONDS.
|
||||
MIN_TRANSFER_RATE_BYTES=131072
|
||||
# Solution-specific for lab4 track 2: limits of the one-off reconciler (profile reconcile), its S3
|
||||
# read timeout for listing pages, optional CPU pinning of the measured services (empty = no pinning)
|
||||
# and the CPU limit of RustFS (make reconcile-cost raises it with its memory for the 100k point).
|
||||
RECONCILE_CPUS=1
|
||||
RECONCILE_MEMORY=256m
|
||||
RECONCILE_S3_READ_TIMEOUT_SECONDS=10
|
||||
RECONCILE_CPUSET=
|
||||
S3_CPUSET=
|
||||
PG_CPUSET=
|
||||
S3_CPUS=1
|
||||
|
||||
@@ -1,4 +1,4 @@
|
||||
## Лабораторная 6
|
||||
## Лабораторная 2
|
||||
|
||||
Автор / группа: TODO
|
||||
Целевая оценка (3/4/5): TODO
|
||||
|
||||
@@ -19,7 +19,7 @@ jobs:
|
||||
- run: make student-test VENV=.venv
|
||||
|
||||
acceptance:
|
||||
name: Стенд Compose с RabbitMQ, relay и worker за HAProxy, smoke, pipeline, отказ реплики, рестарт и отказы зависимостей
|
||||
name: Стенд Compose, smoke, рестарт и отказы зависимостей
|
||||
runs-on: ubuntu-latest
|
||||
steps:
|
||||
- uses: actions/checkout@v4
|
||||
@@ -31,91 +31,27 @@ jobs:
|
||||
- name: Поднять стенд из чистого clone
|
||||
run: make up
|
||||
|
||||
- name: Публичный smoke через балансировщик
|
||||
- name: Публичный smoke
|
||||
run: make test
|
||||
|
||||
- name: Топология брокера, consumer с prefetch и права клиентов
|
||||
run: make topology
|
||||
|
||||
- name: Уровни «3» и «4» pipeline — worker остановлен, рестарт брокера, дубль, S3, попытки, варианты и пределы, падения в окнах 2–5, аренда, replay, DLQ, jitter, retention
|
||||
run: |
|
||||
make suite-preflight
|
||||
make level4
|
||||
|
||||
- name: Сообщение задания в очереди, 409 до ready и SIGTERM relay и worker
|
||||
run: make pipeline-evidence
|
||||
|
||||
- name: Вложение после остановки принявшей его реплики и при недоступном S3
|
||||
run: |
|
||||
make scenario SCENARIO=failover-upload
|
||||
make scenario SCENARIO=s3-outage
|
||||
|
||||
- name: Приватный bucket, ограниченный ключ API и повторный bootstrap
|
||||
run: make s3-check
|
||||
|
||||
- name: Негативный suite вложений, компенсация, уборка после grace, обрыв и зависание загрузки
|
||||
run: make upload-faults
|
||||
|
||||
- name: Несколько реплик на одном токене и гонка одного ключа
|
||||
run: make lb-check
|
||||
|
||||
- name: Повтор неподтверждённой записи после потерянного ответа и убитой реплики
|
||||
run: make retry-check
|
||||
|
||||
- name: Остановка реплики под запросами, затем возврат
|
||||
run: |
|
||||
make test-failover ACTION_SCRIPT=scripts/stop-one.sh
|
||||
docker compose ps -a api
|
||||
make restore
|
||||
|
||||
- name: Рестарт LB, API и хранилищ с сохранением volumes
|
||||
- name: Рестарт API и хранилищ с сохранением volumes
|
||||
run: make test-persistence ACTION_SCRIPT=scripts/restart.sh
|
||||
|
||||
- name: Отказы Valkey и PostgreSQL, гонка и rollback
|
||||
- name: Отказы Valkey и PostgreSQL, expiry, гонка и rollback
|
||||
run: make test-faults
|
||||
|
||||
- name: Лимиты, порты, секреты, volumes и сети по политике
|
||||
run: make limits
|
||||
|
||||
- name: Время обнаружения отказа балансировщиком (SIGTERM, kill, pause, PostgreSQL)
|
||||
run: make detection
|
||||
|
||||
- name: Наружу опубликован только балансировщик
|
||||
run: |
|
||||
docker compose ps --format '{{.Service}} {{.Ports}}' | awk '$2 != "" && $1 != "lb" && $1 != "broker" {print; bad=1} END {exit bad}'
|
||||
docker compose ps --format '{{.Service}} {{.Ports}}' | awk '$1 == "broker" && $2 !~ /^127\.0\.0\.1:/ {print; bad=1} END {exit bad}'
|
||||
|
||||
- name: Процессы работают не от root
|
||||
run: |
|
||||
for id in $(docker compose ps -q); do
|
||||
docker top "$id" -eo pid,uid,comm | awk 'NR>1 && $2==0 {print; bad=1} END {exit bad}' || exit 1
|
||||
done
|
||||
docker compose top | awk 'NR>1 && $3=="0" {print; bad=1} END {exit bad}'
|
||||
|
||||
- name: Одноразовые сервисы не от root
|
||||
run: |
|
||||
for service in migrate s3-init; do
|
||||
user=$(docker inspect -f '{{.Config.User}}' "$(docker compose ps -aq "$service")")
|
||||
echo "$service: $user"
|
||||
case "${user%%:*}" in ""|0|root) exit 1 ;; esac
|
||||
done
|
||||
|
||||
- name: Корректная остановка relay и worker по SIGTERM
|
||||
run: |
|
||||
start=$(date +%s)
|
||||
docker compose stop -t 10 relay worker
|
||||
elapsed=$(( $(date +%s) - start ))
|
||||
codes=$(docker inspect -f '{{.State.ExitCode}}' $(docker compose ps -aq relay worker) | sort -u)
|
||||
echo "остановка за ${elapsed} с, коды завершения ${codes}"
|
||||
test "$elapsed" -le 10 && test "$codes" = "0"
|
||||
|
||||
- name: Корректная остановка реплик API по SIGTERM
|
||||
- name: Корректная остановка API по SIGTERM
|
||||
run: |
|
||||
start=$(date +%s)
|
||||
docker compose kill --signal SIGTERM api
|
||||
codes=$(docker wait $(docker compose ps -aq api) | sort -u)
|
||||
code=$(docker wait "$(docker compose ps -aq api)")
|
||||
elapsed=$(( $(date +%s) - start ))
|
||||
echo "остановка за ${elapsed} с, коды завершения ${codes}"
|
||||
test "$elapsed" -le 10 && test "$codes" = "0"
|
||||
echo "остановка за ${elapsed} с, код завершения ${code}"
|
||||
test "$elapsed" -le 10 && test "$code" = "0"
|
||||
|
||||
- name: Журналы стенда
|
||||
if: always()
|
||||
|
||||
@@ -38,5 +38,3 @@ coverage/
|
||||
|
||||
# Локальные настройки агента
|
||||
.claude/settings.local.json
|
||||
|
||||
.verification/
|
||||
|
||||
@@ -1,75 +1,61 @@
|
||||
## Что это за репозиторий
|
||||
|
||||
Skeleton лабораторной 6 курса «Мессенджер под нагрузкой» (МТУСИ, 7 независимых лаб) и решение в ветке `solution/bpi2303-kostylev`. Skeleton даёт задание (`README.md`), нормативный контракт (`contracts/`, включая `contracts/observability.md`) и публичные black-box проверки (`tests/`). Реализация API, relay, worker, Dockerfile, compose-стенд, конфигурация балансировщика, S3, брокера и стека наблюдаемости, миграции, хуки отказов и собственные тесты — студенческие; решение лабы 6 построено переносом решения лабы 5.
|
||||
Skeleton лабораторной 2 курса «Мессенджер под нагрузкой» (МТУСИ, 7 независимых лаб) и решение в ветке `solution/bpi2303-kostylev`. Skeleton даёт задание (`README.md`), нормативный контракт (`contracts/`) и публичные black-box проверки (`tests/`). Реализация API, Dockerfile, compose-стенд, миграции и собственные тесты — студенческие; решение лабы 2 построено переносом решения лабы 1.
|
||||
|
||||
Лаба 6: наблюдаемость всей системы, включая фоновую обработку. Бизнес-API не меняется (контракт 1.6.0). API, relay и worker инициализируют **OpenTelemetry SDK** в каждом процессе после fork (gunicorn-воркер, процесс relay, процесс worker) и отдают OTLP/HTTP в **OTel Collector** (`otelcol-contrib`); Collector раскладывает метрики в **Prometheus 3** (OTLP-приём), логи в **Loki 3** (OTLP `/otlp`), трассы в **Tempo 2**; **Grafana 12** только показывает и связывает их, datasources и dashboards приходят из provisioning в Git. HTTP-метрики и server spans даёт инструментация FastAPI, client spans БД — инструментация asyncpg под SQLAlchemy 2.0.45 async (ORM/Core, async_sessionmaker, DeclarativeBase); миграции — Alembic 1.16.5, consumer spans — `RabbitTelemetryMiddleware` FastStream. Логи идут через порт `Logger` (structlog → stdout JSON и OTLP) с `trace_id`/`span_id`, без тел сообщений и секретов. Остаётся всё из лаб 1–5: HAProxy перед ≥2 репликами, PostgreSQL, Valkey, RustFS, RabbitMQ, outbox, relay, worker с арендой и вариантами, хуки остановки реплики и рестарта стенда.
|
||||
Лаба 2: состояние переезжает в **PostgreSQL**, пользователи входят по паролю (`Basic` только на `POST /api/v1/auth/sessions`), остальные endpoint требуют непрозрачный `Bearer`-токен сессии с TTL и отзывом, `X-User-Id` игнорируется. На «4» появляется **Valkey** с конкретной ролью (здесь — read-through кэш сессий поверх PostgreSQL). Данные и действующие сессии переживают рестарт API и хранилищ с сохранёнными volumes.
|
||||
|
||||
## Команды
|
||||
|
||||
```sh
|
||||
make check # offline: структура skeleton, JSON, локальные $ref, синтаксис Python, версия 1.6.0
|
||||
make validate PYTHON=.venv/bin/python # полная валидация OpenAPI 3.1 и jobs.schema.json (venv с requirements-dev.txt)
|
||||
make install # uv sync --group dev
|
||||
make check # offline: структура skeleton, JSON, локальные $ref, синтаксис Python
|
||||
make install # uv sync --group dev (включая openapi-spec-validator)
|
||||
make validate # полная валидация OpenAPI 3.1 (берёт .venv/bin/python после make install)
|
||||
make lint # ruff check + ruff format --check + ty check; обязательно перед commit
|
||||
make student-test # собственные тесты (одноразовые PostgreSQL, Valkey, RustFS и RabbitMQ в Docker)
|
||||
make student-test # собственные тесты (поднимают одноразовые PostgreSQL и Valkey в Docker)
|
||||
make student-test PYTEST_ARGS='-v -k cache' # выборка тестов с именами
|
||||
|
||||
make secrets # локальные secrets/* (БД, кэш, S3, broker, Grafana) и .env
|
||||
make up # docker compose build, затем up -d --wait: хранилища, broker, стек наблюдаемости → migrate, s3-init → api ×2, relay, worker → lb
|
||||
make obs-validate # otelcol validate, promtool check config, loki/tempo verify, JSON dashboards
|
||||
make telemetry-check # Grafana provisioning, запрос → лог → трасса, job → трасса и лог worker, утечки
|
||||
make test # публичный smoke через LB (через scripts/lab6.sh: http://127.0.0.1:18086)
|
||||
make test-persistence ACTION_SCRIPT=scripts/restart.sh # рестарт lb, api, relay, worker и postgres, valkey, s3, broker с volumes
|
||||
make test-failover ACTION_SCRIPT=scripts/stop-one.sh # остановка реплики TARGET_INSTANCE_ID под запросами
|
||||
make restore # вернуть остановленные реплики и дождаться их в ротации LB
|
||||
make level3 # сценарии уровня «3» лабы 5 (scripts/pipeline_suite.py) → evidence/level3.json
|
||||
make down # остановка без удаления данных; make reset-data — намеренное удаление volumes
|
||||
make secrets # локальные secrets/* и .env из .env.example (не коммитятся)
|
||||
make up # docker compose up -d --build --wait: postgres, valkey, migrate, api
|
||||
make test # публичный smoke против http://localhost:$API_PORT (Makefile читает .env)
|
||||
make test-persistence ACTION_SCRIPT=scripts/restart.sh # рестарт api, postgres, valkey с сохранением volumes
|
||||
make test-faults # expiry, logout, гонки, rollback, отказы Valkey и PostgreSQL против стенда
|
||||
make seed explain # 20 000 сообщений и EXPLAIN (ANALYZE, BUFFERS) индекса истории
|
||||
make track-bench # трек 5: база track, 1M сообщений по Ципфу, 4 набора индексов, pgbench
|
||||
make track-recovery # трек 5: pg_dump → новый postgres-restore → pg_restore → сверка, RTO/RPO
|
||||
make down # остановка без удаления данных (с профилями faults и track); make reset-data — удаление volumes
|
||||
make toolchain-evidence # и другие *-evidence: файлы evidence/ с датой и коммитом (список — REPORT.md)
|
||||
```
|
||||
|
||||
Команды стенда выше запускаются через `scripts/lab6.sh`, например `scripts/lab6.sh make up`. Локальные `make check validate lint` запускаются напрямую; `make student-test` создаёт одноразовые Docker-зависимости и не выполняется в документационной фазе.
|
||||
|
||||
`tests/*.py` и `scripts/*.py` — только stdlib, синтаксис Python 3.9 (`make check` разбирает их системным `python3`). Проверки сами не поднимают стенд. Хуки `scripts/stop-one.sh` и `scripts/restart.sh` запускаются тестом без shell, поэтому исполняемые и с shebang. Адреса Prometheus, Loki, Tempo и Grafana для `scripts/obs_check.py` — переменные `PROMETHEUS_URL`, `LOKI_URL`, `TEMPO_URL`, `GRAFANA_URL` (по умолчанию стандартные порты на `127.0.0.1`).
|
||||
`tests/*.py` и `scripts/*.py` — только stdlib, синтаксис Python 3.9 (`make check` разбирает их системным `python3`). Проверки сами не поднимают стенд. Данные не удаляются автоматически: в API нет DELETE, каждый прогон smoke создаёт новых синтетических пользователей.
|
||||
|
||||
## Архитектура skeleton
|
||||
|
||||
- `lab.json` — единственный источник номера лабы (6). От него зависят `scripts/check_contract.py` (`info.version == 1.6.0`) и `tests/client.py` (ветки `LAB>=5`: upload `202 queued`, ожидание `ready` до 60 с, ровно один `thumbnail` 256×160). Публичных проверок телеметрии нет: наблюдаемость доказывается своими скриптами и `evidence/`.
|
||||
- `tests/` байт в байт как в лабе 5. `contracts/openapi.json` отличается только `info.title` и `info.version`.
|
||||
- `contracts/observability.md` — нормативный набор сигналов (уровни «3» и «4»), resource attributes, запрещённые labels метрик и запрещённое содержимое telemetry, alerts и инциденты. `infra/otel/README.md` — что лежит в Git (Collector, storage, provisioning, dashboards, rules).
|
||||
- `contracts/infrastructure.json` — роли лабы 5 плюс `otel_collector`, `telemetry_storage` (метрики, логи, трассы, persistent volume) и `grafana` (provisioning в Git). `compose.example.yaml` — только worksheet ролей.
|
||||
- `lab.json` — единственный источник номера лабы (2). От него зависят `scripts/check_contract.py` (`info.version == 1.2.0`, наличие `/api/v1/auth/sessions`) и `tests/client.py` (Bearer-ветки smoke с lab2).
|
||||
- `tests/client.py` валидирует ответы по подмножеству JSON Schema прямо из `contracts/openapi.json`; для `401` на lab≥2 проверяет `WWW-Authenticate`: `Basic` на `/api/v1/auth/sessions`, `Bearer` на остальных путях.
|
||||
- `tests/resilience.py --mode persistence` держит токен только в памяти, запускает hook без shell (≤90 с, код 0), ждёт `/health/ready` и `/users/me` прежним токеном до 90 с, сверяет историю. Таймаут клиента 2 с.
|
||||
- `contracts/infrastructure.json` — роли: `api`, `postgres` (persistent volume), опциональный `redis_or_valkey` (обязателен на «4»). `compose.example.yaml` — только worksheet ролей.
|
||||
|
||||
## Ключевые правила контракта (lab6)
|
||||
## Ключевые правила контракта (lab2)
|
||||
|
||||
- Resource attributes: `service.name` (`messenger-api`, `messenger-worker`, `messenger-relay`), `service.version`, `service.instance.id` (уникален на процесс: `<hostname>-<pid>`), `deployment.environment.name=lab`.
|
||||
- Метрики не получают labels `user_id`, `chat_id`, `message_id`, `attachment_id`, `request_id`, сырой URL, filename, текст; маршрут — шаблон (`/api/v1/chats/{chat_id}/messages`). HTTP duration — histogram в секундах (`http.server.request.duration`, `OTEL_SEMCONV_STABILITY_OPT_IN=http`).
|
||||
- Логи: timestamp, severity, `service.name`, `event`, `trace_id`/`span_id` при активном span. В telemetry никогда не попадают пароли, `Authorization`, токен сессии, тело сообщения, байты изображения, filename, ключи и подписанные URL; захват HTTP-заголовков выключен, Collector дополнительно редактирует подозрительные ключи.
|
||||
- Экспорт телеметрии никогда не блокирует запрос: только `Batch*Processor` и `PeriodicExportingMetricReader`, короткий таймаут OTLP. `/health/ready` не зависит от Collector, хранилищ телеметрии и Grafana. `OTEL_SDK_DISABLED=true` выключает SDK целиком.
|
||||
- Тело ошибки остаётся `{"error":{"code","message","request_id"}}` с `additionalProperties: false`: `trace_id` в тело и схемы не добавляется.
|
||||
- Сохраняются правила lab5 (outbox, `202 queued`, `ack` после `COMMIT`, ключ эффекта, `409` на `/content` до `ready`), lab4, lab3 (`X-Instance-Id`, `Idempotency-Key`), lab2 и lab1.
|
||||
- `POST /api/v1/users` публичен, тело `{username, display_name, password}`; `password` 12–128 code points, хранится только как Argon2id; `User` без пароля и hash; дубль `username` → `409`, в том числе в гонке.
|
||||
- `POST /api/v1/auth/sessions`: только `Authorization: Basic`, без тела; неверный пароль и неизвестный username — одинаковый `401` с `WWW-Authenticate: Basic realm="messenger", charset="UTF-8"`. Ответ `201 {token, token_type:"Bearer", expires_at, user}`.
|
||||
- Остальные `/api/v1/*` — только `Authorization: Bearer <token>`; истёкший, отозванный, неизвестный токен и `Basic` на бизнес-endpoint → `401` с `WWW-Authenticate: Bearer realm="messenger"`. `X-User-Id` игнорируется полностью.
|
||||
- `DELETE /api/v1/auth/sessions/current` → `204` без тела; повтор → `401`. TTL абсолютный (`SESSION_TTL_SECONDS`), рестарт его не продлевает.
|
||||
- Аутентификация раньше доступа и валидации: без валидного Bearer — `401` даже при битом JSON. Отказ зависимости при проверке сессии — `503 unavailable`, не `401` и не анонимный доступ.
|
||||
- Прежние правила lab1 сохраняются: `X-Request-Id` в каждом ответе, формат ошибки `{"error":{code,message,request_id}}`, посторонний → `404`, keyset `(created_at, id)`, `limit` 1–100, cursor привязан к чату, время RFC 3339 с `Z`.
|
||||
|
||||
## Правила работы с репозиторием
|
||||
|
||||
- Не менять и не ослаблять `contracts/`, `tests/`, `README.md`, `COURSE.md`, `infra/README.md`, `infra/otel/README.md`, рубрику. Расхождение оформляется вопросом преподавателю.
|
||||
- Код — `src/messenger/`, миграции — `alembic/versions/`, async `alembic/env.py`, one-shot `alembic upgrade head`; работа с БД — только SQLAlchemy ORM/Core, asyncpg используется как драйвер, конфигурация LB, нагрузки, S3, брокера и наблюдаемости — `infra/` (`infra/otel`, `infra/prometheus`, `infra/loki`, `infra/tempo`, `infra/grafana`), хуки и обвязка стенда — `scripts/`, собственные тесты — `student-tests/`, обезличенные доказательства — `evidence/`.
|
||||
- Не менять и не ослаблять `contracts/`, `tests/`, `README.md`, `COURSE.md`, рубрику. Расхождение оформляется вопросом преподавателю.
|
||||
- Код — `src/messenger/`, миграции — `src/messenger/migrations/NNNN_*.sql`, собственные тесты — `student-tests/`, обезличенные доказательства — `evidence/`.
|
||||
- Без комментариев в коде; отступы — пробелы (`[tool.ruff.format]`); Python 3.14 без `from __future__ import annotations` и `TYPE_CHECKING`.
|
||||
- Наружу публикуются только LB, UI брокера, Prometheus, Loki, Tempo и Grafana на `127.0.0.1`; порты реплик API, OTLP и self-metrics Collector не публикуются. Порты задаются переменными `.env`/shell: API 18086, HAProxy stats 26085, broker UI 26086, Prometheus 26090, Loki 26310, Tempo 26320, Grafana 26300. Для команд стенда используй `scripts/lab6.sh`, который согласует project, порты, URL проверок и NO_PROXY.
|
||||
- `REPORT.md`: команды из чистого clone, архитектура, таблица «критерий → команда → наблюдение → файл», таблица отказов, сопоставление сигналов `observability.md` реальным именам метрик. PASS без команды не доказательство.
|
||||
- Ветка `solution/bpi2303-kostylev`, коммиты на английском, перед каждым — `make lint`. Никогда не коммитить `.env`, `secrets/`, токены, пароли Grafana, ключи S3, пароли брокера, volumes, дампы.
|
||||
- `REPORT.md`: команды из чистого clone, архитектура, таблица «критерий → команда → наблюдение → файл». PASS без команды не доказательство.
|
||||
- Ветка `solution/bpi2303-kostylev`, коммиты на английском, перед каждым — `make lint`. Никогда не коммитить `.env`, `secrets/`, токены, volumes, дампы.
|
||||
|
||||
## Уровни оценки
|
||||
|
||||
Решение заявлено на **«5»** с треком 1 «Цена наблюдаемости»; таблица доказательств — в `REPORT.md`.
|
||||
Решение заявлено на **«5»** с треком 2 «План запроса и восстановление»; таблица доказательств — в `REPORT.md`.
|
||||
|
||||
- **3** — минимум lab5 работает при включённой телеметрии; Collector, Prometheus, Loki, Tempo и Grafana в общем стенде с volumes и provisioning из Git; API, relay и worker отдают OTLP; RPS/errors/duration API, jobs по исходу и duration worker; структурные логи с `trace_id`/`span_id`; реальные server и consumer spans; импортируемые dashboards; нет секретов и тел в telemetry; запрос → трасса и лог, job → трасса и лог worker.
|
||||
- **4** — W3C trace context API → outbox → broker → worker (producer/consumer), цепочка до S3/DB с retry; p50/p95/p99 из histogram, доля ошибок, queue depth и возраст старейшей job, DB pool, saturation worker, CPU/RAM; SLI/SLO, alert rules error rate и queue lag (firing → resolved); memory_limiter, batch, ограниченные очереди, отказ хранилищ телеметрии; два разобранных инцидента.
|
||||
- **5** — трек 1: telemetry off / on / head sampling / tail sampling / сбалансированная конфигурация при одинаковой open-loop нагрузке — latency с клиента, CPU/RAM вне телеметрии, объём ingest, потери spans и захват вброшенных ошибок и медленных запросов.
|
||||
|
||||
## Актуальное состояние и границы этапов
|
||||
|
||||
- Автор: Костылев Артём, БПИ2303. Итоговый отчёт — [REPORT.md](REPORT.md), индекс — [evidence/README.md](evidence/README.md).
|
||||
- Актуальный runtime и измеритель: `bc1d7aa7713858acb5d65b61d07e69a640f1ee97`; успешное независимое ревью: `6ca1c7549978af3127966540385195ab0587f2e1`. Поздние исправления ЛР5 доведены до immutable source `c7b8feb805d151e878d77b0dff47320a9436b172`, решения по путям — [forward-port.md](evidence/forward-port.md).
|
||||
- Текущий набор — `evidence/forward-published/`: 995 passed, 2 skipped, 19 deselected в сохранённом полном suite; 15 пригодных серий, 12000 запросов, balanced −92,2% медианного Tempo ingest, 48/48 error и 48/48 slow. Исторические `grade3/grade4/track5` не выдаются за измерение позднего кода. Незатронутые storage/history проверки переиспользуются только с основанием из `preserved-mechanisms.json`.
|
||||
- Пять minor после ревью — [review-summary.md](evidence/review-summary.md) и ограничения REPORT. Исправлять только major: доказанная угроза безопасности, потеря/повреждение данных, недоступность сервиса, неработающий обязательный сценарий. Minor сохранять, не блокировать ими отчёт/release; не объявлять неуспешный тест успешным.
|
||||
- Этапы запускает только runner: один агент переноса/уровней 3→4→5/evidence → review (отдельный fix major и re-review при необходимости) → отдельный отчёт → один агент нагрузки и публикации. Ревью/отчёт предыдущей лабы может идти параллельно реализации следующей. Самостоятельно фоновых агентов не создавать, runner/state не менять.
|
||||
- Обычные Docker-этапы используют отдельные project/порты/volumes совместно с другими лабами; эксклюзивный доступ получает только финальная нагрузка/release. Разрешён `mtusi2026lab6` в основном репозитории либо `hlpipe-lab6-*` в каталоге под ним или `/Users/artemkostylev/projects/learning/HL/labs/.pipeline/.runs/labs`. Чужие контейнеры не трогать; в конце остановить свои без удаления постоянных volumes. Не выполнять reset/clean и удаление пользовательских данных.
|
||||
- Фон и условия измерения фиксировать. Пригодные сохранённые серии переиспользовать после проверки SHA/diff; повторять лишь отсутствующие, неуспешные или признанные непригодными. Изменение только документации не требует новой нагрузки.
|
||||
- Отчётная фаза меняет только REPORT.md, AGENTS.md и Markdown внутри evidence; OpenSpec/config, код и raw measurements не меняет. `openspec/config.yaml` уже содержит актуальный стек; циклы propose/apply/archive закрыты, проверка — `openspec validate --all --strict --no-interactive`.
|
||||
- Публикация только в private MTUCI-Labs на явно назначенном этапе PUBLICATION. Самостоятельные push и Telegram вне назначенной фазы запрещены; для разрешённого Telegram — только `telegram-send`. ЛР1/2 заморожены; другие репозитории читать только через предоставленный snapshot.
|
||||
- **3** — контракт lab2, PostgreSQL с PK/FK/UNIQUE и миграциями, атомарное создание чата, Basic/Bearer/TTL/logout, Argon2id, `make test` и `make test-persistence ACTION_SCRIPT=scripts/restart.sh`.
|
||||
- **4** — Valkey с ролью и политикой инвалидации, параметризованный SQL, ограниченный пул и таймауты, гонка регистрации и rollback, индекс истории с EXPLAIN (ANALYZE, BUFFERS) на ≥10 000 сообщениях, автотесты expiry/logout/неверного пароля/недоступности Valkey и PostgreSQL.
|
||||
- **5** — трек 2: ≥100 000 сообщений с перекосом чатов, сравнение индексов и запросов, стоимость записи, backup → restore в новое хранилище → сверка, RTO/RPO.
|
||||
|
||||
+3
-7
@@ -24,10 +24,9 @@ ENV PYTHONUNBUFFERED=1 \
|
||||
HOST=0.0.0.0 \
|
||||
PORT=8080 \
|
||||
LOG_LEVEL=INFO \
|
||||
WEB_CONCURRENCY=2 \
|
||||
REQUEST_TIMEOUT_SECONDS=8 \
|
||||
DRAIN_SECONDS=2 \
|
||||
SHUTDOWN_TIMEOUT_SECONDS=6
|
||||
WEB_CONCURRENCY=4 \
|
||||
REQUEST_TIMEOUT_SECONDS=15 \
|
||||
SHUTDOWN_TIMEOUT_SECONDS=8
|
||||
|
||||
RUN groupadd --system --gid 10001 messenger \
|
||||
&& useradd --system --uid 10001 --gid messenger --no-create-home --shell /usr/sbin/nologin messenger
|
||||
@@ -36,9 +35,6 @@ COPY --from=builder --chown=root:root /opt/venv /opt/venv
|
||||
|
||||
WORKDIR /app
|
||||
|
||||
COPY --chown=root:root alembic.ini ./
|
||||
COPY --chown=root:root alembic ./alembic
|
||||
|
||||
USER 10001:10001
|
||||
|
||||
EXPOSE 8080
|
||||
|
||||
+1
-1
@@ -1,4 +1,4 @@
|
||||
# Памятка преподавателю — лабораторная 6
|
||||
# Памятка преподавателю — лабораторная 2
|
||||
|
||||
## Что подготовлено
|
||||
|
||||
|
||||
@@ -1,5 +1,9 @@
|
||||
SHELL_PORTS := $(foreach v,API_PORT SHORTTTL_PORT,$(if $(filter environment,$(origin $v)),$v=$($v)))
|
||||
-include .env
|
||||
$(foreach port,$(SHELL_PORTS),$(eval $(port)))
|
||||
|
||||
PYTHON ?= python3
|
||||
BASE_URL ?= http://$(shell docker compose port lb 8080 2>/dev/null || echo localhost:8080)
|
||||
BASE_URL ?= http://localhost:$(or $(API_PORT),8080)
|
||||
CA_FILE ?=
|
||||
ACTION_SCRIPT ?=
|
||||
TLS_ARGS = $(if $(CA_FILE),--ca-file "$(CA_FILE)",)
|
||||
@@ -7,61 +11,21 @@ TLS_ARGS = $(if $(CA_FILE),--ca-file "$(CA_FILE)",)
|
||||
VENV ?= .venv
|
||||
UV ?= uv
|
||||
COMPOSE ?= docker compose
|
||||
RATE ?= 100
|
||||
FROM_REV ?=
|
||||
SHIFT ?= 0
|
||||
SCRIPTS_PY = scripts/obs_cost_summary.py scripts/obs_cost.py scripts/obs_incidents.py scripts/obs_recovery.py scripts/capture_evidence.py alembic scripts/scaling.py tools scripts/probe.py scripts/limits.py scripts/lab4_scenarios.py scripts/lab4_seed.py \
|
||||
scripts/upload_memory.py scripts/reconcile_check.py scripts/reconcile_track.py \
|
||||
scripts/make_images.py scripts/pipeline_suite.py scripts/pipeline_evidence.py
|
||||
SCENARIO ?= failover-upload
|
||||
PSQL = $(COMPOSE) exec -T postgres psql -U messenger -d messenger -X -q
|
||||
OBS_CHECK = $(PYTHON) scripts/obs_check.py
|
||||
APP_METRICS = {job=~"messenger-.*"}
|
||||
|
||||
TRACK2_OUTPUT ?= evidence/track2.json
|
||||
TRACK2_SCENARIOS = smoke_pipeline,duplicate_after_ready,crash_commit_publish,crash_publish_confirm,crash_after_s3_before_commit,crash_after_commit_before_ack,lease_expiry_fencing,crash_before_side_effect,worker_kill_mid_task,duplicate_in_flight,reorder_attempts,reorder_versions,stale_after_new_version
|
||||
PIPELINE_VERSION ?= 2
|
||||
SHORTTTL_PORT ?= 8082
|
||||
PYTEST_ARGS ?=
|
||||
TRACK_ARGS ?=
|
||||
SHORTTTL_URL ?= http://localhost:$(SHORTTTL_PORT)
|
||||
|
||||
.PHONY: help check validate test load test-persistence test-failover \
|
||||
.PHONY: help check validate test load test-persistence \
|
||||
install lint format typecheck student-test \
|
||||
secrets up down reset-data migrate ps logs restore lb-check failover-evidence stack-evidence \
|
||||
persistence-evidence storage-evidence cache-evidence test-faults seed explain \
|
||||
limits detection failover-each rolling-update lab4-level4 \
|
||||
scenario s3-check attachments-evidence upload-faults upload-memory \
|
||||
images queues topology worker-stop worker-start broker-restart suite-preflight level3 \
|
||||
pipeline-evidence level4 replay failed dlq \
|
||||
obs-validate telemetry-check \
|
||||
faults-evidence retry-check reconcile reconcile-demo reconcile-cost load-evidence \
|
||||
clean-clone-evidence overload-leftovers
|
||||
|
||||
.NOTPARALLEL:
|
||||
secrets up down reset-data migrate ps logs persistence-evidence storage-evidence cache-evidence test-faults seed explain track-bench track-recovery \
|
||||
migrations-evidence environment-evidence sigterm-evidence load-evidence toolchain-evidence faults-evidence
|
||||
|
||||
help:
|
||||
@echo "check: offline structure; validate: full OpenAPI (requirements-dev.txt); test: running API; load: synthetic writes"
|
||||
@echo "install/lint/typecheck/student-test: студенческий тулчейн"
|
||||
@echo "secrets/up/down/migrate/ps/logs: стенд Docker Compose; reset-data: намеренное удаление volumes"
|
||||
@echo "restore: вернуть остановленные реплики; lb-check: реплики на одном токене и 20 гонок одного ключа"
|
||||
@echo "lab4-level4 = limits, lb-check, detection, failover-each, rolling-update [FROM_REV=<коммит>]; RATE=$(RATE) rps"
|
||||
@echo "scenario SCENARIO=failover-upload|s3-outage → evidence/<сценарий>.json; s3-check; attachments-evidence"
|
||||
@echo "upload-faults: негативный suite, компенсация, уборка, обрыв и зависание загрузки против стенда"
|
||||
@echo "upload-memory: пик памяти реплик при 10/20/40 одновременных загрузках 1 и 10 MiB → evidence/upload-memory/"
|
||||
@echo "lab5: queues, topology, worker-stop/worker-start, broker-restart, images, suite-preflight, level3, level4"
|
||||
@echo "lab5 оператор: failed (реестр), replay ID=<attachment_id>, dlq (просмотр DLQ без извлечения)"
|
||||
@echo "lab6: obs-validate (конфиги Collector, Prometheus, Loki, Tempo, dashboards); telemetry-check → evidence/*.json"
|
||||
|
||||
@echo "retry-check: потерянный ответ на живой и на убитой реплике, повтор тем же ключом"
|
||||
@echo "lab4-level4 = limits, lb-check, detection, failover-each, rolling-update [FROM_REV=<коммит>]; RATE=$(RATE) rps"
|
||||
@echo "scenario SCENARIO=failover-upload|s3-outage → evidence/<сценарий>.json; s3-check; attachments-evidence"
|
||||
@echo "upload-faults: негативный suite, компенсация, уборка, обрыв и зависание загрузки против стенда"
|
||||
@echo "upload-memory ARGS='--out evidence/upload-memory/runN': пик памяти реплик при 10/20/40 загрузках 1 и 10 MiB"
|
||||
@echo "load-evidence: tests/load.py ×3 клиентом-контейнером в сети edge стенда → evidence/load.txt, evidence/load/"
|
||||
@echo "overload-leftovers: после upload-memory — намерения от 503, сверка и уборка после grace → evidence/overload-leftovers.txt"
|
||||
@echo "clean-clone-evidence: блок «Запуск из чистого clone» в свежем клоне рядом → evidence/clean-clone.txt"
|
||||
@echo "reconcile ARGS='--apply --deep': сверка PostgreSQL ↔ S3 (без ARGS — dry-run); трек 2:"
|
||||
@echo "reconcile-demo: внедрение ошибок, dry-run/apply/повтор, безопасность, нагрузка → evidence/reconcile/"
|
||||
@echo "reconcile-cost: стоимость обхода 1k/10k/30k/100k объектов × 3 прогона на чистом стенде → evidence/reconcile/cost/"
|
||||
@echo "BASE_URL=$(BASE_URL) (порт lb из docker compose); failover-evidence SHIFT=1 — сдвиг round robin на вторую реплику"
|
||||
|
||||
check:
|
||||
$(PYTHON) scripts/check_contract.py
|
||||
@@ -80,44 +44,36 @@ test-persistence:
|
||||
@test -n "$(ACTION_SCRIPT)" || (echo "Set ACTION_SCRIPT to your implemented executable restart hook"; exit 2)
|
||||
$(PYTHON) tests/resilience.py --mode persistence --action-script "$(ACTION_SCRIPT)" --base-url "$(BASE_URL)" $(TLS_ARGS)
|
||||
|
||||
test-failover:
|
||||
@test -n "$(ACTION_SCRIPT)" || (echo "Set ACTION_SCRIPT to your implemented executable stop-one hook"; exit 2)
|
||||
$(PYTHON) tests/resilience.py --mode failover --action-script "$(ACTION_SCRIPT)" --base-url "$(BASE_URL)" $(TLS_ARGS)
|
||||
|
||||
install:
|
||||
$(UV) sync --group dev
|
||||
|
||||
lint:
|
||||
$(VENV)/bin/ruff check src student-tests $(SCRIPTS_PY)
|
||||
$(VENV)/bin/ruff format --check src student-tests $(SCRIPTS_PY)
|
||||
$(VENV)/bin/ty check src student-tests alembic
|
||||
$(VENV)/bin/ruff check src student-tests scripts/track.py
|
||||
$(VENV)/bin/ruff format --check src student-tests scripts/track.py
|
||||
$(VENV)/bin/ty check src student-tests
|
||||
|
||||
format:
|
||||
$(VENV)/bin/ruff check --fix src student-tests $(SCRIPTS_PY)
|
||||
$(VENV)/bin/ruff format src student-tests $(SCRIPTS_PY)
|
||||
$(VENV)/bin/ruff check --fix src student-tests scripts/track.py
|
||||
$(VENV)/bin/ruff format src student-tests scripts/track.py
|
||||
|
||||
typecheck:
|
||||
$(VENV)/bin/ty check src student-tests alembic
|
||||
$(VENV)/bin/ty check src student-tests
|
||||
|
||||
student-test:
|
||||
$(VENV)/bin/pytest $(PYTEST_ARGS)
|
||||
|
||||
secrets:
|
||||
sh scripts/secrets.sh
|
||||
sh scripts/broker-secrets.sh
|
||||
sh scripts/secrets-lab6.sh
|
||||
|
||||
up: secrets
|
||||
$(COMPOSE) build
|
||||
$(COMPOSE) up -d --wait
|
||||
scripts/lb-wait.sh
|
||||
$(COMPOSE) up -d --build --wait
|
||||
|
||||
down:
|
||||
$(COMPOSE) --profile bench --profile tools --profile reconcile down
|
||||
$(COMPOSE) --profile faults --profile track down
|
||||
|
||||
reset-data:
|
||||
@echo "Удаляются volumes с учебными данными стенда"
|
||||
$(COMPOSE) --profile bench --profile tools --profile reconcile down -v --remove-orphans
|
||||
$(COMPOSE) --profile faults --profile track down -v --remove-orphans
|
||||
|
||||
migrate:
|
||||
$(COMPOSE) run --rm migrate
|
||||
@@ -128,81 +84,6 @@ ps:
|
||||
logs:
|
||||
$(COMPOSE) logs --tail 200
|
||||
|
||||
restore:
|
||||
scripts/restore.sh
|
||||
|
||||
lb-check:
|
||||
$(PYTHON) scripts/probe.py check --rounds 20 --out evidence/lb-check.json
|
||||
|
||||
retry-check:
|
||||
$(PYTHON) scripts/probe.py retry --out evidence/retry.json
|
||||
|
||||
limits:
|
||||
$(PYTHON) scripts/limits.py --out evidence/limits.txt
|
||||
|
||||
detection:
|
||||
rm -rf evidence/detection
|
||||
for run in 1 2 3; do sh scripts/detection.sh evidence/detection/run$$run || exit 1; done
|
||||
|
||||
failover-each:
|
||||
RATE=$(RATE) sh scripts/failover-each.sh evidence/failover-each
|
||||
|
||||
rolling-update:
|
||||
ifneq ($(FROM_REV),)
|
||||
git archive "$(FROM_REV)" | docker build -q -t "mtusi-messenger:$(FROM_REV)" -
|
||||
API_IMAGE="mtusi-messenger:$(FROM_REV)" $(COMPOSE) up -d --no-deps --force-recreate --wait api
|
||||
scripts/lb-wait.sh
|
||||
endif
|
||||
$(COMPOSE) build -q api
|
||||
RATE=$(RATE) $(PYTHON) scripts/probe.py load --expect replace --duration 90 \
|
||||
--out evidence/rolling$(if $(FROM_REV),-from-$(FROM_REV)) \
|
||||
-- scripts/rolling-update.sh
|
||||
|
||||
lab4-level4: limits lb-check detection failover-each rolling-update
|
||||
|
||||
scenario:
|
||||
$(PYTHON) scripts/lab4_scenarios.py $(SCENARIO) --base-url "$(BASE_URL)" --restore --output evidence/$(SCENARIO).json
|
||||
scripts/lb-wait.sh
|
||||
|
||||
s3-check:
|
||||
sh scripts/s3-check.sh > evidence/s3-security.txt; status=$$?; cat evidence/s3-security.txt; exit $$status
|
||||
|
||||
attachments-evidence:
|
||||
sh scripts/evidence-attachments.sh
|
||||
|
||||
upload-faults:
|
||||
{ echo "date: $$(date -u +%FT%TZ) commit: $$(git rev-parse --short HEAD) BASE_URL=$(BASE_URL)"; \
|
||||
BASE_URL="$(BASE_URL)" $(VENV)/bin/pytest -m stack -v -s --no-header --tb=short \
|
||||
-p no:cacheprovider student-tests/stack/test_attachment_faults.py; } > evidence/upload-faults.txt; \
|
||||
status=$$?; cat evidence/upload-faults.txt; exit $$status
|
||||
|
||||
upload-memory:
|
||||
$(PYTHON) scripts/upload_memory.py --base-url "$(BASE_URL)" $(ARGS)
|
||||
|
||||
load-evidence:
|
||||
sh scripts/load-evidence.sh
|
||||
|
||||
overload-leftovers:
|
||||
sh scripts/overload-leftovers.sh
|
||||
|
||||
clean-clone-evidence:
|
||||
sh scripts/clean-clone.sh
|
||||
|
||||
reconcile:
|
||||
$(COMPOSE) run --rm --no-deps reconciler $(ARGS)
|
||||
|
||||
reconcile-demo:
|
||||
$(PYTHON) scripts/reconcile_track.py demo --base-url "$(BASE_URL)" $(ARGS)
|
||||
|
||||
reconcile-cost:
|
||||
$(PYTHON) scripts/reconcile_track.py cost $(ARGS)
|
||||
|
||||
failover-evidence:
|
||||
sh scripts/failover-evidence.sh "$(BASE_URL)" "$(SHIFT)"
|
||||
|
||||
stack-evidence:
|
||||
sh scripts/evidence-stack.sh
|
||||
|
||||
persistence-evidence:
|
||||
sh scripts/persistence-evidence.sh "$(BASE_URL)" > evidence/persistence.txt
|
||||
cat evidence/persistence.txt
|
||||
@@ -214,14 +95,34 @@ cache-evidence:
|
||||
sh scripts/evidence-cache.sh > evidence/cache.txt
|
||||
cat evidence/cache.txt
|
||||
|
||||
migrations-evidence:
|
||||
@echo "Удаляются volumes с учебными данными стенда: миграции применяются к пустой БД"
|
||||
sh scripts/evidence-migrations.sh "$(BASE_URL)" > evidence/migrations.txt
|
||||
cat evidence/migrations.txt
|
||||
|
||||
environment-evidence:
|
||||
sh scripts/evidence-environment.sh > evidence/environment.txt
|
||||
cat evidence/environment.txt
|
||||
|
||||
sigterm-evidence:
|
||||
sh scripts/evidence-sigterm.sh "$(BASE_URL)" > evidence/sigterm.txt
|
||||
cat evidence/sigterm.txt
|
||||
|
||||
load-evidence:
|
||||
sh scripts/evidence-load.sh "$(BASE_URL)" > evidence/load.txt
|
||||
cat evidence/load.txt
|
||||
|
||||
toolchain-evidence:
|
||||
sh scripts/evidence-toolchain.sh "$(BASE_URL)"
|
||||
|
||||
test-faults:
|
||||
BASE_URL="$(BASE_URL)" $(VENV)/bin/pytest -m stack -v -s student-tests/stack
|
||||
$(COMPOSE) --profile faults up -d --wait api-shortttl
|
||||
BASE_URL="$(BASE_URL)" SHORTTTL_URL="$(SHORTTTL_URL)" $(VENV)/bin/pytest -m stack -v -s student-tests/stack
|
||||
|
||||
faults-evidence:
|
||||
{ echo "date: $$(date -u +%FT%TZ) commit: $$(git rev-parse --short HEAD)"; echo "\$$ make test-faults"; \
|
||||
$(MAKE) --no-print-directory test-faults 2>&1; } | sed 's#$(CURDIR)#<repo>#g' > evidence/faults.txt
|
||||
$(MAKE) --no-print-directory test-faults 2>&1; } > evidence/faults.txt
|
||||
cat evidence/faults.txt
|
||||
grep -qE '^=+ [0-9]+ passed in' evidence/faults.txt
|
||||
|
||||
seed:
|
||||
$(PSQL) -f - < scripts/sql/seed-history.sql
|
||||
@@ -232,77 +133,8 @@ explain: seed
|
||||
$(PSQL) -f - < scripts/sql/explain-history.sql; } > evidence/explain-history.txt
|
||||
cat evidence/explain-history.txt
|
||||
|
||||
images:
|
||||
$(PYTHON) scripts/make_images.py
|
||||
track-bench:
|
||||
$(PYTHON) scripts/track.py bench $(TRACK_ARGS)
|
||||
|
||||
queues:
|
||||
sh scripts/broker.sh queues
|
||||
|
||||
topology:
|
||||
{ echo "date: $$(date -u +%FT%TZ) commit: $$(git rev-parse --short HEAD)"; \
|
||||
echo "$$ rabbitmqctl list_queues -p messenger name type durable policy messages"; \
|
||||
$(COMPOSE) exec -T broker rabbitmqctl -q list_queues -p messenger name type durable policy messages; \
|
||||
echo "$$ rabbitmqctl list_consumers -p messenger"; \
|
||||
$(COMPOSE) exec -T broker rabbitmqctl -q list_consumers -p messenger queue_name ack_required prefetch_count; \
|
||||
echo "$$ rabbitmqctl list_permissions -p messenger"; \
|
||||
$(COMPOSE) exec -T broker rabbitmqctl -q list_permissions -p messenger; \
|
||||
echo "$$ rabbitmqctl list_users"; \
|
||||
$(COMPOSE) exec -T broker rabbitmqctl -q list_users; \
|
||||
echo "$$ docker compose ps"; \
|
||||
$(COMPOSE) ps --format '{{.Service}}\t{{.Status}}\t{{.Ports}}'; } > evidence/topology.txt
|
||||
cat evidence/topology.txt
|
||||
|
||||
worker-stop:
|
||||
sh scripts/worker.sh stop
|
||||
|
||||
worker-start:
|
||||
sh scripts/worker.sh start
|
||||
|
||||
broker-restart:
|
||||
sh scripts/broker.sh restart
|
||||
|
||||
suite-preflight:
|
||||
BASE_URL="$(BASE_URL)" $(PYTHON) scripts/pipeline_suite.py --preflight
|
||||
|
||||
level3:
|
||||
BASE_URL="$(BASE_URL)" $(PYTHON) scripts/pipeline_suite.py --level 3 --output evidence/level3.json
|
||||
|
||||
level4:
|
||||
BASE_URL="$(BASE_URL)" $(PYTHON) scripts/pipeline_suite.py --level 4 --output evidence/level4.json
|
||||
|
||||
failed:
|
||||
$(COMPOSE) run --rm --no-deps -T worker python -m messenger.admin failed
|
||||
|
||||
replay:
|
||||
@test -n "$(ID)" || (echo "Set ID=<attachment_id>"; exit 2)
|
||||
$(COMPOSE) run --rm --no-deps -T worker python -m messenger.admin replay --attachment-id "$(ID)"
|
||||
|
||||
dlq:
|
||||
sh scripts/broker.sh dlq
|
||||
|
||||
pipeline-evidence:
|
||||
$(PYTHON) scripts/pipeline_evidence.py --base-url "$(BASE_URL)" > evidence/pipeline-stand.txt; \
|
||||
status=$$?; cat evidence/pipeline-stand.txt; exit $$status
|
||||
|
||||
obs-validate:
|
||||
sh scripts/obs-validate.sh
|
||||
|
||||
telemetry-check:
|
||||
$(OBS_CHECK) grafana > evidence/grafana.json
|
||||
$(OBS_CHECK) dashboards --strict > evidence/dashboards.json
|
||||
$(OBS_CHECK) request --base-url "$(BASE_URL)" > evidence/trace-request.json
|
||||
$(OBS_CHECK) job --base-url "$(BASE_URL)" > evidence/trace-job.json
|
||||
$(OBS_CHECK) leaks --base-url "$(BASE_URL)" > evidence/leaks.json
|
||||
$(OBS_CHECK) query 'count by (__name__, job) ($(APP_METRICS))' \
|
||||
'count by (http_route, http_request_method) (http_server_request_duration_seconds_count)' \
|
||||
'count by (job_type, outcome) (messenger_jobs_processed_total)' > evidence/cardinality.json
|
||||
@echo "telemetry-check: evidence/grafana.json dashboards.json trace-request.json trace-job.json leaks.json cardinality.json"
|
||||
|
||||
.PHONY: track2 reprocess
|
||||
|
||||
track2:
|
||||
BASE_URL="$(BASE_URL)" $(PYTHON) scripts/pipeline_suite.py --level 5 --only "$(TRACK2_SCENARIOS)" --output "$(TRACK2_OUTPUT)"
|
||||
|
||||
reprocess:
|
||||
@test -n "$(ID)" || (echo "Set ID=<attachment_id>"; exit 2)
|
||||
$(COMPOSE) run --rm --no-deps -T worker python -m messenger.admin reprocess --attachment-id "$(ID)" --pipeline-version "$(PIPELINE_VERSION)"
|
||||
track-recovery:
|
||||
$(PYTHON) scripts/track.py recovery $(TRACK_ARGS)
|
||||
|
||||
@@ -1,6 +1,6 @@
|
||||
# Лабораторная 6. Наблюдаемость: OpenTelemetry и Grafana
|
||||
# Лабораторная 2. PostgreSQL, сессии и Redis/Valkey
|
||||
|
||||
Научиться находить причину деградации через метрики, логи и трассы всей системы, включая фоновую обработку.
|
||||
Перенести состояние в постоянное хранилище и связать запросы с аутентифицированным пользователем. Подтверждённые сообщения и действующие сессии переживают перезапуск.
|
||||
|
||||
Это **skeleton**, а не готовый сервер. Здесь есть задание, контракт и публичные проверки. Реализацию приложения, Dockerfile и требуемую инфраструктуру пишет студент. Язык и framework свободные; UI не обязателен.
|
||||
|
||||
@@ -8,41 +8,41 @@
|
||||
|
||||
## Откуда начинаем
|
||||
|
||||
Перенесите минимум lab5. Бизнес-API не меняется. Должны оставаться API-реплики, БД, S3, broker и worker.
|
||||
Перенесите собственный минимум lab1. Изменения API: password при регистрации, Basic для создания сессии, Bearer вместо X-User-Id для бизнес-запросов.
|
||||
|
||||
**Архитектура:** API/worker → OTLP → OTel Collector → хранилища metrics/logs/traces → Grafana; queue context связывает API и worker.
|
||||
**Архитектура:** Клиент → API → PostgreSQL; на 4 появляется Redis ИЛИ Valkey для сессий/кэша.
|
||||
|
||||
## Что сделать
|
||||
|
||||
1. Выберите хранилища: например Prometheus для метрик, Loki для логов, Tempo для трасс. Разрешена другая совместимая комбинация с Grafana; Grafana сама не хранит все три сигнала.
|
||||
2. Добавьте SDK-инструментацию API и worker и отдельный Collector в общий Compose/Swarm; настройте receivers/processors/exporters и хранение данных.
|
||||
3. Реализуйте набор сигналов contracts/observability.md и импортируемые dashboard/datasources. Не используйте user_id/chat_id/message_id как labels метрик.
|
||||
4. Проверьте связь запроса, структурного лога и обработки задания. Секреты, тела сообщений и изображения не должны попадать в telemetry.
|
||||
5. Создайте нагрузку, внедрите два ограниченных отказа и найдите их причину только с помощью сохранённых наблюдений; приложите доказательства.
|
||||
1. Опишите таблицы, ограничения, индексы и транзакционные границы до написания запросов. Добавьте версионируемые миграции.
|
||||
2. Перенесите пользователей, чаты, членство и сообщения в PostgreSQL. Не используйте SQLite как замену PostgreSQL в принимаемом стенде.
|
||||
3. Реализуйте регистрацию с password KDF, вход через Basic, opaque Bearer-сессию, expiry и logout. Действующие сессии тоже должны сохраняться.
|
||||
4. Подготовьте единый локальный запуск API и БД (Compose рекомендуется уже здесь), подключите именованные volumes.
|
||||
5. Пройдите smoke и тест полного перезапуска. На 4 добавьте Redis/Valkey с конкретной ролью и повторите эксперимент отказа.
|
||||
|
||||
## Оценка «3»: работающий минимум
|
||||
|
||||
- Весь минимум lab5 работает. Collector, хранилища трёх сигналов и Grafana включены в общий воспроизводимый стенд; конфиги и provisioning лежат в Git, persistent volumes сохраняют нужную историю.
|
||||
- API и worker отдают OTLP в Collector. В Grafana видны: RPS/errors/duration API, успешные/ошибочные jobs и duration worker; доступны структурные логи и реальные трассы API и worker.
|
||||
- Есть импортируемый dashboard, а не только screenshot. Сохраняются низкокардинальные атрибуты и идентификаторы trace/span в логах; содержимое сообщений, пароли/токены не экспортируются.
|
||||
- На контролируемом запросе можно найти trace и связанный лог; на job — worker trace и лог. make test проходит при включённой телеметрии. Объяснено назначение каждого хранилища.
|
||||
- Минимум lab1 сохранён с объявленным переходом на новую аутентификацию. Все обязательные данные и ещё действующие сессии переживают рестарт API и хранилищ без удаления volumes.
|
||||
- PostgreSQL содержит пользователей, чаты, участников и сообщения. Есть первичные/внешние ключи, уникальность username и миграции с нуля. Составная операция создания чата выполняется атомарно.
|
||||
- Basic применяется только на POST /auth/sessions, остальные endpoint требуют Bearer. Есть срок жизни сессии и отзыв; X-User-Id не даёт доступ. Пароли уже хешируются password KDF.
|
||||
- make test и make test-persistence ACTION_SCRIPT=scripts/restart.sh проходят. Миграции повторно запускаются без дублирования данных. Secrets/volumes не попадают в Git.
|
||||
|
||||
## Оценка «4»: уровень стажёра/джуна
|
||||
|
||||
Весь уровень 3 **и все** пункты ниже:
|
||||
|
||||
- W3C trace context переносится API → broker → worker; видны producer/consumer spans с корректной связью parent или link. По одному upload найдена цепочка до S3/DB результата, включая retry.
|
||||
- Dashboard показывает p50/p95/p99, долю ошибок, queue depth/возраст старейшей job, DB pool и saturation worker. Приведены запросы и единицы измерения; percentile вычисляется из histogram, не средних.
|
||||
- Задан проверяемый SLI/SLO и окно; сохранены alert rules минимум для высокого error rate и растущего queue lag. Alerts проверены искусственным отказом; доставка наружу не нужна, достаточно локального состояния firing/resolved.
|
||||
- Collector имеет memory limiter/batch и ограниченную буферизацию/поведение при недоступном backend. Остановка telemetry-хранилища не ломает сообщения и не вызывает бесконечный рост RAM. Отчёт содержит разбор двух инцидентов и шаги диагностики.
|
||||
- Redis ИЛИ Valkey реально используется для сессий с TTL либо осмысленного кэша. Опишите источник истины, политику expiry и инвалидации. Если это единственное хранилище сессий, включите persistence, выдерживающее проверяемый рестарт; один TTL не сохраняет данные.
|
||||
- Используются параметризованные запросы/безопасный ORM, ограниченный connection pool и таймауты. Проверены гонка регистрации одинакового username и rollback составной операции.
|
||||
- Индекс истории обоснован запросом и EXPLAIN (ANALYZE, BUFFERS) на ≥10 000 сообщениях; пагинация не использует полный scan всей истории на каждую страницу.
|
||||
- Есть автоматическая проверка expiry при коротком SESSION_TTL_SECONDS, logout, неверного пароля и недоступности Redis/БД. При потере сервиса приложение возвращает ограниченную ошибку/корректно обходит кэш, не принимает запрос от анонимного пользователя как доверенный.
|
||||
|
||||
## Оценка «5»: исследование и доказанный результат
|
||||
|
||||
Весь уровень 4 **и один законченный трек на выбор**. Приведите гипотезу, повторяемую методику, результаты и ограничения.
|
||||
|
||||
**Трек 1. Цена наблюдаемости.** Сравните telemetry off/on и ≥2 sampling/aggregation настройки при одинаковой нагрузке: latency, CPU/RAM, объём ingest, потери spans. Объясните, какие ошибки и редкие медленные запросы теряются; предложите и проверьте сбалансированную конфигурацию.
|
||||
**Трек 1. Согласованность кэша.** Покажите на конкурентном сценарии stale read или cache stampede, реализуйте защиту и измерьте число SQL-запросов/latency до и после. Докажите read-after-write из контракта и восстановление после рестарта кэша; одной установки Redis недостаточно.
|
||||
|
||||
**Трек 2. SLO и обнаружение инцидентов.** Обоснуйте SLO для API и времени до ready, реализуйте burn-rate alerts с несколькими окнами, воспроизведите краткий всплеск и длительную деградацию. Измерьте время обнаружения/восстановления, ложные срабатывания и покажите runbook, по которому другой студент находит причину.
|
||||
**Трек 2. План запроса и восстановление.** Исследуйте ≥100 000 сообщений с неравномерными размерами чатов, сравните ≥2 индекса/запроса и стоимость записи. Сделайте backup → восстановление в новое хранилище → сверку количества и выбранных сообщений. Обсудите время восстановления и границы потери данных.
|
||||
|
||||
## Как начать и проверить
|
||||
|
||||
@@ -78,28 +78,28 @@ Smoke не выставляет оценку автоматически. Про
|
||||
|
||||
## Сценарий защиты
|
||||
|
||||
1. С нуля поднять стенд, импортировать provisioning без ручного набора dashboard, запустить smoke и нагрузку.
|
||||
2. Показать свежие метрики, одну трассу и соответствующий структурный лог API и worker; проверить, что это данные своего приложения.
|
||||
3. Для 4: пройти от upload до worker в одном trace/связанных traces, остановить worker или ограничить DB, увидеть firing и затем resolved.
|
||||
4. Остановить telemetry backend, проверить сохранение работы API и ограниченное поведение exporter. Для 5: повторить эксперимент.
|
||||
1. Применить миграции к пустому volume, создать пользователей, войти, отправить сообщение.
|
||||
2. Запустить persistence-сценарий: он держит токен только в памяти тестового процесса; action script перезапускает API и все используемые хранилища, сохраняя volumes.
|
||||
3. После готовности тот же токен читает те же данные; после logout — 401. Повторить с отдельным коротким TTL для проверки expiry.
|
||||
4. Для 4: показать роль Redis/Valkey, план SQL и ошибку зависимости. Для 5: выполнить выбранный эксперимент.
|
||||
|
||||
## Что должно быть в PR
|
||||
|
||||
Collector configuration, конфиги backend, Grafana provisioning/dashboards, alert rules по уровню, схема сигналов и отчёт инцидентов.
|
||||
Исходники, Dockerfile, миграции, compose.yaml либо эквивалентный воспроизводимый запуск, scripts/restart.sh, собственные тесты и отчёт.
|
||||
|
||||
Заполните `REPORT.md` и [шаблон PR](.github/pull_request_template.md), укажите целевую оценку/трек. Не меняйте обязательный контракт и публичные tests ради зелёного результата. Сохраняйте возможности предыдущих лабораторных в пределах [объявленных переходов](COURSE.md).
|
||||
|
||||
## Вопросы на защите
|
||||
|
||||
- Чем лог, метрика и trace отвечают на разные вопросы об одном инциденте?
|
||||
- Почему chat_id в labels может исчерпать хранилище?
|
||||
- Как очередь переносит причинную связь между процессами?
|
||||
- Почему среднее latency не заменяет p99 и почему нельзя усреднять p99 реплик?
|
||||
- Что подтверждает COMMIT и какие гарантии зависят от настройки durability?
|
||||
- Где хранятся сессии и что будет после flush/restart Redis?
|
||||
- Чем аутентификация отличается от доступа к конкретному чату?
|
||||
- Почему hash пароля и быстрый checksum имеют разные задачи?
|
||||
|
||||
## Первичные материалы
|
||||
|
||||
- [OTel Collector configuration](https://opentelemetry.io/docs/collector/configuration/)
|
||||
- [OTel propagation](https://opentelemetry.io/docs/concepts/context-propagation/)
|
||||
- [W3C Trace Context](https://www.w3.org/TR/trace-context/)
|
||||
- [Prometheus histograms](https://prometheus.io/docs/practices/histograms/)
|
||||
- [Grafana provisioning](https://grafana.com/docs/grafana/latest/administration/provisioning/)
|
||||
- [PostgreSQL transactions](https://www.postgresql.org/docs/current/tutorial-transactions.html)
|
||||
- [PostgreSQL EXPLAIN](https://www.postgresql.org/docs/current/using-explain.html)
|
||||
- [Valkey persistence](https://valkey.io/topics/persistence/)
|
||||
- [Redis persistence](https://redis.io/docs/latest/operate/oss_and_stack/management/persistence/)
|
||||
- [Basic authentication](https://www.rfc-editor.org/info/rfc7617/)
|
||||
|
||||
@@ -1,281 +1,555 @@
|
||||
# Отчёт — лабораторная 6
|
||||
# Отчёт — лабораторная 2
|
||||
|
||||
Автор: **Костылев Артём, БПИ2303**. Заявленная оценка — **«5»**, трек 1 «Цена наблюдаемости»: уровни 3 и 4 подтверждены таблицей ниже, пять режимов наблюдаемости — 15 пригодными сериями. Это заявка по рубрике, а не автоматически выставленная оценка.
|
||||
|
||||
Ветка: `solution/bpi2303-kostylev`. Проверенный ревью SHA: `6ca1c7549978af3127966540385195ab0587f2e1`; измеряемый код приложения, инфраструктуры и генератора: `bc1d7aa7713858acb5d65b61d07e69a640f1ee97`. Между ними эти файлы не менялись. Документационный коммит определяется через `git log -1 --format=%H -- REPORT.md`; публикация выполняется отдельным этапом, здесь не заявлены.
|
||||
|
||||
Актуальные результаты: [индекс evidence](evidence/README.md), [перенос поздних исправлений](evidence/forward-port.md), [сводка ревью](evidence/review-summary.md), [проверки отчёта](evidence/report-audit.md), [финальный аудит нагрузки](evidence/load-validation.md). Основа ЛР5 — `f88e9ba43cdfd7eb6a5a7ae5feb4247b4e820071`, поздний перенос доведён до immutable source `c7b8feb805d151e878d77b0dff47320a9436b172`; учтены 281 путь source diff. Результаты ЛР5 не выдаются за проверки ЛР6.
|
||||
- Автор, группа: Костылев Артём, БПИ2303
|
||||
- Целевая оценка: **5**; трек «5» — **трек 2 «План запроса и восстановление»**
|
||||
- Commit/PR: ветка `solution/bpi2303-kostylev`; код (`src/`, `compose.yaml`, `Dockerfile`, `student-tests/`)
|
||||
последний раз менялся в коммите `bc90266`. Все файлы `evidence/` сняты на `6468ee2`: код там тот же, после
|
||||
`bc90266` менялись только скрипты доказательств и архив openspec. Дальше коммиты меняют только отчёт и
|
||||
`evidence/`. PR «ЛР 2 — БПИ2303 — Костылев — на 5» в репозиторий преподавателя заполняется по
|
||||
`.github/pull_request_template.md`; его ссылка появляется при публикации
|
||||
- Использованные источники, библиотеки и помощь ИИ: FastAPI, gunicorn + uvicorn-worker, dishka, pydantic,
|
||||
structlog, asyncpg, redis-py (`redis.asyncio`), argon2-cffi, pytest, ruff, ty (версии —
|
||||
`evidence/environment.txt` и `uv.lock`); документация PostgreSQL (transactions, EXPLAIN, WAL
|
||||
reliability), Valkey persistence, RFC 7617, OWASP Password Storage Cheat Sheet.
|
||||
Решение перенесено из моей лабы 1 и выполнено с помощью Claude Code; код, стенд и измерения проверены
|
||||
прогонами, перечисленными ниже.
|
||||
|
||||
## Запуск из чистого clone
|
||||
|
||||
Нужны Git, Docker с Compose v2, uv, Python 3.14 для приложения и Python 3.9+ для stdlib-проверок. OpenSpec CLI нужен только для валидации спецификаций. Проверенный host: macOS arm64, 16 CPU; Docker 28.3.2, 16 vCPU и 8 217 190 400 bytes RAM. Версии зависимостей закреплены в [uv.lock](uv.lock), образы — тегом и digest в [Dockerfile](Dockerfile) и [compose.yaml](compose.yaml).
|
||||
|
||||
`REPOSITORY_URL` оператор задаёт адресом своего private fork в MTUCI-Labs. Команды ниже — инструкция воспроизведения; на этапе отчёта Docker и нагрузки не запускались.
|
||||
Требуются Docker с Compose v2 и `make`; системный Python 3.9+ — только для публичных проверок. Образы
|
||||
сторонних сервисов закреплены версией и digest, API собирается из исходников.
|
||||
|
||||
```sh
|
||||
git clone "$REPOSITORY_URL" mtusi2026lab6
|
||||
cd mtusi2026lab6
|
||||
git switch -c solution/bpi2303-kostylev origin/main
|
||||
uv python install 3.14
|
||||
uv sync --locked --group dev
|
||||
make check validate lint
|
||||
openspec validate --all --strict --no-interactive
|
||||
scripts/lab6.sh make secrets
|
||||
scripts/lab6.sh docker compose config --quiet
|
||||
scripts/lab6.sh make up
|
||||
scripts/lab6.sh make ps
|
||||
curl --fail http://127.0.0.1:18086/health/ready
|
||||
scripts/lab6.sh make obs-validate
|
||||
scripts/lab6.sh make test
|
||||
scripts/lab6.sh make telemetry-check
|
||||
scripts/lab6.sh make test-persistence ACTION_SCRIPT=scripts/restart.sh
|
||||
scripts/lab6.sh make test-failover ACTION_SCRIPT=scripts/stop-one.sh
|
||||
scripts/lab6.sh make restore
|
||||
scripts/lab6.sh make down
|
||||
git clone <repo> && cd mtusi2026lab2 && git checkout solution/bpi2303-kostylev
|
||||
|
||||
make secrets # secrets/*: пароль PostgreSQL, DATABASE_URL, valkey.conf и CACHE_URL, ключ курсора; .env из .env.example
|
||||
make up # docker compose up -d --build --wait: postgres и valkey → migrate → api, ждёт healthy
|
||||
make test # публичный smoke против http://localhost:$API_PORT
|
||||
make test-persistence ACTION_SCRIPT=scripts/restart.sh
|
||||
|
||||
make down # безопасная остановка: контейнеры удаляются, volumes с данными остаются
|
||||
make reset-data # НАМЕРЕННОЕ удаление учебных данных: docker compose down -v
|
||||
```
|
||||
|
||||
`make secrets` создаёт локальные `.env` и `secrets/`, не печатая значения; существующие значения сохраняются. `make up` собирает образ и ждёт healthy: PostgreSQL → one-shot `alembic upgrade head`, S3 → `s3-init` (bucket, политики и отдельные роли), RabbitMQ → API ×2 / relay / worker → LB; параллельно поднимаются Collector и хранилища. Ручной SQL, ручное создание datasource/dashboard и внешний S3 не требуются. Повторный запуск миграций: `scripts/lab6.sh make migrate`.
|
||||
Стенд останавливают только `make down` и `make reset-data`: в них стоит `--profile faults --profile track`. Простой
|
||||
`docker compose down` не видит профильные `api-shortttl` и `postgres-restore`, которые поднимают
|
||||
`make test-faults`, трек и `make environment-evidence`, и не может удалить сеть («Resource is still in use»). При
|
||||
ручном вызове профили нужно указать явно: `docker compose --profile faults --profile track down`.
|
||||
|
||||
Полные собственные тесты запускаются отдельно: `scripts/lab6.sh make student-test`. Обвязка задаёт обход localhost через `NO_PROXY`, в том числе при системном прокси macOS. Тесты создают одноразовые Docker-зависимости и не должны идти одновременно с измерениями трека. В отчётном этапе использован сохранённый результат; свежий запуск фазы validation описан в [финальном аудите](evidence/load-validation.md). Данные публичного API синтетические. Для повторных экспериментов сохраняйте вывод в новый каталог, не перезаписывая принятые evidence.
|
||||
`make secrets` идемпотентен: существующие файлы не перезаписываются, поэтому пароль остаётся согласованным
|
||||
с уже созданным volume. Значения нигде не печатаются. Порты хоста задают `API_PORT` (по умолчанию 8080) и
|
||||
`SHORTTTL_PORT` (8082, экземпляр с коротким TTL) в `.env`. Makefile читает `.env`, поэтому `BASE_URL` и
|
||||
`SHORTTTL_URL` следуют за ними без флагов. Переопределить порты можно переменной окружения
|
||||
(`API_PORT=18082 make up`: Makefile запоминает её до чтения `.env` и возвращает после) или аргументом make
|
||||
(`make test-faults API_PORT=18082 SHORTTTL_PORT=22082`). Доказательства в `evidence/` сняты на портах 18082 и 22082.
|
||||
Образ приложения помечается именем compose-проекта (`mtusi-messenger:${COMPOSE_PROJECT_NAME}`), поэтому клон
|
||||
в другом каталоге собирает свой образ и не перетирает чужой.
|
||||
|
||||
`make down` останавливает только выбранный Compose project и сохраняет volumes. Существующая цель `scripts/lab6.sh make reset-data` намеренно удаляет его учебные volumes; она не входит в обычный запуск и в отчётном этапе не выполнялась. Не останавливайте чужие контейнеры. Основной project — `mtusi2026lab6` в этом репозитории; временный — только `hlpipe-lab6-*` в разрешённом координатором каталоге, с отдельными портами/volumes.
|
||||
Собственные проверки и тулчейн:
|
||||
|
||||
### Порты и настройки
|
||||
```sh
|
||||
make install # uv sync --group dev (Python 3.14, зависимости из uv.lock, openapi-spec-validator)
|
||||
make lint # ruff check + ruff format --check + ty check
|
||||
make student-test # собственные тесты; поднимают одноразовые PostgreSQL и Valkey тех же образов в Docker
|
||||
make student-test PYTEST_ARGS='-v -k cache' # выборка тестов с именами (аргументы уходят в pytest)
|
||||
make check # офлайн-проверка skeleton
|
||||
make validate # полная валидация OpenAPI 3.1: берёт .venv/bin/python, если его создал make install
|
||||
make migrate # повторный запуск миграций на текущей БД
|
||||
make test-faults # поднимает api-shortttl и гоняет 13 тестов отказов против стенда
|
||||
make seed explain # 20 000 сообщений в синтетическом чате и EXPLAIN (ANALYZE, BUFFERS)
|
||||
make track-bench # трек 5: база track, 1 000 000 сообщений по Ципфу, 4 набора индексов + контроль, pgbench (~10 мин)
|
||||
make track-recovery # трек 5: pg_dump → новый postgres-restore → pg_restore → сверка, 100k и 1M × 3 (~1.5 мин)
|
||||
```
|
||||
|
||||
Все опубликованные порты привязаны к `127.0.0.1`; API-реплики, PostgreSQL, Valkey, S3, AMQP, OTLP и self-metrics Collector доступны только внутри стенда. [scripts/lab6.sh](scripts/lab6.sh) задаёт project, порты, URL проверок и `NO_PROXY`, затем выполняет переданную команду. Перед запуском оператор проверяет доступность портов и отсутствие конфликтующих переменных своего shell.
|
||||
Без `make install` каталога `.venv` нет, и `make validate` идёт системным `python3`, где нет
|
||||
`openapi_spec_validator` (`ModuleNotFoundError`). Тогда нужен `make install` или `pip install -r requirements-dev.txt`.
|
||||
|
||||
| Назначение | Переменная | Host port |
|
||||
| --- | --- | ---: |
|
||||
| API через HAProxy | `LB_HTTP_PORT` | 18086 |
|
||||
| HAProxy stats | `LB_STATS_PORT` | 26085 |
|
||||
| RabbitMQ management | `BROKER_MANAGEMENT_PORT` | 26086 |
|
||||
| Prometheus | `PROMETHEUS_PORT` | 26090 |
|
||||
| Loki | `LOKI_PORT` | 26310 |
|
||||
| Tempo query | `TEMPO_PORT` | 26320 |
|
||||
| Grafana | `GRAFANA_PORT` | 26300 |
|
||||
Короткая проверка трека без перезаписи `evidence/track` (аргументы уходят в `scripts/track.py`):
|
||||
|
||||
Grafana: пользователь `admin`, пароль из локального `secrets/grafana_admin_password`; его значение не входит в отчёт. Provisioning создаёт datasources `prometheus`, `loki`, `tempo` и dashboards API/pipeline, переходы exemplar → trace и trace ↔ logs.
|
||||
```sh
|
||||
make track-bench TRACK_ARGS='--messages 20000 --write-seconds 2 --write-repeats 1 --out backups/track-quick' # ~40 с
|
||||
make track-recovery TRACK_ARGS='--sizes 100000 --repeats 1 --out backups/track-quick' # ~15 с
|
||||
```
|
||||
|
||||
| Настройки из `.env.example` | Фактическое применение |
|
||||
| --- | --- |
|
||||
| `APP_HOST`, `APP_PORT`, `APP_ENV` | Логические поля skeleton; Compose не передаёт их приложению. Образ слушает `HOST=0.0.0.0`, `PORT=8080`; окружение OTel задаёт `deployment.environment.name=lab` |
|
||||
| `SESSION_STORE=postgres`, `CACHE_URL_FILE`, `SESSION_TTL_SECONDS` | PostgreSQL — источник сессий; Valkey — адаптер кэша. Переключателя backend через `SESSION_STORE` нет; TTL по умолчанию 3600 s |
|
||||
| `DATABASE_URL_FILE`, `CURSOR_SECRET_FILE`, S3 `*_FILE` | Compose монтирует роли в `/run/secrets`; SQLAlchemy переводит DSN в `postgresql+asyncpg` |
|
||||
| `BROKER_URL_FILE` | В relay и worker одинаковый путь `/run/secrets/broker_url`, но разные secrets `broker_url_api` / `broker_url_worker` и права |
|
||||
| `API_REPLICAS`, `WEB_CONCURRENCY`, `DB_POOL_MAX_SIZE` | 2 реплики ×2 процесса, пул по 8 соединений на процесс; relay/worker по `PIPELINE_DB_POOL_MAX_SIZE=4` |
|
||||
| `MAX_UPLOAD_BYTES`, `MAX_IMAGE_PIXELS`, `WORKER_CONCURRENCY` | 10 MiB, 40 MP, 2 задания; render timeout 30 s, лимит адресного пространства renderer 448 MiB |
|
||||
| `OTEL_*`, `TELEMETRY_SHUTDOWN_SECONDS` | OTLP/HTTP, timeout 2 s, метрики каждые 10 s, очереди SDK по 2048, bounded shutdown 2 s; SDK off через `OTEL_SDK_DISABLED=true` |
|
||||
| `OTEL_TRACE_RATIO`, `OTEL_COLLECTOR_CONFIG`, `COST_EXPERIMENT` | Дополнительные Compose-параметры: по умолчанию 1, `collector.yaml`, false. Генератор включает fault hook лишь на серию и восстанавливает default в `finally` |
|
||||
Каждый файл доказательств пишет своя цель, с датой и коммитом в заголовке:
|
||||
|
||||
```sh
|
||||
make toolchain-evidence # check, validate, lint, test → checks.txt; student-test -v и выборки -k → student-tests.txt
|
||||
make migrations-evidence # НАМЕРЕННО удаляет volumes: 0001_init на пустом volume, затем повтор → migrations.txt
|
||||
make persistence-evidence # persistence-тест + StartedAt сервисов до и после → persistence.txt
|
||||
make storage-evidence # \d+ схемы, префикс KDF, правила ignore и volumes проекта → schema/kdf/secrets.txt
|
||||
make cache-evidence # AOF, попадания, ключи и отметки отзыва, срок ключа против срока сессии → cache.txt
|
||||
make faults-evidence # make test-faults → faults.txt
|
||||
make load-evidence # 3 прогона tests/load.py c64 с docker stats и ожиданиями pg_stat_activity → load.txt, load-c64-{1,2,3}.json
|
||||
make sigterm-evidence # SIGTERM api при двух запросах в работе: ответы, время и код завершения → sigterm.txt
|
||||
make environment-evidence # host, образы, версии пакетов, uid процессов (сам поднимает профильные сервисы), durability → environment.txt
|
||||
```
|
||||
|
||||
**Версии и стенд:** Python 3.14.7 в образе `python:3.14-slim-trixie@sha256:51dafde8…`,
|
||||
`postgres:17.11-alpine@sha256:266d3c25…`, `valkey/valkey:8.1.11-alpine@sha256:2602ace2…`, uv 0.9.7 по digest, Docker 28.3.2, Compose 2.38.2. Машина —
|
||||
Apple M4 Max, 16 CPU, 48 ГБ RAM, macOS 15.1; VM Docker Desktop — 16 CPU, 7.65 ГиБ. Полный список —
|
||||
`evidence/environment.txt`.
|
||||
|
||||
## Архитектура и решения
|
||||
|
||||
```mermaid
|
||||
flowchart LR
|
||||
Client[Клиент] --> LB[HAProxy]
|
||||
LB --> API[API ×2]
|
||||
API --> PG[(PostgreSQL)]
|
||||
API --> Cache[(Valkey)]
|
||||
API --> S3[(RustFS / S3)]
|
||||
PG --> Relay[Outbox relay]
|
||||
Relay --> Broker[(RabbitMQ)]
|
||||
Broker --> Worker[FastStream worker]
|
||||
Worker --> PG
|
||||
Worker --> S3
|
||||
API -. OTLP .-> Collector[OTel Collector]
|
||||
Relay -. OTLP .-> Collector
|
||||
Worker -. OTLP .-> Collector
|
||||
Collector --> Prom[(Prometheus)]
|
||||
Collector --> Loki[(Loki)]
|
||||
Collector --> Tempo[(Tempo)]
|
||||
Grafana[Grafana] --> Prom
|
||||
Grafana --> Loki
|
||||
Grafana --> Tempo
|
||||
```
|
||||
┌──redis.asyncio, 0.2 с──▶ valkey (кэш сессий, AOF, volume valkeydata)
|
||||
клиент ──HTTP──▶ api (gunicorn, 4 × UvicornWorker)
|
||||
└──asyncpg pool, 1–2 с──▶ postgres (источник истины, volume pgdata)
|
||||
migrate (тот же образ, одноразово до старта api) ──▶ postgres
|
||||
api-shortttl (профиль faults, SESSION_TTL_SECONDS=2) ──▶ те же postgres и valkey
|
||||
```
|
||||
|
||||
Python 3.14; SQLAlchemy **2.0.45 async**, Alembic **1.16.5**, FastAPI, dishka, structlog, FastStream **0.7.8** + aio-pika **10.2.1**; OTel SDK 1.45.1 и инструментации 0.66b1. Инфраструктура: HAProxy 3.2.26, PostgreSQL 17.11, Valkey 8.1.11, RustFS 1.0.4, RabbitMQ 4.1.8, otelcol-contrib 0.163.2, Prometheus 3.15.1, Loki 3.7.9, Tempo 2.10.10, Grafana 12.4.14. Фактические image IDs, non-root users и лимиты: [runtime.json](evidence/forward-published/runtime.json).
|
||||
**Перенесено из лабы 1:** две доменные зоны `identity` и `messaging`, порты и адаптеры, UoW, шина событий
|
||||
с журналом аудита, единый ASGI-конвейер (`X-Request-Id` → предел тела → таймаут, внутри которого
|
||||
аутентификация и обработчик → журнал), курсор с HMAC, pydantic-схемы на границе, structlog за портом
|
||||
`Logger`, non-root образ. **Изменено после ревью** (change `2026-10-28-harden-lab2-after-review`): предел
|
||||
тела 1 MiB считает фактически принятые байты, поэтому и `chunked`-тело больше предела получает `413`.
|
||||
**Изменено после второго ревью** (change `2026-10-28-harden-lab2-second-review`): выход при сбое PostgreSQL
|
||||
снимает отметку отзыва (см. «Инвалидация»); пустой `cursor=` даёт `400`; воркер uvicorn ждёт принятые
|
||||
запросы 7 с, мастер gunicorn ждёт воркеры 8 с (`SHUTDOWN_TIMEOUT_SECONDS`), Docker ждёт 10 с
|
||||
(`stop_grace_period`). В `evidence/sigterm.txt` два запроса в работе: тот, чьё тело дописано через 1 с
|
||||
после `SIGTERM`, получает `201`. Тот, чьё тело не приходит, воркер сам отменяет через 7.2 с (клиент получает
|
||||
`500`) и выходит штатно; контейнер останавливается за 7.68 с с кодом 0. Когда сроки воркера и мастера были
|
||||
равны, мастер успевал убить такой воркер раньше. **Удалено:**
|
||||
адаптеры в память, реестр участников с проекцией, слоёный конвейер и режимы блокировки — инструменты
|
||||
эксперимента лабы 1, которым в PostgreSQL не с чем сравниваться.
|
||||
|
||||
Зоны `identity`, `messaging`, `attachments` разделены на domain/application/infrastructure/entrypoints; домен зависит от портов. `shared` содержит только платформу. `main.py`, `relay.py`, `worker.py` собирают процессы. PostgreSQL хранит пользователей, сессии, сообщения, состояния вложений, jobs и outbox; RustFS — байты, RabbitMQ — доставку, Valkey — ускорение чтения. Prometheus хранит численные временные ряды, Loki — структурные логи, Tempo — spans. Collector принимает/фильтрует/буферизует сигналы, Grafana запрашивает их и связывает; ни один из них не источник бизнес-данных.
|
||||
**Источник истины** — PostgreSQL для всего: пользователей, сессий, чатов, участников и сообщений. API не
|
||||
держит состояния между запросами, поэтому воркеров несколько. Valkey — только кэш сессий: его потеря не
|
||||
теряет данных и не открывает доступ.
|
||||
|
||||
Все runtime-запросы PostgreSQL проходят через SQLAlchemy ORM/Core: `DeclarativeBase`, `create_async_engine`, `async_sessionmaker`, отдельная `AsyncSession` на UoW. `asyncpg` остаётся драйвером и точкой инструментации. Миграции — [alembic/env.py](alembic/env.py) и [alembic/versions](alembic/versions): async engine, `run_sync`, advisory lock, legacy adoption, транзакция на ревизию, head `0007` для trace context. Старого исполняемого SQL-мигратора в инструкции запуска нет.
|
||||
**Схема и ограничения** (`src/messenger/migrations/0001_init.sql`, вывод `\d+` — `evidence/schema.txt`):
|
||||
|
||||
Upload возвращает `202 queued` после durable acceptance; задание и outbox фиксируются атомарно. Relay публикует persistent сообщение с confirms через FastStream/aio-pika, затем отмечает outbox. Неустранимое окно между publish и отметкой допускает повторную доставку. Worker использует manual ack **после COMMIT**; lease/fencing и ключ эффекта `(attachment_id, pipeline_version, variant)` не допускают повторной публикации результата. До ready `/content` отвечает 409. Retry/backoff, DLQ, реестр failed и replay сохранены. Цена outbox — дополнительный poll/таблица и eventual consistency; брокер не даёт exactly-once.
|
||||
| Таблица | Ключи и ограничения | Индексы и зачем |
|
||||
| --- | --- | --- |
|
||||
| `users` | PK `id`; `UNIQUE (username)`; `CHECK` формата `username`, длины `display_name`, префикса `$argon2id$` у хеша | `users_username_key` — вход по username и уникальность |
|
||||
| `sessions` | PK `token_hash` (32 байта SHA-256); FK `user_id → users`; `CHECK expires_at > created_at` | `sessions_user_idx` — удаление истёкших при входе |
|
||||
| `chats` | PK `id`; `CHECK` длины `title`; `last_message_at` — отметка последнего сообщения | — |
|
||||
| `chat_members` | PK `(chat_id, user_id)`; FK `chat_id → chats`, `user_id → users`; `position` — порядок `member_ids` | `(user_id, chat_created_at, chat_id)` — keyset-список чатов одним индексом |
|
||||
| `messages` | PK `id`; FK `(chat_id, sender_id) → chat_members`; `CHECK` длины `text` | `(chat_id, created_at, id)` — keyset-история без сортировки |
|
||||
|
||||
ЛР6 добавила SDK после fork (без preload приложения в gunicorn), OTLP, корреляцию, resource attributes и наблюдение фоновых задач. `traceparent`/`tracestate` сохраняются отдельно от payload в jobs/outbox и передаются в headers; producer/consumer spans создаёт `RabbitTelemetryMiddleware`. S3 spans показывают операцию без ключей, SQL client spans — работу БД. Retry сохраняет причинную связь, что видно в одной цепочке из 86 spans.
|
||||
Составной FK `messages → chat_members` держит на уровне БД правило «пишет только участник»: вставка от
|
||||
постороннего отклоняется даже в обход API (тест `test_sender_must_be_member_even_bypassing_api`).
|
||||
|
||||
Экспорт выполняют `BatchSpanProcessor`, `BatchLogRecordProcessor`, `PeriodicExportingMetricReader`; network timeout короткий, readiness не проверяет наблюдаемость. Collector: memory limiter 75% / spike 20%, batch 1024/2048 с timeout 2 s, очереди 20 000 spans, 20 000 logs, 50 000 metric points, 2 consumers, retry до 60 s. Буферы конечны и не долговременны: при длительном отказе telemetry теряется, бизнес-запросы продолжаются. `Logger` ограничивает поля, HTTP headers не захватываются, Collector редактирует подозрительные ключи/значения. Границы проверки утечек явно указаны ниже.
|
||||
**Границы транзакций.** Регистрация — один `INSERT … ON CONFLICT (username) DO NOTHING RETURNING`: при
|
||||
гонке ровно один успешен, остальные получают `409`. Вход — один оператор, удаляющий истёкшие сессии
|
||||
пользователя и вставляющий новую. Создание чата — `INSERT chats` и `INSERT chat_members` из
|
||||
`unnest(…) WITH ORDINALITY` в одной транзакции UoW: несуществующий участник даёт нарушение FK, транзакция
|
||||
откатывается целиком, ответ `400`. Сообщение — `SELECT … FOR UPDATE` строки чата с условием членства
|
||||
отправителя (посторонний сразу получает `404` и не встаёт в очередь за участниками, тест
|
||||
`test_outsider_does_not_wait_for_members_lock`), затем одним оператором `INSERT messages` и
|
||||
`UPDATE chats.last_message_at`. Чтения — по одному оператору без явной транзакции.
|
||||
UoW фиксирует только явно, откат — по умолчанию.
|
||||
|
||||
**Порядок истории при нескольких процессах.** Монотонные часы процесса лабы 1 при четырёх воркерах ничего
|
||||
не гарантируют. Агрегат `Chat` хранит `last_message_at` и назначает `created_at = max(now, last + 1 мкс)`
|
||||
под блокировкой строки чата. Порядок фиксации поэтому совпадает с порядком `(created_at, id)`, и
|
||||
keyset-читатель не пропускает сообщение, зафиксированное позже с меньшей отметкой. Цена — запись в один
|
||||
горячий чат сериализуется; разные чаты не мешают друг другу. Идентификаторы — UUIDv7.
|
||||
|
||||
**Зоны и общая БД.** Проекция участников заменена внешним ключом `chat_members.user_id → users`: проверку
|
||||
«участник существует» делает СУБД внутри той же транзакции. Зоны не вызывают и не импортируют друг друга,
|
||||
SQL зоны `messaging` не читает `users` и `sessions`, зона `identity` не читает таблиц чатов — это проверяет
|
||||
тест границ по импортам и по текстам SQL; требование `lab1-event-publication` «Доменные зоны не вызывают
|
||||
друг друга; общая точка — схема БД» заменило прежнее «связаны только событиями». Цена: схемы зон сцеплены,
|
||||
`identity` нельзя вынести в отдельную БД или сервис, не вернув проекцию участников с outbox; FK при создании
|
||||
чата берёт `FOR KEY SHARE` на строках `users`; любое нарушение FK в `INSERT chat_members` обезличенно
|
||||
становится «неизвестный участник» (`400`). Триггер пересмотра — отдельная БД для зоны `identity`.
|
||||
|
||||
**Пароли и сессии.** Argon2id `m=19 MiB, t=2, p=1` (минимум OWASP) в пуле потоков под семафором
|
||||
(2 на воркер), чтобы не блокировать event loop и ограничить память при всплеске регистраций. Для
|
||||
неизвестного username выполняется проверка против фиктивного хеша — время не выдаёт существование
|
||||
пользователя. Токен — `secrets.token_urlsafe(32)` (43 символа, 256 бит); в БД лежит только его SHA-256.
|
||||
Пароль хешируется медленно, потому что у него мало энтропии и перебор надо удорожать; у токена энтропия
|
||||
полная, быстрого хеша достаточно, а утечка таблицы `sessions` не даёт действующих токенов. Срок
|
||||
абсолютный: `expires_at = вход + SESSION_TTL_SECONDS`, проверка по часам приложения, рестарт его не
|
||||
продлевает. Выход — удаление строки.
|
||||
|
||||
**Аутентификация в конвейере.** Страж зоны `identity` работает в ASGI-конвейере до FastAPI, поэтому `401`
|
||||
приходит раньше `404` и `400`, даже при битом JSON. `Basic` разбирается своим строгим парсером (base64 с
|
||||
`validate=True`, первое `:`, UTF-8, ASCII-username) только на `POST /api/v1/auth/sessions`; остальные
|
||||
`/api/v1/*` принимают только `Bearer`. `WWW-Authenticate` выбирается по пути: `Basic realm="messenger",
|
||||
charset="UTF-8"` на входе и `Bearer realm="messenger"` везде, включая `Basic` на бизнес-endpoint.
|
||||
`X-User-Id` не читается нигде. Отказ БД при проверке сессии — `503 unavailable`, не `401`.
|
||||
|
||||
**Пул и таймауты.** asyncpg-пул ленивый (`min_size=0`, `max_size=8` на воркер; 4×8 < `max_connections`),
|
||||
подключение 1 с, ожидание соединения из пула 1 с, команда 2 с на клиенте и `statement_timeout`,
|
||||
`lock_timeout` 2 с на сервере. Сетевые ошибки и отказ сервера превращаются в `503`. Готовность
|
||||
`/health/ready` выполняет `SELECT 1` через тот же пул; `/health/live` от БД не зависит.
|
||||
|
||||
**Роль Valkey: read-through кэш сессий.** Адаптер `CachedSessionDirectory` оборачивает справочник сессий
|
||||
PostgreSQL за тем же портом чтения `SessionDirectory` и реализует отдельный порт `SessionRevocations` для
|
||||
отзыва (без кэша — пустой `NoRevocations`) — домен и обработчики о кэше не знают.
|
||||
|
||||
- *Что лежит:* ключ `session:<sha256 токена>`, значение — `user_id` и сроки сессии. Токена в кэше нет.
|
||||
- *Чтение:* `GET`; промах → `SELECT` в PostgreSQL → `SET … NX PXAT`. Повторные проверки одного токена
|
||||
обслуживает Valkey (`keyspace_hits` растёт, `evidence/cache.txt`, `evidence/faults.txt`).
|
||||
- *Expiry:* `PXAT` — абсолютное время, `min(expires_at, сейчас + SESSION_CACHE_TTL_SECONDS)`; повторное
|
||||
заполнение не продлевает сессию, ключ не переживает сессию (`pexpiretime` ≤ `expires_at` в
|
||||
`evidence/cache.txt`). Потолок 300 с — страховка от ошибки инвалидации.
|
||||
- *Инвалидация:* выход сначала пишет отметку отзыва `SET key "-" PXAT expires_at`, затем удаляет строку в
|
||||
БД. Заполнение идёт только с `NX`, поэтому читатель, достававший сессию из БД в момент выхода, не
|
||||
перетрёт отметку и не оживит токен (тест `test_fill_racing_with_logout_does_not_revive_token`). Если
|
||||
отметку записать нельзя, выход отвечает `503` и сессию не трогает: иначе после возвращения Valkey из AOF
|
||||
ожила бы закэшированная запись. Если отметка записана, а удаление или `COMMIT` в PostgreSQL упали,
|
||||
отметка снимается (`DEL`, через тот же размыкатель) и выход отвечает `503`. Значит, `503` всегда означает
|
||||
«ничего не изменилось»: токен работает, повтор после возвращения БД даёт `204` (тест
|
||||
`test_logout_rejected_by_database_changes_nothing`). До исправления отметка оставалась: повтор отвечал
|
||||
`401`, а после вытеснения отметки или `FLUSHALL` токен оживал. Остаток без двухфазной фиксации: при
|
||||
неоднозначном `COMMIT` строка уже удалена, и если в то же окно чтение успеет заполнить кэш, токен
|
||||
проживёт в кэше до 300 с. Клиент же получил `503` и повторит выход.
|
||||
- *Недоступность:* таймаут 0.2 с, один повтор на новом соединении, размыкатель на 1 с. Проверка уходит в
|
||||
PostgreSQL, неизвестный токен получает `401`; запрос никогда не становится анонимным. Готовность от
|
||||
Valkey не зависит.
|
||||
- *Persistence:* AOF `appendfsync always` на volume `valkeydata`: подтверждённая отметка отзыва уже на
|
||||
диске, рестарт сохраняет тёплый кэш и отметки. `FLUSHALL` безвреден: источник истины — PostgreSQL.
|
||||
`maxmemory 64mb` с `volatile-lru`: вытеснение любой записи безопасно по той же причине.
|
||||
|
||||
**Курсор** подписывается постоянным ключом из `secrets/cursor_secret`: страница, выданная одним воркером,
|
||||
продолжается другим и после рестарта.
|
||||
|
||||
**Миграции.** `python -m messenger.migrate`: `pg_advisory_lock`, `schema_migrations(version, checksum,
|
||||
applied_at)`, каждая версия — в своей транзакции, изменённая применённая миграция останавливает запуск.
|
||||
Одноразовый сервис `migrate` стартует после `postgres: service_healthy`, `api` — после
|
||||
`migrate: service_completed_successfully`. Применение к пустому volume и безопасный повтор —
|
||||
`evidence/migrations.txt`.
|
||||
|
||||
**Инфраструктура** (`compose.yaml`, одна внутренняя сеть `backend`, наружу — только API на `127.0.0.1`):
|
||||
|
||||
| Роль | Сервис | Версия / digest | Health / readiness | Volume | Сеть / порт | Credentials |
|
||||
| --- | --- | --- | --- | --- | --- | --- |
|
||||
| api | `api` | образ `mtusi-messenger:${COMPOSE_PROJECT_NAME}` из `Dockerfile`, python по digest, uid 10001; `SIGTERM`: воркер ждёт 7 с, gunicorn 8 с, `stop_grace_period` 10 с | `GET /health/ready` (пингует БД), при старте раз в 200 мс | нет | `127.0.0.1:${API_PORT:-8080}:8080` | secrets `database_url`, `cache_url`, `cursor_secret` через `*_FILE` |
|
||||
| postgres | `postgres` | `postgres:17.11-alpine@sha256:266d3c25…`, uid 70 | `pg_isready`, при старте раз в 200 мс (`start_interval`) | `pgdata:/var/lib/postgresql/data` | `backend`, порт не публикуется | secret `postgres_password` через `POSTGRES_PASSWORD_FILE` |
|
||||
| cache | `valkey` | `valkey/valkey:8.1.11-alpine@sha256:2602ace2…`, uid 999 | `valkey-cli ping` с паролем | `valkeydata:/data` (AOF) | `backend`, порт не публикуется | secret `valkey.conf` (`requirepass`); API — secret `cache_url` |
|
||||
| bootstrap | `migrate` | образ api | код выхода 0 | нет | `backend` | secret `database_url` |
|
||||
| expiry-тест | `api-shortttl` (профиль `faults`) | образ api, `SESSION_TTL_SECONDS=2`, 1 воркер | как у api | нет | `127.0.0.1:${SHORTTTL_PORT:-8082}:8080` | как у api |
|
||||
|
||||
Критичная зависимость готовности — только PostgreSQL. Bootstrap: `make secrets` (идемпотентно), `make up`
|
||||
(миграции применяет `migrate`), повтор обеих команд безопасен.
|
||||
|
||||
**Соответствие `.env.example` реальной конфигурации:**
|
||||
|
||||
| `.env.example` | В решении | Комментарий |
|
||||
| --- | --- | --- |
|
||||
| `APP_HOST`, `APP_PORT` | `HOST`, `PORT` | заданы в образе (`0.0.0.0:8080`); порт хоста — `API_PORT` |
|
||||
| `APP_ENV` | не используется | режимов окружения нет |
|
||||
| `SESSION_TTL_SECONDS` | `SESSION_TTL_SECONDS` | по умолчанию 3600 |
|
||||
| `DATABASE_URL_FILE` | `DATABASE_URL_FILE` | любой параметр читается из `<ИМЯ>_FILE` |
|
||||
| `SESSION_STORE=postgres` | фиксировано | PostgreSQL — источник истины сессий, Valkey — кэш поверх него |
|
||||
| `CACHE_URL_FILE` | `CACHE_URL_FILE` | без него кэш выключен и всё работает как на уровне «3» |
|
||||
| — | `CURSOR_SECRET_FILE`, `WEB_CONCURRENCY`, `API_PORT`, `SHORTTTL_PORT` | ключ курсора, число воркеров, порты хоста |
|
||||
| — | `SESSION_CACHE_TTL_SECONDS`, `CACHE_TIMEOUT_SECONDS`, `CACHE_COOLDOWN_SECONDS` | потолок срока ключа 300 с, таймаут 0.2 с, размыкатель 1 с |
|
||||
| — | `DB_POOL_MAX_SIZE`, `DB_*_TIMEOUT_SECONDS`, `PASSWORD_HASH_CONCURRENCY` | пул 8, подключение и `acquire` 1 с, команда 2 с, Argon2 по 2 |
|
||||
|
||||
## Доказательства критериев
|
||||
|
||||
Команды в таблице выполняются с префиксом `scripts/lab6.sh`, если работают со стендом. Полные команды, UTC, SHA и exit code сохранены в указанных логах. **Актуальный набор — `forward-published`**; исторические исключения помечены явно и применяются только к неизменным механизмам согласно [preserved-mechanisms.json](evidence/forward-published/preserved-mechanisms.json).
|
||||
|
||||
| Критерий | Команда / сценарий | Наблюдение | Файл |
|
||||
| Критерий README | Команда/сценарий | Наблюдаемый результат | Файл доказательства |
|
||||
| --- | --- | --- | --- |
|
||||
| Структура, контракт, качество | `make check validate lint` | OpenAPI 1.6.0 / JSON Schema, ruff, 216 форматированных файлов, ty — PASS | [final-quality.txt](evidence/forward-published/final-quality.txt), [свежая проверка отчёта](evidence/report-audit.md) |
|
||||
| Собственные регрессии, SQLAlchemy/Alembic | `scripts/lab6.sh make student-test` | Сохранённый полный: 995 passed, 2 Linux-only skipped, 19 stack deselected. Свежий validation: 993 passed, 2 ошибки подготовки S3; адресный повтор с NO_PROXY — 2 passed | [прежний полный](evidence/forward-published/student-test.txt), [свежий полный](evidence/validation/student-test.txt), [повтор S3](evidence/validation/student-test-s3-retry.txt), [разбор](evidence/load-validation.md) |
|
||||
| 3: минимум lab5 при telemetry on | `make test` | Public API PASS; final smoke после возврата defaults | [smoke.txt](evidence/forward-published/smoke.txt), [final-smoke.txt](evidence/forward-published/final-smoke.txt) |
|
||||
| 3: durable pipeline и повторы | `python3 scripts/pipeline_suite.py --level 4 --only smoke_pipeline,worker_down_broker_restart,duplicate_after_ready,poison_image,s3_outage_recovers,retry_exhausted,crash_after_s3_before_commit,crash_after_commit_before_ack,malformed_message_dead_lettered --output evidence/reproduction-pipeline.json` | 9 сценариев; 7 принятых заданий достигают ожидаемых состояний, single effect и другие инварианты PASS | [pipeline.txt](evidence/forward-published/pipeline.txt), [pipeline.json](evidence/forward-published/pipeline.json) |
|
||||
| 3: сохранение данных и сессий | `make test-persistence ACTION_SCRIPT=scripts/restart.sh` | Подтверждённые данные и прежняя сессия сохранены, 14,386 s на сценарий | [persistence.txt](evidence/forward-published/persistence.txt), [hook](scripts/restart.sh) |
|
||||
| 3: отказ реплики и возврат | `make test-failover ACTION_SCRIPT=scripts/stop-one.sh`; `make restore` | 2 исходные реплики, 130 успешных записей, 0 failed attempts; первый успех через 2,876 s, api-2 возвращена healthy | [failover.txt](evidence/forward-published/failover.txt), [restore.txt](evidence/forward-published/restore.txt) |
|
||||
| 3: воспроизводимый общий стенд | `make up`; `make obs-validate` | Сервисы готовы, Collector/Prometheus/Loki/Tempo и JSON dashboards валидны | [up.txt](evidence/forward-published/up.txt), [obs-config.txt](evidence/forward-published/obs-config.txt), [runtime.json](evidence/forward-published/runtime.json) |
|
||||
| 3: история наблюдаемости в volumes | `python3 scripts/obs_recovery.py` | Исторический прогон: 7 spans до/после, 1 лог, значение метрики 352 сохранено при рестарте storage | [telemetry-recovery.txt](evidence/grade3/telemetry-recovery.txt), [основание применимости](evidence/forward-published/preserved-mechanisms.json) |
|
||||
| 3: API → лог → trace, реальные server/client spans | `python3 scripts/obs_check.py request --base-url http://127.0.0.1:18086` | `request.handled`, trace/span IDs; 7 spans, включая HTTP server и DB client | [telemetry-request.txt](evidence/forward-published/telemetry-request.txt) |
|
||||
| 3: worker → лог → trace, consumer spans | `python3 scripts/obs_check.py job --base-url http://127.0.0.1:18086` | Attachment ready, 52 spans, `job.processed` / `audit.job_settled` с одним trace_id | [telemetry-job.txt](evidence/forward-published/telemetry-job.txt) |
|
||||
| 3: RED API, jobs outcome/duration, provisioning | `python3 scripts/obs_check.py dashboards --strict` | 32 targets, problems=[], реальные series; два dashboard JSON в Git | [dashboards.txt](evidence/forward-published/dashboards.txt), [dashboards](infra/grafana/dashboards) |
|
||||
| 3: низкая кардинальность / resource attributes | `python3 scripts/obs_check.py query 'count by (__name__, job) ({job=~"messenger-.*"})'` | Шаблон маршрута, method/status, job_type/outcome, service/instance; IDs не используются как labels | [исторические series неизменных инструментов](evidence/grade4/cardinality-series.json), [свежие dashboard queries](evidence/forward-published/dashboards.txt) |
|
||||
| 3: отсутствие запрещённых данных | `python3 scripts/obs_check.py leaks --base-url http://127.0.0.1:18086` | 0 совпадений password/token/text/filename в проверенных log lines и 8 traces за 20 s; metadata Loki этим тестом не покрыта | [telemetry-leaks.txt](evidence/forward-published/telemetry-leaks.txt), [minor M1](evidence/review-summary.md) |
|
||||
| 4: W3C API → outbox → broker → worker → S3/DB | `python3 scripts/obs_incidents.py chain` | 55 spans, producer/consumer, итог done | [incident-chain.txt](evidence/forward-published/incident-chain.txt) |
|
||||
| 4: та же цепочка с retry | `python3 scripts/obs_incidents.py retry` | 86 spans; `retry_scheduled` → `done`, один trace | [incident-retry.txt](evidence/forward-published/incident-retry.txt) |
|
||||
| 4: p50/p95/p99, error ratio, backlog, pool, saturation, CPU/RAM, time-to-ready | `python3 scripts/obs_check.py dashboards --strict` | Все используемые запросы разрешаются; имена/единицы и ограничения приведены ниже | [dashboards.txt](evidence/forward-published/dashboards.txt), [recording rules](infra/prometheus/rules/messenger.recording.yml) |
|
||||
| 4: SLI/SLO, error rate alert | `python3 scripts/obs_incidents.py database` | SQL client ERROR 2002,866 ms, error ratio 0,9181, firing → resolved | [incident-database.txt](evidence/forward-published/incident-database.txt), [alert rules](infra/prometheus/rules/messenger.alerts.yml) |
|
||||
| 4: queue lag alert и восстановление | `python3 scripts/obs_incidents.py worker` | 8 jobs, age 34,470 s, firing → resolved, depth 8 → 0 | [incident-worker.txt](evidence/forward-published/incident-worker.txt) |
|
||||
| 4: ограниченные очереди, отказ telemetry storage | `python3 scripts/obs_incidents.py storage` | Исторический неизменный механизм: smoke PASS, 74 успешных probes, потеря 2 traces, RAM ≤252,7/256 MiB, очереди после recovery =0 | [storage-incident.txt](evidence/grade4/storage-incident.txt), [основание применимости](evidence/forward-published/preserved-mechanisms.json) |
|
||||
| 4: readiness и shutdown при отказе Collector | `python3 scripts/obs_recovery.py` | Исторический прогон: ready=200, smoke PASS, shutdown API 4,592 s, exit 0 | [telemetry-recovery.txt](evidence/grade3/telemetry-recovery.txt) |
|
||||
| Поздние исправления сессий/HTTP | `.venv/bin/python student-tests/tools/forward_network.py`; stack pytest из логов | Негативный Basic/NUL, logout обеих реплик, идемпотентность; Valkey bypass и logout503→204 | [network.txt](evidence/forward-published/network.txt), [cache-outage.txt](evidence/forward-published/cache-outage.txt) |
|
||||
| Поздние исправления доставки/изображений | `env PYTHONPATH=.:scripts:student-tests .venv/bin/python student-tests/tools/forward_runtime.py postgres-outage` (также `png-http`, `png-boundary`) | 12 requeue без роста DLQ, тот же job/attempt; PNG 40 MP, две версии, конкурентный peak 913 227 776 <1 073 741 824 bytes, OOM=0 | [postgres-outage.json](evidence/forward-published/postgres-outage.json), [png-http.json](evidence/forward-published/png-http.json), [png-boundary.json](evidence/forward-published/png-boundary.json) |
|
||||
| 5: off/on/head/tail/balanced, цена и сохранность | `python3 scripts/obs_cost.py --mode MODE --repeat N --duration 40 --rate 20 --output evidence/reproduction/MODE-N.json` | 15 пригодных серий, 12 000 запросов; balanced −92,2% Tempo ingest, 48/48 error и 48/48 slow | [методика](evidence/forward-published/cost/method.md), [comparison.json](evidence/forward-published/cost/comparison.json), [результаты](evidence/forward-published/cost/results.md) |
|
||||
| OpenSpec propose/apply/archive | `openspec list --json`; `openspec validate --all --strict --no-interactive` | 0 active changes, 26 specs PASS; циклы 3/4/5 и поздний перенос архивированы | [архивы](openspec/changes/archive), [spec-sync.json](evidence/forward-published/spec-sync.json), [проверка отчёта](evidence/report-audit.md) |
|
||||
|
||||
`restart.sh` останавливает `lb api relay worker`, перезапускает `postgres valkey s3 broker`, затем ждёт Compose healthy с прежними volumes. Публичный тест подавляет stdout hook: 14,386 s — время всего сценария, а не измеренная длительность недоступности каждого процесса; отдельного timestamp-аудита всех перезапусков в этом логе нет. `restore.txt` непосредственно подтверждает запуск остановленной api-2. История telemetry проверена отдельным `obs_recovery.py`. Старый запуск из чистого clone на `2903d9d` — [clean-clone.txt](evidence/grade3/clean/clean-clone.txt); он не является свежим clean-clone прогоном позднего кода.
|
||||
|
||||
### Сигналы и запросы
|
||||
|
||||
Resource: `service.name=messenger-api|messenger-relay|messenger-worker`, `service.version=1.6.0`, уникальный `service.instance.id=<hostname>-<pid>`, `deployment.environment.name=lab`. В Prometheus ресурс виден через `job`, `instance` и `target_info`; в Loki — нормализованные поля, включая `service_name`. Технические request/job IDs допустимы в логах/spans для корреляции синтетических данных, но не в labels метрик.
|
||||
|
||||
| Логический сигнал контракта | Реальное имя / поля | Единицы и измерения / запрос |
|
||||
| --- | --- | --- |
|
||||
| HTTP requests | `http_server_request_duration_seconds_count` | counter наблюдений histogram; `http_request_method`, `http_route`, `http_response_status_code`; `sum(messenger:http_requests:rate2m)` — RPS; recording rule формирует `status_class` |
|
||||
| HTTP duration | `http_server_request_duration_seconds_bucket` | секунды; `histogram_quantile(0.95, sum by (le) (rate(http_server_request_duration_seconds_bucket{job="messenger-api",http_route!~"/health/.*"}[5m])))`; для p50/p99 заменить 0.95 |
|
||||
| HTTP errors | `messenger:http_errors:ratio_rate2m` | 5xx / все бизнес-запросы, без health; 4xx остаются в знаменателе, не считаются отказами |
|
||||
| Jobs processed / failed | `messenger_jobs_processed_total` | доставки, `job_type`, `outcome`; `sum by(job_type,outcome)(rate(messenger_jobs_processed_total[5m]))`; outcome содержит done/retry_scheduled/failed и другие ветки |
|
||||
| Job duration | `messenger_job_duration_seconds_bucket` | секунды обработки доставки, `job_type`, `outcome`; percentile из суммы bucket rates |
|
||||
| Time to ready | `messenger_job_time_to_ready_seconds_bucket` | секунды от Job.created_at до done после commit, `job_type`; учитывает ожидание и retries |
|
||||
| Queue depth / oldest age | `messenger_queue_depth`, `messenger_queue_oldest_age_seconds` | jobs / секунды, `queue_name=attachments.process`; SQLAlchemy poll 5 s, durable queued/processing включая leased/retry, не только AMQP messages_ready |
|
||||
| DB pool | `messenger_db_pool_used`, `_waiting`, `_capacity` | занятые connections / acquisitions / лимит; waiting включает получение/создание соединения, не только очередь слотов |
|
||||
| Worker saturation | `messenger_worker_busy`, `messenger_worker_capacity` | активные deliveries / доступная capacity; отношение сумм даёт долю занятости |
|
||||
| Process CPU / RAM | `process_cpu_time_seconds_total`, `process_memory_usage_bytes` | `sum by(job)(rate(process_cpu_time_seconds_total[2m]))` — cores; `sum by(job)(process_memory_usage_bytes)` — bytes RSS; CPU renderer-детей не входит |
|
||||
| Logs | timestamp, severity, resource service.name, event, trace_id, span_id | `request.handled`, `job.processed`; LogQL `{service_name="messenger-api"} | trace_id="<trace_id>"`; поля OTel представлены structured metadata |
|
||||
| Traces | SERVER, PRODUCER, CONSUMER, CLIENT | Tempo по trace_id; DB/S3 операции, duration/status, связь parent; ссылки из Grafana provisioning |
|
||||
|
||||
HTTP histogram (секунды): 0.005, 0.01, 0.025, 0.05, 0.075, 0.1, 0.25, 0.5, 0.75, 1, 2.5, 5, 7.5, 10, +Inf. Job/time-to-ready: 0.05, 0.1, 0.25, 0.5, 1, 2, 5, 10, 30, 60, +Inf. Они различают быстрый HTTP, таймауты зависимостей и 30-секундный SLO job. Квантили агрегируются по buckets всех реплик; среднее арифметическое p99 реплик не используется. CPU/RAM трека дополнительно измерены извне по cgroups, независимо от состояния SDK.
|
||||
| Публичный smoke | `make test` (в `make toolchain-evidence`) | `PASS: lab2 public API scenario` | `evidence/checks.txt` |
|
||||
| Офлайн-проверки и тулчейн | `make check`, `make validate` (после `make install`), `make lint` | `PASS: offline skeleton structure…`, `PASS: full OpenAPI 3.1 and JSON Schema validation`, ruff и ty — `All checks passed!` | `evidence/checks.txt` |
|
||||
| Persistence: данные и действующие сессии переживают рестарт API и хранилищ | `make test-persistence ACTION_SCRIPT=scripts/restart.sh` (обёртка `make persistence-evidence`) | `PASS: persistence preserved confirmed data and existing session`; `StartedAt` у `postgres`, `valkey` и `api` после теста новее, чем до | `evidence/persistence.txt` |
|
||||
| Persistence + logout после полного рестарта | `make test-faults` (`test_full_restart_keeps_session_until_logout`) | после `scripts/restart.sh` прежний токен `200`, выход `204`, затем `401` | `evidence/faults.txt` |
|
||||
| **«3»** Минимум lab1 сохранён с переходом на новую аутентификацию | `make student-test PYTEST_ARGS=-v` | 221 тест `PASSED` по именам (в процессе против одноразовых PostgreSQL и Valkey), включая перенесённые проверки ошибок, членства, пагинации и конкурентной записи; ещё 13 тестов стенда — `make test-faults` | `evidence/student-tests.txt` |
|
||||
| **«3»** Keyset-курсор: чужой, испорченный и пустой отклоняются | `make student-test PYTEST_ARGS="-v -k cursor"` | 17 `PASSED`: курсор другого чата → `400`; `garbage`, `1.2.3.4`, `%20` и пустой `cursor=` → `400 invalid_request` и в истории, и в списке чатов (до второго ревью пустой давал первую страницу `200`) | `evidence/student-tests.txt` |
|
||||
| **«3»** PostgreSQL: пользователи, чаты, участники, сообщения; PK/FK/UNIQUE | `make storage-evidence` (`\d+` по таблицам) | `users_username_key UNIQUE`, FK `chat_members → users, chats`, `messages → chat_members` | `evidence/schema.txt` |
|
||||
| **«3»** Миграции с нуля и повторный запуск без дублей | `make migrations-evidence`: `make reset-data && make up`, `docker compose logs migrate`, `make test`, `make migrate` | на пустом volume `migration.applied 0001_init`, 0 строк во всех таблицах и одна версия в `schema_migrations`; после `make test` повтор — `up to date`, счётчики 3/2/1/2/2 до и после равны | `evidence/migrations.txt` |
|
||||
| **«3»** Составная операция создания чата атомарна | `make student-test PYTEST_ARGS="-v -k rolls_back"` | `test_failed_chat_creation_rolls_back_both_tables PASSED`: неизвестный участник → `400`, строк в `chats` и `chat_members` не появилось | `evidence/student-tests.txt` |
|
||||
| **«3»** Basic только на `POST /auth/sessions`, остальное — Bearer | `make student-test PYTEST_ARGS="-v -k 'sessions or bearer'"` | 34 `PASSED`, в том числе `Basic` на `/users/me` → `401 Bearer realm="messenger"`, без `Basic` на входе → `401 Basic …` | `evidence/student-tests.txt` |
|
||||
| **«3»** Срок жизни сессии и отзыв | `make student-test PYTEST_ARGS="-v -k 'expire or logout'"` | 6 `PASSED`: TTL 1 с → `401`; `DELETE /auth/sessions/current` → `204`, затем `401`, повтор → `401`, вторая сессия жива; удаление в БД упало → `503`, токен `200`, отметки в Valkey нет, повтор → `204` | `evidence/student-tests.txt` |
|
||||
| **«3»** `X-User-Id` не даёт доступ | `make test`; `make student-test PYTEST_ARGS="-v -k user_id"` | один `X-User-Id` → `401`; `Bearer` alice + `X-User-Id` eve → alice (2 `PASSED`) | `evidence/checks.txt`, `evidence/student-tests.txt` |
|
||||
| **«3»** Доступ к чату — по членству, отдельно от аутентификации | `make test`; `make student-test PYTEST_ARGS="-v -k outsider"` | посторонний с действующим токеном получает `404`, как на несуществующий чат; запись постороннего не ждёт блокировки чата участником (`404` быстрее 0.5 с) | `evidence/checks.txt`, `evidence/student-tests.txt` |
|
||||
| **«3»** Пароли хешируются password KDF | `make storage-evidence` | у всех строк `users` префикс `$argon2id$v=19$m=19456,t=2,p=1$`; у 34 настоящих хешей длина 97 символов. Отдельной строкой (`seed_stub = t`) показан синтетический `seed_author` из `make seed` с заглушкой в 44 символа: войти им нельзя, он нужен только для `make explain`. В `sessions` только 32-байтовые SHA-256 | `evidence/kdf.txt` |
|
||||
| **«3»** Secrets и volumes не в Git | `git ls-files secrets .env`; `git check-ignore -v …`; `docker volume ls --filter label=com.docker.compose.project=…` | пусто; пути игнорируются правилами `.gitignore`; volumes `pgdata`, `valkeydata`, `pgrestore` только у Docker | `evidence/secrets.txt` |
|
||||
| Непривилегированные процессы | `make environment-evidence` (сам поднимает `api-shortttl` и `postgres-restore`, затем `docker compose top` без процессов healthcheck) | api и api-shortttl — uid 10001, postgres и postgres-restore — uid 70, valkey — uid 999 | `evidence/environment.txt` |
|
||||
| Остановка по `SIGTERM` ≤10 с | `make sigterm-evidence` (два `POST /messages` с недописанным телом в момент сигнала) | дописанный через 1 с после `SIGTERM` → `201 Created` через 1.15 с; недописанный воркер сам отменяет → `500` через 7.24 с (`Cancel 1 running task(s)` в журнале); остановка за 7.68 с, код 0, при `stop_grace_period` 10 с | `evidence/sigterm.txt` |
|
||||
| Предел тела, в том числе `chunked` | `make student-test PYTEST_ARGS="-v -k 'body_limit or chunked'"` | `Content-Length` больше предела и `chunked`-тело больше предела → `413 payload_too_large`; `chunked` в пределах → `201` | `evidence/student-tests.txt` |
|
||||
| **«4»** Valkey реально используется: роль, источник истины | `make test-faults` (`test_valkey_serves_repeated_checks`); `make cache-evidence` | 5 проверок токена → `keyspace_hits` 4 → 9; 4 ключа вида `session:<sha256>…`, из них 1 отметка отзыва | `evidence/faults.txt`, `evidence/cache.txt` |
|
||||
| **«4»** Политика expiry и инвалидации | `make student-test PYTEST_ARGS="-v -k cache"`; `make cache-evidence` | для сессии из БД `pexpiretime` ключа ≤ `expires_at` («ключ не переживает сессию: да»); выход оставляет отметку `"-"`; гонка заполнения после выхода не оживляет токен; сбой БД при выходе снимает отметку; при недоступном Valkey чат и сообщение создаются (6 `PASSED`) | `evidence/student-tests.txt`, `evidence/cache.txt` |
|
||||
| **«4»** Persistence кэша выдерживает рестарт; FLUSHALL | `make test-faults` (restart, flushall); `make test-persistence ACTION_SCRIPT=scripts/restart.sh` | после рестарта Valkey ключей 14 → 14, живой токен 200, отозванный 401; после `FLUSHALL` то же | `evidence/faults.txt`, `evidence/persistence.txt` |
|
||||
| **«4»** Параметризованные запросы | код адаптеров `*/infrastructure/postgres.py` | все значения передаются как `$1…$n`, SQL — константы модуля | `src/messenger/*/infrastructure/postgres.py` |
|
||||
| **«4»** Ограниченный пул и таймауты | `make student-test PYTEST_ARGS="-v -k pool"` | 2 `PASSED`: пул из 1 занятого соединения → `503` за 0.3 с ожидания; на соединении `statement_timeout = lock_timeout` равны таймауту команды (в тесте задано 1.5 с, в стенде — 2 с) | `evidence/student-tests.txt` |
|
||||
| **«4»** Гонка регистрации одного username | `make test-faults` (`test_registration_race_yields_exactly_one_user`) | 50 параллельных `POST /users` → 201×1, 409×49, в `users` одна строка | `evidence/faults.txt` |
|
||||
| **«4»** Rollback составной операции | `make test-faults` (`test_chat_creation_rolls_back_on_unknown_member`) | `400 invalid_request`; в `chats` и `chat_members` ноль строк | `evidence/faults.txt` |
|
||||
| **«4»** Индекс истории обоснован EXPLAIN (ANALYZE, BUFFERS) на ≥10 000 | `make explain` | 20 000 сообщений в чате, 30 005 всего; keyset-страница после 10 000-го — `Index Scan using messages_history_idx`, 51 строка, 4 буфера; `OFFSET 10000` — 10 051 строка, 247 буферов; без индекса — `Seq Scan` всех 30 005 строк + сортировка, 505 буферов | `evidence/explain-history.txt` |
|
||||
| **«4»** Автотест expiry при коротком TTL | `make test-faults` (`test_short_ttl_session_expires`, `test_short_ttl_expires_after_restart_at_original_time`) | сразу `200`, через 3 с `401 Bearer realm="messenger"`; после рестарта `api-shortttl` токен всё равно `401` после исходного `expires_at` | `evidence/faults.txt` |
|
||||
| **«4»** Автотест logout | `make test-faults` (`test_logout_then_token_is_dead`) | `204` без тела, затем `401`, повтор `401` | `evidence/faults.txt` |
|
||||
| **«4»** Автотест неверного пароля | `make test-faults` | неверный пароль и неизвестный username — одинаковый `401 Basic realm="messenger", charset="UTF-8"`, 0.012 с и 0.011 с | `evidence/faults.txt` |
|
||||
| **«4»** Недоступность Valkey: обход кэша, без анонимного доступа | `make test-faults` (`test_valkey_stopped_is_bypassed_but_logout_waits`) | действующий токен `200` за 0.207 с, неизвестный `401`, ready `200`, вход `201`, выход `503`, после старта — `204` | `evidence/faults.txt` |
|
||||
| **«4»** Недоступность PostgreSQL: ограниченная ошибка | `make test-faults` (`test_postgres_stopped_gives_bounded_503_and_recovers`) | ready, me, неизвестный токен, вход, регистрация — `503` за 0.992–1.012 с; live `200`; после `healthy` PostgreSQL готовность `200` без рестарта API | `evidence/faults.txt` |
|
||||
| **«5» трек 2** ≥100 000 сообщений с неравномерными чатами | `make track-bench` | база `track`: 999 993 сообщения в 1 000 чатах по Ципфу `s = 1.3`; крупнейший чат 284 708 (28.5 %), 50-й — 1 761, мельчайший — 36 | `evidence/track/bench.json`, `evidence/track/summary.txt` |
|
||||
| **«5» трек 2** Сравнение ≥2 индексов и запросов, EXPLAIN (ANALYZE, BUFFERS) | `make track-bench` | 4 набора индексов × 3 чата × {первая, keyset 90 %, OFFSET 90 %} × {тёплый, холодный}, все запуски — custom-план; составной индекс + keyset — 0.012–0.024 мс и 4–6 буферов везде; `(chat_id)` — 12.2 мс и сортировка 284 709 строк на крупнейшем; `(created_at, id)` — 14.7 мс на мельчайшем: планировщик выбирает параллельный `Seq Scan` всей таблицы (25 704 буфера, 999 993 строки); `OFFSET` 90 % крупнейшего — 20–63 мс при любом индексе | `evidence/track/summary.txt`, `evidence/track/plans.txt` |
|
||||
| **«5» трек 2** Custom против generic плана | `make track-bench` | при `(created_at, id)` generic-план для мельчайшего чата 156.5 мс против 14.9 мс custom (≈10 раз); при `(chat_id)` на крупнейшем 28.1 против 13.0 мс; при составном индексе планы совпадают (0.015–0.023 мс) | `evidence/track/summary.txt` |
|
||||
| **«5» трек 2** Стоимость записи | `make track-bench` (pgbench, 5 × 10 с на режим, `docker stats` в середине прогона, `pg_stat_wal`, контрольный повтор без индексов A-B-C-D-A) | индекс истории 56.2 МБ против 6.8 МБ у `(chat_id)`; каждый индекс — +1 запись WAL на вставку (6.03–6.06 → 7.03–7.06), +75–105 байт у одноколоночного и +133–161 у составного при `sync`; TPS ниже на 0.4–3.6 % при дрейфе первый/контрольный 1.0–1.2 %, то есть на уровне шума; postgres 266–359 % CPU, 183–190 МиБ | `evidence/track/bench.json`, `evidence/track/summary.txt` |
|
||||
| **«5» трек 2** Backup → новое хранилище → сверка | `make track-recovery` (3 повтора на размер) | `pg_dump -Fc` 14.7 МБ за 1.04 с; каждый раз новый `postgres-restore` с новым volume; `pg_restore` 0.16 + 2.16 + 0.91 с (медианы); 13 из 13 проверок совпали во всех 6 восстановлениях (счётчики, `md5` по чатам и истории, выборка ≈0.1 % строк — 90 и 1 005, миграции, индексы, ограничения) | `evidence/track/recovery.json` |
|
||||
| **«5» трек 2** RTO и RPO | `make track-recovery` для 100 011 и 999 993 сообщений | RTO — медиана 2.17 с (2.17..2.26) и 5.32 с (5.31..5.35), из них новый экземпляр 1.26–1.30 с; 46–48 маркеров, записанных во время дампа 1M после его снимка, в копии отсутствуют — потеря равна всему, что после снимка | `evidence/track/recovery.json` |
|
||||
| Нагрузка с конкуренцией 64 | `make load-evidence` (3 × `tests/load.py --duration 8 --concurrency 64`, снимки `pg_stat_activity`) | медиана 1 676 RPS (1 619..1 711), p50/p95/p99 = 30/87/112 мс, 0 ошибок; на сервере 0×5xx; 81–86 % занятых соединений PostgreSQL ждут блокировку строки чата (`Lock:tuple`, `Lock:transactionid`); CPU api ≈1.6 ядра, postgres ≈1.5 | `evidence/load.txt`, `evidence/load-c64-{1,2,3}.json` |
|
||||
|
||||
## Эксперименты и отказы
|
||||
|
||||
### SLI/SLO и диагностика
|
||||
| Воздействие | Что ожидаем | Что наблюдали | Время восстановления / потеря данных |
|
||||
| --- | --- | --- | --- |
|
||||
| Рестарт всего стека hook-ом `scripts/restart.sh` (api, postgres, valkey) | прежний токен работает, история побайтно та же; после logout — `401` | persistence-тест `PASS`, `StartedAt` всех трёх обновился; `test_full_restart_keeps_session_until_logout`: токен `200`, выход `204`, затем `401` | API стартует через ≈1.6 с после хранилищ (healthy с опросом раз в 200 мс + `migrate`; до `start_interval` первая проверка ждала 5 с, и выходило ≈6 с); потерь нет |
|
||||
| Рестарт только API (`docker compose restart api`) | данные и сессии на месте, `expires_at` не меняется | `test_api_restart_keeps_session_without_extending_it`: токен `200`, `expires_at` в БД побайтно равен выданному при входе | готовность через ≈0.5 с; потерь нет |
|
||||
| Рестарт `api-shortttl` (TTL 2 с) до истечения сессии | рестарт не продлевает срок | после исходного `expires_at` токен `401 Bearer` | готовность через ≈0.5 с |
|
||||
| `SIGTERM` в контейнер API с двумя запросами в работе | принятый запрос дорабатывается, зависший прерывает сам сервер, остановка ≤10 с, код 0 | дописанный запрос `201` через 1.15 с; недописанный воркер отменил через 7.24 с (`500`); остановка за 7.68 с, код 0 | `docker compose up -d --wait api` |
|
||||
| `docker compose stop postgres` | live `200`, ready и защищённые `503` быстрее 2 с, без `500` | `503` за 0.99–1.01 с (таймаут подключения и `acquire` 1 с), live `200` за 0.004 с | после `healthy` PostgreSQL готовность `200` сразу, тот же процесс API; подтверждённые данные целы |
|
||||
| `docker compose stop valkey` | проверка уходит в PostgreSQL, никакого анонимного доступа | действующий токен `200` за 0.207 с, неизвестный `401`, ready `200`, вход `201`, выход `503`. Время зависит от соединения в пуле воркера: на свежем соединении имя остановленного контейнера не резолвится и отказ мгновенный (0.007 с в отдельном прогоне), на зависшем — таймаут 0.2 с и один повтор (до 0.41 с); дальше размыкатель на 1 с | после `start` выход снова `204`; потерь нет |
|
||||
| `docker compose restart valkey` | кэш и отметки отзыва сохраняются (AOF) | ключей 14 → 14, живой `200`, отозванный `401` | секунды; потерь нет |
|
||||
| `FLUSHALL` в Valkey | сессии не теряются, отозванные не оживают | живой `200`, отозванный `401`, кэш заполняется заново | мгновенно; потерь нет |
|
||||
| Истечение TTL (`api-shortttl`, 2 с) | `401` после `expires_at` | сразу `200`, через 3 с `401 Bearer` | — |
|
||||
| Logout | `204`, затем `401`, повтор `401` | так и есть; в Valkey отметка `-` | — |
|
||||
| Сбой PostgreSQL посреди выхода: отметка записана, `DELETE` сессии падает | `503`, сессия цела и в БД, и для кэша | `503 unavailable`, ключа в Valkey нет, токен `200`, повтор `204`, затем `401` (до исправления: повтор `401`, а после `FLUSHALL` токен снова `200`) | сразу после возвращения БД |
|
||||
| Посторонний пишет в чужой чат, пока участник держит блокировку строки чата | `404` сразу | `404` быстрее 0.5 с (до исправления — `503` через `lock_timeout` 2 с) | — |
|
||||
| `chunked`-тело больше 1 MiB | `413`, тело не дочитывается | `413 payload_too_large` (до исправления тело читалось целиком и давало `400`) | — |
|
||||
| 50 параллельных регистраций одного username | ровно один `201` | 201×1, 409×49, одна строка | — |
|
||||
| Чат с несуществующим участником | `400`, откат транзакции | `400`, ноль строк в `chats` и `chat_members` | — |
|
||||
| Пул исчерпан | `503` за время `acquire`, без зависания | `503` за 0.3 с, затем `200` | мгновенно после освобождения |
|
||||
| Повторный `migrate` | схема и данные не меняются | `up to date`, счётчики строк равны | мгновенно |
|
||||
| Потеря базы: backup → восстановление в новый `postgres-restore` (трек 2) | все данные снимка на месте, всё после снимка потеряно | 13/13 проверок совпали в 6 восстановлениях; 46–48 маркеров после снимка отсутствуют | RTO 5.32 с (5.31..5.35) для 1M сообщений, 2.17 с для 100k; RPO — момент снимка `pg_dump` |
|
||||
|
||||
API availability: `1 − 5xx/все бизнес-HTTP` за **1 h**, цель **≥99%**, health исключён. Это SLI приложения: ответы самого HAProxy не входят. Job SLI: доля **завершённых** jobs с time-to-ready **≤30 s** за **1 h**, цель **≥95%**; незавершённые отдельно контролируются возрастом backlog. Эти цели заданы и измеримы, но короткие опыты не доказывают месячный production SLO.
|
||||
### Нагрузка HTTP
|
||||
|
||||
`MessengerHighErrorRate`: доля 5xx >5% за 1 min, `for: 15s`. `MessengerQueueLag`: max age >15 s и depth >0, `for: 15s`. Проверка rules каждые 5 s; доставка наружу не требуется. [Runbooks](infra/prometheus/runbooks.md) связывают alert с запросами и действиями.
|
||||
*Гипотеза:* запись в один горячий чат упирается в блокировку строки чата, а не в пул (4 × 8 соединений) и
|
||||
не в Argon2. Поэтому при 64 конкурентных клиентах большая часть занятых соединений PostgreSQL ждёт блокировку
|
||||
строки, ошибок и `503` нет, а p99 остаётся в пределах 0.2 с.
|
||||
|
||||
| Воздействие и доказательство | Ожидание и наблюдение | Время / потери |
|
||||
| --- | --- | --- |
|
||||
| Остановка worker; [свежий лог](evidence/forward-published/incident-worker.txt) | API принимает 8 jobs, backlog=8, oldest=34,470 s; после возврата depth=0, alert resolved | UTC 06.11: stop 23:47:05, firing 23:47:49 (**44 s**), restore 23:47:52, resolved 23:48:04 (**12 s** после возврата). Все 8 jobs обработаны |
|
||||
| Ограниченная SQL-блокировка users; [свежий лог](evidence/forward-published/incident-database.txt) | 168 контролируемых 503; error ratio=0,9181, pool waiting=0; SELECT client ERROR длится 2002,866 ms | UTC 06.11: lock 23:48:16, firing/снятие lock 23:48:59 (**43 s**), resolved 23:49:54 (**55 s**). Блокировка сама данные не меняет; полноценный RPO здесь не измерялся |
|
||||
| S3 временно недоступен; [retry](evidence/forward-published/incident-retry.txt) | Одна цепочка из 86 spans показывает retry_scheduled → done, затем DB commit | Сценарий 23:46:51–23:47:04 UTC (≈13 s); принятое вложение ready, отдельное время unavailable не выделено |
|
||||
| PostgreSQL недоступен worker; [JSON](evidence/forward-published/postgres-outage.json) | 12 requeue, delivery-limit=-1; job_id и attempt=1 сохранены, DLQ 0→0, после восстановления done без replay | Targeted case 20,39 s; это время кейса, не точный RTO. Потери принятого задания не обнаружены |
|
||||
| Остановка одной API-реплики; [failover](evidence/forward-published/failover.txt) | 130 writes, 0 failed attempts, подтверждённые данные и сессия сохранились | Первый успешный запрос после воздействия через 2,876 s; restore завершился за 3,660 s |
|
||||
| Рестарт приложений и business stores; [persistence](evidence/forward-published/persistence.txt) | Сессия и подтверждённые данные сохранены; volumes не удаляются | 14,386 s на весь сценарий; отдельный RTO не измерен |
|
||||
| Остановка Prometheus/Loki/Tempo; **исторический** [storage](evidence/grade4/storage-incident.txt), неизменные механизмы | Smoke PASS, 74 успешных probes; queue logs/metrics/traces=381/1287/465, после recovery 0/0/0; Collector без наблюдаемого OOM | UTC 06.11: 18:14:29–18:16:16 (**107 s**), проверка закончилась 18:16:39. 72/74 traces найдены, **2 потеряны**; RAM 252,7/256 MiB (98,7%) |
|
||||
| Остановка Collector / рестарт telemetry stores; **исторический** [recovery](evidence/grade3/telemetry-recovery.txt) | Ready=200, smoke PASS, ранее сохранённая история доступна | API shutdown 4,592 s, exit 0; 7/7 прежних spans и лог найдены после рестарта |
|
||||
*Методика* (`make load-evidence`): закрытый контур `tests/load.py`, 64 потока, 8 с, все записи прогона в
|
||||
один чат (одна строка `chats` под `FOR UPDATE`), 3 повтора с паузой 40 с, клиент на хосте macOS, стенд —
|
||||
VM Docker Desktop 16 CPU / 7.65 ГиБ, 4 воркера API × пул 8. Прогрева нет: в окно попадают и регистрация
|
||||
пользователей, и создание чата из `tests/load.py`. На 4-й секунде снимаются `docker stats` и 20 снимков
|
||||
`pg_stat_activity` через 0.1 с: состояние и `wait_event` всех непростаивающих соединений базы `messenger`.
|
||||
Статусы ответов берутся из журнала `request.handled`. Других compose-стендов на VM во время прогона не было
|
||||
(строка в заголовке `evidence/load.txt`).
|
||||
|
||||
Первый инцидент диагностируется по растущим depth/age при отсутствии обработки: после возврата worker backlog исчезает, значит узкое место — consumer. Во втором 503 server span содержит PostgreSQL client ERROR около 2 s, при этом pool waiting=0: причина в выполнении SQL, а не в очереди пула или просто медленном HTTP handler. Снятие lock и последующий resolved подтверждают гипотезу. Это разбор сохранённых наблюдений контролируемых отказов; слепой runbook-прогон другого оператора (трек 2) не заявлен.
|
||||
*Результат:* медиана 1 676 RPS (1 619..1 711), p50/p95/p99 = 30/87/112 мс, 0 ошибок из 40 696 запросов; на
|
||||
сервере только `201` и `200`, ни одного `5xx`. В среднем заняты 14.5–17.4 соединения PostgreSQL из 32, и
|
||||
81–86 % из них ждут блокировку строки: `Lock:tuple` (очередь за `FOR UPDATE`) и `Lock:transactionid`
|
||||
(ожидание транзакции-держателя). На CPU в момент снимка — 0.5–0.7 соединения, на `fsync` WAL — до 0.3.
|
||||
CPU: api 162–165 %, postgres 138–157 %, valkey ≈5 %; память: api 254–280 МиБ, postgres 135–144 МиБ.
|
||||
Гипотеза подтверждена: ни CPU (16 ядер), ни пул не насыщены, очередь стоит на строке чата.
|
||||
|
||||
При отказе telemetry storage retry ограничен 60 s. В сохранённых counters есть 440 failed span exports, 11 log records и 72 metric points; эти единицы не равны числу потерянных запросов/полных трасс. Непосредственный контроль trace IDs показал 2 потерянные трассы из 74 успешных запросов. Рост памяти ограничен наблюдаемым окном и лимитом контейнера; запаса Collector почти нет, бесконечная устойчивость не доказана.
|
||||
Разброс трёх прогонов серии — 5.5 %. Между сериями абсолютный RPS плавает сильнее: прошлая серия дала
|
||||
1 724, повтор ревьюера при работающем рядом стенде лабы 3 — 1 639. Поэтому выводы опираются на
|
||||
отсутствие ошибок, p99 и долю ожиданий, а не на RPS. Прогон длиннее 8 с упирается в эфемерные порты macOS:
|
||||
клиент открывает новое соединение на каждый запрос (`TIME_WAIT` ≈14 000), поэтому между повторами пауза.
|
||||
Это пропускная способность HTTP-подтверждений одного горячего чата, а не предел системы.
|
||||
|
||||
### Трек 1: цена наблюдаемости
|
||||
### Трек 5 — трек 2 «План запроса и восстановление»
|
||||
|
||||
Гипотеза: head sampling снижает ingest, но теряет важные события; tail sampling оставляет ERROR/slow и уменьшает запись в Tempo, сохраняя расходы SDK. Сбалансированный режим должен сохранить контрольные события при меньшей записи обычных traces и более редком экспорте метрик.
|
||||
**Гипотезы.** H1: составной индекс `(chat_id, created_at, id)` с keyset-курсором даёт время страницы,
|
||||
не зависящее ни от размера чата, ни от глубины страницы; `(chat_id)` проигрывает на большом чате (надо
|
||||
отсортировать весь чат), `(created_at, id)` — на маленьком (надо пройти чужие сообщения), а `OFFSET`
|
||||
проигрывает на глубине при любом индексе. H2: каждый индекс истории добавляет к вставке измеримую долю
|
||||
WAL и времени; составной индекс дороже `(chat_id)` на ширину ключа. H3: `pg_dump -Fc` + `pg_restore -j`
|
||||
поднимает миллион сообщений в новом хранилище за секунды, заметная доля уходит на перестройку индексов,
|
||||
а граница потери данных — момент снимка дампа.
|
||||
|
||||
Измеряемый SHA: `bc1d7aa7713858acb5d65b61d07e69a640f1ee97`, image ID `sha256:66c7d75903f514e14fea21689d039eeba1d9d85a0d27ef3d70d4ab41288e2f6d`. Серии выполнены 06–07.11.2026 UTC. Нагрузка — GET `/api/v1/users/me` по одному созданному для серии пользователю/сессии; это HTTP/DB-профиль, не массовый рендер изображений. Существующие volumes между режимами сохраняются, полный размер БД не нормировался. Условия, host load и список контейнеров сохранены в [conditions-start.json](evidence/forward-published/cost/conditions-start.json), снимках каждого круга и raw JSON. В снимках других Docker projects нет; эксклюзивность всего host не заявляется.
|
||||
**Методика** (`scripts/track.py`, `scripts/sql/track-*.sql`, одна команда на часть):
|
||||
|
||||
| Режим | SDK / выбор traces | Метрики |
|
||||
| --- | --- | --- |
|
||||
| off | SDK полностью выключен | Нет метрик приложения; self-scrapes storage продолжаются |
|
||||
| on | Все server roots и их дочерние spans | Каждые 10 s |
|
||||
| head | ParentBased root ratio 10% | Каждые 10 s |
|
||||
| tail | Все spans до Collector; сохранить ERROR, latency ≥300 ms, 10% остальных | Каждые 10 s |
|
||||
| balanced | Все spans до Collector; ERROR, latency ≥300 ms, 5% остальных | Каждые 30 s |
|
||||
- Стенд: Apple M4 Max, VM Docker Desktop 16 CPU / 7.65 ГиБ, PostgreSQL 17.11 с настройками образа
|
||||
(`shared_buffers = 128MB`, `fsync` и `synchronous_commit` включены). API в это время простаивает.
|
||||
- Данные: отдельная база `track`, мигрированная тем же runner-ом (`python -m messenger.migrate track`) —
|
||||
схема, ограничения и индекс те же, что у сервиса. 2 000 пользователей, 1 000 чатов по два участника,
|
||||
`n_k = round(N · k^-1.3 / H)`, `N = 1 000 000` (фактически 999 993): крупнейший чат 284 708 (28.5 %),
|
||||
топ-10 — 65 %, 50-й — 1 761, мельчайший — 36. Таблица `messages` — 200.8 МБ. Построение детерминировано.
|
||||
- Чтение: подготовленные запросы приложения с `LIMIT 51`; первая страница, keyset-страница после 90 %
|
||||
чата и та же страница через `OFFSET`; 5 тёплых запусков и 3 холодных (перед каждым все буферы базы
|
||||
вытесняются `pg_buffercache_evict`), медиана. Все запуски матрицы идут с
|
||||
`plan_cache_mode = force_custom_plan`: при `auto` шестое выполнение перешло бы на generic-план, и время,
|
||||
форма плана и строки одной ячейки относились бы к разным планам. Форма плана и «строк просмотрено» берутся
|
||||
из медианного запуска, `plans.txt` снят в том же режиме. «Строк просмотрено» — сумма по узлам `Scan` величины
|
||||
`(Actual Rows + Rows Removed by Filter + Rows Removed by Index Recheck) × Actual Loops`: PostgreSQL отдаёт
|
||||
обе величины как среднее на один цикл, и у параллельного узла их надо умножать на число процессов.
|
||||
Generic-план меряется отдельно: для первой страницы — 5 запусков в `force_custom_plan` и в
|
||||
`force_generic_plan`.
|
||||
- Запись: `pgbench -c 4 -j 4`, 5 прогонов по 10 с на режим, транзакция приложения (`SELECT … FOR UPDATE`,
|
||||
`INSERT messages` + `UPDATE chats`) в случайный из 1 000 чатов, UUIDv7; перед прогоном `CHECKPOINT`;
|
||||
WAL — разница `pg_current_wal_lsn()` в байтах и разница `pg_stat_wal` в записях WAL и full page images
|
||||
(FPI) на вставку. Режим `sync` — как в приложении, `async` — `synchronous_commit=off`, чтобы отделить
|
||||
обслуживание индекса от ожидания fsync. В середине прогона — `docker stats` контейнера postgres (в нём и
|
||||
сервер, и клиент pgbench). После прогона вставки удаляются. Наборы идут в фиксированном порядке, поэтому
|
||||
после составного набора запись ещё раз меряется без индексов истории (порядок A-B-C-D-A): если цифры
|
||||
повторного «без индексов» уходят от первого, это дрейф VM и рост PK, а не цена индекса.
|
||||
- Восстановление: во время дампа в источник каждые 20 мс пишется маркер; `postgres-restore` (профиль
|
||||
`track`) и его volume `pgrestore` удаляются и создаются заново, время нового экземпляра — `up --wait` до
|
||||
`healthy`, при старте `pg_isready` опрашивается раз в 200 мс (`start_interval`), так что шаг опроса добавляет
|
||||
не больше 0.2 с; `pg_restore` по секциям `pre-data`,
|
||||
`data -j 4`, `post-data -j 4`; затем одинаковые проверочные запросы в обеих базах. Начало и конец дампа —
|
||||
`clock_timestamp()` PostgreSQL-источника, теми же часами, что `created_at` маркеров, поэтому граница
|
||||
«после снимка» не зависит от часов хоста. Каждый размер — 3 повтора, медиана и диапазон.
|
||||
|
||||
По три повтора каждого режима, последовательно off/on/head/tail/balanced. 20 прогревочных GET и 35 s ожидания экспорта; затем **40 s open-loop, 20 arrivals/s, 800 запросов**, максимум 64 клиентских потока. В каждой серии 768 обычных, 16 ожидаемых 503 и 16 задержек 350 ms; после — 35 s drain. Всего **12 000 запросов**, 11 760 ожидаемых 200 и 240 намеренных 503, **0 неожиданных ответов**. Фактическая скорость 20,012–20,020 req/s; максимум schedule lag 61,055 ms. Это заданная нагрузка, не поиск предельного throughput.
|
||||
**Чтение, медиана тёплых запусков, мс** (в скобках — холодный; полная матрица с буферами и планами —
|
||||
`evidence/track/summary.txt` и `plans.txt`):
|
||||
|
||||
Команда серии и разбор всех параметров — [method.md](evidence/forward-published/cost/method.md). CPU: delta cgroup CPU time / длительность внешних samples; RAM: working set usage−inactive_file, 21 sample с периодом около 2 s. Application = API/relay/worker; observability = Collector/Prometheus/Loki/Tempo/Grafana; business stores/LB считаются отдельно. CPU-окно охватывает нагрузку, но не всю работу tail во время drain. Ingest включает drain; bytes Tempo/Loki и samples Prometheus не складываются в одну единицу.
|
||||
|
||||
Медианы трёх повторов; диапазон normal p95 — min/max, не доверительный интервал. Общие p50/p95/p99 посчитаны клиентом по всем категориям, поэтому p99 отражает вброшенную задержку.
|
||||
|
||||
| Режим | p50 / p95 / p99, ms | normal p95, ms [min;max] | CPU app / obs / stores+LB, cores | RAM app / obs / stores+LB, MiB (median peak) |
|
||||
| --- | --- | --- | --- | --- |
|
||||
| off | 8,052 / 12,102 / 358,732 | 11,583 [11,572;11,856] | 0,1404 / 0,0256 / 0,1085 | 655,5 / 1013,3 / 419,9 |
|
||||
| on | 7,460 / 13,148 / 359,469 | 12,709 [12,554;12,993] | 0,1726 / 0,0287 / 0,1030 | 706,8 / 1058,5 / 425,5 |
|
||||
| head | 9,195 / 13,116 / 358,373 | 12,556 [12,354;12,652] | 0,1657 / 0,0261 / 0,1023 | 723,8 / 1076,1 / 347,1 |
|
||||
| tail | 8,942 / 13,281 / 359,109 | 12,781 [12,555;12,920] | 0,1717 / 0,0272 / 0,1026 | 721,0 / 1021,2 / 430,6 |
|
||||
| balanced | 8,269 / 13,230 / 359,753 | 12,895 [12,833;13,031] | 0,1749 / 0,0258 / 0,1030 | 707,1 / 1027,9 / 423,1 |
|
||||
|
||||
Фактические лимиты: API 2×(1 CPU/512 MiB), relay 0,5 CPU/192 MiB, worker 2 CPU/1 GiB; Collector 0,5/256 MiB, Prometheus 0,5/512 MiB, Loki/Tempo/Grafana каждый 0,5/384 MiB; PostgreSQL 2/768 MiB, S3 1/512 MiB, RabbitMQ 1/512 MiB, Valkey 0,5/128 MiB, LB 1/128 MiB. **PG_MEMORY в измерении 768m, в `.env.example` — 1g**: для повторения именно этих условий задайте `PG_MEMORY=768m` до `make up`. Остальные значения сверяйте с [runtime.json](evidence/forward-published/runtime.json).
|
||||
|
||||
| Режим | Tempo / Loki, KiB (median) | Prom samples (median) | SDK ended / sent spans (median) | Найдено normal /2304 | error /48 | slow /48 |
|
||||
| Индексы истории | Крупнейший: 1-я стр. | Крупнейший: keyset 90 % | Крупнейший: OFFSET 90 % | 50-й чат: 1-я стр. | Мельчайший: 1-я стр. | Мельчайший: keyset 90 % |
|
||||
| --- | ---: | ---: | ---: | ---: | ---: | ---: |
|
||||
| off | 0,0 / 0,0 | 33118 | 0 / 0 | 0 | 0 | 0 |
|
||||
| on | 1662,2 / 288,3 | 36284 | 5489 / 5489 | 2304 | 48 | 48 |
|
||||
| head | 176,2 / 288,4 | 37234 | 543 / 543 | 237 | 6 | 3 |
|
||||
| tail | 251,8 / 289,7 | 36657 | 5492 / 699 | 235 | 48 | 48 |
|
||||
| balanced | 130,2 / 289,8 | 34459 | 5486 / 352 | 101 | 48 | 48 |
|
||||
| нет (только PK) | 22.0 (19.8) | 17.6 | 61.3 | 14.5 | 14.4 | 16.2 |
|
||||
| `(chat_id)` | 12.2 (16.5) | 8.3 | 55.8 | 0.19 | 0.024 | 0.016 |
|
||||
| `(created_at, id)` | 0.035 (0.092) | 0.065 | 63.1 | 3.1 | 14.7 (14.5) | 6.6 |
|
||||
| `(chat_id, created_at, id)` | **0.022** (0.036) | **0.024** | 20.0 (33.4) | **0.019** | **0.017** | **0.012** |
|
||||
|
||||
Во всех пригодных сериях **SDK ended = Collector accepted**, exporter failures=0. Head намеренно не создал 42/48 error и 45/48 slow server traces; число несозданных дочерних spans неизвестно и не выдумывается. Tail/balanced фильтруют уже созданные spans; accepted−sent здесь не означает неисправность доставки. Off означает отключение SDK. В режиме on найдены все 2400 server traces трёх повторов.
|
||||
Буферы и строки холодного запуска. Составной индекс читает 4–6 буферов на любую keyset-страницу. Без индекса
|
||||
читается вся таблица: 25 698–25 704 буфера, 999 993 строки. `(chat_id)` на крупнейшем чате читает 7 606 буферов
|
||||
и сортирует 284 709 строк. `(created_at, id)` на мельчайшем чате тоже читает всю таблицу (25 704 буфера,
|
||||
999 993 строки): зная по статистике, что чат маленький, custom-план выбирает параллельный `Seq Scan` с
|
||||
сортировкой, а не проход по индексу времени. Keyset-страница того же чата идёт через bitmap-скан индекса
|
||||
времени: 223 122 строки, 4 496 буферов. `OFFSET` 90 % по составному индексу читает 8 453 буфера и 256 288
|
||||
строк, которые выбрасываются. Колонка «строк просмотрено» теперь считается по циклам (см. методику). В прошлой
|
||||
версии отчёта она складывала среднее «Rows Removed by Filter» один раз, и параллельный `Seq Scan` всей
|
||||
таблицы выглядел как 333 355–523 137 строк.
|
||||
|
||||
**Balanced снизил медианный Tempo ingest на 92,2% относительно on**, сохранив 48/48 error и 48/48 slow. Loki почти не изменился; Prometheus включает постоянный фон self-scrapes. Normal p95 у on выше off примерно на 1,127 ms (+9,7%), CPU приложения — 0,1726 против 0,1404 cores; это описательные разности данного опыта, не доказательство статистической значимости. Balanced не устраняет цену SDK и не показал ускорения HTTP. Проверенная рекомендация относится к сокращению записи traces при этом профиле и окне решения tail 10 s.
|
||||
**Custom против generic плана** (asyncpg использует prepared statements, PostgreSQL после пяти выполнений
|
||||
может перейти на generic-план):
|
||||
|
||||

|
||||
| Индексы | Чат | custom, мс | generic, мс | Что меняется |
|
||||
| --- | --- | ---: | ---: | --- |
|
||||
| `(created_at, id)` | мельчайший | 14.9 (параллельный Seq Scan + Sort) | **156.5** (Index Scan по всему индексу времени) | generic-план не знает, что чат маленький |
|
||||
| `(chat_id)` | крупнейший | 13.0 (параллельная сортировка) | 28.1 (последовательная) | generic теряет параллелизм |
|
||||
| `(chat_id, created_at, id)` | крупнейший / мельчайший | 0.023 / 0.021 | 0.022 / 0.015 | план не зависит от параметра |
|
||||
|
||||
[Сырые серии и comparison.json](evidence/forward-published/cost/comparison.json), [сводка](evidence/forward-published/cost/results.md), [аудит пригодности](evidence/forward-published/cost/measurement-audit.json). Первоначальные on-3/head-3 (ещё 1600 запросов) исключены из сравнения из-за разрывов wall clock: 932,714 s после нагрузки и 938,154 s вместо 40 s, gap samples до 900,354 s. Их HTTP PASS не означает пригодность CPU/ingest. Оригиналы с hashes сохранены в [invalid-series.json](evidence/forward-published/cost/invalid-series.json) и [invalid-time-gap](evidence/forward-published/cost/invalid-time-gap); повторены только эти две серии. Причина разрыва времени достоверно не установлена.
|
||||
**Запись** (медиана 5 прогонов, в скобках — минимум..максимум; строки в порядке прогонов, последняя —
|
||||
контрольный повтор без индексов истории):
|
||||
|
||||
Проверенный запуск balanced:
|
||||
| № | Индексы истории | Размер индекса, МБ | TPS `sync` | TPS `async` | Задержка `sync`, мс | WAL на вставку `sync` / `async`, байт | Записей WAL на вставку | FPI на вставку `sync` |
|
||||
| ---: | --- | ---: | ---: | ---: | ---: | ---: | ---: | ---: |
|
||||
| 1 | нет | — | 9 455 (9 314..9 502) | 12 681 (12 393..12 820) | 0.423 | 1 511 / 1 205 | 6.70 / 6.05 | 0.128 |
|
||||
| 2 | `(chat_id)` | 6.8 | 9 233 (7 941..9 604) | 12 497 (10 743..12 721) | 0.433 | 1 588 / 1 303 | 7.06 / 7.04 | 0.135 |
|
||||
| 3 | `(created_at, id)` | 38.7 | 9 180 (9 055..9 540) | 12 461 (12 429..12 626) | 0.436 | 1 586 / 1 304 | 7.04 / 7.04 | 0.132 |
|
||||
| 4 | `(chat_id, created_at, id)` | 56.2 | 9 113 (8 821..9 448) | 12 444 (12 368..12 483) | 0.439 | 1 644 / 1 365 | 7.03 / 7.04 | 0.146 |
|
||||
| 5 | нет (контроль) | — | 9 346 (9 279..9 601) | 12 551 (12 437..12 612) | 0.428 | 1 483 / 1 216 | 6.03 / 6.06 | 0.130 |
|
||||
|
||||
```sh
|
||||
OTEL_COLLECTOR_CONFIG=collector-balanced.yaml OTEL_METRIC_EXPORT_INTERVAL=30000 scripts/lab6.sh docker compose up -d --no-deps --wait otel-collector api relay worker
|
||||
```
|
||||
`(chat_id)` весит всего 6.8 МБ из-за дедупликации повторяющихся ключей в B-tree (PostgreSQL 13+); у
|
||||
составного индекса ключи уникальны. Первичный ключ после первого набора прогонов pgbench растёт с 30.1 до
|
||||
37.8 МБ: удалённые вставки оставляют пустые страницы, `VACUUM` их не возвращает. CPU postgres — 266–282 %
|
||||
при `sync` и 306–359 % при `async`; память — 183–190 МиБ (один замер 282 МиБ в первом прогоне).
|
||||
|
||||
После опытов возвращены SDK on/ratio1/interval10s, `collector.yaml`, `COST_EXPERIMENT=false`: [defaults-restored.json](evidence/forward-published/defaults-restored.json). Стенд остановлен без удаления данных, 9 volumes сохранены: [shutdown.txt](evidence/forward-published/shutdown.txt), [closure.json](evidence/forward-published/closure.json). Это зафиксированное состояние окончания реализации, не новое обращение отчётного этапа к Docker.
|
||||
**Восстановление в новое хранилище:**
|
||||
|
||||
### Финальная validation перед публикацией
|
||||
| Набор | 100 011 сообщений | 999 993 сообщения |
|
||||
| --- | ---: | ---: |
|
||||
| Размер `pg_dump -Fc` | 1.6 МБ | 14.7 МБ |
|
||||
| Дамп | 0.15 с (0.15..0.15) | 1.04 с (1.03..1.05) |
|
||||
| Новый экземпляр (пустой volume, initdb, `healthy` с опросом раз в 200 мс) | 1.26 с (1.26..1.30) | 1.27 с (1.27..1.27) |
|
||||
| `pre-data` / `data -j 4` / `post-data -j 4` | 0.16 / 0.35 / 0.22 с | 0.16 / 2.16 / 0.91 с |
|
||||
| Сверка | 0.19 с | 0.84 с |
|
||||
| **RTO** (экземпляр + восстановление + сверка), медиана [мин..макс] | **2.17 с** [2.17..2.26] | **5.32 с** [5.31..5.35] |
|
||||
| Проверки: счётчики 4 таблиц, `md5` «чат: число», `md5` истории 3 чатов, выборка, миграции, индексы, ограничения | 13 из 13 × 3 | 13 из 13 × 3 |
|
||||
| Маркеры: в источнике / в копии / записаны во время дампа после снимка и потеряны (медиана) | 76 / 43 / 6 | 118 / 43 / 47 |
|
||||
|
||||
На входном HEAD `1e00d861a803a6d49ef443175b8231cbf048fc02` аудит подтвердил применимость всех 15 серий: runtime и измеритель совпадают с прошедшим ревью кодом. Все raw JSON и comparison пересчитаны, временные окна и hashes исключённых оригиналов проверены. **Нагрузку повторно не запускали.** [Аудит](evidence/load-validation.md) содержит решение по каждой серии, конфигурации, dataset, фону и ограничениям.
|
||||
**Выводы.**
|
||||
|
||||
Свежие `make check validate lint` и OpenSpec strict (26 specs) прошли. Свежий полный `make student-test` завершился с 993 passed, 2 skipped, 19 deselected и 2 ошибками подготовки RustFS. В окружении был системный прокси macOS без обхода localhost; только два затронутых теста повторены штатной обвязкой с `NO_PROXY`: 2 passed. Полный первый запуск не объявляется PASS; оба лога сохранены. Код и прежние сырые измерения не менялись; публикация в фазе validation не выполнялась.
|
||||
- H1 **подтверждена**. Составной индекс с keyset — единственный вариант, где страница стоит 0.012–0.024 мс
|
||||
и 4–6 буферов и для чата из 36 сообщений, и для чата из 284 708, на любой глубине. `(chat_id)` хорош для
|
||||
маленьких чатов и в ≈550 раз хуже на большом (12.2 против 0.022 мс); `(created_at, id)` — зеркально: хорош
|
||||
на большом и в ≈860 раз хуже на маленьком (14.7 против 0.017 мс). Перекос размеров чатов делает оба
|
||||
одноколоночных индекса непригодными: в одном сервисе есть и те и другие чаты. `OFFSET` на 90 % большого
|
||||
чата стоит 20 мс даже с лучшим индексом — читает и выбрасывает 256 288 строк; keyset на той же глубине —
|
||||
0.024 мс. Поэтому курсор приложения — keyset.
|
||||
- Находка про prepared statements: с `(created_at, id)` generic-план для маленького чата в ≈10 раз
|
||||
медленнее custom (156.5 против 14.9 мс). Приложение работает через asyncpg и после пяти выполнений могло
|
||||
бы получить именно его. С составным индексом план от параметра не зависит (0.015–0.023 мс в обоих
|
||||
режимах), и риска нет — ещё один довод за этот индекс.
|
||||
- H2 **подтверждена для объёма и WAL; по времени эффект на уровне шума**. Размер: составной индекс — 56.2 МБ
|
||||
против 6.8 МБ у `(chat_id)` и 38.7 МБ у `(created_at, id)`. WAL: каждый индекс истории добавляет ровно одну
|
||||
запись WAL на вставку (6.03–6.06 без индекса → 7.03–7.06 с любым индексом, в обоих режимах) и 75–105 байт
|
||||
у одноколоночного или 133–161 байт у составного при `sync`; при `async` — 87–99 и 149–160 байт. Диапазон
|
||||
взят относительно первого и контрольного прогона без индексов. Составной дороже одноколоночных примерно на
|
||||
60 байт: его ключ — 40 байт (`uuid`, `timestamptz`, `uuid`) против 16 и 24. Доля full page writes почти не
|
||||
меняется: 0.128–0.146 FPI на вставку при `sync`. TPS с индексом падает на 0.4–3.6 %: при `sync` 9 455 → 9 113
|
||||
у составного (−3.6 % к первому прогону, −2.5 % к контрольному). Это того же порядка, что дрейф между
|
||||
первым и контрольным прогоном без индексов (−1.2 % и −1.0 %), и диапазоны пересекаются. Значит, направление
|
||||
эффекта ожидаемое (составной самый медленный), но величину по TPS эта VM не различает. Прошлая серия без
|
||||
контрольного повтора дала обратную картину: составной набор при `async` был на 20 % быстрее, чем без
|
||||
индексов. Скорее всего, это был дрейф VM, и как раз его ловит повтор A-B-C-D-A. Ещё одна оговорка: первый прогон без
|
||||
индексов дал 6.70 записей WAL при `sync` против 6.03 у контрольного, то есть состояние таблиц сразу после
|
||||
построения базы тоже весит. Цену индекса показывают размер и WAL; на чтении он выигрывает 2–3 порядка.
|
||||
- H3 **подтверждена**. Миллион сообщений поднимается в новом хранилище за 5.32 с (три повтора
|
||||
5.31–5.35 с), 100 тысяч — за 2.17 с. Запуск пустого экземпляра (initdb, старт, первый успешный
|
||||
`pg_isready`) занимает 1.27 с: 24 % RTO для миллиона и 58 % для 100 тысяч. Перестройка индексов и
|
||||
ограничений (`post-data`) — 28 % времени `pg_restore` миллиона. От 100 тысяч к миллиону время данных выросло
|
||||
в 6.2 раза, `post-data` — в 4.1 раза, запуск экземпляра не изменился. Прошлая версия отчёта давала RTO 9.75
|
||||
и 6.68 с и «5.8 с на запуск экземпляра». Из этих 5.8 с около 4.5 с были не PostgreSQL, а ожиданием первой
|
||||
проверки здоровья: без `start_interval` Docker ждёт 5 с до первого `pg_isready`. Теперь при старте проверка
|
||||
идёт раз в 200 мс. RPO дампа — момент его снимка: 46–48 сообщений, подтверждённых во время работы
|
||||
`pg_dump` после снимка, в копии отсутствуют, хотя дамп завершился позже них. Последний маркер копии
|
||||
записан за 1–16 мс до начала дампа по часам источника.
|
||||
- Решение по приложению: индекс `(chat_id, created_at, id)` и keyset-курсор остаются без изменений.
|
||||
|
||||
**Ограничения трека.** VM Docker Desktop шумит, поэтому сравниваются буферы, строки и порядки величин, а
|
||||
абсолютные миллисекунды — только внутри одного прогона. «Холодный» кэш — это пустые `shared_buffers`;
|
||||
кэш страниц ОС внутри VM не сбрасывается, реальное чтение с диска было бы медленнее. Для параллельных
|
||||
планов «строк просмотрено» считается по циклам: `(Actual Rows + Rows Removed by Filter + Rows Removed by Index
|
||||
Recheck) × Actual Loops`; строки, прочитанные и отброшенные внутри `Sort` или `Limit`, в ней не учтены.
|
||||
Влияние индекса на TPS при записи (0.4–3.6 %) того же порядка, что дрейф между первым и контрольным прогоном
|
||||
(1.0–1.2 %); наборы идут в фиксированном порядке, и один контрольный повтор не заменяет перемешивания.
|
||||
Синтетический текст хорошо сжимается, поэтому дамп в 14 раз меньше таблицы; на реальных сообщениях он будет
|
||||
больше и дольше. Восстанавливается синтетическая база `track`, а не рабочая `messenger`. `pg_dump -d track`
|
||||
не переносит роли и прочие глобальные объекты кластера: восстановление работает, потому что роль
|
||||
`messenger` в новом экземпляре создаёт `POSTGRES_USER`. Для настоящего кластера нужен ещё
|
||||
`pg_dumpall --globals-only`. Восстановленная база сверялась SQL-запросами, а не через API. RTO измерено на
|
||||
одной машине без переключения API на восстановленную базу: это ещё смена `DATABASE_URL`, рестарт API
|
||||
(≈1.6 с до готовности по `evidence/persistence.txt`) и `make test`. Время экземпляра включает шаг опроса
|
||||
`healthy` (до 0.2 с). Три повтора дают разброс 1–4 %, для доверительного интервала их мало. «Sync»-цифры записи сняты в VM Docker
|
||||
Desktop, где `fsync` подтверждает запись в виртуальный диск; дошла ли она до носителя хоста, не проверялось.
|
||||
`pg_dump` даёт RPO, равный интервалу между дампами; для RPO в секунды нужны `pg_basebackup` и архивирование
|
||||
WAL с восстановлением на момент времени (PITR) — здесь это только обсуждается.
|
||||
|
||||
## Ответы на вопросы защиты
|
||||
|
||||
**Что подтверждает `COMMIT` и какие гарантии зависят от durability?** `COMMIT` возвращается, когда запись
|
||||
транзакции в WAL сброшена на диск: при `synchronous_commit = on` сервер ждёт `fsync` (здесь
|
||||
`wal_sync_method = fdatasync`) до ответа клиенту, поэтому подтверждённые `201` переживают падение процесса
|
||||
и рестарт (`make test-persistence`). Настройки стенда — `fsync = on`, `synchronous_commit = on`,
|
||||
`full_page_writes = on` (`evidence/environment.txt`). С `synchronous_commit = off` подтверждённые
|
||||
транзакции последних ≈0.6 с (`3 × wal_writer_delay`) теряются при падении сервера, но база остаётся
|
||||
согласованной; с `fsync = off` при сбое ОС база может разрушиться; без `full_page_writes` — разорванные
|
||||
страницы после сбоя питания. Оговорка стенда: `fsync` в VM Docker Desktop подтверждает запись в
|
||||
виртуальный диск, а дойдёт ли она до носителя (на macOS это `F_FULLFSYNC`), решает гипервизор — это не
|
||||
проверялось. Коммит с `fsync` в треке стоит 0.42–0.44 мс против 0.32 мс без него, подозрительно дёшево для
|
||||
честного сброса на SSD, поэтому «sync»-цифры трека — нижняя граница цены durability, а не её значение на
|
||||
реальном сервере.
|
||||
|
||||
**Где хранятся сессии и что будет после flush/restart Valkey?** Источник истины — таблица `sessions` в
|
||||
PostgreSQL (только SHA-256 токена). Valkey хранит read-through копию и отметки отзыва `"-"`. `FLUSHALL`
|
||||
теряет только кэш: живой токен `200` (заполнение заново из БД), отозванный `401` (строки в БД уже нет).
|
||||
Рестарт Valkey сохраняет ключи через AOF `appendfsync always` (14 → 14). Недоступный Valkey обходится,
|
||||
выход в это время отвечает `503` (`evidence/faults.txt`).
|
||||
|
||||
**Чем аутентификация отличается от доступа к конкретному чату?** Аутентификация отвечает на вопрос «кто
|
||||
это» — страж конвейера проверяет `Bearer`-сессию до маршрутизации и даёт `401` с `WWW-Authenticate`.
|
||||
Доступ (авторизация) отвечает на вопрос «можно ли ему этот чат» — зона `messaging` проверяет членство в
|
||||
`chat_members`: посторонний с действующим токеном получает `404`, неотличимый от несуществующего чата,
|
||||
а не `403`, и не узнаёт, что чат есть (`test_outsider_*` в `evidence/student-tests.txt`, `make test`).
|
||||
Запись постороннего не берёт блокировку строки чата и не ждёт участников.
|
||||
|
||||
**Почему hash пароля и быстрый checksum решают разные задачи?** Пароль выбирает человек, энтропии в нём
|
||||
мало, поэтому хеш должен быть медленным и требовать памяти (Argon2id `m=19 MiB, t=2`), чтобы перебор по
|
||||
утёкшей таблице стоил дорого. Токен сессии — 256 случайных бит, перебирать нечего, поэтому достаточно
|
||||
быстрого SHA-256: он лишь не даёт превратить утечку `sessions` в действующие токены. Checksum миграции
|
||||
(`schema_migrations.checksum`) — не защита от противника, а обнаружение изменения уже применённого файла.
|
||||
|
||||
## Ограничения и следующие шаги
|
||||
|
||||
Ревью `6ca1c7549978af3127966540385195ab0587f2e1` не выявило major. Пять minor сохранены; по правилу пользователя они не блокируют отчёт/release и в документационном этапе не исправляются:
|
||||
|
||||
| ID | Ограничение и последствие | Файлы / доказательства |
|
||||
| --- | --- | --- |
|
||||
| M1 | Loki leak-check ищет маркеры через line filter, но не во всех attributes/structured metadata. Нулевые hits — ограниченная проверка, не полный аудит отсутствия секретов. Фактическая утечка не обнаружена | [obs_check.py](scripts/obs_check.py), [telemetry.py](src/messenger/shared/infrastructure/telemetry.py), [leaks](evidence/forward-published/telemetry-leaks.txt) |
|
||||
| M2 | Унаследованные allowlists `make limits` и published-port audit CI не учитывают OTel/helper services и отклоняют штатную ЛР6. Весь CI не объявляется зелёным; лимиты проверены отдельно | [limits.py](scripts/limits.py), [workflow](.github/workflows/application.yml), [runtime](evidence/forward-published/runtime.json) |
|
||||
| M3 | API SLI не учитывает 503 HAProxy, rate новой серии может пропустить первый всплеск. Полная пауза БД не вызвала alert; успешен именно отдельный SQL-lock сценарий | [alerts](infra/prometheus/rules/messenger.alerts.yml), [неуспешный старый опыт](evidence/grade4/database-incident.txt), [свежий SQL-lock](evidence/forward-published/incident-database.txt) |
|
||||
| M4 | Collector достиг 98,7% лимита (252,7/256 MiB) без наблюдаемого OOM. Запас мал; опыт не доказывает устойчивость при любой нагрузке/длительности отказа | [collector.yaml](infra/otel/collector.yaml), [compose](compose.yaml), [storage](evidence/grade4/storage-incident.txt) |
|
||||
| M5 | Whitespace в SVG и сыром stdout: ревью получило `git show --check` exit 2, 2320 замечаний. Это косметика артефактов; `make lint` исходников проходит | [comparison.svg](evidence/forward-published/cost/comparison.svg), [whitespace-check.txt](evidence/forward-published/whitespace-check.txt) |
|
||||
|
||||
Полный текст и происхождение замечаний — [review-summary.md](evidence/review-summary.md). Улучшения охвата leak-check, CI allowlists, edge SLI и запаса памяти остаются будущей работой; результат их реализации не заявлен.
|
||||
|
||||
Дополнительные границы: один host, одиночные PostgreSQL/RabbitMQ/S3/Collector и локальные volumes, без HA этих компонентов и disaster recovery. Сбой узла и удаление volumes не покрыты. TLS/mTLS, внешние receivers alerts и multi-window burn-rate относятся к другим задачам. Три повтора, фиксированный порядок, общий host и накопленная история storage ограничивают выводы о CPU/RAM/latency; CPU во время drain и непрерывный пик RAM не измерены. Tail window 10 s не гарантирует полноту очень поздних retry. Queue gauge — durable backlog; time-to-ready SLI не включает pending; process CPU не включает renderer. Full suite имеет 2 macOS skip и 19 deselected stack, поэтому дополнен targeted Docker evidence, но не выдаётся за исполнение всех тестов.
|
||||
|
||||
Старые `grade3`, `grade4`, `track5`, `level3.json` привязаны к своим SHA в [индексе](evidence/README.md); прежние 519 passed и −91,1% Tempo не являются результатом позднего кода. Неуспешные/прерванные smoke, retry, persistence, тесты и измерения сохранены и размечены в исторических notes. Новый clean-clone и динамический прогон в отчётном этапе не выполнялись. Сырые evidence, OpenSpec и реализация не менялись. Конфигурация OpenSpec уже актуальна; новая proposal/apply/archive для документационного этапа не создавалась по его явному ограничению на изменения.
|
||||
|
||||
## Вопросы защиты
|
||||
|
||||
1. **Чем отличаются три сигнала?** Метрика показывает рост error rate/backlog, лог даёт событие и технический ID, trace показывает длительность зависимостей и причинную цепочку.
|
||||
2. **Почему нельзя chat_id в labels?** Число series растёт с чатами и комбинациями labels; память/индекс хранилища расходуются даже при малом RPS. Нужен route template; ID оставляют для выборочного поиска логов/traces.
|
||||
3. **Как связаны API и worker?** W3C carrier сохраняется вместе с durable job/outbox, затем идёт в AMQP headers; consumer извлекает parent, retry сохраняет связь. Сбой relay не стирает контекст из БД.
|
||||
4. **Почему ack после COMMIT?** Ранний ack может потерять работу при падении до commit; поздний допускает повтор, который нейтрализуют effect key и fencing.
|
||||
5. **Почему SQLAlchemy и Alembic?** ORM/Core задают единые транзакции/блокировки и пул, Alembic — упорядоченный head с lock/legacy adoption. OTel asyncpg инструментация наблюдает драйвер под SQLAlchemy, не заменяя его.
|
||||
6. **Почему среднее не заменяет p99?** Редкая задержка скрывается средним; p99 реплик нельзя усреднять. Сначала складываются bucket rates, затем вычисляется quantile.
|
||||
7. **Как отличили DB от медленного handler?** В сохранённом trace SELECT client ERROR около 2 s внутри server 503, pool waiting=0; снятие SQL lock убрало причину и затем alert.
|
||||
8. **Почему head потерял ошибки, а balanced сохранил?** Head решает до исхода, tail — после получения ERROR/duration. Цена tail — создание всех spans и ограниченное ожидание в памяти Collector.
|
||||
9. **Почему наблюдаемость может теряться без потери сообщения?** Её очереди и retry конечны и отделены от бизнес-коммита; 2/74 traces потеряны при продолжающем работать API.
|
||||
10. **Что доказано треком?** Сокращение записи в Tempo на 92,2% с сохранением контрольных событий при 20 req/s. Production capacity, статистическое ускорение и полнота всех поздних retry не доказаны.
|
||||
|
||||
## Источники и помощь
|
||||
|
||||
Нормы: [README](README.md), [контракт наблюдаемости](contracts/observability.md), [API](contracts/openapi.json), [COURSE](COURSE.md). Архитектура портов/UoW — [конспект Персиваля—Грегори](openspec/notes/architecture-patterns-python.md). Код и проверенные конфигурации версионируются в этом репозитории.
|
||||
|
||||
SQLAlchemy async sessions/engine и Alembic async `run_sync` сверены с [SQLAlchemy 2.0](https://docs.sqlalchemy.org/en/20/orm/extensions/asyncio.html) и [Alembic cookbook](https://alembic.sqlalchemy.org/en/latest/cookbook.html#using-asyncio-with-alembic). Context7 в этом этапе ответил `Monthly quota exceeded`, поэтому использована официальная документация; закреплённые версии проекта не обновлялись. Остальные первичные материалы OTel, W3C, Prometheus и Grafana перечислены в README; фактические имена/настройки сверены с локальным кодом и evidence.
|
||||
|
||||
Codex использован как инструмент подготовки реализации, проверок, анализа и отчёта; автор работы — Костылев Артём. Независимое ревью получено отдельным этапом runner. Динамические результаты в этом документе — сохранённые измерения исполнителей, а не повторные прогоны агента отчёта.
|
||||
- Один Docker-host и один экземпляр PostgreSQL: потеря host или volume теряет всё после последнего дампа;
|
||||
репликации нет, резервная копия снимается вручную (`make track-recovery` показывает процедуру и RTO).
|
||||
- Истёкшие сессии удаляются только при следующем входе того же пользователя; фоновой очистки нет.
|
||||
- Запись в один горячий чат сериализуется блокировкой строки чата — цена строгого порядка истории.
|
||||
- Выход невозможен, пока недоступен Valkey (`503`): осознанная плата за то, что отзыв подтверждается только
|
||||
когда он виден и в кэше. Проверка остальных запросов при этом продолжается через PostgreSQL.
|
||||
- Нагрузка снята закрытым контуром `tests/load.py` с клиента на той же машине: согласованные пропуски,
|
||||
новое TCP-соединение на запрос (поэтому прогон ограничен 8 с), все записи в один чат. Это пропускная
|
||||
способность HTTP-подтверждений в одном горячем чате, а не предел системы.
|
||||
- Секреты лежат файлами в `secrets/` на хосте (каталог `0700`, файлы `0644`, чтобы их читали
|
||||
непривилегированные пользователи контейнеров); это учебное упрощение вместо менеджера секретов.
|
||||
- Отзыв и PostgreSQL не связаны двухфазной фиксацией. Отказ БД при выходе снимает отметку в Valkey, но при
|
||||
неоднозначном `COMMIT` (сервер зафиксировал, ответ потерян) возможна гонка: чтение заполнит кэш, и токен
|
||||
проживёт в кэше до 300 с, хотя клиент получил `503` и повторит выход.
|
||||
- Запрос, который при `SIGTERM` не дождался своего тела за 7 с, отменяет uvicorn. Клиенту уходит
|
||||
встроенный текстовый `500 Internal Server Error`, а не JSON-ошибка контракта: приложение к этому моменту
|
||||
уже отменено.
|
||||
- Процесс openspec: правило `config.yaml` «proposal в пределах 400 слов» нарушено в архивных циклах.
|
||||
Без разметки в `add-lab2-postgres-sessions` около 483 слов, в `harden-lab2-after-review` — около 409;
|
||||
`wc -w` с разметкой даёт 522 и 433, а у `add-lab2-session-cache-and-resilience` — 427. Архив уже
|
||||
закоммичен, а ЛР3 переносится с коммита `8cddb09`, поэтому историю не переписываю. В proposal цикла
|
||||
`harden-lab2-second-review` 342 слова по `wc -w`.
|
||||
|
||||
@@ -1,4 +0,0 @@
|
||||
[alembic]
|
||||
script_location = %(here)s/alembic
|
||||
prepend_sys_path = %(here)s/src %(here)s/alembic
|
||||
path_separator = space
|
||||
-102
@@ -1,102 +0,0 @@
|
||||
import asyncio
|
||||
|
||||
from alembic import context
|
||||
from alembic.script import ScriptDirectory
|
||||
from legacy import adopt_legacy
|
||||
from sqlalchemy import Connection, func, make_url, pool, select
|
||||
from sqlalchemy.ext.asyncio import create_async_engine
|
||||
|
||||
from messenger.attachments.infrastructure.postgres import (
|
||||
AttachmentRow,
|
||||
JobEventRow,
|
||||
JobRow,
|
||||
OutboxRow,
|
||||
VariantRow,
|
||||
)
|
||||
from messenger.identity.infrastructure.postgres import SessionRow, UserRow
|
||||
from messenger.messaging.infrastructure.postgres import (
|
||||
ChatMemberRow,
|
||||
ChatRow,
|
||||
IdempotencyKeyRow,
|
||||
MessageAttachmentRow,
|
||||
MessageRow,
|
||||
)
|
||||
from messenger.shared.config import PlatformSettings
|
||||
|
||||
LOCK_KEY = 20_260_002
|
||||
MODELS = (
|
||||
UserRow,
|
||||
SessionRow,
|
||||
ChatRow,
|
||||
ChatMemberRow,
|
||||
MessageRow,
|
||||
IdempotencyKeyRow,
|
||||
AttachmentRow,
|
||||
JobRow,
|
||||
OutboxRow,
|
||||
JobEventRow,
|
||||
VariantRow,
|
||||
MessageAttachmentRow,
|
||||
)
|
||||
target_metadata = UserRow.metadata
|
||||
config = context.config
|
||||
|
||||
|
||||
def include_object(_obj, name, _type, _reflected, _compare_to):
|
||||
return name != "schema_migrations"
|
||||
|
||||
|
||||
def run_migrations(connection: Connection) -> None:
|
||||
with connection.engine.connect() as lock:
|
||||
lock.execute(select(func.pg_advisory_lock(LOCK_KEY)))
|
||||
lock.commit()
|
||||
try:
|
||||
with connection.begin():
|
||||
adopt_legacy(connection, ScriptDirectory.from_config(config))
|
||||
context.configure(
|
||||
connection=connection,
|
||||
target_metadata=target_metadata,
|
||||
transaction_per_migration=True,
|
||||
compare_type=True,
|
||||
include_object=include_object,
|
||||
)
|
||||
with context.begin_transaction():
|
||||
context.run_migrations()
|
||||
finally:
|
||||
lock.execute(select(func.pg_advisory_unlock(LOCK_KEY)))
|
||||
lock.commit()
|
||||
|
||||
|
||||
async def run_async_migrations() -> None:
|
||||
dsn = config.attributes.get("database_url")
|
||||
if dsn is None:
|
||||
dsn = PlatformSettings().database_url.get_secret_value()
|
||||
engine = create_async_engine(
|
||||
make_url(dsn).set(drivername="postgresql+asyncpg"),
|
||||
poolclass=pool.NullPool,
|
||||
hide_parameters=True,
|
||||
connect_args={
|
||||
"timeout": 10,
|
||||
"server_settings": {"lock_timeout": "10000", "statement_timeout": "60000"},
|
||||
},
|
||||
)
|
||||
try:
|
||||
async with engine.connect() as connection:
|
||||
await connection.run_sync(run_migrations)
|
||||
finally:
|
||||
await engine.dispose()
|
||||
|
||||
|
||||
if context.is_offline_mode():
|
||||
context.configure(
|
||||
dialect_name="postgresql",
|
||||
target_metadata=target_metadata,
|
||||
literal_binds=True,
|
||||
transaction_per_migration=True,
|
||||
)
|
||||
with context.begin_transaction():
|
||||
context.run_migrations()
|
||||
elif config.attributes.get("connection") is not None:
|
||||
run_migrations(config.attributes["connection"])
|
||||
else:
|
||||
asyncio.run(run_async_migrations())
|
||||
@@ -1,94 +0,0 @@
|
||||
from uuid import uuid4
|
||||
|
||||
from alembic.migration import MigrationContext
|
||||
from alembic.operations import Operations
|
||||
from alembic.script import ScriptDirectory
|
||||
from sqlalchemy import Connection, MetaData, Table, func, inspect, select, text
|
||||
from sqlalchemy.schema import CreateSchema
|
||||
|
||||
LEGACY = {
|
||||
"0001_init": "9a13618f078ae9056431391e2e5197a31b981ae1fff047a9b3421ac750d3fd0d",
|
||||
"0002_idempotency_keys": "d9159a35553249a1e51af5f2e4e7c39b014e97593c49748e13f3799839063dd0",
|
||||
"0003_attachments": "c4417f560538a083efba1c67f660147dc94532fcbb2fa91f3f3e8258a0f01f2e",
|
||||
"0004_jobs": "c3887fa7a886ae8153a216aa43fd4c3c6190a2074e8ce20c3e77f29bfb01550e",
|
||||
"0005_failed_registry": "02b80061a08a6929feb092148c453ad970e3d001901c651b5a73b90b1e40f145",
|
||||
"0006_attachment_quarantine": (
|
||||
"541f5399d87fac3584c4102b4e0bf92c23cd372cc20a7d56dad03e771773202c"
|
||||
),
|
||||
}
|
||||
SNAPSHOT = text("""
|
||||
WITH relations AS (
|
||||
SELECT c.* FROM pg_class c JOIN pg_namespace n ON n.oid = c.relnamespace
|
||||
WHERE n.nspname = :schema AND c.relkind IN ('r', 'p')
|
||||
AND c.relname NOT IN ('schema_migrations', 'alembic_version')
|
||||
)
|
||||
SELECT 'table' AS kind, c.relname AS name,
|
||||
concat_ws('|', c.relkind, c.relpersistence,
|
||||
c.relrowsecurity, c.relforcerowsecurity) AS definition
|
||||
FROM relations c
|
||||
UNION ALL
|
||||
SELECT 'column', c.relname || '.' || a.attname,
|
||||
concat_ws('|', a.attnum, format_type(a.atttypid, a.atttypmod), a.attnotnull,
|
||||
a.attidentity, a.attgenerated, a.attcollation::regcollation,
|
||||
pg_get_expr(d.adbin, d.adrelid))
|
||||
FROM relations c JOIN pg_attribute a ON a.attrelid = c.oid
|
||||
LEFT JOIN pg_attrdef d ON d.adrelid = c.oid AND d.adnum = a.attnum
|
||||
WHERE a.attnum > 0 AND NOT a.attisdropped
|
||||
UNION ALL
|
||||
SELECT 'constraint', c.relname || '.' || k.conname,
|
||||
concat_ws('|', pg_get_constraintdef(k.oid), k.convalidated)
|
||||
FROM relations c JOIN pg_constraint k ON k.conrelid = c.oid
|
||||
UNION ALL
|
||||
SELECT 'index', c.relname || '.' || x.relname,
|
||||
concat_ws('|', pg_get_indexdef(i.indexrelid), i.indisvalid, i.indisready)
|
||||
FROM relations c JOIN pg_index i ON i.indrelid = c.oid
|
||||
JOIN pg_class x ON x.oid = i.indexrelid
|
||||
UNION ALL
|
||||
SELECT 'trigger', c.relname || '.' || t.tgname,
|
||||
concat_ws('|', pg_get_triggerdef(t.oid), t.tgenabled)
|
||||
FROM relations c JOIN pg_trigger t ON t.tgrelid = c.oid WHERE NOT t.tgisinternal
|
||||
ORDER BY kind, name
|
||||
""")
|
||||
|
||||
|
||||
def snapshot(connection: Connection, schema: str) -> list[tuple[str, str, str]]:
|
||||
return [
|
||||
(kind, name, definition.replace(f"{schema}.", ""))
|
||||
for kind, name, definition in connection.execute(SNAPSHOT, {"schema": schema})
|
||||
]
|
||||
|
||||
|
||||
def adopt_legacy(connection: Connection, scripts: ScriptDirectory) -> None:
|
||||
migration = MigrationContext.configure(connection)
|
||||
if migration.get_current_heads():
|
||||
return
|
||||
tables = set(inspect(connection).get_table_names(schema="public"))
|
||||
if tables <= {"alembic_version"}:
|
||||
return
|
||||
if "schema_migrations" not in tables:
|
||||
raise RuntimeError("Existing schema has no legacy migration journal")
|
||||
journal = Table("schema_migrations", MetaData(), schema="public", autoload_with=connection)
|
||||
applied = dict(connection.execute(select(journal.c.version, journal.c.checksum)).tuples().all())
|
||||
expected = dict(list(LEGACY.items())[: len(applied)])
|
||||
if applied != expected:
|
||||
raise RuntimeError("Unknown or changed legacy migrations")
|
||||
if not applied:
|
||||
if tables - {"schema_migrations", "alembic_version"}:
|
||||
raise RuntimeError("Existing schema has an empty migration journal")
|
||||
return
|
||||
revision = list(expected)[-1]
|
||||
actual = snapshot(connection, "public")
|
||||
reference = f"alembic_verify_{uuid4().hex}"
|
||||
savepoint = connection.begin_nested()
|
||||
try:
|
||||
connection.execute(CreateSchema(reference))
|
||||
connection.execute(select(func.set_config("search_path", reference, True)))
|
||||
with Operations.context(MigrationContext.configure(connection)):
|
||||
for script in reversed(list(scripts.walk_revisions(base="base", head=revision))):
|
||||
script.module.upgrade()
|
||||
wanted = snapshot(connection, reference)
|
||||
finally:
|
||||
savepoint.rollback()
|
||||
if actual != wanted:
|
||||
raise RuntimeError("Legacy schema differs from the recorded migrations")
|
||||
migration.stamp(scripts, revision)
|
||||
@@ -1,16 +0,0 @@
|
||||
from alembic import op
|
||||
import sqlalchemy as sa
|
||||
${imports if imports else ""}
|
||||
|
||||
revision = ${repr(up_revision)}
|
||||
down_revision = ${repr(down_revision)}
|
||||
branch_labels = ${repr(branch_labels)}
|
||||
depends_on = ${repr(depends_on)}
|
||||
|
||||
|
||||
def upgrade() -> None:
|
||||
${upgrades if upgrades else "pass"}
|
||||
|
||||
|
||||
def downgrade() -> None:
|
||||
${downgrades if downgrades else "pass"}
|
||||
@@ -1,87 +0,0 @@
|
||||
import sqlalchemy as sa
|
||||
from alembic import op
|
||||
|
||||
revision = "0001_init"
|
||||
down_revision = None
|
||||
branch_labels = None
|
||||
depends_on = None
|
||||
|
||||
|
||||
def upgrade() -> None:
|
||||
op.create_table(
|
||||
"users",
|
||||
sa.Column("id", sa.Uuid(), nullable=False),
|
||||
sa.Column("username", sa.Text(), nullable=False),
|
||||
sa.Column("display_name", sa.Text(), nullable=False),
|
||||
sa.Column("password_hash", sa.Text(), nullable=False),
|
||||
sa.Column("created_at", sa.DateTime(timezone=True), nullable=False),
|
||||
sa.CheckConstraint("password_hash LIKE '$argon2id$%'", name="users_password_hash_check"),
|
||||
sa.CheckConstraint("username ~ '^[a-z0-9_]{3,32}$'", name="users_username_format"),
|
||||
sa.CheckConstraint(
|
||||
"char_length(display_name) BETWEEN 1 AND 100", name="users_display_name_check"
|
||||
),
|
||||
sa.PrimaryKeyConstraint("id"),
|
||||
sa.UniqueConstraint("username", name="users_username_key"),
|
||||
)
|
||||
op.create_table(
|
||||
"sessions",
|
||||
sa.Column("token_hash", sa.LargeBinary(), nullable=False),
|
||||
sa.Column("user_id", sa.Uuid(), nullable=False),
|
||||
sa.Column("created_at", sa.DateTime(timezone=True), nullable=False),
|
||||
sa.Column("expires_at", sa.DateTime(timezone=True), nullable=False),
|
||||
sa.CheckConstraint("expires_at > created_at", name="sessions_check"),
|
||||
sa.CheckConstraint("octet_length(token_hash) = 32", name="sessions_token_hash_check"),
|
||||
sa.ForeignKeyConstraint(["user_id"], ["users.id"], ondelete="CASCADE"),
|
||||
sa.PrimaryKeyConstraint("token_hash"),
|
||||
)
|
||||
op.create_index("sessions_user_idx", "sessions", ["user_id"], unique=False)
|
||||
op.create_table(
|
||||
"chats",
|
||||
sa.Column("id", sa.Uuid(), nullable=False),
|
||||
sa.Column("title", sa.Text(), nullable=False),
|
||||
sa.Column("created_at", sa.DateTime(timezone=True), nullable=False),
|
||||
sa.Column("last_message_at", sa.DateTime(timezone=True), nullable=True),
|
||||
sa.CheckConstraint("char_length(title) BETWEEN 1 AND 100", name="chats_title_check"),
|
||||
sa.PrimaryKeyConstraint("id"),
|
||||
)
|
||||
op.create_table(
|
||||
"chat_members",
|
||||
sa.Column("chat_id", sa.Uuid(), nullable=False),
|
||||
sa.Column("user_id", sa.Uuid(), nullable=False),
|
||||
sa.Column("position", sa.SmallInteger(), nullable=False),
|
||||
sa.Column("chat_created_at", sa.DateTime(timezone=True), nullable=False),
|
||||
sa.CheckConstraint("position BETWEEN 1 AND 100", name="chat_members_position_check"),
|
||||
sa.ForeignKeyConstraint(["chat_id"], ["chats.id"], ondelete="CASCADE"),
|
||||
sa.ForeignKeyConstraint(
|
||||
["user_id"],
|
||||
["users.id"],
|
||||
),
|
||||
sa.PrimaryKeyConstraint("chat_id", "user_id"),
|
||||
)
|
||||
op.create_index(
|
||||
"chat_members_user_idx",
|
||||
"chat_members",
|
||||
["user_id", "chat_created_at", "chat_id"],
|
||||
unique=False,
|
||||
)
|
||||
op.create_table(
|
||||
"messages",
|
||||
sa.Column("id", sa.Uuid(), nullable=False),
|
||||
sa.Column("chat_id", sa.Uuid(), nullable=False),
|
||||
sa.Column("sender_id", sa.Uuid(), nullable=False),
|
||||
sa.Column("text", sa.Text(), nullable=False),
|
||||
sa.Column("created_at", sa.DateTime(timezone=True), nullable=False),
|
||||
sa.CheckConstraint("char_length(text) BETWEEN 1 AND 4000", name="messages_text_check"),
|
||||
sa.ForeignKeyConstraint(
|
||||
["chat_id", "sender_id"],
|
||||
["chat_members.chat_id", "chat_members.user_id"],
|
||||
),
|
||||
sa.PrimaryKeyConstraint("id"),
|
||||
)
|
||||
op.create_index(
|
||||
"messages_history_idx", "messages", ["chat_id", "created_at", "id"], unique=False
|
||||
)
|
||||
|
||||
|
||||
def downgrade() -> None:
|
||||
raise RuntimeError("Downgrade would delete application data")
|
||||
@@ -1,33 +0,0 @@
|
||||
import sqlalchemy as sa
|
||||
from alembic import op
|
||||
|
||||
revision = "0002_idempotency_keys"
|
||||
down_revision = "0001_init"
|
||||
branch_labels = None
|
||||
depends_on = None
|
||||
|
||||
|
||||
def upgrade() -> None:
|
||||
op.create_table(
|
||||
"idempotency_keys",
|
||||
sa.Column("chat_id", sa.Uuid(), nullable=False),
|
||||
sa.Column("user_id", sa.Uuid(), nullable=False),
|
||||
sa.Column("key", sa.Text(), nullable=False),
|
||||
sa.Column("fingerprint", sa.LargeBinary(), nullable=False),
|
||||
sa.Column("message_id", sa.Uuid(), nullable=False),
|
||||
sa.Column("created_at", sa.DateTime(timezone=True), nullable=False),
|
||||
sa.CheckConstraint("key ~ '^[A-Za-z0-9._:-]{1,128}$'", name="idempotency_keys_key_check"),
|
||||
sa.CheckConstraint(
|
||||
"octet_length(fingerprint) = 32", name="idempotency_keys_fingerprint_check"
|
||||
),
|
||||
sa.ForeignKeyConstraint(
|
||||
["chat_id", "user_id"],
|
||||
["chat_members.chat_id", "chat_members.user_id"],
|
||||
),
|
||||
sa.ForeignKeyConstraint(["message_id"], ["messages.id"], ondelete="CASCADE"),
|
||||
sa.PrimaryKeyConstraint("chat_id", "user_id", "key"),
|
||||
)
|
||||
|
||||
|
||||
def downgrade() -> None:
|
||||
raise RuntimeError("Downgrade would delete application data")
|
||||
@@ -1,77 +0,0 @@
|
||||
import sqlalchemy as sa
|
||||
from alembic import op
|
||||
|
||||
revision = "0003_attachments"
|
||||
down_revision = "0002_idempotency_keys"
|
||||
branch_labels = None
|
||||
depends_on = None
|
||||
|
||||
|
||||
def upgrade() -> None:
|
||||
op.drop_constraint("messages_text_check", "messages", type_="check")
|
||||
op.create_check_constraint("messages_text_check", "messages", "char_length(text) <= 4000")
|
||||
op.create_table(
|
||||
"attachments",
|
||||
sa.Column("id", sa.Uuid(), nullable=False),
|
||||
sa.Column("chat_id", sa.Uuid(), nullable=False),
|
||||
sa.Column("owner_id", sa.Uuid(), nullable=False),
|
||||
sa.Column("filename", sa.Text(), nullable=False),
|
||||
sa.Column("content_type", sa.Text(), nullable=False),
|
||||
sa.Column("size_bytes", sa.BigInteger(), nullable=False),
|
||||
sa.Column("sha256", sa.Text(), nullable=False),
|
||||
sa.Column("width", sa.Integer(), nullable=False),
|
||||
sa.Column("height", sa.Integer(), nullable=False),
|
||||
sa.Column("object_key", sa.Text(collation="C"), nullable=False),
|
||||
sa.Column("status", sa.Text(), nullable=False),
|
||||
sa.Column("created_at", sa.DateTime(timezone=True), nullable=False),
|
||||
sa.Column("updated_at", sa.DateTime(timezone=True), nullable=False),
|
||||
sa.PrimaryKeyConstraint("id"),
|
||||
sa.UniqueConstraint("object_key", name="attachments_object_key_key"),
|
||||
sa.UniqueConstraint("id", "chat_id", name="attachments_chat_key"),
|
||||
sa.ForeignKeyConstraint(
|
||||
["chat_id", "owner_id"],
|
||||
["chat_members.chat_id", "chat_members.user_id"],
|
||||
name="attachments_owner_fkey",
|
||||
),
|
||||
sa.CheckConstraint(
|
||||
"char_length(filename) BETWEEN 1 AND 255", name="attachments_filename_check"
|
||||
),
|
||||
sa.CheckConstraint(
|
||||
"content_type IN ('image/png', 'image/jpeg')", name="attachments_content_type_check"
|
||||
),
|
||||
sa.CheckConstraint(
|
||||
"size_bytes BETWEEN 1 AND 10485760", name="attachments_size_bytes_check"
|
||||
),
|
||||
sa.CheckConstraint("sha256 ~ '^[0-9a-f]{64}$'", name="attachments_sha256_check"),
|
||||
sa.CheckConstraint("width > 0", name="attachments_width_check"),
|
||||
sa.CheckConstraint("height > 0", name="attachments_height_check"),
|
||||
sa.CheckConstraint("status IN ('pending', 'ready')", name="attachments_status_check"),
|
||||
)
|
||||
op.create_index(
|
||||
"attachments_pending_idx",
|
||||
"attachments",
|
||||
["created_at"],
|
||||
postgresql_where=sa.text("status = 'pending'"),
|
||||
)
|
||||
op.create_table(
|
||||
"message_attachments",
|
||||
sa.Column("message_id", sa.Uuid(), nullable=False),
|
||||
sa.Column("position", sa.SmallInteger(), nullable=False),
|
||||
sa.Column("chat_id", sa.Uuid(), nullable=False),
|
||||
sa.Column("attachment_id", sa.Uuid(), nullable=False),
|
||||
sa.PrimaryKeyConstraint("message_id", "position"),
|
||||
sa.UniqueConstraint("message_id", "attachment_id"),
|
||||
sa.CheckConstraint("position BETWEEN 0 AND 9", name="message_attachments_position_check"),
|
||||
sa.ForeignKeyConstraint(["message_id"], ["messages.id"], ondelete="CASCADE"),
|
||||
sa.ForeignKeyConstraint(
|
||||
["attachment_id", "chat_id"],
|
||||
["attachments.id", "attachments.chat_id"],
|
||||
name="message_attachments_attachment_fkey",
|
||||
ondelete="RESTRICT",
|
||||
),
|
||||
)
|
||||
op.create_index("message_attachments_attachment_idx", "message_attachments", ["attachment_id"])
|
||||
|
||||
|
||||
def downgrade() -> None:
|
||||
raise RuntimeError("Downgrade would delete application data")
|
||||
@@ -1,146 +0,0 @@
|
||||
import sqlalchemy as sa
|
||||
from alembic import op
|
||||
from sqlalchemy.dialects import postgresql
|
||||
|
||||
revision = "0004_jobs"
|
||||
down_revision = "0003_attachments"
|
||||
branch_labels = None
|
||||
depends_on = None
|
||||
|
||||
|
||||
def upgrade() -> None:
|
||||
op.drop_constraint("attachments_status_check", "attachments", type_="check")
|
||||
op.create_check_constraint(
|
||||
"attachments_status_check",
|
||||
"attachments",
|
||||
"status IN ('pending', 'queued', 'processing', 'ready', 'failed')",
|
||||
)
|
||||
for name in ("staging_key", "original_key"):
|
||||
op.add_column("attachments", sa.Column(name, sa.Text(collation="C"), nullable=True))
|
||||
op.create_unique_constraint(f"attachments_{name}_key", "attachments", [name])
|
||||
op.add_column(
|
||||
"attachments",
|
||||
sa.Column("published_version", sa.Integer(), nullable=False, server_default="0"),
|
||||
)
|
||||
op.create_check_constraint(
|
||||
"attachments_published_version_check", "attachments", "published_version >= 0"
|
||||
)
|
||||
op.add_column("attachments", sa.Column("error_code", sa.Text(), nullable=True))
|
||||
op.create_check_constraint(
|
||||
"attachments_error_code_check",
|
||||
"attachments",
|
||||
"error_code IN ('invalid_image', 'processing_failed', 'retry_exhausted')",
|
||||
)
|
||||
op.alter_column("attachments", "object_key", nullable=True)
|
||||
attachments = sa.table(
|
||||
"attachments",
|
||||
sa.column("status"),
|
||||
sa.column("object_key"),
|
||||
sa.column("original_key"),
|
||||
sa.column("staging_key"),
|
||||
sa.column("published_version"),
|
||||
)
|
||||
op.execute(
|
||||
attachments.update()
|
||||
.where(attachments.c.status == "ready")
|
||||
.values(original_key=attachments.c.object_key, published_version=1)
|
||||
)
|
||||
op.execute(
|
||||
attachments.update()
|
||||
.where(attachments.c.status == "pending")
|
||||
.values(staging_key=attachments.c.object_key)
|
||||
)
|
||||
op.create_index(
|
||||
"attachments_staged_idx",
|
||||
"attachments",
|
||||
["updated_at"],
|
||||
postgresql_where=sa.column("staging_key").is_not(None),
|
||||
)
|
||||
op.create_table(
|
||||
"attachment_variants",
|
||||
sa.Column("attachment_id", sa.Uuid(), sa.ForeignKey("attachments.id"), nullable=False),
|
||||
sa.Column("pipeline_version", sa.Integer(), nullable=False),
|
||||
sa.Column("name", sa.Text(), nullable=False),
|
||||
sa.Column("object_key", sa.Text(collation="C"), nullable=False),
|
||||
sa.Column("content_type", sa.Text(), nullable=False),
|
||||
sa.Column("size_bytes", sa.BigInteger(), nullable=False),
|
||||
sa.Column("width", sa.Integer(), nullable=False),
|
||||
sa.Column("height", sa.Integer(), nullable=False),
|
||||
sa.Column("sha256", sa.Text(), nullable=False),
|
||||
sa.Column("created_at", sa.DateTime(timezone=True), nullable=False),
|
||||
sa.PrimaryKeyConstraint("attachment_id", "pipeline_version", "name"),
|
||||
sa.UniqueConstraint("object_key", name="attachment_variants_object_key_key"),
|
||||
sa.CheckConstraint(
|
||||
"pipeline_version >= 1", name="attachment_variants_pipeline_version_check"
|
||||
),
|
||||
sa.CheckConstraint(
|
||||
"name IN ('thumbnail', 'crop', 'optimized')", name="attachment_variants_name_check"
|
||||
),
|
||||
sa.CheckConstraint(
|
||||
"content_type IN ('image/jpeg', 'image/png', 'image/webp')",
|
||||
name="attachment_variants_content_type_check",
|
||||
),
|
||||
sa.CheckConstraint("size_bytes >= 1", name="attachment_variants_size_bytes_check"),
|
||||
sa.CheckConstraint("width >= 1", name="attachment_variants_width_check"),
|
||||
sa.CheckConstraint("height >= 1", name="attachment_variants_height_check"),
|
||||
sa.CheckConstraint("sha256 ~ '^[0-9a-f]{64}$'", name="attachment_variants_sha256_check"),
|
||||
)
|
||||
op.create_table(
|
||||
"jobs",
|
||||
sa.Column("job_id", sa.Uuid(), primary_key=True),
|
||||
sa.Column("attachment_id", sa.Uuid(), sa.ForeignKey("attachments.id"), nullable=False),
|
||||
sa.Column("pipeline_version", sa.Integer(), nullable=False),
|
||||
sa.Column("status", sa.Text(), nullable=False),
|
||||
sa.Column("attempt", sa.Integer(), nullable=False),
|
||||
sa.Column("claims", sa.Integer(), nullable=False, server_default="0"),
|
||||
sa.Column("lease_token", sa.Uuid(), nullable=True),
|
||||
sa.Column("lease_until", sa.DateTime(timezone=True), nullable=True),
|
||||
sa.Column("next_attempt_at", sa.DateTime(timezone=True), nullable=True),
|
||||
sa.Column("last_error", sa.Text(), nullable=True),
|
||||
sa.Column("created_at", sa.DateTime(timezone=True), nullable=False),
|
||||
sa.Column("updated_at", sa.DateTime(timezone=True), nullable=False),
|
||||
sa.UniqueConstraint("attachment_id", "pipeline_version", name="jobs_effect_key"),
|
||||
sa.CheckConstraint("pipeline_version >= 1", name="jobs_pipeline_version_check"),
|
||||
sa.CheckConstraint(
|
||||
"status IN ('queued', 'processing', 'done', 'failed', 'superseded')",
|
||||
name="jobs_status_check",
|
||||
),
|
||||
sa.CheckConstraint("attempt >= 1", name="jobs_attempt_check"),
|
||||
sa.CheckConstraint("claims >= 0", name="jobs_claims_check"),
|
||||
)
|
||||
op.create_index(
|
||||
"jobs_lease_idx",
|
||||
"jobs",
|
||||
["lease_until"],
|
||||
postgresql_where=sa.column("status") == "processing",
|
||||
)
|
||||
op.create_table(
|
||||
"outbox",
|
||||
sa.Column("id", sa.BigInteger(), sa.Identity(always=True), primary_key=True),
|
||||
sa.Column("job_id", sa.Uuid(), sa.ForeignKey("jobs.job_id"), nullable=False),
|
||||
sa.Column("payload", postgresql.JSONB(), nullable=False),
|
||||
sa.Column("available_at", sa.DateTime(timezone=True), nullable=False),
|
||||
sa.Column("published_at", sa.DateTime(timezone=True), nullable=True),
|
||||
)
|
||||
op.create_index(
|
||||
"outbox_pending_idx",
|
||||
"outbox",
|
||||
["available_at", "id"],
|
||||
postgresql_where=sa.column("published_at").is_(None),
|
||||
)
|
||||
op.create_index("outbox_job_idx", "outbox", ["job_id"])
|
||||
op.create_table(
|
||||
"job_events",
|
||||
sa.Column("id", sa.BigInteger(), sa.Identity(always=True), primary_key=True),
|
||||
sa.Column("job_id", sa.Uuid(), nullable=False),
|
||||
sa.Column("attachment_id", sa.Uuid(), nullable=False),
|
||||
sa.Column("kind", sa.Text(), nullable=False),
|
||||
sa.Column("attempt", sa.Integer(), nullable=True),
|
||||
sa.Column("detail", postgresql.JSONB(), nullable=False, server_default="{}"),
|
||||
sa.Column("at", sa.DateTime(timezone=True), nullable=False, server_default=sa.func.now()),
|
||||
)
|
||||
op.create_index("job_events_attachment_idx", "job_events", ["attachment_id", "id"])
|
||||
|
||||
|
||||
def downgrade() -> None:
|
||||
raise RuntimeError("Downgrade would delete pipeline data")
|
||||
@@ -1,20 +0,0 @@
|
||||
import sqlalchemy as sa
|
||||
from alembic import op
|
||||
|
||||
revision = "0005_failed_registry"
|
||||
down_revision = "0004_jobs"
|
||||
branch_labels = None
|
||||
depends_on = None
|
||||
|
||||
|
||||
def upgrade() -> None:
|
||||
op.create_index(
|
||||
"jobs_failed_idx",
|
||||
"jobs",
|
||||
[sa.column("updated_at").desc()],
|
||||
postgresql_where=sa.column("status") == "failed",
|
||||
)
|
||||
|
||||
|
||||
def downgrade() -> None:
|
||||
op.drop_index("jobs_failed_idx", table_name="jobs")
|
||||
@@ -1,28 +0,0 @@
|
||||
import sqlalchemy as sa
|
||||
from alembic import op
|
||||
|
||||
revision = "0006_attachment_quarantine"
|
||||
down_revision = "0005_failed_registry"
|
||||
branch_labels = None
|
||||
depends_on = None
|
||||
|
||||
|
||||
def upgrade() -> None:
|
||||
op.add_column("attachments", sa.Column("quarantine_reason", sa.Text(), nullable=True))
|
||||
op.create_check_constraint(
|
||||
"attachments_quarantine_reason_check",
|
||||
"attachments",
|
||||
"quarantine_reason IN ('missing', 'size_mismatch', 'sha_mismatch')",
|
||||
)
|
||||
op.add_column(
|
||||
"attachments", sa.Column("quarantined_at", sa.DateTime(timezone=True), nullable=True)
|
||||
)
|
||||
op.create_check_constraint(
|
||||
"attachments_quarantine_check",
|
||||
"attachments",
|
||||
"(quarantine_reason IS NULL) = (quarantined_at IS NULL)",
|
||||
)
|
||||
|
||||
|
||||
def downgrade() -> None:
|
||||
raise RuntimeError("Downgrade would delete quarantine data")
|
||||
@@ -1,19 +0,0 @@
|
||||
import sqlalchemy as sa
|
||||
from alembic import op
|
||||
from sqlalchemy.dialects.postgresql import JSONB
|
||||
|
||||
revision = "0007_trace_context"
|
||||
down_revision = "0006_attachment_quarantine"
|
||||
branch_labels = None
|
||||
depends_on = None
|
||||
|
||||
|
||||
def upgrade() -> None:
|
||||
for table in ("jobs", "outbox"):
|
||||
op.add_column(
|
||||
table, sa.Column("trace_context", JSONB(), nullable=False, server_default="{}")
|
||||
)
|
||||
|
||||
|
||||
def downgrade() -> None:
|
||||
raise RuntimeError("Downgrade would delete trace correlation data")
|
||||
@@ -1,17 +1,10 @@
|
||||
# Topology worksheet, deliberately NOT a runnable stack (no application supplied).
|
||||
# Implement compose.yaml or stack.yaml; do not submit this empty file as deployment.
|
||||
# Service names below are logical roles, not imposed container names.
|
||||
x-lab-number: 6
|
||||
x-lab-number: 2
|
||||
x-required-roles:
|
||||
- api
|
||||
- postgres
|
||||
- load_balancer
|
||||
- s3
|
||||
- broker
|
||||
- worker
|
||||
- otel_collector
|
||||
- telemetry_storage
|
||||
- grafana
|
||||
# TODO: implement real images/builds, network wiring, volumes, healthchecks,
|
||||
# credentials and bootstrap. Details: contracts/infrastructure.json and README.md.
|
||||
services: {}
|
||||
|
||||
+55
-544
@@ -1,228 +1,28 @@
|
||||
x-app: &app
|
||||
image: ${API_IMAGE:-mtusi-messenger:${COMPOSE_PROJECT_NAME}}
|
||||
image: mtusi-messenger:${COMPOSE_PROJECT_NAME}
|
||||
build: .
|
||||
environment: &app-environment
|
||||
DATABASE_URL_FILE: /run/secrets/database_url
|
||||
CACHE_URL_FILE: /run/secrets/cache_url
|
||||
CURSOR_SECRET_FILE: /run/secrets/cursor_secret
|
||||
SESSION_TTL_SECONDS: ${SESSION_TTL_SECONDS:-3600}
|
||||
WEB_CONCURRENCY: ${WEB_CONCURRENCY:-4}
|
||||
LOG_LEVEL: ${LOG_LEVEL:-INFO}
|
||||
secrets: [database_url, cache_url, cursor_secret]
|
||||
networks: [backend]
|
||||
|
||||
x-s3-env: &s3-env
|
||||
S3_ENDPOINT: ${S3_ENDPOINT:-http://s3:9000}
|
||||
S3_REGION: ${S3_REGION:-us-east-1}
|
||||
S3_BUCKET: ${S3_BUCKET:-messenger-attachments}
|
||||
S3_ACCESS_KEY_ID_FILE: /run/secrets/s3_access_key_id
|
||||
S3_SECRET_ACCESS_KEY_FILE: /run/secrets/s3_secret_access_key
|
||||
S3_CONNECT_TIMEOUT_SECONDS: ${S3_CONNECT_TIMEOUT_SECONDS:-1}
|
||||
S3_READ_TIMEOUT_SECONDS: ${S3_READ_TIMEOUT_SECONDS:-2}
|
||||
MAX_UPLOAD_BYTES: ${MAX_UPLOAD_BYTES:-10485760}
|
||||
MAX_IMAGE_PIXELS: ${MAX_IMAGE_PIXELS:-40000000}
|
||||
IMAGE_CHECK_CONCURRENCY: ${IMAGE_CHECK_CONCURRENCY:-2}
|
||||
UPLOAD_CONCURRENCY: ${UPLOAD_CONCURRENCY:-3}
|
||||
UPLOAD_GRACE_SECONDS: ${UPLOAD_GRACE_SECONDS:-900}
|
||||
UPLOAD_SWEEP_INTERVAL_SECONDS: ${UPLOAD_SWEEP_INTERVAL_SECONDS:-30}
|
||||
UPLOAD_SWEEP_BATCH: ${UPLOAD_SWEEP_BATCH:-100}
|
||||
|
||||
x-pipeline: &pipeline
|
||||
image: ${API_IMAGE:-mtusi-messenger:${COMPOSE_PROJECT_NAME}}
|
||||
pull_policy: never
|
||||
restart: unless-stopped
|
||||
init: true
|
||||
read_only: true
|
||||
tmpfs: [/tmp]
|
||||
security_opt: ["no-new-privileges:true"]
|
||||
cap_drop: [ALL]
|
||||
stop_grace_period: 10s
|
||||
networks: [backend]
|
||||
healthcheck:
|
||||
test: ["CMD", "python", "-c", "import os,sys,time;sys.exit(time.time()-os.stat('/tmp/heartbeat').st_mtime>30)"]
|
||||
interval: 10s
|
||||
timeout: 5s
|
||||
retries: 3
|
||||
start_period: 30s
|
||||
start_interval: 2s
|
||||
depends_on:
|
||||
migrate:
|
||||
condition: service_completed_successfully
|
||||
s3-init:
|
||||
condition: service_completed_successfully
|
||||
broker:
|
||||
condition: service_healthy
|
||||
|
||||
x-otel-env: &otel-env
|
||||
OTEL_TRACE_RATIO: ${OTEL_TRACE_RATIO:-1}
|
||||
OTEL_SDK_DISABLED: ${OTEL_SDK_DISABLED:-false}
|
||||
OTEL_EXPORTER_OTLP_ENDPOINT: ${OTEL_EXPORTER_OTLP_ENDPOINT:-http://otel-collector:4318}
|
||||
OTEL_EXPORTER_OTLP_PROTOCOL: ${OTEL_EXPORTER_OTLP_PROTOCOL:-http/protobuf}
|
||||
OTEL_EXPORTER_OTLP_TIMEOUT: ${OTEL_EXPORTER_OTLP_TIMEOUT:-2}
|
||||
OTEL_RESOURCE_ATTRIBUTES: ${OTEL_RESOURCE_ATTRIBUTES:-deployment.environment.name=lab}
|
||||
OTEL_SEMCONV_STABILITY_OPT_IN: http
|
||||
OTEL_METRIC_EXPORT_INTERVAL: ${OTEL_METRIC_EXPORT_INTERVAL:-10000}
|
||||
OTEL_BSP_MAX_QUEUE_SIZE: ${OTEL_BSP_MAX_QUEUE_SIZE:-2048}
|
||||
OTEL_BLRP_MAX_QUEUE_SIZE: ${OTEL_BLRP_MAX_QUEUE_SIZE:-2048}
|
||||
TELEMETRY_SHUTDOWN_SECONDS: ${TELEMETRY_SHUTDOWN_SECONDS:-2}
|
||||
|
||||
x-obs-logging: &obs-logging
|
||||
driver: json-file
|
||||
options:
|
||||
max-size: 10m
|
||||
max-file: "3"
|
||||
|
||||
x-obs-hardening: &obs-hardening
|
||||
restart: unless-stopped
|
||||
stop_grace_period: 10s
|
||||
cap_drop: [ALL]
|
||||
security_opt: ["no-new-privileges:true"]
|
||||
logging: *obs-logging
|
||||
|
||||
x-pipeline-env: &pipeline-env
|
||||
<<: [*s3-env, *otel-env]
|
||||
DATABASE_URL_FILE: /run/secrets/database_url
|
||||
BROKER_URL_FILE: /run/secrets/broker_url
|
||||
DB_POOL_MAX_SIZE: ${PIPELINE_DB_POOL_MAX_SIZE:-4}
|
||||
LOG_LEVEL: ${LOG_LEVEL:-INFO}
|
||||
HEARTBEAT_FILE: /tmp/heartbeat
|
||||
JOB_MAX_ATTEMPTS: ${JOB_MAX_ATTEMPTS:-5}
|
||||
JOB_TIMEOUT_SECONDS: ${JOB_TIMEOUT_SECONDS:-60}
|
||||
JOB_BACKOFF_BASE_SECONDS: ${JOB_BACKOFF_BASE_SECONDS:-2}
|
||||
STAGING_RETENTION_SECONDS: ${STAGING_RETENTION_SECONDS:-86400}
|
||||
|
||||
x-s3-client: &s3-client
|
||||
image: rustfs/rc:v0.1.36@sha256:ab024bfebee49a750ce886b4c70963ccd9ddaa03f491704a90710641d7a26699
|
||||
read_only: true
|
||||
tmpfs: ["/tmp:size=16m"]
|
||||
environment:
|
||||
S3_ENDPOINT: ${S3_ENDPOINT:-http://s3:9000}
|
||||
S3_BUCKET: ${S3_BUCKET:-messenger-attachments}
|
||||
RC_CONFIG_DIR: /tmp/rc
|
||||
user: "65534:65534"
|
||||
volumes: ["./infra/s3:/s3:ro"]
|
||||
secrets:
|
||||
- s3_root_user
|
||||
- s3_root_password
|
||||
- s3_access_key_id
|
||||
- s3_secret_access_key
|
||||
- s3_reconciler_access_key_id
|
||||
- s3_reconciler_secret_access_key
|
||||
- s3_worker_access_key_id
|
||||
- s3_worker_secret_access_key
|
||||
cap_drop: [ALL]
|
||||
security_opt: ["no-new-privileges:true"]
|
||||
restart: "no"
|
||||
networks: [backend]
|
||||
deploy:
|
||||
resources:
|
||||
limits: {cpus: "0.5", memory: 64m}
|
||||
x-ready: &ready
|
||||
test: ["CMD", "python", "-c", "import urllib.request,sys;sys.exit(0 if urllib.request.urlopen('http://127.0.0.1:8080/health/ready',timeout=2).status==200 else 1)"]
|
||||
interval: 3s
|
||||
timeout: 3s
|
||||
retries: 5
|
||||
start_period: 15s
|
||||
start_interval: 200ms
|
||||
|
||||
services:
|
||||
lb:
|
||||
image: haproxy:3.2.26-alpine@sha256:5893840576071e6217cd52ebdcc14f454c6f7a631056fa6f4e0f40d3cac4215b
|
||||
environment:
|
||||
API_SERVER_MAXCONN: ${API_SERVER_MAXCONN:-64}
|
||||
volumes: [./infra/haproxy/haproxy.cfg:/usr/local/etc/haproxy/haproxy.cfg:ro]
|
||||
ports:
|
||||
- "127.0.0.1:${LB_HTTP_PORT:-18086}:8080"
|
||||
- "127.0.0.1:${LB_STATS_PORT:-26085}:8404"
|
||||
networks: [edge, backend]
|
||||
healthcheck:
|
||||
test: ["CMD", "wget", "-q", "-O", "/dev/null", "http://127.0.0.1:8404/healthz"]
|
||||
interval: 2s
|
||||
timeout: 2s
|
||||
retries: 3
|
||||
start_period: 60s
|
||||
start_interval: 1s
|
||||
sysctls:
|
||||
net.ipv4.ip_local_port_range: "10240 65535"
|
||||
net.ipv4.tcp_tw_reuse: "1"
|
||||
stop_signal: SIGUSR1
|
||||
stop_grace_period: 8s
|
||||
restart: unless-stopped
|
||||
read_only: true
|
||||
cap_drop: [ALL]
|
||||
deploy:
|
||||
resources:
|
||||
limits: {cpus: "${LB_CPUS:-1}", memory: 128m}
|
||||
|
||||
api:
|
||||
<<: *app
|
||||
build: .
|
||||
environment:
|
||||
<<: [*s3-env, *otel-env]
|
||||
OTEL_SERVICE_NAME: ${OTEL_SERVICE_NAME:-messenger-api}
|
||||
DATABASE_URL_FILE: /run/secrets/database_url
|
||||
CACHE_URL_FILE: /run/secrets/cache_url
|
||||
CURSOR_SECRET_FILE: /run/secrets/cursor_secret
|
||||
SESSION_TTL_SECONDS: ${SESSION_TTL_SECONDS:-3600}
|
||||
IDEMPOTENCY_TTL_SECONDS: ${IDEMPOTENCY_TTL_SECONDS:-86400}
|
||||
COST_EXPERIMENT: ${COST_EXPERIMENT:-false}
|
||||
WEB_CONCURRENCY: ${WEB_CONCURRENCY:-2}
|
||||
DB_POOL_MAX_SIZE: ${DB_POOL_MAX_SIZE:-8}
|
||||
REQUEST_TIMEOUT_SECONDS: ${REQUEST_TIMEOUT_SECONDS:-8}
|
||||
MIN_TRANSFER_RATE_BYTES: ${MIN_TRANSFER_RATE_BYTES:-131072}
|
||||
DB_ACQUIRE_TIMEOUT_SECONDS: ${DB_ACQUIRE_TIMEOUT_SECONDS:-1}
|
||||
DB_COMMAND_TIMEOUT_SECONDS: ${DB_COMMAND_TIMEOUT_SECONDS:-2}
|
||||
DRAIN_SECONDS: ${DRAIN_SECONDS:-2}
|
||||
SHUTDOWN_TIMEOUT_SECONDS: ${SHUTDOWN_TIMEOUT_SECONDS:-6}
|
||||
LOG_LEVEL: ${LOG_LEVEL:-INFO}
|
||||
MALLOC_MMAP_THRESHOLD_: ${MALLOC_MMAP_THRESHOLD_:-131072}
|
||||
secrets: [database_url, cache_url, cursor_secret, s3_access_key_id, s3_secret_access_key]
|
||||
healthcheck:
|
||||
test: ["CMD", "python", "-c", "import sys,urllib.request;sys.exit(urllib.request.urlopen('http://127.0.0.1:8080/health/ready',timeout=2).status!=200)"]
|
||||
interval: 5s
|
||||
timeout: 3s
|
||||
retries: 3
|
||||
start_period: 30s
|
||||
start_interval: 200ms
|
||||
stop_grace_period: 8s
|
||||
restart: unless-stopped
|
||||
read_only: true
|
||||
tmpfs: [/tmp]
|
||||
sysctls:
|
||||
net.ipv4.tcp_rmem: "4096 65536 262144"
|
||||
net.ipv4.tcp_wmem: "4096 65536 262144"
|
||||
depends_on:
|
||||
migrate:
|
||||
condition: service_completed_successfully
|
||||
valkey:
|
||||
condition: service_started
|
||||
s3-init:
|
||||
condition: service_completed_successfully
|
||||
deploy:
|
||||
replicas: ${API_REPLICAS:-2}
|
||||
resources:
|
||||
limits: {cpus: "${API_CPUS:-1}", memory: "${API_MEMORY:-512m}"}
|
||||
|
||||
migrate:
|
||||
<<: *app
|
||||
pull_policy: never
|
||||
init: true
|
||||
command: ["alembic", "upgrade", "head"]
|
||||
environment:
|
||||
DATABASE_URL_FILE: /run/secrets/database_url
|
||||
LOG_LEVEL: ${LOG_LEVEL:-INFO}
|
||||
secrets: [database_url]
|
||||
healthcheck:
|
||||
disable: true
|
||||
restart: "no"
|
||||
depends_on:
|
||||
postgres:
|
||||
condition: service_healthy
|
||||
deploy:
|
||||
resources:
|
||||
limits: {cpus: "0.5", memory: 256m}
|
||||
|
||||
postgres:
|
||||
image: postgres:17.11-alpine@sha256:266d3c257594e195b309ae9d1805e54c788f1d7b375f56bf6c367aac6c917e7b
|
||||
user: "70:70"
|
||||
command:
|
||||
- postgres
|
||||
- -c
|
||||
- max_connections=${PG_MAX_CONNECTIONS:-200}
|
||||
- -c
|
||||
- shared_buffers=${PG_SHARED_BUFFERS:-256MB}
|
||||
- -c
|
||||
- shared_preload_libraries=pg_stat_statements
|
||||
- -c
|
||||
- pg_stat_statements.track=top
|
||||
- -c
|
||||
- track_io_timing=on
|
||||
- -c
|
||||
- idle_in_transaction_session_timeout=10s
|
||||
environment:
|
||||
POSTGRES_DB: messenger
|
||||
POSTGRES_USER: messenger
|
||||
@@ -230,7 +30,6 @@ services:
|
||||
secrets: [postgres_password]
|
||||
volumes: [pgdata:/var/lib/postgresql/data]
|
||||
shm_size: 256m
|
||||
cpuset: ${PG_CPUSET:-}
|
||||
healthcheck:
|
||||
test: ["CMD", "pg_isready", "-h", "127.0.0.1", "-U", "messenger", "-d", "messenger"]
|
||||
interval: 2s
|
||||
@@ -241,9 +40,6 @@ services:
|
||||
stop_grace_period: 10s
|
||||
restart: unless-stopped
|
||||
networks: [backend]
|
||||
deploy:
|
||||
resources:
|
||||
limits: {cpus: "${PG_CPUS:-2}", memory: "${PG_MEMORY:-1g}"}
|
||||
|
||||
valkey:
|
||||
image: valkey/valkey:8.1.11-alpine@sha256:2602ace2be6569bc2bbb06f873776516ab9089821525be34f4305c67eb9db02a
|
||||
@@ -269,319 +65,68 @@ services:
|
||||
stop_grace_period: 10s
|
||||
restart: unless-stopped
|
||||
networks: [backend]
|
||||
deploy:
|
||||
resources:
|
||||
limits: {cpus: "0.5", memory: 128m}
|
||||
|
||||
s3:
|
||||
image: rustfs/rustfs:1.0.4@sha256:ed9210d6411d77ffceb70d94b964a3cb7d225983368bc25bebe01e995293dcc2
|
||||
postgres-restore:
|
||||
image: postgres:17.11-alpine@sha256:266d3c257594e195b309ae9d1805e54c788f1d7b375f56bf6c367aac6c917e7b
|
||||
profiles: [track]
|
||||
user: "70:70"
|
||||
environment:
|
||||
RUSTFS_ACCESS_KEY_FILE: /run/secrets/s3_root_user
|
||||
RUSTFS_SECRET_KEY_FILE: /run/secrets/s3_root_password
|
||||
RUSTFS_ADDRESS: ":9000"
|
||||
RUSTFS_CONSOLE_ENABLE: "false"
|
||||
RUSTFS_REGION: ${S3_REGION:-us-east-1}
|
||||
RUSTFS_OBS_LOG_DIRECTORY: ""
|
||||
RUSTFS_OBS_LOGGER_LEVEL: ${S3_LOG_LEVEL:-warn}
|
||||
secrets: [s3_root_user, s3_root_password]
|
||||
volumes: [s3data:/data]
|
||||
cpuset: ${S3_CPUSET:-}
|
||||
read_only: true
|
||||
tmpfs: ["/tmp:size=64m"]
|
||||
cap_drop: [ALL]
|
||||
security_opt: ["no-new-privileges:true"]
|
||||
POSTGRES_DB: track
|
||||
POSTGRES_USER: messenger
|
||||
POSTGRES_PASSWORD_FILE: /run/secrets/postgres_password
|
||||
secrets: [postgres_password]
|
||||
volumes:
|
||||
- pgrestore:/var/lib/postgresql/data
|
||||
- ./backups:/backups:ro
|
||||
shm_size: 256m
|
||||
healthcheck:
|
||||
test: ["CMD", "curl", "-fsS", "-o", "/dev/null", "http://127.0.0.1:9000/health/ready"]
|
||||
test: ["CMD", "pg_isready", "-h", "127.0.0.1", "-U", "messenger", "-d", "track"]
|
||||
interval: 2s
|
||||
timeout: 3s
|
||||
retries: 30
|
||||
start_period: 20s
|
||||
start_period: 10s
|
||||
start_interval: 200ms
|
||||
stop_grace_period: 10s
|
||||
restart: unless-stopped
|
||||
networks: [backend]
|
||||
deploy:
|
||||
resources:
|
||||
limits: {cpus: "${S3_CPUS:-1}", memory: "${S3_MEMORY:-512m}"}
|
||||
|
||||
reconciler:
|
||||
migrate:
|
||||
<<: *app
|
||||
pull_policy: never
|
||||
profiles: [reconcile]
|
||||
init: true
|
||||
entrypoint: ["python", "-m", "messenger.attachments.entrypoints.reconcile"]
|
||||
command: ["--dry-run"]
|
||||
environment:
|
||||
<<: *s3-env
|
||||
DATABASE_URL_FILE: /run/secrets/database_url
|
||||
S3_ACCESS_KEY_ID_FILE: /run/secrets/s3_reconciler_access_key_id
|
||||
S3_SECRET_ACCESS_KEY_FILE: /run/secrets/s3_reconciler_secret_access_key
|
||||
S3_READ_TIMEOUT_SECONDS: ${RECONCILE_S3_READ_TIMEOUT_SECONDS:-10}
|
||||
LOG_LEVEL: ${LOG_LEVEL:-INFO}
|
||||
secrets: [database_url, s3_reconciler_access_key_id, s3_reconciler_secret_access_key]
|
||||
command: ["python", "-m", "messenger.migrate"]
|
||||
healthcheck:
|
||||
disable: true
|
||||
restart: "no"
|
||||
read_only: true
|
||||
cpuset: ${RECONCILE_CPUSET:-}
|
||||
depends_on:
|
||||
postgres:
|
||||
condition: service_healthy
|
||||
s3:
|
||||
condition: service_healthy
|
||||
deploy:
|
||||
resources:
|
||||
limits: {cpus: "${RECONCILE_CPUS:-1}", memory: "${RECONCILE_MEMORY:-256m}"}
|
||||
|
||||
s3-init:
|
||||
<<: *s3-client
|
||||
entrypoint: ["/bin/sh", "/s3/init.sh"]
|
||||
depends_on:
|
||||
s3:
|
||||
condition: service_healthy
|
||||
|
||||
s3-cli:
|
||||
<<: *s3-client
|
||||
profiles: [tools]
|
||||
entrypoint: ["/bin/sh", "/s3/cli.sh"]
|
||||
|
||||
broker:
|
||||
image: rabbitmq:4.1.8-management-alpine@sha256:54ef5ff505352c1beef05a97ee9bd6ab95b3559a76629ba0119b1d63d8d6e4b2
|
||||
hostname: broker
|
||||
user: "100:101"
|
||||
restart: unless-stopped
|
||||
read_only: true
|
||||
tmpfs: [/tmp]
|
||||
security_opt: ["no-new-privileges:true"]
|
||||
cap_drop: [ALL]
|
||||
ports:
|
||||
- "127.0.0.1:${BROKER_MANAGEMENT_PORT:-26086}:15672"
|
||||
networks: [backend, edge]
|
||||
volumes:
|
||||
- broker-data:/var/lib/rabbitmq
|
||||
- ./infra/rabbitmq/rabbitmq.conf:/etc/rabbitmq/conf.d/20-messenger.conf:ro
|
||||
- ./infra/rabbitmq/enabled_plugins:/etc/rabbitmq/enabled_plugins:ro
|
||||
- ./infra/rabbitmq/definitions.json:/etc/rabbitmq/definitions.d/10-topology.json:ro
|
||||
secrets:
|
||||
- source: rabbitmq_users
|
||||
target: /etc/rabbitmq/definitions.d/20-users.json
|
||||
- rabbitmq_ops_password
|
||||
healthcheck:
|
||||
test: ["CMD", "rabbitmq-diagnostics", "-q", "check_port_connectivity"]
|
||||
interval: 10s
|
||||
timeout: 10s
|
||||
retries: 5
|
||||
start_period: 60s
|
||||
start_interval: 2s
|
||||
api:
|
||||
<<: *app
|
||||
ports: ["127.0.0.1:${API_PORT:-8080}:8080"]
|
||||
healthcheck: *ready
|
||||
stop_grace_period: 10s
|
||||
deploy:
|
||||
resources:
|
||||
limits: {cpus: "1", memory: 512m}
|
||||
|
||||
relay:
|
||||
<<: *pipeline
|
||||
command: ["python", "-m", "messenger.relay"]
|
||||
environment:
|
||||
<<: *pipeline-env
|
||||
OTEL_SERVICE_NAME: messenger-relay
|
||||
OUTBOX_POLL_SECONDS: ${OUTBOX_POLL_SECONDS:-1}
|
||||
SWEEP_INTERVAL_SECONDS: ${SWEEP_INTERVAL_SECONDS:-5}
|
||||
secrets:
|
||||
- database_url
|
||||
- source: broker_url_api
|
||||
target: broker_url
|
||||
- s3_access_key_id
|
||||
- s3_secret_access_key
|
||||
deploy:
|
||||
resources:
|
||||
limits: {cpus: "0.5", memory: 192m}
|
||||
|
||||
worker:
|
||||
<<: *pipeline
|
||||
command: ["python", "-m", "messenger.worker"]
|
||||
environment:
|
||||
<<: *pipeline-env
|
||||
OTEL_SERVICE_NAME: messenger-worker
|
||||
WORKER_CONCURRENCY: ${WORKER_CONCURRENCY:-2}
|
||||
RENDER_TIMEOUT_SECONDS: ${RENDER_TIMEOUT_SECONDS:-30}
|
||||
RENDER_MEMORY_MB: ${RENDER_MEMORY_MB:-448}
|
||||
RENDER_TASKS_PER_CHILD: ${RENDER_TASKS_PER_CHILD:-100}
|
||||
secrets:
|
||||
- database_url
|
||||
- source: broker_url_worker
|
||||
target: broker_url
|
||||
- source: s3_worker_access_key_id
|
||||
target: s3_access_key_id
|
||||
- source: s3_worker_secret_access_key
|
||||
target: s3_secret_access_key
|
||||
deploy:
|
||||
resources:
|
||||
limits: {cpus: "${WORKER_CPUS:-2}", memory: "${WORKER_MEMORY:-1g}"}
|
||||
|
||||
k6:
|
||||
image: grafana/k6:2.3.0@sha256:2dd4756ec6e14e62778916e1eb850108e4b499304c02df56760fa0bdb0fba0b8
|
||||
profiles: [bench]
|
||||
environment:
|
||||
BASE_URL: http://lb:8080
|
||||
volumes: [./infra/k6:/scripts:ro]
|
||||
networks: [edge]
|
||||
deploy:
|
||||
resources:
|
||||
limits: {cpus: "${K6_CPUS:-2}", memory: "${K6_MEMORY:-512m}"}
|
||||
|
||||
healthtools:
|
||||
image: busybox:1.37.0-musl@sha256:5cec3fc171c87218698e85a52af7087de727372aae264a787b8112901a5b0092
|
||||
command: ["cp", "/bin/busybox", "/hc/busybox"]
|
||||
restart: "no"
|
||||
network_mode: none
|
||||
volumes:
|
||||
- healthtools:/hc
|
||||
logging: *obs-logging
|
||||
|
||||
otel-collector:
|
||||
<<: *obs-hardening
|
||||
image: otel/opentelemetry-collector-contrib:0.163.2@sha256:7f22d2a6748110ffb6a59bc0df448bccbf501cdb667d610ede4c61d3863d5849
|
||||
command: ["--config=/etc/otelcol/${OTEL_COLLECTOR_CONFIG:-collector.yaml}"]
|
||||
networks: [backend, edge]
|
||||
environment:
|
||||
GOMEMLIMIT: 200MiB
|
||||
volumes:
|
||||
- ./infra/otel:/etc/otelcol:ro
|
||||
- healthtools:/hc:ro
|
||||
restart: unless-stopped
|
||||
depends_on:
|
||||
healthtools:
|
||||
migrate:
|
||||
condition: service_completed_successfully
|
||||
healthcheck:
|
||||
test: ["CMD", "/hc/busybox", "wget", "-q", "-O", "/dev/null", "http://127.0.0.1:13133/"]
|
||||
interval: 10s
|
||||
timeout: 3s
|
||||
retries: 6
|
||||
start_period: 10s
|
||||
start_interval: 2s
|
||||
deploy:
|
||||
resources:
|
||||
limits: {cpus: "0.50", memory: 256M}
|
||||
valkey:
|
||||
condition: service_started
|
||||
|
||||
prometheus:
|
||||
<<: *obs-hardening
|
||||
image: prom/prometheus:v3.15.1@sha256:fa3302279710be2f21a8301ec17a8b4f2301fd829bd113839b3b6b02b6f191a2
|
||||
command:
|
||||
- --config.file=/etc/prometheus/prometheus.yml
|
||||
- --storage.tsdb.path=/prometheus
|
||||
- --storage.tsdb.retention.time=${PROMETHEUS_RETENTION:-7d}
|
||||
- --storage.tsdb.retention.size=1GB
|
||||
- --web.enable-otlp-receiver
|
||||
- --enable-feature=exemplar-storage
|
||||
networks: [backend, edge]
|
||||
volumes:
|
||||
- ./infra/prometheus/prometheus.yml:/etc/prometheus/prometheus.yml:ro
|
||||
- ./infra/prometheus/rules:/etc/prometheus/rules:ro
|
||||
- prometheus-data:/prometheus
|
||||
ports:
|
||||
- "127.0.0.1:${PROMETHEUS_PORT:-26090}:9090"
|
||||
healthcheck:
|
||||
test: ["CMD", "wget", "-q", "-O", "/dev/null", "http://127.0.0.1:9090/-/ready"]
|
||||
interval: 10s
|
||||
timeout: 3s
|
||||
retries: 6
|
||||
start_period: 15s
|
||||
start_interval: 2s
|
||||
deploy:
|
||||
resources:
|
||||
limits: {cpus: "0.50", memory: 512M}
|
||||
|
||||
loki:
|
||||
<<: *obs-hardening
|
||||
image: grafana/loki:3.7.9@sha256:0db216b630ae1f348a1584c67f3cead8b4c1fc839169a39501db664744158e28
|
||||
command: ["-config.file=/etc/loki/loki.yaml"]
|
||||
networks: [edge]
|
||||
api-shortttl:
|
||||
<<: *app
|
||||
profiles: [faults]
|
||||
environment:
|
||||
GOMEMLIMIT: 300MiB
|
||||
volumes:
|
||||
- ./infra/loki/loki.yaml:/etc/loki/loki.yaml:ro
|
||||
- loki-data:/loki
|
||||
- healthtools:/hc:ro
|
||||
<<: *app-environment
|
||||
SESSION_TTL_SECONDS: "2"
|
||||
WEB_CONCURRENCY: "1"
|
||||
ports: ["127.0.0.1:${SHORTTTL_PORT:-8082}:8080"]
|
||||
healthcheck: *ready
|
||||
stop_grace_period: 10s
|
||||
restart: unless-stopped
|
||||
depends_on:
|
||||
healthtools:
|
||||
migrate:
|
||||
condition: service_completed_successfully
|
||||
ports:
|
||||
- "127.0.0.1:${LOKI_PORT:-26310}:3100"
|
||||
healthcheck:
|
||||
test: ["CMD", "/hc/busybox", "wget", "-q", "-O", "/dev/null", "http://127.0.0.1:3100/ready"]
|
||||
interval: 10s
|
||||
timeout: 3s
|
||||
retries: 10
|
||||
start_period: 30s
|
||||
start_interval: 2s
|
||||
deploy:
|
||||
resources:
|
||||
limits: {cpus: "0.50", memory: 384M}
|
||||
|
||||
tempo:
|
||||
<<: *obs-hardening
|
||||
image: grafana/tempo:2.10.10@sha256:12b0820f13ffa10ce956b6e9acc3b03f3cffded99109be6cc09d106fe56e5d38
|
||||
command: ["-config.file=/etc/tempo/tempo.yaml"]
|
||||
networks: [edge]
|
||||
environment:
|
||||
GOMEMLIMIT: 300MiB
|
||||
volumes:
|
||||
- ./infra/tempo/tempo.yaml:/etc/tempo/tempo.yaml:ro
|
||||
- tempo-data:/var/tempo
|
||||
- healthtools:/hc:ro
|
||||
depends_on:
|
||||
healthtools:
|
||||
condition: service_completed_successfully
|
||||
ports:
|
||||
- "127.0.0.1:${TEMPO_PORT:-26320}:3200"
|
||||
healthcheck:
|
||||
test: ["CMD", "/hc/busybox", "wget", "-q", "-O", "/dev/null", "http://127.0.0.1:3200/ready"]
|
||||
interval: 10s
|
||||
timeout: 3s
|
||||
retries: 10
|
||||
start_period: 30s
|
||||
start_interval: 2s
|
||||
deploy:
|
||||
resources:
|
||||
limits: {cpus: "0.50", memory: 384M}
|
||||
|
||||
grafana:
|
||||
<<: *obs-hardening
|
||||
image: grafana/grafana:12.4.14@sha256:ae509d9ae8c1021ca32ec370a9ca975d40165eda9fccd1e1102d317ff8787cd7
|
||||
networks: [edge]
|
||||
environment:
|
||||
GF_SECURITY_ADMIN_USER: admin
|
||||
GF_SECURITY_ADMIN_PASSWORD__FILE: /run/secrets/grafana_admin_password
|
||||
GF_USERS_ALLOW_SIGN_UP: "false"
|
||||
GF_AUTH_ANONYMOUS_ENABLED: "false"
|
||||
GF_ANALYTICS_REPORTING_ENABLED: "false"
|
||||
GF_ANALYTICS_CHECK_FOR_UPDATES: "false"
|
||||
GF_ANALYTICS_CHECK_FOR_PLUGIN_UPDATES: "false"
|
||||
GF_NEWS_NEWS_FEED_ENABLED: "false"
|
||||
GF_PLUGINS_PREINSTALL_DISABLED: "true"
|
||||
GF_LOG_LEVEL: warn
|
||||
secrets: [grafana_admin_password]
|
||||
volumes:
|
||||
- ./infra/grafana/provisioning:/etc/grafana/provisioning:ro
|
||||
- ./infra/grafana/dashboards:/etc/grafana/dashboards:ro
|
||||
- grafana-data:/var/lib/grafana
|
||||
depends_on:
|
||||
prometheus:
|
||||
valkey:
|
||||
condition: service_started
|
||||
loki:
|
||||
condition: service_started
|
||||
tempo:
|
||||
condition: service_started
|
||||
ports:
|
||||
- "127.0.0.1:${GRAFANA_PORT:-26300}:3000"
|
||||
healthcheck:
|
||||
test: ["CMD", "curl", "-fsS", "-o", "/dev/null", "http://127.0.0.1:3000/api/health"]
|
||||
interval: 10s
|
||||
timeout: 3s
|
||||
retries: 10
|
||||
start_period: 30s
|
||||
start_interval: 2s
|
||||
deploy:
|
||||
resources:
|
||||
limits: {cpus: "0.50", memory: 384M}
|
||||
|
||||
secrets:
|
||||
postgres_password:
|
||||
@@ -594,45 +139,11 @@ secrets:
|
||||
file: ./secrets/cache_url
|
||||
cursor_secret:
|
||||
file: ./secrets/cursor_secret
|
||||
s3_root_user:
|
||||
file: ./secrets/s3_root_user
|
||||
s3_root_password:
|
||||
file: ./secrets/s3_root_password
|
||||
s3_access_key_id:
|
||||
file: ./secrets/s3_access_key_id
|
||||
s3_secret_access_key:
|
||||
file: ./secrets/s3_secret_access_key
|
||||
s3_worker_access_key_id:
|
||||
file: ./secrets/s3_worker_access_key_id
|
||||
s3_worker_secret_access_key:
|
||||
file: ./secrets/s3_worker_secret_access_key
|
||||
rabbitmq_users:
|
||||
file: ./secrets/rabbitmq_users.json
|
||||
rabbitmq_ops_password:
|
||||
file: ./secrets/rabbitmq_ops_password
|
||||
broker_url_api:
|
||||
file: ./secrets/broker_url_api
|
||||
broker_url_worker:
|
||||
file: ./secrets/broker_url_worker
|
||||
grafana_admin_password:
|
||||
file: ./secrets/grafana_admin_password
|
||||
s3_reconciler_access_key_id:
|
||||
file: ./secrets/s3_reconciler_access_key_id
|
||||
s3_reconciler_secret_access_key:
|
||||
file: ./secrets/s3_reconciler_secret_access_key
|
||||
|
||||
volumes:
|
||||
pgdata:
|
||||
valkeydata:
|
||||
s3data:
|
||||
broker-data:
|
||||
healthtools:
|
||||
prometheus-data:
|
||||
loki-data:
|
||||
tempo-data:
|
||||
grafana-data:
|
||||
pgrestore:
|
||||
|
||||
networks:
|
||||
edge:
|
||||
backend:
|
||||
internal: true
|
||||
|
||||
@@ -1,21 +0,0 @@
|
||||
# Состояния вложения и договор между producer/worker
|
||||
|
||||
Сообщение broker соответствует [jobs.schema.json](jobs.schema.json). Можно применять native headers брокера для trace context, но семантика carrier сохраняется; для проверки покажите отображение полей. `job_id` идентифицирует одну логическую работу и не меняется при redelivery; `attempt` начинается с 1 и отражает управляемую попытку обработки (broker redelivery сам по себе не создаёт новый job_id). Ключ эффекта — `(attachment_id, pipeline_version, variant)`.
|
||||
|
||||
| Переход | Условие | Что устойчиво сохранено |
|
||||
| --- | --- | --- |
|
||||
| нет → queued | Принимаем upload; только после durable handoff отвечаем 202 | Полный проверенный оригинал в staging, метаданные, намерение обработки |
|
||||
| queued → processing | Worker захватил/арендовал работу | Попытка, lease/deadline или эквивалентная защита |
|
||||
| processing → queued | Временная ошибка и остались попытки | Причина без секретов, время следующей попытки |
|
||||
| processing → ready | Все обязательные объекты записаны и результат атомарно опубликован | Оригинал, thumbnail (на 4 ещё crop/optimized), метаданные/checksums |
|
||||
| processing → failed | Ошибка постоянная или попытки исчерпаны | error_code и запись, доступная оператору |
|
||||
| processing → queued | Истёк lease после смерти worker | Восстановленная работа, без дублирования эффектов |
|
||||
| failed → queued | Явный операторский replay, доступен на 4 | Audit, новая попытка, прежний логический эффект защищён от дубля |
|
||||
|
||||
Повторная доставка уже ready-задачи — no-op с ack после проверки завершённого эффекта. Конкурентные попытки не перезаписывают более новый pipeline_version. Основной курс использует pipeline_version=1; версионирование нескольких pipeline — трек 5. Заявляйте готовность только когда все обещанные уровнем варианты доступны. Нельзя откатывать ready в processing из-за старого дубля.
|
||||
|
||||
**Окна отказа для защиты:** после staging до записи задания; после COMMIT до publish; после publish до confirm; после записи S3 до COMMIT результата; после COMMIT результата до ack. На 3 покажите сохранность успешно принятой работы и повторную доставку; на 4 автоматическое восстановление разрыва DB/broker (outbox/эквивалент) и зависшего processing.
|
||||
|
||||
Staging не удаляется до безопасной публикации результатов. Неуспешные/непривязанные исходники имеют документированный retention и cleanup; он не удаляет текущую работу. Broker принимает только ID/служебные данные, не произвольный URL для скачивания и не путь из клиентского filename. Worker берёт доверенные storage metadata из БД.
|
||||
|
||||
Ack подтверждает устойчивую обработку, publisher confirm — приём брокером; это разные границы. См. [RabbitMQ reliability](https://www.rabbitmq.com/docs/reliability). At-least-once + идемпотентный эффект не означает exactly-once доставку.
|
||||
@@ -34,8 +34,7 @@
|
||||
"chat_id": "33333333-3333-4333-8333-333333333333",
|
||||
"sender_id": "11111111-1111-4111-8111-111111111111",
|
||||
"text": "Привет, Боб!",
|
||||
"created_at": "2026-09-01T12:00:00Z",
|
||||
"attachment_ids": []
|
||||
"created_at": "2026-09-01T12:00:00Z"
|
||||
},
|
||||
"MessagePage": {
|
||||
"items": [
|
||||
@@ -44,8 +43,7 @@
|
||||
"chat_id": "33333333-3333-4333-8333-333333333333",
|
||||
"sender_id": "11111111-1111-4111-8111-111111111111",
|
||||
"text": "Привет, Боб!",
|
||||
"created_at": "2026-09-01T12:00:00Z",
|
||||
"attachment_ids": []
|
||||
"created_at": "2026-09-01T12:00:00Z"
|
||||
}
|
||||
],
|
||||
"next_cursor": null
|
||||
|
||||
@@ -1,10 +1,10 @@
|
||||
{
|
||||
"lab": 6,
|
||||
"lab": 2,
|
||||
"kind": "requirements, not runnable deployment",
|
||||
"required_for_grade_3": [
|
||||
{
|
||||
"role": "api",
|
||||
"count_min": 2,
|
||||
"count_min": 1,
|
||||
"student_implements": true,
|
||||
"persistent_local_state": false
|
||||
},
|
||||
@@ -12,63 +12,6 @@
|
||||
"role": "postgres",
|
||||
"purpose": "users/chats/membership/messages/metadata",
|
||||
"persistent_volume": true
|
||||
},
|
||||
{
|
||||
"role": "load_balancer",
|
||||
"public_entrypoint": true,
|
||||
"backend_readiness": true
|
||||
},
|
||||
{
|
||||
"role": "s3",
|
||||
"choose_one": [
|
||||
"MinIO",
|
||||
"SeaweedFS",
|
||||
"RustFS"
|
||||
],
|
||||
"private_bucket": true,
|
||||
"persistent_volume": true
|
||||
},
|
||||
{
|
||||
"role": "broker",
|
||||
"choose_one": [
|
||||
"RabbitMQ",
|
||||
"Redis Streams",
|
||||
"Valkey Streams",
|
||||
"NATS JetStream",
|
||||
"documented durable equivalent"
|
||||
],
|
||||
"persistent_volume": true,
|
||||
"delivery": "at-least-once"
|
||||
},
|
||||
{
|
||||
"role": "worker",
|
||||
"separate_process": true
|
||||
},
|
||||
{
|
||||
"role": "otel_collector",
|
||||
"signals": [
|
||||
"metrics",
|
||||
"logs",
|
||||
"traces"
|
||||
]
|
||||
},
|
||||
{
|
||||
"role": "telemetry_storage",
|
||||
"signals": [
|
||||
"metrics",
|
||||
"logs",
|
||||
"traces"
|
||||
],
|
||||
"possible_combination": [
|
||||
"Prometheus",
|
||||
"Loki",
|
||||
"Tempo"
|
||||
],
|
||||
"persistent_volume": true
|
||||
},
|
||||
{
|
||||
"role": "grafana",
|
||||
"provisioning_in_git": true
|
||||
}
|
||||
],
|
||||
"optional_components": [
|
||||
|
||||
@@ -1,63 +0,0 @@
|
||||
{
|
||||
"$schema": "https://json-schema.org/draft/2020-12/schema",
|
||||
"$id": "urn:mtusi:messenger:attachment-job:v1",
|
||||
"title": "Durable attachment processing job v1",
|
||||
"type": "object",
|
||||
"additionalProperties": false,
|
||||
"required": [
|
||||
"schema_version",
|
||||
"job_id",
|
||||
"type",
|
||||
"attachment_id",
|
||||
"pipeline_version",
|
||||
"attempt",
|
||||
"created_at"
|
||||
],
|
||||
"properties": {
|
||||
"schema_version": {
|
||||
"const": 1
|
||||
},
|
||||
"job_id": {
|
||||
"type": "string",
|
||||
"format": "uuid"
|
||||
},
|
||||
"type": {
|
||||
"const": "attachment.process.v1"
|
||||
},
|
||||
"attachment_id": {
|
||||
"type": "string",
|
||||
"format": "uuid"
|
||||
},
|
||||
"pipeline_version": {
|
||||
"type": "integer",
|
||||
"minimum": 1
|
||||
},
|
||||
"attempt": {
|
||||
"type": "integer",
|
||||
"minimum": 1
|
||||
},
|
||||
"created_at": {
|
||||
"type": "string",
|
||||
"format": "date-time"
|
||||
},
|
||||
"traceparent": {
|
||||
"type": "string",
|
||||
"pattern": "^00-[0-9a-f]{32}-[0-9a-f]{16}-[0-9a-f]{2}$"
|
||||
},
|
||||
"tracestate": {
|
||||
"type": "string",
|
||||
"maxLength": 512
|
||||
}
|
||||
},
|
||||
"examples": [
|
||||
{
|
||||
"schema_version": 1,
|
||||
"job_id": "11111111-1111-4111-8111-111111111111",
|
||||
"type": "attachment.process.v1",
|
||||
"attachment_id": "22222222-2222-4222-8222-222222222222",
|
||||
"pipeline_version": 1,
|
||||
"attempt": 1,
|
||||
"created_at": "2026-09-01T12:00:00Z"
|
||||
}
|
||||
]
|
||||
}
|
||||
@@ -1,28 +0,0 @@
|
||||
# Контракт наблюдаемости
|
||||
|
||||
Ниже логические сигналы. Допустимы стандартные semantic conventions выбранного SDK и их native metric names: зафиксируйте соответствие в `REPORT.md`, dashboard обязан ссылаться на реально существующие имена/единицы. Переименование SDK не повод дублировать одну метрику двумя инструментами. Версии SDK, semantic conventions, Collector distribution и backend закрепляются в решении.
|
||||
|
||||
| Сигнал | Минимальные поля/измерения | Уровень |
|
||||
| --- | --- | --- |
|
||||
| HTTP requests | method, route template, status class; counter | 3 |
|
||||
| HTTP duration | histogram в секундах или документированное преобразование из ms | 3 |
|
||||
| Jobs processed / failed | job type, outcome, counter | 3 |
|
||||
| Job processing duration | job type, outcome, histogram | 3 |
|
||||
| API и worker logs | timestamp, severity, service.name, event, trace_id, span_id при активном span | 3 |
|
||||
| API и worker traces | реальные server/consumer spans, duration, outcome; не искусственный статический trace | 3 |
|
||||
| Queue depth / oldest job age | queue name, количество / секунды | 4 |
|
||||
| Pool/saturation | DB pool used/waiting, worker busy/capacity, process/container CPU/RAM | 4 |
|
||||
| Сквозная связь upload → publish → consume → S3/DB | W3C traceparent/tracestate; parent-child или link по выбранной семантике | 4 |
|
||||
| End-to-end time to ready | от durable acceptance до публикации ready, histogram | 4 |
|
||||
|
||||
Resource attributes: `service.name` (messenger-api / messenger-worker), `service.version`, `service.instance.id`, `deployment.environment.name=lab`. Список имён может отличаться, если явно сопоставлен. `X-Request-Id` коррелирует HTTP-ошибку с логом; trace_id — не замена всех request IDs.
|
||||
|
||||
**Не labels метрик:** user_id, chat_id, message_id, attachment_id, request_id, raw URL, filename, текст. Для маршрута используйте `/api/v1/chats/{chat_id}/messages`, не реальный UUID. В логах/трассах допустимы ограниченные технические ID для учебных синтетических данных, если обоснована необходимость; пароли, Authorization, session token, body сообщения, картинка, private key и signed URL запрещены.
|
||||
|
||||
Для HTTP error ratio заранее определите numerator/denominator: например 5xx/все бизнес-запросы, исключая health; не смешивайте неверный пароль клиента с отказом БД. p95 агрегируется из histogram buckets всех нужных реплик, а не средних p95. Границы buckets должны соответствовать ожидаемым задержкам. Backlog — не queue processing latency.
|
||||
|
||||
В Git находятся Collector config, backend configs, datasources/dashboard provisioning, dashboard JSON и на 4 alert rules. У alerts есть условие, окно, порог, `for` при необходимости, описание и локальный runbook. Отправка сообщений в почту/мессенджер не требуется.
|
||||
|
||||
Минимальные контролируемые инциденты для 4: (1) остановить worker и увидеть рост возраста задач; (2) сделать DB медленной/недоступной и отличить её от медленного HTTP handler по trace/метрикам. После восстановления backlog уменьшается, alerts resolved. Третий сценарий — недоступность backend telemetry: SDK/Collector ограничивают RAM/очередь, API сохраняет работу, потери telemetry считаются и объясняются.
|
||||
|
||||
Collector — получатель/обработчик/экспортёр, не долговременная БД. Grafana — интерфейс и запросы к источникам. Логи можно отправлять OTLP в совместимый backend; не закладывайте удалённый/устаревший exporter без проверки текущей сборки. См. [Collector configuration](https://opentelemetry.io/docs/collector/configuration/), [Trace Context](https://www.w3.org/TR/trace-context/) и [histograms](https://prometheus.io/docs/practices/histograms/).
|
||||
+7
-1493
File diff suppressed because it is too large
Load Diff
+3
-62
@@ -1,64 +1,5 @@
|
||||
# Индекс доказательств ЛР6
|
||||
# Доказательства
|
||||
|
||||
Автор: Костылев Артём, БПИ2303. Итог: [REPORT.md](../REPORT.md), заявлены уровни 3/4 и трек 1 «Цена наблюдаемости». **Основной актуальный набор — `forward-published/`**. Имя каталога описывает перенос опубликованного источника ЛР5 и не означает публикацию ЛР6.
|
||||
Храните небольшие обезличенные результаты: команды и stdout проверок, JSON/CSV агрегатов нагрузки, EXPLAIN, dashboard JSON, текст разбора отказа. Укажите дату, commit, аппаратные лимиты и профиль нагрузки.
|
||||
|
||||
## Происхождение и актуальность
|
||||
|
||||
| Набор | SHA и назначение | Как использовать |
|
||||
| --- | --- | --- |
|
||||
| [forward-port.md](forward-port.md), [source-inventory.json](forward-published/source-inventory.json) | ЛР5 `f88e9ba43cdfd7eb6a5a7ae5feb4247b4e820071` → `c7b8feb805d151e878d77b0dff47320a9436b172`; все 281 путь diff учтены | Карта позднего переноса, исключения и причина повторения измерений |
|
||||
| [forward-published](forward-published) | Runtime/измеритель `bc1d7aa7713858acb5d65b61d07e69a640f1ee97`; evidence-коммит/ревью `6ca1c7549978af3127966540385195ab0587f2e1` | Свежие доказательства после исправлений; runtime между этими SHA не менялся |
|
||||
| [grade3/notes.md](grade3/notes.md), [level3.json](level3.json) | **Исторический код** `95511002b12510178a3cc2a22566b43e2b2b6c81`; чистый clone `2903d9d` | Не свежие smoke/нагрузка. История telemetry и независимость от Collector переиспользуются только для незатронутых механизмов |
|
||||
| [grade4/notes.md](grade4/notes.md) | **Исторический код** `44d81fd80ee13faa42bca069245ee0943f88b2df`, retry harness `447a6507f973596e612f40c1484dda922bf0e50d`; storage incident `cd9d91550aa4eeba31489e07b71ee2767acfc7d8` | Отказ storage и кардинальность применимы в пределах [preserved-mechanisms.json](forward-published/preserved-mechanisms.json); chain/retry/alerts заменены свежими |
|
||||
| [track5/notes.md](track5/notes.md) | **Исторический код** `202b985deacda79b6d8df65dcefe8a1af43f1a8e`, измеритель `bc0b1620825b53fd3a3019623326ebf68cbbbeec` | Старые 519 passed, −91,1% Tempo и 15 серий не смешивать с актуальными 995 passed / −92,2%; auth/cache путь изменился и был перемерен |
|
||||
| [review-summary.md](review-summary.md) | Результат независимого review из runner на `6ca1c75…` | 0 major, 5 minor; полный список ограничений, не новое ревью |
|
||||
| [report-audit.md](report-audit.md) | Документационный этап поверх `6ca1c75…` | Только статические проверки и сверка сохранённых чисел; Docker/нагрузка не запускались |
|
||||
| [load-validation.md](load-validation.md) | Финальная validation поверх `1e00d861a803a6d49ef443175b8231cbf048fc02` | Аудит применимости всех 15 серий, свежие проверки в [validation](validation); новых нагрузочных запусков нет, публикация не выполнялась |
|
||||
|
||||
[closure.json](forward-published/closure.json) фиксирует окончание реализации: runtime не менялся после замеров, 22 проверяемых тогда файла и прежний evidence сохранены, своих работающих контейнеров нет, 9 volumes оставлены. Число 22 включает документы, которые отчётный этап имеет право обновить; это исторический снимок, не запрет на REPORT/AGENTS/этот индекс. Нормативные contracts/tests/README/COURSE и infra README неизменны. В отчётном этапе raw evidence не переписывается; в старые notes добавлена только отметка исторического кода.
|
||||
|
||||
## Карта актуального набора
|
||||
|
||||
| Что проверено | Команда / средство | Доказательства |
|
||||
| --- | --- | --- |
|
||||
| Конфигурация, образы, условия и limits | `scripts/lab6.sh make up`; снимки runtime/host | [up.txt](forward-published/up.txt), [runtime.json](forward-published/runtime.json), [conditions-before.json](forward-published/conditions-before.json) |
|
||||
| Структура, схемы, ruff/ty | `make check validate lint` | [quality.txt](forward-published/quality.txt), [final-quality.txt](forward-published/final-quality.txt) |
|
||||
| Полный собственный suite | `make student-test` | [student-test.txt](forward-published/student-test.txt): 995 passed, 2 skipped, 19 deselected; запуск до runtime-коммита на WIP поверх `97feb04…`, зафиксированном затем в `bc1d7aa…` |
|
||||
| Public API, persistent stores, failover | `make test`, `make test-persistence ACTION_SCRIPT=scripts/restart.sh`, `make test-failover ACTION_SCRIPT=scripts/stop-one.sh`, `make restore` | [smoke](forward-published/smoke.txt), [persistence](forward-published/persistence.txt), [failover](forward-published/failover.txt), [restore](forward-published/restore.txt), [final-smoke](forward-published/final-smoke.txt) |
|
||||
| Поздние auth/cache/HTTP регрессии | `student-tests/tools/forward_network.py`, stack tests, точные команды внутри логов | [network](forward-published/network.txt), [cache-outage](forward-published/cache-outage.txt), [HAProxy errors](forward-published/haproxy-errors.txt), [negative upload](forward-published/upload-negative.txt) |
|
||||
| Requeue при отказе PostgreSQL | `student-tests/tools/forward_runtime.py postgres-outage` | [JSON](forward-published/postgres-outage.json), [команда](forward-published/postgres-outage.txt), [worker](forward-published/postgres-outage-worker.txt), [broker policy](forward-published/policy.txt) |
|
||||
| PNG корректность и ограничения памяти | `student-tests/tools/forward_runtime.py png-http` / `png-boundary` | [png-http.json](forward-published/png-http.json), [png-http.txt](forward-published/png-http.txt), [png-boundary.json](forward-published/png-boundary.json), [png-boundary.txt](forward-published/png-boundary.txt) |
|
||||
| Pipeline, retry, COMMIT/ack, DLQ | `scripts/pipeline_suite.py --level 4 --only …` (9 кейсов, полный вызов в txt) | [pipeline.json](forward-published/pipeline.json), [pipeline.txt](forward-published/pipeline.txt) |
|
||||
| Конфиги наблюдаемости и dashboard queries | `make obs-validate`; `scripts/obs_check.py dashboards --strict` | [obs-config](forward-published/obs-config.txt), [dashboards](forward-published/dashboards.txt) |
|
||||
| Корреляция request/job | `scripts/obs_check.py request` / `job` | [telemetry-request](forward-published/telemetry-request.txt), [telemetry-job](forward-published/telemetry-job.txt) |
|
||||
| Контроль запрещённых значений | `scripts/obs_check.py leaks` | [telemetry-leaks](forward-published/telemetry-leaks.txt); ограничение Loki metadata — M1 в review-summary |
|
||||
| Upload trace и retry до результата | `scripts/obs_incidents.py chain` / `retry` | [chain](forward-published/incident-chain.txt), [retry](forward-published/incident-retry.txt): 55/86 spans |
|
||||
| Worker/DB incidents, alerts | `scripts/obs_incidents.py worker` / `database` | [worker](forward-published/incident-worker.txt), [database](forward-published/incident-database.txt): firing → resolved |
|
||||
| История и outage telemetry (исторический код) | `scripts/obs_recovery.py`; `scripts/obs_incidents.py storage` | [recovery](grade3/telemetry-recovery.txt), [storage](grade4/storage-incident.txt), [обоснование неизменности](forward-published/preserved-mechanisms.json) |
|
||||
| OpenSpec | `openspec validate --all --strict --no-interactive`, sync/archive | [validation](forward-published/openspec-validation.txt), [archive](forward-published/openspec-archive.txt), [spec-sync](forward-published/spec-sync.json) |
|
||||
| Завершение без удаления данных | Возврат defaults, `make down` | [defaults-restored](forward-published/defaults-restored.json), [shutdown](forward-published/shutdown.txt), [closure](forward-published/closure.json) |
|
||||
|
||||
## Трек 1: только пригодные серии
|
||||
|
||||
[Методика](forward-published/cost/method.md) · [результаты](forward-published/cost/results.md) · [comparison.json](forward-published/cost/comparison.json) · [PNG](forward-published/cost/comparison.png) · [SVG](forward-published/cost/comparison.svg). Все численные сводки берутся из 15 raw JSON на `bc1d7aa…`; TXT той же серии содержит точный вызов, дату/SHA и exit code.
|
||||
|
||||
| Режим | Raw JSON (повторы 1 / 2 / 3) | Команды/вывод |
|
||||
| --- | --- | --- |
|
||||
| off | [1](forward-published/cost/off-1.json) / [2](forward-published/cost/off-2.json) / [3](forward-published/cost/off-3.json) | [1](forward-published/cost/off-1.txt) / [2](forward-published/cost/off-2.txt) / [3](forward-published/cost/off-3.txt) |
|
||||
| on | [1](forward-published/cost/on-1.json) / [2](forward-published/cost/on-2.json) / [3](forward-published/cost/on-3.json) | [1](forward-published/cost/on-1.txt) / [2](forward-published/cost/on-2.txt) / [3](forward-published/cost/on-3.txt) |
|
||||
| head | [1](forward-published/cost/head-1.json) / [2](forward-published/cost/head-2.json) / [3](forward-published/cost/head-3.json) | [1](forward-published/cost/head-1.txt) / [2](forward-published/cost/head-2.txt) / [3](forward-published/cost/head-3.txt) |
|
||||
| tail | [1](forward-published/cost/tail-1.json) / [2](forward-published/cost/tail-2.json) / [3](forward-published/cost/tail-3.json) | [1](forward-published/cost/tail-1.txt) / [2](forward-published/cost/tail-2.txt) / [3](forward-published/cost/tail-3.txt) |
|
||||
| balanced | [1](forward-published/cost/balanced-1.json) / [2](forward-published/cost/balanced-2.json) / [3](forward-published/cost/balanced-3.json) | [1](forward-published/cost/balanced-1.txt) / [2](forward-published/cost/balanced-2.txt) / [3](forward-published/cost/balanced-3.txt) |
|
||||
|
||||
[Measurement audit](forward-published/cost/measurement-audit.json) проверяет окно 38..42 s, drain/report 30..45 s и max gap samples <5 s. Два непригодных оригинала — [on-3](forward-published/cost/invalid-time-gap/on-3.json), [head-3](forward-published/cost/invalid-time-gap/head-3.json); причина исключения, hashes и решение повторить только их — [invalid-series.json](forward-published/cost/invalid-series.json). Их 1600 запросов не входят в 12000 пригодных.
|
||||
|
||||
Фон: [start](forward-published/cost/conditions-start.json), [round 1](forward-published/cost/conditions-round-1.json), [round 2](forward-published/cost/conditions-round-2.json), [round 3](forward-published/cost/conditions-round-3.json), [repeat start](forward-published/cost/conditions-repeat-start.json), [repeat end](forward-published/cost/conditions-repeat-end.json). Других Docker projects в снимках нет; общий host остаётся ограничением. Пригодные измерения сохраняются для финального аудита; документационные изменения не основание прогонять их заново.
|
||||
|
||||
## Неуспешные попытки и границы доказательств
|
||||
|
||||
- В [grade3/notes.md](grade3/notes.md) размечены преждевременный smoke и job во время рестарта; успешные повторы лежат рядом. Clean-clone evidence относится только к старому `2903d9d`.
|
||||
- В [grade4/notes.md](grade4/notes.md) сохранены ранние неуспешные student tests, retry без реального отказа, прерванный persistence, неправильный cardinality-вызов и DB pause без firing. Ни один не объявлен PASS итоговым отчётом.
|
||||
- В [track5/notes.md](track5/notes.md) отмечены ранний smoke, ошибка Docker stats до нагрузки и пустые validation-файлы. Все результаты этого каталога исторические.
|
||||
- [Старые findings позднего переноса](forward-published/findings.json) содержат четыре minor; [review-summary.md](review-summary.md) добавляет пятое, про Loki metadata. [Whitespaces](forward-published/whitespace-check.txt) — реальный неуспех косметической проверки, не неуспех `make lint`.
|
||||
|
||||
Не добавлять `.env`, tokens/cookies, credentials, реальные сообщения, raw dumps и signed URLs. Технические IDs в проверках синтетические; они служат корреляции, не являются секретами. Наличие файла/скриншота само по себе не доказательство: нужны команда, SHA, наблюдение и границы применимости.
|
||||
Не добавляйте .env, session tokens, cookies, приватные ключи, credentials, реальные сообщения, raw dumps и signed URLs. Для скриншотов скрывайте секреты. Большие логи/бинарные traces сохраняйте отдельно по правилам преподавателя; одного скриншота без методики недостаточно.
|
||||
|
||||
@@ -0,0 +1,27 @@
|
||||
date: 2026-10-28T17:16:16Z commit: 6468ee2
|
||||
$ valkey-cli config get appendonly appendfsync maxmemory maxmemory-policy
|
||||
appendonly
|
||||
yes
|
||||
appendfsync
|
||||
always
|
||||
maxmemory
|
||||
67108864
|
||||
maxmemory-policy
|
||||
volatile-lru
|
||||
$ valkey-cli info persistence | grep aof_enabled,aof_last_write_status
|
||||
aof_enabled:1
|
||||
aof_last_write_status:ok
|
||||
$ valkey-cli dbsize; info stats | grep keyspace
|
||||
4
|
||||
keyspace_hits:2
|
||||
keyspace_misses:2
|
||||
$ valkey-cli --scan --pattern 'session:*' и вид значения (хеш сокращён, значения не печатаются)
|
||||
session:253ef5d9… сессия
|
||||
session:59c9c3c4… сессия
|
||||
session:b86641dc… сессия
|
||||
session:95ea586e… отметка отзыва "-"
|
||||
tombstones: 1, cached sessions: 3
|
||||
$ срок ключа кэша против срока сессии для session:253ef5d9…
|
||||
valkey pexpiretime, ms: 1793208059163
|
||||
postgres expires_at, ms: 1793211358951
|
||||
ключ не переживает сессию: да
|
||||
@@ -0,0 +1,17 @@
|
||||
date: 2026-10-28T17:14:50Z commit: 6468ee2
|
||||
$ make check
|
||||
python3 scripts/check_contract.py
|
||||
PASS: offline skeleton structure, local refs and Python syntax; application NOT tested.
|
||||
$ make validate
|
||||
.venv/bin/python scripts/validate_openapi.py
|
||||
PASS: full OpenAPI 3.1 and JSON Schema validation; application NOT tested.
|
||||
$ make lint
|
||||
.venv/bin/ruff check src student-tests scripts/track.py
|
||||
All checks passed!
|
||||
.venv/bin/ruff format --check src student-tests scripts/track.py
|
||||
96 files already formatted
|
||||
.venv/bin/ty check src student-tests
|
||||
All checks passed!
|
||||
$ make test
|
||||
python3 tests/smoke.py --base-url "http://localhost:18082"
|
||||
PASS: lab2 public API scenario; infrastructure and grading evidence remain separate.
|
||||
@@ -0,0 +1,41 @@
|
||||
date: 2026-10-28T17:31:07Z commit: 6468ee2
|
||||
host: Apple M4 Max, 16 CPU, 48 GiB RAM, macOS 15.1
|
||||
docker: 28.3.2, VM: 16 CPU, 8217190400 bytes
|
||||
compose: 2.38.2-desktop.1
|
||||
images:
|
||||
mtusi-messenger:mtusi2026lab2
|
||||
postgres:17.11-alpine@sha256:266d3c257594e195b309ae9d1805e54c788f1d7b375f56bf6c367aac6c917e7b
|
||||
valkey/valkey:8.1.11-alpine@sha256:2602ace2be6569bc2bbb06f873776516ab9089821525be34f4305c67eb9db02a
|
||||
FROM python:3.14-slim-trixie@sha256:51dafde81dbdb6ebde285137a295cf18a47ca95234fe388a343719cb97305b3d AS builder
|
||||
COPY --from=ghcr.io/astral-sh/uv:0.9.7@sha256:ba4857bf2a068e9bc0e64eed8563b065908a4cd6bfb66b531a9c424c8e25e142 /uv /usr/local/bin/uv
|
||||
FROM python:3.14-slim-trixie@sha256:51dafde81dbdb6ebde285137a295cf18a47ca95234fe388a343719cb97305b3d AS runtime
|
||||
COPY --from=builder --chown=root:root /opt/venv /opt/venv
|
||||
python in image: Python 3.14.7
|
||||
packages (uv.lock):
|
||||
fastapi 0.141.1
|
||||
uvicorn 0.54.0
|
||||
uvicorn-worker 0.4.0
|
||||
gunicorn 26.2.0
|
||||
asyncpg 0.32.0
|
||||
argon2-cffi 25.1.0
|
||||
pydantic 2.13.5
|
||||
pydantic-settings 2.15.0
|
||||
dishka 1.10.1
|
||||
structlog 26.1.0
|
||||
redis 8.1.0
|
||||
$ docker compose --profile faults --profile track up -d --wait api-shortttl postgres-restore
|
||||
docker compose top (service, UID, command), без повторов и без процессов healthcheck:
|
||||
api 10001 python
|
||||
api-shortttl 10001 python
|
||||
postgres 70 postgres
|
||||
postgres 70 postgres:
|
||||
postgres-restore 70 postgres
|
||||
postgres-restore 70 postgres:
|
||||
valkey 999 tini
|
||||
valkey 999 valkey-server
|
||||
postgres durability (pg_settings):
|
||||
fsync = on
|
||||
full_page_writes = on
|
||||
shared_buffers = 16384
|
||||
synchronous_commit = on
|
||||
wal_sync_method = fdatasync
|
||||
@@ -0,0 +1,80 @@
|
||||
date: 2026-10-28T17:16:18Z commit: 6468ee2
|
||||
$ make explain # scripts/sql/explain-history.sql
|
||||
chat_messages
|
||||
---------------
|
||||
20000
|
||||
(1 row)
|
||||
|
||||
all_messages
|
||||
--------------
|
||||
30005
|
||||
(1 row)
|
||||
|
||||
history_index_size
|
||||
--------------------
|
||||
1736 kB
|
||||
(1 row)
|
||||
|
||||
== Первая страница, limit=50 (запрос HISTORY_FIRST приложения, LIMIT limit+1)
|
||||
QUERY PLAN
|
||||
-----------------------------------------------------------------------------------------------------------------------------------------------
|
||||
Limit (cost=0.29..5.37 rows=51 width=102) (actual time=0.008..0.013 rows=51 loops=1)
|
||||
Buffers: shared hit=3
|
||||
-> Index Scan using messages_history_idx on messages (cost=0.29..1994.42 rows=20001 width=102) (actual time=0.007..0.010 rows=51 loops=1)
|
||||
Index Cond: (chat_id = '00000000-0000-7000-8000-00000000c001'::uuid)
|
||||
Buffers: shared hit=3
|
||||
Planning:
|
||||
Buffers: shared hit=24
|
||||
Planning Time: 0.081 ms
|
||||
Execution Time: 0.022 ms
|
||||
(9 rows)
|
||||
|
||||
== Глубокая страница: keyset после 10 000-го сообщения (запрос HISTORY_AFTER приложения)
|
||||
QUERY PLAN
|
||||
------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
|
||||
Limit (cost=0.29..9.99 rows=51 width=102) (actual time=0.007..0.012 rows=51 loops=1)
|
||||
Buffers: shared hit=4
|
||||
-> Index Scan using messages_history_idx on messages (cost=0.29..1269.18 rows=6670 width=102) (actual time=0.007..0.010 rows=51 loops=1)
|
||||
Index Cond: ((chat_id = '00000000-0000-7000-8000-00000000c001'::uuid) AND (ROW(created_at, id) > ROW('2026-01-01 02:46:40+00'::timestamp with time zone, '00000000-0000-7000-8001-000000002710'::uuid)))
|
||||
Buffers: shared hit=4
|
||||
Planning Time: 0.034 ms
|
||||
Execution Time: 0.032 ms
|
||||
(7 rows)
|
||||
|
||||
== Та же глубокая страница через OFFSET 10000 (не используется приложением, для сравнения)
|
||||
QUERY PLAN
|
||||
--------------------------------------------------------------------------------------------------------------------------------------------------
|
||||
Limit (cost=997.30..1002.39 rows=51 width=102) (actual time=0.879..0.885 rows=51 loops=1)
|
||||
Buffers: shared hit=247
|
||||
-> Index Scan using messages_history_idx on messages (cost=0.29..1994.42 rows=20001 width=102) (actual time=0.010..0.674 rows=10051 loops=1)
|
||||
Index Cond: (chat_id = '00000000-0000-7000-8000-00000000c001'::uuid)
|
||||
Buffers: shared hit=247
|
||||
Planning Time: 0.046 ms
|
||||
Execution Time: 0.897 ms
|
||||
(7 rows)
|
||||
|
||||
== Проверка: keyset и OFFSET возвращают одну и ту же страницу
|
||||
same_page
|
||||
-----------
|
||||
t
|
||||
(1 row)
|
||||
|
||||
== Контрольный план без индекса истории (DROP INDEX внутри транзакции, затем ROLLBACK)
|
||||
QUERY PLAN
|
||||
--------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
|
||||
Limit (cost=1246.61..1246.74 rows=51 width=102) (actual time=1.473..1.478 rows=51 loops=1)
|
||||
Buffers: shared hit=505
|
||||
-> Sort (cost=1246.61..1263.29 rows=6670 width=102) (actual time=1.473..1.473 rows=51 loops=1)
|
||||
Sort Key: created_at, id
|
||||
Sort Method: top-N heapsort Memory: 31kB
|
||||
Buffers: shared hit=505
|
||||
-> Seq Scan on messages (cost=0.00..1024.09 rows=6670 width=102) (actual time=0.291..1.073 rows=10000 loops=1)
|
||||
Filter: ((chat_id = '00000000-0000-7000-8000-00000000c001'::uuid) AND (ROW(created_at, id) > ROW('2026-01-01 02:46:40+00'::timestamp with time zone, '00000000-0000-7000-8001-000000002710'::uuid)))
|
||||
Rows Removed by Filter: 20005
|
||||
Buffers: shared hit=499
|
||||
Planning:
|
||||
Buffers: shared hit=14
|
||||
Planning Time: 0.084 ms
|
||||
Execution Time: 1.486 ms
|
||||
(14 rows)
|
||||
|
||||
@@ -0,0 +1,73 @@
|
||||
date: 2026-10-28T17:15:43Z commit: 6468ee2
|
||||
$ make test-faults
|
||||
docker compose --profile faults up -d --wait api-shortttl
|
||||
Container mtusi2026lab2-valkey-1 Running
|
||||
Container mtusi2026lab2-postgres-1 Running
|
||||
Container mtusi2026lab2-api-shortttl-1 Creating
|
||||
Container mtusi2026lab2-api-shortttl-1 Created
|
||||
Container mtusi2026lab2-postgres-1 Waiting
|
||||
Container mtusi2026lab2-postgres-1 Healthy
|
||||
Container mtusi2026lab2-migrate-1 Starting
|
||||
Container mtusi2026lab2-migrate-1 Started
|
||||
Container mtusi2026lab2-migrate-1 Waiting
|
||||
Container mtusi2026lab2-migrate-1 Exited
|
||||
Container mtusi2026lab2-api-shortttl-1 Starting
|
||||
Container mtusi2026lab2-api-shortttl-1 Started
|
||||
Container mtusi2026lab2-migrate-1 Waiting
|
||||
Container mtusi2026lab2-api-shortttl-1 Waiting
|
||||
Container mtusi2026lab2-postgres-1 Waiting
|
||||
Container mtusi2026lab2-valkey-1 Waiting
|
||||
Container mtusi2026lab2-valkey-1 Healthy
|
||||
Container mtusi2026lab2-postgres-1 Healthy
|
||||
Container mtusi2026lab2-migrate-1 Exited
|
||||
Container mtusi2026lab2-api-shortttl-1 Healthy
|
||||
BASE_URL="http://localhost:18082" SHORTTTL_URL="http://localhost:22082" .venv/bin/pytest -m stack -v -s student-tests/stack
|
||||
============================= test session starts ==============================
|
||||
platform darwin -- Python 3.14.5, pytest-9.1.1, pluggy-1.6.0 -- /Users/artemkostylev/projects/learning/HL/labs/mtusi2026lab2/.venv/bin/python
|
||||
cachedir: .pytest_cache
|
||||
rootdir: /Users/artemkostylev/projects/learning/HL/labs/mtusi2026lab2
|
||||
configfile: pyproject.toml
|
||||
plugins: asyncio-1.4.0, anyio-4.15.1
|
||||
asyncio: mode=Mode.AUTO, debug=False, asyncio_default_fixture_loop_scope=function, asyncio_default_test_loop_scope=function
|
||||
collecting ... collected 13 items
|
||||
|
||||
student-tests/stack/test_faults.py::test_registration_race_yields_exactly_one_user гонка 50 регистраций: 201×1, 409×49
|
||||
PASSED
|
||||
student-tests/stack/test_faults.py::test_chat_creation_rolls_back_on_unknown_member чат с несуществующим участником: 400 invalid_request
|
||||
PASSED
|
||||
student-tests/stack/test_faults.py::test_wrong_password_and_unknown_user_get_same_basic_challenge неверный пароль: 401 за 0.012 с
|
||||
неизвестный пользователь: 401 за 0.011 с
|
||||
PASSED
|
||||
student-tests/stack/test_faults.py::test_logout_then_token_is_dead logout: 204, затем 401, повтор 401
|
||||
PASSED
|
||||
student-tests/stack/test_faults.py::test_short_ttl_session_expires SESSION_TTL_SECONDS=2: сразу 200, через 3 с 401
|
||||
PASSED
|
||||
student-tests/stack/test_faults.py::test_valkey_serves_repeated_checks 5 проверок токена: keyspace_hits 4 → 9
|
||||
PASSED
|
||||
student-tests/stack/test_faults.py::test_valkey_stopped_is_bypassed_but_logout_waits valkey остановлен, действующий токен: 200 за 0.207 с
|
||||
valkey остановлен, неизвестный токен: 401 за 0.004 с
|
||||
valkey остановлен: ready 200, вход 201, выход 503
|
||||
valkey снова запущен: повторный выход 204
|
||||
PASSED
|
||||
student-tests/stack/test_faults.py::test_valkey_restart_keeps_cache_and_revocations рестарт valkey: ключей 14 → 14
|
||||
рестарт valkey: живой 200, отозванный 401
|
||||
PASSED
|
||||
student-tests/stack/test_faults.py::test_valkey_flushall_loses_nothing FLUSHALL: живой 200, отозванный 401
|
||||
PASSED
|
||||
student-tests/stack/test_faults.py::test_postgres_stopped_gives_bounded_503_and_recovers postgres остановлен, ready: 503 за 1.012 с
|
||||
postgres остановлен, live: 200 за 0.006 с
|
||||
postgres остановлен, me: 503 за 1.006 с
|
||||
postgres остановлен, stranger: 503 за 1.012 с
|
||||
postgres остановлен, login: 503 за 1.005 с
|
||||
postgres остановлен, register: 503 за 0.992 с
|
||||
postgres запущен: готовность через 0.0 с, прежний токен 200
|
||||
PASSED
|
||||
student-tests/stack/test_faults.py::test_api_restart_keeps_session_without_extending_it рестарт api: готовность через 0.5 с, токен 200
|
||||
expires_at при входе 2026-10-28T18:16:04.950293Z, в БД после рестарта 2026-10-28T18:16:04.950293Z
|
||||
PASSED
|
||||
student-tests/stack/test_faults.py::test_full_restart_keeps_session_until_logout restart.sh: готовность через 0.0 с, прежний токен 200, выход 204, затем 401
|
||||
PASSED
|
||||
student-tests/stack/test_faults.py::test_short_ttl_expires_after_restart_at_original_time рестарт api-shortttl: готовность через 0.5 с, после expires_at входа 401
|
||||
PASSED
|
||||
|
||||
============================= 13 passed in 26.08s ==============================
|
||||
@@ -1,60 +0,0 @@
|
||||
# Поздний перенос ЛР5 → ЛР6
|
||||
|
||||
Источник только immutable snapshot `lab5-c7b8feb805d151e878d77b0dff47320a9436b172`; диапазон `f88e9ba43cdfd7eb6a5a7ae5feb4247b4e820071..c7b8feb805d151e878d77b0dff47320a9436b172`. Исходный HEAD ЛР6 `237a7c93e507b984add5b49c51c6720a6bfca505`, дерево было чистым. Полный перечень всех изменённых путей, SHA-256 источника и решение по каждому: [source-inventory.json](forward-published/source-inventory.json).
|
||||
|
||||
## Перенос
|
||||
|
||||
| Группа | Изменение | Разрешение |
|
||||
|---|---|---|
|
||||
| identity handlers/postgres/valkey | Отзыв сессии, блокировка чтения, nonce заполнения кэша | Полный diff; SQLAlchemy и Lua, схема без изменений |
|
||||
| identity authentication/values, messaging values | NUL и не-ASCII Basic | Полный diff; ошибки по существующему контракту |
|
||||
| attachments images.py и png.py | Проверка IDAT, исходная tRNS глубина, tiles памяти | Полный diff; OTel S3/worker не изменён |
|
||||
| infra/haproxy/haproxy.cfg | JSON escaping request_id в 502/503/504 | Полный diff |
|
||||
| infra/rabbitmq/definitions.json | delivery-limit=-1 | Сохранено описание lab6 и существующая топология/DLX |
|
||||
| student-tests (все пути inventory) | Регрессии источника | Сохранены OTelJobObserver/provider ЛР6; прямые handle_job получают observer. Boundary PNG генерируются локально, без зависимости от evidence ЛР5; default project/port заменены на ЛР6 |
|
||||
| openspec/specs (10 capabilities) | 11 изменённых requirements | Полные delta blocks, исходные префиксы capabilities сохранены |
|
||||
| openspec/config.yaml | Версии SQLAlchemy/Alembic, provenance | Применимые строки влиты, контекст ЛР6 сохранён |
|
||||
|
||||
## Неприменимые артефакты
|
||||
|
||||
AGENTS.md, REPORT.md и evidence/README.md источника относятся к ЛР5 и не заменяют документы ЛР6. Результаты evidence источника относятся к другому приложению/SHA и не копируются как доказательство ЛР6. Исполняемая логика двух targeted.py адаптирована в student-tests/tools/forward_runtime.py; их файлы результатов не импортированы. Четыре новых source OpenSpec archives — история выполненных этапов ЛР5; их требования перенесены объединённым change `forward-lab5-published-fixes`, их завершение не выдаётся за проверку ЛР6. Каждый исключённый путь перечислен в inventory с причиной. Применимых runtime-изменений не пропущено; source diff не затрагивает Dockerfile, зависимости, Alembic или compose runtime.
|
||||
|
||||
## Документация
|
||||
|
||||
Context7 resolve для SQLAlchemy и RabbitMQ вернул `Monthly quota exceeded`. Использован официальный fallback: [SQLAlchemy 2.0 with_for_update](https://docs.sqlalchemy.org/en/20/core/selectable.html#sqlalchemy.sql.expression.GenerativeSelect.with_for_update) подтверждает read+key_share; [RabbitMQ 4.1 quorum delivery limit](https://www.rabbitmq.com/docs/4.1/quorum-queues#disabling-the-limit) содержит policy delivery-limit=-1. Новых зависимостей нет; версии остаются закреплёнными.
|
||||
|
||||
## Проверки и затронутые измерения
|
||||
|
||||
Изменение auth/cache влияет на HTTP/DB путь трека, поэтому повторяются все 15 серий с прежними параметрами; `evidence/track5` остаётся историческим результатом bc0b1620825b53fd3a3019623326ebf68cbbbeec. Новые PNG/доставка проверяются через runtime ЛР6 с включённой OTel, включая память, recovery и трассы. Наблюдения, сырые результаты и завершённый повтор трека приведены ниже.
|
||||
|
||||
## Реальные регрессии на новом runtime
|
||||
|
||||
Runtime commit: `bc1d7aa7713858acb5d65b61d07e69a640f1ee97`, образ/ресурсы — forward-published/runtime.json. `make student-test`: 995 passed, 2 Linux-only skipped, 19 stack deselected; `make check validate lint`: PASS. Эти локальные проверки выполнены до runtime-коммита, на WIP поверх 97feb04b3f2a6008f636e1fdbdf284b1c97282a1 (точный SHA и команды в логах); затем код зафиксирован в bc1d7aa. Linux memory paths проверены отдельно реальным worker в Docker с 448 MiB/30 s, concurrency2 и cgroup1GiB.
|
||||
|
||||
- network.txt: некорректный Basic/NUL, атомарность и ключ идемпотентности, logout на обеих репликах.
|
||||
- cache-outage.txt: работа при отказе Valkey, logout503 и успешный204 после восстановления.
|
||||
- postgres-outage.json/txt и postgres-outage-worker.txt: 12 реальных requeue, тот же job_id/attempt1, DLQ без прироста, recovery без replay. policy.txt подтверждает delivery-limit=-1.
|
||||
- png-http.json/txt: восемь PNG tRNS/Adam7/filter/EXIF случаев, v1/v2 и byte-exact сравнение с независимым белым эталоном; duplicate/stale не меняют результат.
|
||||
- png-boundary.json/txt: 40MP gray2/4/16/RGB16 и opaque, обе версии; два RGB16 рендера пересекались по времени, peak913227776 bytes <1073741824, oom/oom_kill0. Forced timeout и memory дали processing_failed без retry, следующее обычное задание ready.
|
||||
- haproxy-errors.txt: 12 сетевых проверок502/503/504 с request_id, JSON валиден и echo совпадает. Временный project hlpipe-lab6-forward-lb остановлен finally.
|
||||
- upload-negative.txt: 56 ответов негативного suite, 0 ответов5xx.
|
||||
- pipeline.json/txt: девять затронутых сценариев, включая retry, восстановление брокера/worker, COMMIT/ack и DLQ, с инвариантами.
|
||||
- persistence.txt, failover.txt, restore.txt: публичные проверки и восстановление реплики PASS.
|
||||
- telemetry-request/job/leaks.txt, incident-chain/retry.txt: свежие spans и логи приложения, сохранённая цепочка retry, 0 утечек.
|
||||
- incident-worker/database.txt: alerts firing→resolved; dashboards.txt и obs-config.txt PASS.
|
||||
|
||||
Прежние проверки отказа telemetry storage и сохранения истории уровней3/4 остаются применимыми: preserved-mechanisms.json подтверждает неизменность21 файла сигналов/хранилищ. 22 защищённых файла также неизменны. Эти незатронутые серии не прогоняются повторно. Новые cost-series хранятся отдельно в forward-published/cost; метод и ограничения — cost/method.md.
|
||||
|
||||
## Сохраняемые ограничения для следующего отчёта
|
||||
|
||||
Четыре ранее установленных minor-замечания не исправляются по правилу пользователя «только критичное»: неполные allowlists вспомогательного аудита лимитов, границы API SLI для ответов HAProxy/первой серии, малый запас памяти Collector при отказе storage и whitespace сгенерированных артефактов. Файлы, доказательства и актуальность перечислены в [findings.json](forward-published/findings.json). Новый REPORT здесь не составляется; эти ограничения передаются следующему агенту отчёта. Ни один обязательный неуспешный тест не объявлен успешным.
|
||||
|
||||
## Итог повторного трека и завершение
|
||||
|
||||
15 пригодных последовательных серий (по три на off/on/head/tail/balanced), 12000 запросов, 0 неожиданных ответов. SDK ended = Collector accepted во всех сериях, экспортных ошибок0. Balanced сохранил48/48 ошибок и48/48 slow; медианный ingest Tempo130,2 KiB против1662,2 KiB у on (−92,2%). Head сохранил6/48 ошибок и3/48 slow. Это наблюдение данного workload, не доказательство статистически значимого изменения latency/CPU. Сводка, диапазоны и графики: [cost/results.md](forward-published/cost/results.md), comparison.json/png/svg. PNG графика визуально проверен.
|
||||
|
||||
Два первоначальных прогона on-3/head-3 с разрывом wall clock исключены; HTTP PASS не выдан за пригодное измерение. Их raw JSON/вывод сохранены с SHA-256 в invalid-time-gap и invalid-series.json. Повторены только эти две серии. measurement-audit.json подтверждает штатные окна всех15 включённых серий. Фактический фон записан при старте, после каждого круга и повторения; сторонние проекты в этих снимках отсутствуют, общий host остаётся ограничением.
|
||||
|
||||
Штатные SDK on/100%/10s, Collector collector.yaml и COST_EXPERIMENT=false проверены в defaults-restored.json. Финальный публичный smoke прошёл (final-smoke.txt). Собственный стенд остановлен make down без удаления volumes (shutdown.txt); closure.json подтверждает9 volumes, отсутствие своих работающих контейнеров, неизменность22 защищённых файлов, предыдущего evidence и runtime после измерений. Все нагрузки и временный caffeinate завершены. Финальные offline/check/validate/lint — final-quality.txt. Публикаций не выполнялось.
|
||||
|
||||
OpenSpec: 11 requirements в10 capabilities синхронизированы и побайтно сверены по блокам с immutable source и delta (spec-sync.json). Архив: openspec/changes/archive/2026-11-07-forward-lab5-published-fixes, archived2026-11-07/lab6;26 specs strict PASS, активных changes0. git diff --cached --check завершился с кодом2 из-за whitespace в сыром выводе/сгенерированных артефактах (whitespace-check.txt), замечание minor сохранено; make lint прошёл.
|
||||
@@ -1,10 +0,0 @@
|
||||
date: 2026-11-06T23:37:24Z commit: bc1d7aa7713858acb5d65b61d07e69a640f1ee97
|
||||
environment: {"COMPOSE_PROJECT_NAME": "mtusi2026lab6", "LB_HTTP_PORT": "18086", "LB_STATS_PORT": "26085", "BASE_URL": "http://127.0.0.1:18086", "NO_PROXY": "localhost,127.0.0.1,::1"}
|
||||
$ .venv/bin/pytest -m stack -s -q student-tests/stack/test_faults.py::test_valkey_stopped_is_bypassed_but_logout_waits
|
||||
valkey остановлен, действующий токен: 200 за 0.008 с
|
||||
valkey остановлен, неизвестный токен: 401 за 0.004 с
|
||||
valkey остановлен: ready 200, вход 201, выход 503
|
||||
valkey снова запущен: повторный выход 204
|
||||
.
|
||||
1 passed in 4.06s
|
||||
exit_code: 0 elapsed_seconds: 4.831
|
||||
@@ -1,21 +0,0 @@
|
||||
{
|
||||
"at": "2026-11-07T01:12:37.041033+00:00",
|
||||
"implementation_sha": "bc1d7aa7713858acb5d65b61d07e69a640f1ee97",
|
||||
"source_sha": "c7b8feb805d151e878d77b0dff47320a9436b172",
|
||||
"protected_files": 22,
|
||||
"changed_protected": [],
|
||||
"changed_old_evidence": [],
|
||||
"changed_runtime_since_measurements": [],
|
||||
"own_running_containers": [],
|
||||
"preserved_volumes": [
|
||||
"mtusi2026lab6_broker-data",
|
||||
"mtusi2026lab6_grafana-data",
|
||||
"mtusi2026lab6_healthtools",
|
||||
"mtusi2026lab6_loki-data",
|
||||
"mtusi2026lab6_pgdata",
|
||||
"mtusi2026lab6_prometheus-data",
|
||||
"mtusi2026lab6_s3data",
|
||||
"mtusi2026lab6_tempo-data",
|
||||
"mtusi2026lab6_valkeydata"
|
||||
]
|
||||
}
|
||||
@@ -1,102 +0,0 @@
|
||||
{
|
||||
"at": "2026-11-06T23:37:22.532499+00:00",
|
||||
"runtime_sha": "bc1d7aa7713858acb5d65b61d07e69a640f1ee97",
|
||||
"platform": "Darwin",
|
||||
"architecture": "arm64",
|
||||
"host_cpus": 16,
|
||||
"host_load": [
|
||||
3.3583984375,
|
||||
2.19873046875,
|
||||
2.24169921875
|
||||
],
|
||||
"docker": "16 CPUs; 8217190400 bytes; 28.3.2",
|
||||
"own_project": "mtusi2026lab6",
|
||||
"own": [
|
||||
{
|
||||
"Name": "mtusi2026lab6-relay-1",
|
||||
"CPUPerc": "0.14%",
|
||||
"MemUsage": "116.9MiB / 192MiB",
|
||||
"PIDs": "7"
|
||||
},
|
||||
{
|
||||
"Name": "mtusi2026lab6-api-2",
|
||||
"CPUPerc": "0.97%",
|
||||
"MemUsage": "193.6MiB / 512MiB",
|
||||
"PIDs": "17"
|
||||
},
|
||||
{
|
||||
"Name": "mtusi2026lab6-api-1",
|
||||
"CPUPerc": "0.78%",
|
||||
"MemUsage": "193.4MiB / 512MiB",
|
||||
"PIDs": "17"
|
||||
},
|
||||
{
|
||||
"Name": "mtusi2026lab6-worker-1",
|
||||
"CPUPerc": "0.14%",
|
||||
"MemUsage": "110.9MiB / 1GiB",
|
||||
"PIDs": "6"
|
||||
},
|
||||
{
|
||||
"Name": "mtusi2026lab6-grafana-1",
|
||||
"CPUPerc": "0.31%",
|
||||
"MemUsage": "314.9MiB / 384MiB",
|
||||
"PIDs": "7"
|
||||
},
|
||||
{
|
||||
"Name": "mtusi2026lab6-loki-1",
|
||||
"CPUPerc": "0.84%",
|
||||
"MemUsage": "151.9MiB / 384MiB",
|
||||
"PIDs": "8"
|
||||
},
|
||||
{
|
||||
"Name": "mtusi2026lab6-tempo-1",
|
||||
"CPUPerc": "0.25%",
|
||||
"MemUsage": "106.5MiB / 384MiB",
|
||||
"PIDs": "9"
|
||||
},
|
||||
{
|
||||
"Name": "mtusi2026lab6-otel-collector-1",
|
||||
"CPUPerc": "0.32%",
|
||||
"MemUsage": "238.1MiB / 256MiB",
|
||||
"PIDs": "8"
|
||||
},
|
||||
{
|
||||
"Name": "mtusi2026lab6-broker-1",
|
||||
"CPUPerc": "0.13%",
|
||||
"MemUsage": "94.06MiB / 512MiB",
|
||||
"PIDs": "53"
|
||||
},
|
||||
{
|
||||
"Name": "mtusi2026lab6-postgres-1",
|
||||
"CPUPerc": "0.94%",
|
||||
"MemUsage": "45.65MiB / 768MiB",
|
||||
"PIDs": "13"
|
||||
},
|
||||
{
|
||||
"Name": "mtusi2026lab6-lb-1",
|
||||
"CPUPerc": "0.10%",
|
||||
"MemUsage": "22.77MiB / 128MiB",
|
||||
"PIDs": "17"
|
||||
},
|
||||
{
|
||||
"Name": "mtusi2026lab6-prometheus-1",
|
||||
"CPUPerc": "0.23%",
|
||||
"MemUsage": "173.6MiB / 512MiB",
|
||||
"PIDs": "6"
|
||||
},
|
||||
{
|
||||
"Name": "mtusi2026lab6-s3-1",
|
||||
"CPUPerc": "0.06%",
|
||||
"MemUsage": "71.48MiB / 512MiB",
|
||||
"PIDs": "12"
|
||||
},
|
||||
{
|
||||
"Name": "mtusi2026lab6-valkey-1",
|
||||
"CPUPerc": "1.37%",
|
||||
"MemUsage": "12.66MiB / 128MiB",
|
||||
"PIDs": "6"
|
||||
}
|
||||
],
|
||||
"other_projects": {},
|
||||
"sampling": "Shared Docker snapshot; no throughput claim"
|
||||
}
|
||||
File diff suppressed because it is too large
Load Diff
@@ -1,5 +0,0 @@
|
||||
date: 2026-11-06T23:59:06Z commit: bc1d7aa7713858acb5d65b61d07e69a640f1ee97
|
||||
environment: {"COMPOSE_PROJECT_NAME": "mtusi2026lab6", "LB_HTTP_PORT": "18086", "LB_STATS_PORT": "26085", "BASE_URL": "http://127.0.0.1:18086", "NO_PROXY": "localhost,127.0.0.1,::1"}
|
||||
$ python3 scripts/obs_cost.py --mode balanced --repeat 1 --duration 40 --rate 20 --output evidence/forward-published/cost/balanced-1.json
|
||||
{"mode": "balanced", "repeat": 1, "result": "PASS", "retained": {"normal": 39, "error": 16, "slow": 16}}
|
||||
exit_code: 0 elapsed_seconds: 126.615
|
||||
File diff suppressed because it is too large
Load Diff
@@ -1,5 +0,0 @@
|
||||
date: 2026-11-07T00:09:36Z commit: bc1d7aa7713858acb5d65b61d07e69a640f1ee97
|
||||
environment: {"COMPOSE_PROJECT_NAME": "mtusi2026lab6", "LB_HTTP_PORT": "18086", "LB_STATS_PORT": "26085", "BASE_URL": "http://127.0.0.1:18086", "NO_PROXY": "localhost,127.0.0.1,::1"}
|
||||
$ python3 scripts/obs_cost.py --mode balanced --repeat 2 --duration 40 --rate 20 --output evidence/forward-published/cost/balanced-2.json
|
||||
{"mode": "balanced", "repeat": 2, "result": "PASS", "retained": {"normal": 32, "error": 16, "slow": 16}}
|
||||
exit_code: 0 elapsed_seconds: 126.494
|
||||
File diff suppressed because it is too large
Load Diff
@@ -1,5 +0,0 @@
|
||||
date: 2026-11-07T01:05:01Z commit: bc1d7aa7713858acb5d65b61d07e69a640f1ee97
|
||||
environment: {"COMPOSE_PROJECT_NAME": "mtusi2026lab6", "LB_HTTP_PORT": "18086", "LB_STATS_PORT": "26085", "BASE_URL": "http://127.0.0.1:18086", "NO_PROXY": "localhost,127.0.0.1,::1"}
|
||||
$ python3 scripts/obs_cost.py --mode balanced --repeat 3 --duration 40 --rate 20 --output evidence/forward-published/cost/balanced-3.json
|
||||
{"mode": "balanced", "repeat": 3, "result": "PASS", "retained": {"normal": 30, "error": 16, "slow": 16}}
|
||||
exit_code: 0 elapsed_seconds: 126.531
|
||||
File diff suppressed because it is too large
Load Diff
Binary file not shown.
|
Before Width: | Height: | Size: 128 KiB |
File diff suppressed because it is too large
Load Diff
|
Before Width: | Height: | Size: 99 KiB |
@@ -1,102 +0,0 @@
|
||||
{
|
||||
"at": "2026-11-07T01:11:40.821011+00:00",
|
||||
"runtime_sha": "bc1d7aa7713858acb5d65b61d07e69a640f1ee97",
|
||||
"platform": "Darwin",
|
||||
"architecture": "arm64",
|
||||
"host_cpus": 16,
|
||||
"host_load": [
|
||||
2.5986328125,
|
||||
2.326171875,
|
||||
2.35888671875
|
||||
],
|
||||
"docker": "16 CPUs; 8217190400 bytes; 28.3.2",
|
||||
"own_project": "mtusi2026lab6",
|
||||
"own": [
|
||||
{
|
||||
"Name": "mtusi2026lab6-api-1",
|
||||
"CPUPerc": "0.71%",
|
||||
"MemUsage": "184.3MiB / 512MiB",
|
||||
"PIDs": "13"
|
||||
},
|
||||
{
|
||||
"Name": "mtusi2026lab6-api-2",
|
||||
"CPUPerc": "1.70%",
|
||||
"MemUsage": "192.5MiB / 512MiB",
|
||||
"PIDs": "17"
|
||||
},
|
||||
{
|
||||
"Name": "mtusi2026lab6-relay-1",
|
||||
"CPUPerc": "0.67%",
|
||||
"MemUsage": "116.6MiB / 192MiB",
|
||||
"PIDs": "7"
|
||||
},
|
||||
{
|
||||
"Name": "mtusi2026lab6-worker-1",
|
||||
"CPUPerc": "0.14%",
|
||||
"MemUsage": "108.3MiB / 1GiB",
|
||||
"PIDs": "6"
|
||||
},
|
||||
{
|
||||
"Name": "mtusi2026lab6-otel-collector-1",
|
||||
"CPUPerc": "0.15%",
|
||||
"MemUsage": "52.7MiB / 256MiB",
|
||||
"PIDs": "8"
|
||||
},
|
||||
{
|
||||
"Name": "mtusi2026lab6-grafana-1",
|
||||
"CPUPerc": "0.39%",
|
||||
"MemUsage": "320.1MiB / 384MiB",
|
||||
"PIDs": "12"
|
||||
},
|
||||
{
|
||||
"Name": "mtusi2026lab6-loki-1",
|
||||
"CPUPerc": "0.75%",
|
||||
"MemUsage": "225.5MiB / 384MiB",
|
||||
"PIDs": "8"
|
||||
},
|
||||
{
|
||||
"Name": "mtusi2026lab6-tempo-1",
|
||||
"CPUPerc": "0.25%",
|
||||
"MemUsage": "227MiB / 384MiB",
|
||||
"PIDs": "9"
|
||||
},
|
||||
{
|
||||
"Name": "mtusi2026lab6-broker-1",
|
||||
"CPUPerc": "24.52%",
|
||||
"MemUsage": "95.97MiB / 512MiB",
|
||||
"PIDs": "53"
|
||||
},
|
||||
{
|
||||
"Name": "mtusi2026lab6-postgres-1",
|
||||
"CPUPerc": "0.53%",
|
||||
"MemUsage": "45.99MiB / 768MiB",
|
||||
"PIDs": "12"
|
||||
},
|
||||
{
|
||||
"Name": "mtusi2026lab6-lb-1",
|
||||
"CPUPerc": "0.66%",
|
||||
"MemUsage": "25.02MiB / 128MiB",
|
||||
"PIDs": "17"
|
||||
},
|
||||
{
|
||||
"Name": "mtusi2026lab6-prometheus-1",
|
||||
"CPUPerc": "0.14%",
|
||||
"MemUsage": "158.4MiB / 512MiB",
|
||||
"PIDs": "7"
|
||||
},
|
||||
{
|
||||
"Name": "mtusi2026lab6-s3-1",
|
||||
"CPUPerc": "0.03%",
|
||||
"MemUsage": "160.2MiB / 512MiB",
|
||||
"PIDs": "25"
|
||||
},
|
||||
{
|
||||
"Name": "mtusi2026lab6-valkey-1",
|
||||
"CPUPerc": "0.13%",
|
||||
"MemUsage": "13.07MiB / 128MiB",
|
||||
"PIDs": "6"
|
||||
}
|
||||
],
|
||||
"other_projects": {},
|
||||
"sampling": "Shared Docker snapshot; no throughput claim"
|
||||
}
|
||||
@@ -1,102 +0,0 @@
|
||||
{
|
||||
"at": "2026-11-07T01:07:27.961141+00:00",
|
||||
"runtime_sha": "bc1d7aa7713858acb5d65b61d07e69a640f1ee97",
|
||||
"platform": "Darwin",
|
||||
"architecture": "arm64",
|
||||
"host_cpus": 16,
|
||||
"host_load": [
|
||||
1.646484375,
|
||||
1.9970703125,
|
||||
2.29052734375
|
||||
],
|
||||
"docker": "16 CPUs; 8217190400 bytes; 28.3.2",
|
||||
"own_project": "mtusi2026lab6",
|
||||
"own": [
|
||||
{
|
||||
"Name": "mtusi2026lab6-api-1",
|
||||
"CPUPerc": "1.17%",
|
||||
"MemUsage": "192.9MiB / 512MiB",
|
||||
"PIDs": "17"
|
||||
},
|
||||
{
|
||||
"Name": "mtusi2026lab6-api-2",
|
||||
"CPUPerc": "1.03%",
|
||||
"MemUsage": "192.8MiB / 512MiB",
|
||||
"PIDs": "17"
|
||||
},
|
||||
{
|
||||
"Name": "mtusi2026lab6-worker-1",
|
||||
"CPUPerc": "0.62%",
|
||||
"MemUsage": "108.4MiB / 1GiB",
|
||||
"PIDs": "6"
|
||||
},
|
||||
{
|
||||
"Name": "mtusi2026lab6-relay-1",
|
||||
"CPUPerc": "0.80%",
|
||||
"MemUsage": "116.7MiB / 192MiB",
|
||||
"PIDs": "7"
|
||||
},
|
||||
{
|
||||
"Name": "mtusi2026lab6-otel-collector-1",
|
||||
"CPUPerc": "0.27%",
|
||||
"MemUsage": "42.03MiB / 256MiB",
|
||||
"PIDs": "7"
|
||||
},
|
||||
{
|
||||
"Name": "mtusi2026lab6-grafana-1",
|
||||
"CPUPerc": "1.83%",
|
||||
"MemUsage": "320MiB / 384MiB",
|
||||
"PIDs": "12"
|
||||
},
|
||||
{
|
||||
"Name": "mtusi2026lab6-loki-1",
|
||||
"CPUPerc": "0.62%",
|
||||
"MemUsage": "228.5MiB / 384MiB",
|
||||
"PIDs": "8"
|
||||
},
|
||||
{
|
||||
"Name": "mtusi2026lab6-tempo-1",
|
||||
"CPUPerc": "0.33%",
|
||||
"MemUsage": "287.3MiB / 384MiB",
|
||||
"PIDs": "9"
|
||||
},
|
||||
{
|
||||
"Name": "mtusi2026lab6-broker-1",
|
||||
"CPUPerc": "36.74%",
|
||||
"MemUsage": "183.4MiB / 512MiB",
|
||||
"PIDs": "103"
|
||||
},
|
||||
{
|
||||
"Name": "mtusi2026lab6-postgres-1",
|
||||
"CPUPerc": "0.94%",
|
||||
"MemUsage": "47.72MiB / 768MiB",
|
||||
"PIDs": "13"
|
||||
},
|
||||
{
|
||||
"Name": "mtusi2026lab6-lb-1",
|
||||
"CPUPerc": "0.61%",
|
||||
"MemUsage": "24.96MiB / 128MiB",
|
||||
"PIDs": "17"
|
||||
},
|
||||
{
|
||||
"Name": "mtusi2026lab6-prometheus-1",
|
||||
"CPUPerc": "0.59%",
|
||||
"MemUsage": "157.3MiB / 512MiB",
|
||||
"PIDs": "7"
|
||||
},
|
||||
{
|
||||
"Name": "mtusi2026lab6-s3-1",
|
||||
"CPUPerc": "0.93%",
|
||||
"MemUsage": "160.2MiB / 512MiB",
|
||||
"PIDs": "25"
|
||||
},
|
||||
{
|
||||
"Name": "mtusi2026lab6-valkey-1",
|
||||
"CPUPerc": "0.78%",
|
||||
"MemUsage": "13.07MiB / 128MiB",
|
||||
"PIDs": "6"
|
||||
}
|
||||
],
|
||||
"other_projects": {},
|
||||
"sampling": "Shared Docker snapshot; no throughput claim"
|
||||
}
|
||||
@@ -1,102 +0,0 @@
|
||||
{
|
||||
"at": "2026-11-07T00:01:16.214846+00:00",
|
||||
"runtime_sha": "bc1d7aa7713858acb5d65b61d07e69a640f1ee97",
|
||||
"platform": "Darwin",
|
||||
"architecture": "arm64",
|
||||
"host_cpus": 16,
|
||||
"host_load": [
|
||||
1.6005859375,
|
||||
1.84521484375,
|
||||
2.02685546875
|
||||
],
|
||||
"docker": "16 CPUs; 8217190400 bytes; 28.3.2",
|
||||
"own_project": "mtusi2026lab6",
|
||||
"own": [
|
||||
{
|
||||
"Name": "mtusi2026lab6-api-1",
|
||||
"CPUPerc": "1.28%",
|
||||
"MemUsage": "184MiB / 512MiB",
|
||||
"PIDs": "13"
|
||||
},
|
||||
{
|
||||
"Name": "mtusi2026lab6-api-2",
|
||||
"CPUPerc": "0.83%",
|
||||
"MemUsage": "184.3MiB / 512MiB",
|
||||
"PIDs": "13"
|
||||
},
|
||||
{
|
||||
"Name": "mtusi2026lab6-worker-1",
|
||||
"CPUPerc": "0.15%",
|
||||
"MemUsage": "108.3MiB / 1GiB",
|
||||
"PIDs": "6"
|
||||
},
|
||||
{
|
||||
"Name": "mtusi2026lab6-relay-1",
|
||||
"CPUPerc": "0.19%",
|
||||
"MemUsage": "116.5MiB / 192MiB",
|
||||
"PIDs": "7"
|
||||
},
|
||||
{
|
||||
"Name": "mtusi2026lab6-otel-collector-1",
|
||||
"CPUPerc": "0.36%",
|
||||
"MemUsage": "46.17MiB / 256MiB",
|
||||
"PIDs": "7"
|
||||
},
|
||||
{
|
||||
"Name": "mtusi2026lab6-grafana-1",
|
||||
"CPUPerc": "0.32%",
|
||||
"MemUsage": "319.3MiB / 384MiB",
|
||||
"PIDs": "10"
|
||||
},
|
||||
{
|
||||
"Name": "mtusi2026lab6-loki-1",
|
||||
"CPUPerc": "0.97%",
|
||||
"MemUsage": "214.4MiB / 384MiB",
|
||||
"PIDs": "8"
|
||||
},
|
||||
{
|
||||
"Name": "mtusi2026lab6-tempo-1",
|
||||
"CPUPerc": "0.23%",
|
||||
"MemUsage": "224.8MiB / 384MiB",
|
||||
"PIDs": "9"
|
||||
},
|
||||
{
|
||||
"Name": "mtusi2026lab6-broker-1",
|
||||
"CPUPerc": "0.24%",
|
||||
"MemUsage": "95.74MiB / 512MiB",
|
||||
"PIDs": "53"
|
||||
},
|
||||
{
|
||||
"Name": "mtusi2026lab6-postgres-1",
|
||||
"CPUPerc": "1.49%",
|
||||
"MemUsage": "44.05MiB / 768MiB",
|
||||
"PIDs": "11"
|
||||
},
|
||||
{
|
||||
"Name": "mtusi2026lab6-lb-1",
|
||||
"CPUPerc": "1.03%",
|
||||
"MemUsage": "23.41MiB / 128MiB",
|
||||
"PIDs": "17"
|
||||
},
|
||||
{
|
||||
"Name": "mtusi2026lab6-prometheus-1",
|
||||
"CPUPerc": "1.11%",
|
||||
"MemUsage": "154.9MiB / 512MiB",
|
||||
"PIDs": "7"
|
||||
},
|
||||
{
|
||||
"Name": "mtusi2026lab6-s3-1",
|
||||
"CPUPerc": "0.05%",
|
||||
"MemUsage": "160.2MiB / 512MiB",
|
||||
"PIDs": "25"
|
||||
},
|
||||
{
|
||||
"Name": "mtusi2026lab6-valkey-1",
|
||||
"CPUPerc": "1.18%",
|
||||
"MemUsage": "13.05MiB / 128MiB",
|
||||
"PIDs": "6"
|
||||
}
|
||||
],
|
||||
"other_projects": {},
|
||||
"sampling": "Shared Docker snapshot; no throughput claim"
|
||||
}
|
||||
@@ -1,102 +0,0 @@
|
||||
{
|
||||
"at": "2026-11-07T00:11:45.236693+00:00",
|
||||
"runtime_sha": "bc1d7aa7713858acb5d65b61d07e69a640f1ee97",
|
||||
"platform": "Darwin",
|
||||
"architecture": "arm64",
|
||||
"host_cpus": 16,
|
||||
"host_load": [
|
||||
4.9462890625,
|
||||
3.5625,
|
||||
2.7451171875
|
||||
],
|
||||
"docker": "16 CPUs; 8217190400 bytes; 28.3.2",
|
||||
"own_project": "mtusi2026lab6",
|
||||
"own": [
|
||||
{
|
||||
"Name": "mtusi2026lab6-api-2",
|
||||
"CPUPerc": "1.19%",
|
||||
"MemUsage": "184.1MiB / 512MiB",
|
||||
"PIDs": "13"
|
||||
},
|
||||
{
|
||||
"Name": "mtusi2026lab6-api-1",
|
||||
"CPUPerc": "3.14%",
|
||||
"MemUsage": "191.7MiB / 512MiB",
|
||||
"PIDs": "17"
|
||||
},
|
||||
{
|
||||
"Name": "mtusi2026lab6-relay-1",
|
||||
"CPUPerc": "0.62%",
|
||||
"MemUsage": "116.5MiB / 192MiB",
|
||||
"PIDs": "7"
|
||||
},
|
||||
{
|
||||
"Name": "mtusi2026lab6-worker-1",
|
||||
"CPUPerc": "0.17%",
|
||||
"MemUsage": "108.3MiB / 1GiB",
|
||||
"PIDs": "6"
|
||||
},
|
||||
{
|
||||
"Name": "mtusi2026lab6-otel-collector-1",
|
||||
"CPUPerc": "0.28%",
|
||||
"MemUsage": "42.81MiB / 256MiB",
|
||||
"PIDs": "7"
|
||||
},
|
||||
{
|
||||
"Name": "mtusi2026lab6-grafana-1",
|
||||
"CPUPerc": "0.30%",
|
||||
"MemUsage": "320MiB / 384MiB",
|
||||
"PIDs": "12"
|
||||
},
|
||||
{
|
||||
"Name": "mtusi2026lab6-loki-1",
|
||||
"CPUPerc": "1.56%",
|
||||
"MemUsage": "221.1MiB / 384MiB",
|
||||
"PIDs": "8"
|
||||
},
|
||||
{
|
||||
"Name": "mtusi2026lab6-tempo-1",
|
||||
"CPUPerc": "1.27%",
|
||||
"MemUsage": "233.4MiB / 384MiB",
|
||||
"PIDs": "9"
|
||||
},
|
||||
{
|
||||
"Name": "mtusi2026lab6-broker-1",
|
||||
"CPUPerc": "0.25%",
|
||||
"MemUsage": "95.85MiB / 512MiB",
|
||||
"PIDs": "53"
|
||||
},
|
||||
{
|
||||
"Name": "mtusi2026lab6-postgres-1",
|
||||
"CPUPerc": "0.73%",
|
||||
"MemUsage": "45.72MiB / 768MiB",
|
||||
"PIDs": "12"
|
||||
},
|
||||
{
|
||||
"Name": "mtusi2026lab6-lb-1",
|
||||
"CPUPerc": "0.17%",
|
||||
"MemUsage": "24.55MiB / 128MiB",
|
||||
"PIDs": "17"
|
||||
},
|
||||
{
|
||||
"Name": "mtusi2026lab6-prometheus-1",
|
||||
"CPUPerc": "0.17%",
|
||||
"MemUsage": "155MiB / 512MiB",
|
||||
"PIDs": "7"
|
||||
},
|
||||
{
|
||||
"Name": "mtusi2026lab6-s3-1",
|
||||
"CPUPerc": "0.02%",
|
||||
"MemUsage": "160.2MiB / 512MiB",
|
||||
"PIDs": "25"
|
||||
},
|
||||
{
|
||||
"Name": "mtusi2026lab6-valkey-1",
|
||||
"CPUPerc": "1.13%",
|
||||
"MemUsage": "13.12MiB / 128MiB",
|
||||
"PIDs": "6"
|
||||
}
|
||||
],
|
||||
"other_projects": {},
|
||||
"sampling": "Shared Docker snapshot; no throughput claim"
|
||||
}
|
||||
@@ -1,102 +0,0 @@
|
||||
{
|
||||
"at": "2026-11-07T01:07:10.780508+00:00",
|
||||
"runtime_sha": "bc1d7aa7713858acb5d65b61d07e69a640f1ee97",
|
||||
"platform": "Darwin",
|
||||
"architecture": "arm64",
|
||||
"host_cpus": 16,
|
||||
"host_load": [
|
||||
1.6572265625,
|
||||
2.015625,
|
||||
2.30224609375
|
||||
],
|
||||
"docker": "16 CPUs; 8217190400 bytes; 28.3.2",
|
||||
"own_project": "mtusi2026lab6",
|
||||
"own": [
|
||||
{
|
||||
"Name": "mtusi2026lab6-api-1",
|
||||
"CPUPerc": "1.54%",
|
||||
"MemUsage": "183.9MiB / 512MiB",
|
||||
"PIDs": "13"
|
||||
},
|
||||
{
|
||||
"Name": "mtusi2026lab6-api-2",
|
||||
"CPUPerc": "3.32%",
|
||||
"MemUsage": "192.2MiB / 512MiB",
|
||||
"PIDs": "17"
|
||||
},
|
||||
{
|
||||
"Name": "mtusi2026lab6-worker-1",
|
||||
"CPUPerc": "0.18%",
|
||||
"MemUsage": "108.3MiB / 1GiB",
|
||||
"PIDs": "6"
|
||||
},
|
||||
{
|
||||
"Name": "mtusi2026lab6-relay-1",
|
||||
"CPUPerc": "0.53%",
|
||||
"MemUsage": "116.5MiB / 192MiB",
|
||||
"PIDs": "7"
|
||||
},
|
||||
{
|
||||
"Name": "mtusi2026lab6-otel-collector-1",
|
||||
"CPUPerc": "0.40%",
|
||||
"MemUsage": "40.87MiB / 256MiB",
|
||||
"PIDs": "7"
|
||||
},
|
||||
{
|
||||
"Name": "mtusi2026lab6-grafana-1",
|
||||
"CPUPerc": "0.42%",
|
||||
"MemUsage": "320MiB / 384MiB",
|
||||
"PIDs": "12"
|
||||
},
|
||||
{
|
||||
"Name": "mtusi2026lab6-loki-1",
|
||||
"CPUPerc": "0.70%",
|
||||
"MemUsage": "228.8MiB / 384MiB",
|
||||
"PIDs": "8"
|
||||
},
|
||||
{
|
||||
"Name": "mtusi2026lab6-tempo-1",
|
||||
"CPUPerc": "0.31%",
|
||||
"MemUsage": "269.3MiB / 384MiB",
|
||||
"PIDs": "9"
|
||||
},
|
||||
{
|
||||
"Name": "mtusi2026lab6-broker-1",
|
||||
"CPUPerc": "0.23%",
|
||||
"MemUsage": "96.34MiB / 512MiB",
|
||||
"PIDs": "53"
|
||||
},
|
||||
{
|
||||
"Name": "mtusi2026lab6-postgres-1",
|
||||
"CPUPerc": "0.71%",
|
||||
"MemUsage": "45.93MiB / 768MiB",
|
||||
"PIDs": "12"
|
||||
},
|
||||
{
|
||||
"Name": "mtusi2026lab6-lb-1",
|
||||
"CPUPerc": "0.17%",
|
||||
"MemUsage": "24.96MiB / 128MiB",
|
||||
"PIDs": "17"
|
||||
},
|
||||
{
|
||||
"Name": "mtusi2026lab6-prometheus-1",
|
||||
"CPUPerc": "0.14%",
|
||||
"MemUsage": "157.3MiB / 512MiB",
|
||||
"PIDs": "7"
|
||||
},
|
||||
{
|
||||
"Name": "mtusi2026lab6-s3-1",
|
||||
"CPUPerc": "0.04%",
|
||||
"MemUsage": "160.2MiB / 512MiB",
|
||||
"PIDs": "25"
|
||||
},
|
||||
{
|
||||
"Name": "mtusi2026lab6-valkey-1",
|
||||
"CPUPerc": "0.17%",
|
||||
"MemUsage": "13.07MiB / 128MiB",
|
||||
"PIDs": "6"
|
||||
}
|
||||
],
|
||||
"other_projects": {},
|
||||
"sampling": "Shared Docker snapshot; no throughput claim"
|
||||
}
|
||||
@@ -1,102 +0,0 @@
|
||||
{
|
||||
"at": "2026-11-06T23:50:46.782935+00:00",
|
||||
"runtime_sha": "bc1d7aa7713858acb5d65b61d07e69a640f1ee97",
|
||||
"platform": "Darwin",
|
||||
"architecture": "arm64",
|
||||
"host_cpus": 16,
|
||||
"host_load": [
|
||||
2.43505859375,
|
||||
2.41015625,
|
||||
2.33154296875
|
||||
],
|
||||
"docker": "16 CPUs; 8217190400 bytes; 28.3.2",
|
||||
"own_project": "mtusi2026lab6",
|
||||
"own": [
|
||||
{
|
||||
"Name": "mtusi2026lab6-worker-1",
|
||||
"CPUPerc": "0.25%",
|
||||
"MemUsage": "339.7MiB / 1GiB",
|
||||
"PIDs": "15"
|
||||
},
|
||||
{
|
||||
"Name": "mtusi2026lab6-relay-1",
|
||||
"CPUPerc": "0.15%",
|
||||
"MemUsage": "118.1MiB / 192MiB",
|
||||
"PIDs": "7"
|
||||
},
|
||||
{
|
||||
"Name": "mtusi2026lab6-api-2",
|
||||
"CPUPerc": "0.80%",
|
||||
"MemUsage": "250.3MiB / 512MiB",
|
||||
"PIDs": "18"
|
||||
},
|
||||
{
|
||||
"Name": "mtusi2026lab6-api-1",
|
||||
"CPUPerc": "8.79%",
|
||||
"MemUsage": "255.3MiB / 512MiB",
|
||||
"PIDs": "19"
|
||||
},
|
||||
{
|
||||
"Name": "mtusi2026lab6-grafana-1",
|
||||
"CPUPerc": "0.34%",
|
||||
"MemUsage": "320.6MiB / 384MiB",
|
||||
"PIDs": "10"
|
||||
},
|
||||
{
|
||||
"Name": "mtusi2026lab6-loki-1",
|
||||
"CPUPerc": "0.51%",
|
||||
"MemUsage": "210.6MiB / 384MiB",
|
||||
"PIDs": "8"
|
||||
},
|
||||
{
|
||||
"Name": "mtusi2026lab6-tempo-1",
|
||||
"CPUPerc": "0.23%",
|
||||
"MemUsage": "200.6MiB / 384MiB",
|
||||
"PIDs": "9"
|
||||
},
|
||||
{
|
||||
"Name": "mtusi2026lab6-otel-collector-1",
|
||||
"CPUPerc": "0.07%",
|
||||
"MemUsage": "107.4MiB / 256MiB",
|
||||
"PIDs": "8"
|
||||
},
|
||||
{
|
||||
"Name": "mtusi2026lab6-broker-1",
|
||||
"CPUPerc": "1.14%",
|
||||
"MemUsage": "87.95MiB / 512MiB",
|
||||
"PIDs": "53"
|
||||
},
|
||||
{
|
||||
"Name": "mtusi2026lab6-postgres-1",
|
||||
"CPUPerc": "1.74%",
|
||||
"MemUsage": "76.54MiB / 768MiB",
|
||||
"PIDs": "29"
|
||||
},
|
||||
{
|
||||
"Name": "mtusi2026lab6-lb-1",
|
||||
"CPUPerc": "0.99%",
|
||||
"MemUsage": "18.9MiB / 128MiB",
|
||||
"PIDs": "17"
|
||||
},
|
||||
{
|
||||
"Name": "mtusi2026lab6-prometheus-1",
|
||||
"CPUPerc": "0.12%",
|
||||
"MemUsage": "154.4MiB / 512MiB",
|
||||
"PIDs": "7"
|
||||
},
|
||||
{
|
||||
"Name": "mtusi2026lab6-s3-1",
|
||||
"CPUPerc": "1.27%",
|
||||
"MemUsage": "160.9MiB / 512MiB",
|
||||
"PIDs": "25"
|
||||
},
|
||||
{
|
||||
"Name": "mtusi2026lab6-valkey-1",
|
||||
"CPUPerc": "1.20%",
|
||||
"MemUsage": "13.05MiB / 128MiB",
|
||||
"PIDs": "6"
|
||||
}
|
||||
],
|
||||
"other_projects": {},
|
||||
"sampling": "Shared Docker snapshot; no throughput claim"
|
||||
}
|
||||
File diff suppressed because it is too large
Load Diff
@@ -1,5 +0,0 @@
|
||||
date: 2026-11-06T23:54:56Z commit: bc1d7aa7713858acb5d65b61d07e69a640f1ee97
|
||||
environment: {"COMPOSE_PROJECT_NAME": "mtusi2026lab6", "LB_HTTP_PORT": "18086", "LB_STATS_PORT": "26085", "BASE_URL": "http://127.0.0.1:18086", "NO_PROXY": "localhost,127.0.0.1,::1"}
|
||||
$ python3 scripts/obs_cost.py --mode head --repeat 1 --duration 40 --rate 20 --output evidence/forward-published/cost/head-1.json
|
||||
{"mode": "head", "repeat": 1, "result": "PASS", "retained": {"normal": 85, "error": 1, "slow": 1}}
|
||||
exit_code: 0 elapsed_seconds: 124.106
|
||||
File diff suppressed because it is too large
Load Diff
@@ -1,5 +0,0 @@
|
||||
date: 2026-11-07T00:05:25Z commit: bc1d7aa7713858acb5d65b61d07e69a640f1ee97
|
||||
environment: {"COMPOSE_PROJECT_NAME": "mtusi2026lab6", "LB_HTTP_PORT": "18086", "LB_STATS_PORT": "26085", "BASE_URL": "http://127.0.0.1:18086", "NO_PROXY": "localhost,127.0.0.1,::1"}
|
||||
$ python3 scripts/obs_cost.py --mode head --repeat 2 --duration 40 --rate 20 --output evidence/forward-published/cost/head-2.json
|
||||
{"mode": "head", "repeat": 2, "result": "PASS", "retained": {"normal": 76, "error": 4, "slow": 1}}
|
||||
exit_code: 0 elapsed_seconds: 124.746
|
||||
File diff suppressed because it is too large
Load Diff
@@ -1,5 +0,0 @@
|
||||
date: 2026-11-07T01:09:32Z commit: bc1d7aa7713858acb5d65b61d07e69a640f1ee97
|
||||
environment: {"COMPOSE_PROJECT_NAME": "mtusi2026lab6", "LB_HTTP_PORT": "18086", "LB_STATS_PORT": "26085", "BASE_URL": "http://127.0.0.1:18086", "NO_PROXY": "localhost,127.0.0.1,::1"}
|
||||
$ python3 scripts/obs_cost.py --mode head --repeat 3 --duration 40 --rate 20 --output evidence/forward-published/cost/head-3.json
|
||||
{"mode": "head", "repeat": 3, "result": "PASS", "retained": {"normal": 76, "error": 1, "slow": 1}}
|
||||
exit_code: 0 elapsed_seconds: 125.216
|
||||
@@ -1,28 +0,0 @@
|
||||
{
|
||||
"decision_at": "2026-11-07T01:05:32.987756+00:00",
|
||||
"interpretation": "Observed wall-clock gaps while monotonic elapsed remains nominal; likely host suspension or clock discontinuity. Cause not asserted as proven. Only these two completed series are repeated; raw originals preserved byte-for-byte.",
|
||||
"runs": [
|
||||
{
|
||||
"series": "on-3",
|
||||
"reason": "Wall-clock discontinuity inside the measurement/accounting window; excluded from resource/ingest comparison, HTTP PASS alone is insufficient.",
|
||||
"load_seconds": 39.970131158828735,
|
||||
"finish_to_report_seconds": 932.7143309116364,
|
||||
"max_resource_gap_seconds": 2.047463893890381,
|
||||
"files": {
|
||||
"on-3.json": "d0c4799cea3f5a5c819c175c738b6099158bc5ca9b6d2d840a89c9d73d394953",
|
||||
"on-3.txt": "64199cc40d2a81d15a219e63c04aac875929eba41110bfbf3909a4d43518e010"
|
||||
}
|
||||
},
|
||||
{
|
||||
"series": "head-3",
|
||||
"reason": "Wall-clock discontinuity inside the measurement/accounting window; excluded from resource/ingest comparison, HTTP PASS alone is insufficient.",
|
||||
"load_seconds": 938.1542620658875,
|
||||
"finish_to_report_seconds": 34.9133198261261,
|
||||
"max_resource_gap_seconds": 900.3541407585144,
|
||||
"files": {
|
||||
"head-3.json": "3dbecccf017b26bc6a256860b795f8cc9e4c47099da2d46e8303120f49686f45",
|
||||
"head-3.txt": "0b4f1607837921746893700a5897b1a1c94db115d59c750f3ec9631266e95a69"
|
||||
}
|
||||
}
|
||||
]
|
||||
}
|
||||
File diff suppressed because it is too large
Load Diff
@@ -1,5 +0,0 @@
|
||||
date: 2026-11-07T00:30:52Z commit: bc1d7aa7713858acb5d65b61d07e69a640f1ee97
|
||||
environment: {"COMPOSE_PROJECT_NAME": "mtusi2026lab6", "LB_HTTP_PORT": "18086", "LB_STATS_PORT": "26085", "BASE_URL": "http://127.0.0.1:18086", "NO_PROXY": "localhost,127.0.0.1,::1"}
|
||||
$ python3 scripts/obs_cost.py --mode head --repeat 3 --duration 40 --rate 20 --output evidence/forward-published/cost/head-3.json
|
||||
{"mode": "head", "repeat": 3, "result": "PASS", "retained": {"normal": 70, "error": 1, "slow": 3}}
|
||||
exit_code: 0 elapsed_seconds: 125.007
|
||||
File diff suppressed because it is too large
Load Diff
@@ -1,5 +0,0 @@
|
||||
date: 2026-11-07T00:13:50Z commit: bc1d7aa7713858acb5d65b61d07e69a640f1ee97
|
||||
environment: {"COMPOSE_PROJECT_NAME": "mtusi2026lab6", "LB_HTTP_PORT": "18086", "LB_STATS_PORT": "26085", "BASE_URL": "http://127.0.0.1:18086", "NO_PROXY": "localhost,127.0.0.1,::1"}
|
||||
$ python3 scripts/obs_cost.py --mode on --repeat 3 --duration 40 --rate 20 --output evidence/forward-published/cost/on-3.json
|
||||
{"mode": "on", "repeat": 3, "result": "PASS", "retained": {"normal": 768, "error": 16, "slow": 16}}
|
||||
exit_code: 0 elapsed_seconds: 123.841
|
||||
@@ -1,115 +0,0 @@
|
||||
{
|
||||
"at": "2026-11-07T01:11:53.670099+00:00",
|
||||
"policy": "40s workload: wall window38..42s, finish-to-report30..45s, maximum2s-sampling gap<5s. All three conditions required independently of HTTP PASS.",
|
||||
"runs": [
|
||||
{
|
||||
"file": "off-1.json",
|
||||
"load_seconds": 39.9768009185791,
|
||||
"finish_to_report_seconds": 34.378885984420776,
|
||||
"max_resource_gap_seconds": 2.047776937484741,
|
||||
"result": "usable"
|
||||
},
|
||||
{
|
||||
"file": "off-2.json",
|
||||
"load_seconds": 39.96762013435364,
|
||||
"finish_to_report_seconds": 35.243422985076904,
|
||||
"max_resource_gap_seconds": 2.048405885696411,
|
||||
"result": "usable"
|
||||
},
|
||||
{
|
||||
"file": "off-3.json",
|
||||
"load_seconds": 39.97038507461548,
|
||||
"finish_to_report_seconds": 35.21114897727966,
|
||||
"max_resource_gap_seconds": 2.0483851432800293,
|
||||
"result": "usable"
|
||||
},
|
||||
{
|
||||
"file": "on-1.json",
|
||||
"load_seconds": 39.960899114608765,
|
||||
"finish_to_report_seconds": 35.31035900115967,
|
||||
"max_resource_gap_seconds": 2.0440289974212646,
|
||||
"result": "usable"
|
||||
},
|
||||
{
|
||||
"file": "on-2.json",
|
||||
"load_seconds": 39.967061042785645,
|
||||
"finish_to_report_seconds": 34.75409412384033,
|
||||
"max_resource_gap_seconds": 2.045710802078247,
|
||||
"result": "usable"
|
||||
},
|
||||
{
|
||||
"file": "on-3.json",
|
||||
"load_seconds": 39.961934089660645,
|
||||
"finish_to_report_seconds": 35.3386869430542,
|
||||
"max_resource_gap_seconds": 2.0448179244995117,
|
||||
"result": "usable"
|
||||
},
|
||||
{
|
||||
"file": "head-1.json",
|
||||
"load_seconds": 39.960408210754395,
|
||||
"finish_to_report_seconds": 34.749109983444214,
|
||||
"max_resource_gap_seconds": 2.0449328422546387,
|
||||
"result": "usable"
|
||||
},
|
||||
{
|
||||
"file": "head-2.json",
|
||||
"load_seconds": 39.95907402038574,
|
||||
"finish_to_report_seconds": 34.537447929382324,
|
||||
"max_resource_gap_seconds": 2.0501198768615723,
|
||||
"result": "usable"
|
||||
},
|
||||
{
|
||||
"file": "head-3.json",
|
||||
"load_seconds": 39.96534299850464,
|
||||
"finish_to_report_seconds": 35.03631401062012,
|
||||
"max_resource_gap_seconds": 2.0513830184936523,
|
||||
"result": "usable"
|
||||
},
|
||||
{
|
||||
"file": "tail-1.json",
|
||||
"load_seconds": 39.969640254974365,
|
||||
"finish_to_report_seconds": 35.31044888496399,
|
||||
"max_resource_gap_seconds": 2.0470268726348877,
|
||||
"result": "usable"
|
||||
},
|
||||
{
|
||||
"file": "tail-2.json",
|
||||
"load_seconds": 39.96142888069153,
|
||||
"finish_to_report_seconds": 34.63654613494873,
|
||||
"max_resource_gap_seconds": 2.0448548793792725,
|
||||
"result": "usable"
|
||||
},
|
||||
{
|
||||
"file": "tail-3.json",
|
||||
"load_seconds": 39.968284130096436,
|
||||
"finish_to_report_seconds": 35.04265284538269,
|
||||
"max_resource_gap_seconds": 2.047273874282837,
|
||||
"result": "usable"
|
||||
},
|
||||
{
|
||||
"file": "balanced-1.json",
|
||||
"load_seconds": 39.965638160705566,
|
||||
"finish_to_report_seconds": 34.83575201034546,
|
||||
"max_resource_gap_seconds": 2.0490190982818604,
|
||||
"result": "usable"
|
||||
},
|
||||
{
|
||||
"file": "balanced-2.json",
|
||||
"load_seconds": 39.96572422981262,
|
||||
"finish_to_report_seconds": 35.22300386428833,
|
||||
"max_resource_gap_seconds": 2.0449130535125732,
|
||||
"result": "usable"
|
||||
},
|
||||
{
|
||||
"file": "balanced-3.json",
|
||||
"load_seconds": 39.96644401550293,
|
||||
"finish_to_report_seconds": 35.353606939315796,
|
||||
"max_resource_gap_seconds": 2.0450639724731445,
|
||||
"result": "usable"
|
||||
}
|
||||
],
|
||||
"excluded": [
|
||||
"invalid-time-gap/on-3.json",
|
||||
"invalid-time-gap/head-3.json"
|
||||
]
|
||||
}
|
||||
@@ -1,115 +0,0 @@
|
||||
{
|
||||
"at": "2026-11-07T01:11:53.670099+00:00",
|
||||
"policy": "40s workload: wall window38..42s, finish-to-report30..45s, maximum2s-sampling gap<5s. All three conditions required independently of HTTP PASS.",
|
||||
"runs": [
|
||||
{
|
||||
"file": "off-1.json",
|
||||
"load_seconds": 39.9768009185791,
|
||||
"finish_to_report_seconds": 34.378885984420776,
|
||||
"max_resource_gap_seconds": 2.047776937484741,
|
||||
"result": "usable"
|
||||
},
|
||||
{
|
||||
"file": "off-2.json",
|
||||
"load_seconds": 39.96762013435364,
|
||||
"finish_to_report_seconds": 35.243422985076904,
|
||||
"max_resource_gap_seconds": 2.048405885696411,
|
||||
"result": "usable"
|
||||
},
|
||||
{
|
||||
"file": "off-3.json",
|
||||
"load_seconds": 39.97038507461548,
|
||||
"finish_to_report_seconds": 35.21114897727966,
|
||||
"max_resource_gap_seconds": 2.0483851432800293,
|
||||
"result": "usable"
|
||||
},
|
||||
{
|
||||
"file": "on-1.json",
|
||||
"load_seconds": 39.960899114608765,
|
||||
"finish_to_report_seconds": 35.31035900115967,
|
||||
"max_resource_gap_seconds": 2.0440289974212646,
|
||||
"result": "usable"
|
||||
},
|
||||
{
|
||||
"file": "on-2.json",
|
||||
"load_seconds": 39.967061042785645,
|
||||
"finish_to_report_seconds": 34.75409412384033,
|
||||
"max_resource_gap_seconds": 2.045710802078247,
|
||||
"result": "usable"
|
||||
},
|
||||
{
|
||||
"file": "on-3.json",
|
||||
"load_seconds": 39.961934089660645,
|
||||
"finish_to_report_seconds": 35.3386869430542,
|
||||
"max_resource_gap_seconds": 2.0448179244995117,
|
||||
"result": "usable"
|
||||
},
|
||||
{
|
||||
"file": "head-1.json",
|
||||
"load_seconds": 39.960408210754395,
|
||||
"finish_to_report_seconds": 34.749109983444214,
|
||||
"max_resource_gap_seconds": 2.0449328422546387,
|
||||
"result": "usable"
|
||||
},
|
||||
{
|
||||
"file": "head-2.json",
|
||||
"load_seconds": 39.95907402038574,
|
||||
"finish_to_report_seconds": 34.537447929382324,
|
||||
"max_resource_gap_seconds": 2.0501198768615723,
|
||||
"result": "usable"
|
||||
},
|
||||
{
|
||||
"file": "head-3.json",
|
||||
"load_seconds": 39.96534299850464,
|
||||
"finish_to_report_seconds": 35.03631401062012,
|
||||
"max_resource_gap_seconds": 2.0513830184936523,
|
||||
"result": "usable"
|
||||
},
|
||||
{
|
||||
"file": "tail-1.json",
|
||||
"load_seconds": 39.969640254974365,
|
||||
"finish_to_report_seconds": 35.31044888496399,
|
||||
"max_resource_gap_seconds": 2.0470268726348877,
|
||||
"result": "usable"
|
||||
},
|
||||
{
|
||||
"file": "tail-2.json",
|
||||
"load_seconds": 39.96142888069153,
|
||||
"finish_to_report_seconds": 34.63654613494873,
|
||||
"max_resource_gap_seconds": 2.0448548793792725,
|
||||
"result": "usable"
|
||||
},
|
||||
{
|
||||
"file": "tail-3.json",
|
||||
"load_seconds": 39.968284130096436,
|
||||
"finish_to_report_seconds": 35.04265284538269,
|
||||
"max_resource_gap_seconds": 2.047273874282837,
|
||||
"result": "usable"
|
||||
},
|
||||
{
|
||||
"file": "balanced-1.json",
|
||||
"load_seconds": 39.965638160705566,
|
||||
"finish_to_report_seconds": 34.83575201034546,
|
||||
"max_resource_gap_seconds": 2.0490190982818604,
|
||||
"result": "usable"
|
||||
},
|
||||
{
|
||||
"file": "balanced-2.json",
|
||||
"load_seconds": 39.96572422981262,
|
||||
"finish_to_report_seconds": 35.22300386428833,
|
||||
"max_resource_gap_seconds": 2.0449130535125732,
|
||||
"result": "usable"
|
||||
},
|
||||
{
|
||||
"file": "balanced-3.json",
|
||||
"load_seconds": 39.96644401550293,
|
||||
"finish_to_report_seconds": 35.353606939315796,
|
||||
"max_resource_gap_seconds": 2.0450639724731445,
|
||||
"result": "usable"
|
||||
}
|
||||
],
|
||||
"excluded": [
|
||||
"invalid-time-gap/on-3.json",
|
||||
"invalid-time-gap/head-3.json"
|
||||
]
|
||||
}
|
||||
@@ -1,21 +0,0 @@
|
||||
# Повтор трека после позднего переноса
|
||||
|
||||
Приложение и измеритель: `bc1d7aa7713858acb5d65b61d07e69a640f1ee97`. Образ/лимиты: `../runtime.json`. Причина повторения — изменён путь auth/cache, используемый GET users/me; исторические серии `evidence/track5` на bc0b162 остаются неизменными и не выдаются за результат нового кода.
|
||||
|
||||
Гипотеза: head 10% уменьшает ingest, теряя редкие события; tail сохраняет ошибки и slow, сокращая запись в Tempo, но сохраняет расходы SDK. Balanced: tail 5% обычных трасс, все ERROR и latency >=300 ms; период метрик 30 s вместо 10 s.
|
||||
|
||||
Команда каждой серии: `scripts/lab6.sh python3 scripts/obs_cost.py --mode MODE --repeat N --duration 40 --rate 20 --output evidence/forward-published/cost/MODE-N.json`. Порядок: off/on/head/tail/balanced, три круга. 20 прогревочных GET, 35 s ожидания экспорта; 40 s open-loop, 800 arrivals с периодом 50 ms, 64 клиентских потока. 768 обычных запросов, 16 контролируемых 503, 16 задержек 350 ms. Затем 35 s drain. finally возвращает обычный Collector, SDK on/ratio1/interval10s и отключает fault hook. Все серии идут последовательно, отдельные проверки и другие нагрузки этого агента одновременно не запускаются.
|
||||
|
||||
Latency измерена клиентом, schedule_lag записан отдельно. CPU — delta cgroup total_usage / время внешних Docker samples; RAM — usage−inactive_file. Это не SDK-метрики. Группы application (API, relay, worker), observability, business stores/LB раздельны. Окно CPU охватывает нагрузку, не последнюю работу tail sampler во время drain; RAM — пик наблюдаемых samples, не непрерывный максимум.
|
||||
|
||||
Ingest: Tempo/Loki received bytes и Prometheus appended samples; разные единицы не складываются. Окно включает drain и постоянный фон self-scrapes. SDK ended сравнивается с Collector accepted, export failures учитываются отдельно; для tail accepted−sent включает намеренную фильтрацию. Отбор server traces по уникальному префиксу каждой серии и категории, search limit5000 >800. Для head неизвестное число несозданных DB spans не оценивается вымышленным числом; наблюдается доля server roots. Off — отсутствие SDK, а не ошибка доставки.
|
||||
|
||||
Фон Docker/host записан в conditions-start и conditions-round-N, inventory дополнительно есть в каждом raw JSON. Host не эксклюзивен, поэтому малые различия latency/CPU не доказывают статистическую значимость. Три повтора дают наблюдаемый диапазон, не доверительный интервал. Workload HTTP/DB, worker ожидает заданий; массовая обработка изображений отдельно проверена в png-boundary.json. Tail decision_wait10s не доказывает полноту цепочек с очень поздними retry. Успешные завершённые серии сохраняются для финального аудита без автоматического повторного прогона.
|
||||
|
||||
Сводка: `python3 scripts/obs_cost_summary.py evidence/forward-published/cost`. Графики: `uv run --no-project --with matplotlib==3.11.2 python tools/plot_observability.py evidence/forward-published/cost`.
|
||||
|
||||
## Пригодность серий и повтор двух прогонов
|
||||
|
||||
После двух первых кругов обнаружен разрыв настенных часов относительно монотонного таймера (вероятен сон host, причина не утверждается доказанной). В первоначальном on-3 окно от конца нагрузки до отчёта стало 932,714 s, в head-3 сама нагрузка по wall clock — 938,154 s, максимальный разрыв внешних samples — 900,354 s. HTTP PASS этих прогонов не означает пригодность CPU/ingest. Оба оригинала сохранены без изменения в invalid-time-gap, SHA-256 и решение — invalid-series.json; они исключены из сравнения. Остальные завершённые серии не перезапускаются.
|
||||
|
||||
Для оставшихся измерений включён ограниченный по времени `caffeinate -i -s`; повторяются только on-3 и head-3 с теми же параметрами и SHA, последовательно. Проверка пригодности всех включённых серий: finished−started 38..42 s, utc−finished 30..45 s (35 s drain плюс запросы/округление), max соседнего resource.at gap <5 s при периоде2 s. Результат — measurement-audit.json. Отдельные паузы до начала измеряемого окна не включаются в CPU/ingest и сами по себе не бракуют серию. Контекст общего host и фактический фон остаются ограничениями.
|
||||
File diff suppressed because it is too large
Load Diff
@@ -1,5 +0,0 @@
|
||||
date: 2026-11-06T23:50:47Z commit: bc1d7aa7713858acb5d65b61d07e69a640f1ee97
|
||||
environment: {"COMPOSE_PROJECT_NAME": "mtusi2026lab6", "LB_HTTP_PORT": "18086", "LB_STATS_PORT": "26085", "BASE_URL": "http://127.0.0.1:18086", "NO_PROXY": "localhost,127.0.0.1,::1"}
|
||||
$ python3 scripts/obs_cost.py --mode off --repeat 1 --duration 40 --rate 20 --output evidence/forward-published/cost/off-1.json
|
||||
{"mode": "off", "repeat": 1, "result": "PASS", "retained": {"normal": 0, "error": 0, "slow": 0}}
|
||||
exit_code: 0 elapsed_seconds: 125.202
|
||||
File diff suppressed because it is too large
Load Diff
@@ -1,5 +0,0 @@
|
||||
date: 2026-11-07T00:01:16Z commit: bc1d7aa7713858acb5d65b61d07e69a640f1ee97
|
||||
environment: {"COMPOSE_PROJECT_NAME": "mtusi2026lab6", "LB_HTTP_PORT": "18086", "LB_STATS_PORT": "26085", "BASE_URL": "http://127.0.0.1:18086", "NO_PROXY": "localhost,127.0.0.1,::1"}
|
||||
$ python3 scripts/obs_cost.py --mode off --repeat 2 --duration 40 --rate 20 --output evidence/forward-published/cost/off-2.json
|
||||
{"mode": "off", "repeat": 2, "result": "PASS", "retained": {"normal": 0, "error": 0, "slow": 0}}
|
||||
exit_code: 0 elapsed_seconds: 125.016
|
||||
File diff suppressed because it is too large
Load Diff
@@ -1,5 +0,0 @@
|
||||
date: 2026-11-07T00:11:45Z commit: bc1d7aa7713858acb5d65b61d07e69a640f1ee97
|
||||
environment: {"COMPOSE_PROJECT_NAME": "mtusi2026lab6", "LB_HTTP_PORT": "18086", "LB_STATS_PORT": "26085", "BASE_URL": "http://127.0.0.1:18086", "NO_PROXY": "localhost,127.0.0.1,::1"}
|
||||
$ python3 scripts/obs_cost.py --mode off --repeat 3 --duration 40 --rate 20 --output evidence/forward-published/cost/off-3.json
|
||||
{"mode": "off", "repeat": 3, "result": "PASS", "retained": {"normal": 0, "error": 0, "slow": 0}}
|
||||
exit_code: 0 elapsed_seconds: 125.038
|
||||
File diff suppressed because it is too large
Load Diff
@@ -1,5 +0,0 @@
|
||||
date: 2026-11-06T23:52:52Z commit: bc1d7aa7713858acb5d65b61d07e69a640f1ee97
|
||||
environment: {"COMPOSE_PROJECT_NAME": "mtusi2026lab6", "LB_HTTP_PORT": "18086", "LB_STATS_PORT": "26085", "BASE_URL": "http://127.0.0.1:18086", "NO_PROXY": "localhost,127.0.0.1,::1"}
|
||||
$ python3 scripts/obs_cost.py --mode on --repeat 1 --duration 40 --rate 20 --output evidence/forward-published/cost/on-1.json
|
||||
{"mode": "on", "repeat": 1, "result": "PASS", "retained": {"normal": 768, "error": 16, "slow": 16}}
|
||||
exit_code: 0 elapsed_seconds: 124.436
|
||||
File diff suppressed because it is too large
Load Diff
@@ -1,5 +0,0 @@
|
||||
date: 2026-11-07T00:03:21Z commit: bc1d7aa7713858acb5d65b61d07e69a640f1ee97
|
||||
environment: {"COMPOSE_PROJECT_NAME": "mtusi2026lab6", "LB_HTTP_PORT": "18086", "LB_STATS_PORT": "26085", "BASE_URL": "http://127.0.0.1:18086", "NO_PROXY": "localhost,127.0.0.1,::1"}
|
||||
$ python3 scripts/obs_cost.py --mode on --repeat 2 --duration 40 --rate 20 --output evidence/forward-published/cost/on-2.json
|
||||
{"mode": "on", "repeat": 2, "result": "PASS", "retained": {"normal": 768, "error": 16, "slow": 16}}
|
||||
exit_code: 0 elapsed_seconds: 123.922
|
||||
File diff suppressed because it is too large
Load Diff
@@ -1,5 +0,0 @@
|
||||
date: 2026-11-07T01:07:28Z commit: bc1d7aa7713858acb5d65b61d07e69a640f1ee97
|
||||
environment: {"COMPOSE_PROJECT_NAME": "mtusi2026lab6", "LB_HTTP_PORT": "18086", "LB_STATS_PORT": "26085", "BASE_URL": "http://127.0.0.1:18086", "NO_PROXY": "localhost,127.0.0.1,::1"}
|
||||
$ python3 scripts/obs_cost.py --mode on --repeat 3 --duration 40 --rate 20 --output evidence/forward-published/cost/on-3.json
|
||||
{"mode": "on", "repeat": 3, "result": "PASS", "retained": {"normal": 768, "error": 16, "slow": 16}}
|
||||
exit_code: 0 elapsed_seconds: 124.718
|
||||
@@ -1,29 +0,0 @@
|
||||
# Результаты повторного трека
|
||||
|
||||
Приложение и измеритель: bc1d7aa7713858acb5d65b61d07e69a640f1ee97. Все 15 пригодных серий завершены: 12000 запросов, 0 неожиданных ответов. Два первоначальных прогона (ещё 1600 запросов) исключены по разрывам времени, сохранены в invalid-time-gap и повторены; подробности в method.md и invalid-series.json. Все включённые серии прошли measurement-audit.json. Во всех сериях SDK ended = Collector accepted, exporter failures = 0.
|
||||
|
||||
| Режим | normal p95 ms: median [min;max] | общий p99 ms | CPU app / obs cores | RAM app / obs MiB, median peak |
|
||||
|---|---:|---:|---:|---:|
|
||||
| off | 11.583 [11.572; 11.856] | 358.73 | 0.1404 / 0.0256 | 655.5 / 1013.3 |
|
||||
| on | 12.709 [12.554; 12.993] | 359.47 | 0.1726 / 0.0287 | 706.8 / 1058.5 |
|
||||
| head | 12.556 [12.354; 12.652] | 358.37 | 0.1657 / 0.0261 | 723.8 / 1076.1 |
|
||||
| tail | 12.781 [12.555; 12.920] | 359.11 | 0.1717 / 0.0272 | 721.0 / 1021.2 |
|
||||
| balanced | 12.895 [12.833; 13.031] | 359.75 | 0.1749 / 0.0258 | 707.1 / 1027.9 |
|
||||
|
||||
| Режим | Tempo KiB | Loki KiB | Prom samples | SDK / sent spans, median | normal /2304 | error /48 | slow /48 |
|
||||
|---|---:|---:|---:|---:|---:|---:|---:|
|
||||
| off | 0.0 | 0.0 | 33118 | 0 / 0 | 0 | 0 | 0 |
|
||||
| on | 1662.2 | 288.3 | 36284 | 5489 / 5489 | 2304 | 48 | 48 |
|
||||
| head | 176.2 | 288.4 | 37234 | 543 / 543 | 237 | 6 | 3 |
|
||||
| tail | 251.8 | 289.7 | 36657 | 5492 / 699 | 235 | 48 | 48 |
|
||||
| balanced | 130.2 | 289.8 | 34459 | 5486 / 352 | 101 | 48 | 48 |
|
||||
|
||||
Balanced сохраняет 48/48 errors и 48/48 slow, медианный Tempo ingest ниже on на 92.2%. Head пропустил 42 ошибок и 45 slow. Это отбор sampling, а не сбой доставки.
|
||||
|
||||
Фактическая скорость 20.012–20.020 requests/s. Максимальный schedule lag 61.055 ms. Внешних samples на серию: 21–21.
|
||||
|
||||
Рекомендация в пределах этого workload: balanced сокращает запись трасс и сохраняет контрольные ERROR/slow, но не устраняет цену SDK. Все spans создаются до tail-решения. Малые различия latency/CPU не доказывают статистическую значимость; ограничения общего host, HTTP/DB workload и окна CPU приведены в method.md. Поздние spans за пределами decision window отдельно не доказаны.
|
||||
|
||||
Проверенная конфигурация: `OTEL_COLLECTOR_CONFIG=collector-balanced.yaml OTEL_METRIC_EXPORT_INTERVAL=30000 scripts/lab6.sh docker compose up -d --no-deps --wait otel-collector api relay worker`. Экспериментальные fault hooks по умолчанию выключены. После серий восстановлен default on/100%, рекомендация не включается скрыто.
|
||||
|
||||
comparison.json рассчитан из 15 raw JSON; comparison.png/svg показывают median, отдельные повторы и min/max. Старые evidence/track5 не изменены и не смешаны с этим набором.
|
||||
File diff suppressed because it is too large
Load Diff
@@ -1,5 +0,0 @@
|
||||
date: 2026-11-06T23:57:01Z commit: bc1d7aa7713858acb5d65b61d07e69a640f1ee97
|
||||
environment: {"COMPOSE_PROJECT_NAME": "mtusi2026lab6", "LB_HTTP_PORT": "18086", "LB_STATS_PORT": "26085", "BASE_URL": "http://127.0.0.1:18086", "NO_PROXY": "localhost,127.0.0.1,::1"}
|
||||
$ python3 scripts/obs_cost.py --mode tail --repeat 1 --duration 40 --rate 20 --output evidence/forward-published/cost/tail-1.json
|
||||
{"mode": "tail", "repeat": 1, "result": "PASS", "retained": {"normal": 82, "error": 16, "slow": 16}}
|
||||
exit_code: 0 elapsed_seconds: 125.775
|
||||
File diff suppressed because it is too large
Load Diff
@@ -1,5 +0,0 @@
|
||||
date: 2026-11-07T00:07:30Z commit: bc1d7aa7713858acb5d65b61d07e69a640f1ee97
|
||||
environment: {"COMPOSE_PROJECT_NAME": "mtusi2026lab6", "LB_HTTP_PORT": "18086", "LB_STATS_PORT": "26085", "BASE_URL": "http://127.0.0.1:18086", "NO_PROXY": "localhost,127.0.0.1,::1"}
|
||||
$ python3 scripts/obs_cost.py --mode tail --repeat 2 --duration 40 --rate 20 --output evidence/forward-published/cost/tail-2.json
|
||||
{"mode": "tail", "repeat": 2, "result": "PASS", "retained": {"normal": 65, "error": 16, "slow": 16}}
|
||||
exit_code: 0 elapsed_seconds: 125.706
|
||||
File diff suppressed because it is too large
Load Diff
@@ -1,5 +0,0 @@
|
||||
date: 2026-11-07T00:47:55Z commit: bc1d7aa7713858acb5d65b61d07e69a640f1ee97
|
||||
environment: {"COMPOSE_PROJECT_NAME": "mtusi2026lab6", "LB_HTTP_PORT": "18086", "LB_STATS_PORT": "26085", "BASE_URL": "http://127.0.0.1:18086", "NO_PROXY": "localhost,127.0.0.1,::1"}
|
||||
$ python3 scripts/obs_cost.py --mode tail --repeat 3 --duration 40 --rate 20 --output evidence/forward-published/cost/tail-3.json
|
||||
{"mode": "tail", "repeat": 3, "result": "PASS", "retained": {"normal": 88, "error": 16, "slow": 16}}
|
||||
exit_code: 0 elapsed_seconds: 127.417
|
||||
@@ -1,230 +0,0 @@
|
||||
date: 2026-11-06T23:49:55Z commit: bc1d7aa7713858acb5d65b61d07e69a640f1ee97
|
||||
environment: {"COMPOSE_PROJECT_NAME": "mtusi2026lab6", "LB_HTTP_PORT": "18086", "LB_STATS_PORT": "26085", "BASE_URL": "http://127.0.0.1:18086", "NO_PROXY": "localhost,127.0.0.1,::1"}
|
||||
$ python3 scripts/obs_check.py dashboards --strict
|
||||
{
|
||||
"checked_at": "2026-11-06T23:49:56+00:00",
|
||||
"targets": [
|
||||
{
|
||||
"dashboard": "messenger-api.json",
|
||||
"panel": "RPS бизнес-запросов",
|
||||
"datasource": "prometheus",
|
||||
"series": 1,
|
||||
"missing_metrics": []
|
||||
},
|
||||
{
|
||||
"dashboard": "messenger-api.json",
|
||||
"panel": "Доля 5xx (2m)",
|
||||
"datasource": "prometheus",
|
||||
"series": 1,
|
||||
"missing_metrics": []
|
||||
},
|
||||
{
|
||||
"dashboard": "messenger-api.json",
|
||||
"panel": "p95 latency (5m)",
|
||||
"datasource": "prometheus",
|
||||
"series": 1,
|
||||
"missing_metrics": []
|
||||
},
|
||||
{
|
||||
"dashboard": "messenger-api.json",
|
||||
"panel": "Доля не-5xx (окно 1h)",
|
||||
"datasource": "prometheus",
|
||||
"series": 1,
|
||||
"missing_metrics": []
|
||||
},
|
||||
{
|
||||
"dashboard": "messenger-api.json",
|
||||
"panel": "RPS по маршруту и классу статуса",
|
||||
"datasource": "prometheus",
|
||||
"series": 11,
|
||||
"missing_metrics": []
|
||||
},
|
||||
{
|
||||
"dashboard": "messenger-api.json",
|
||||
"panel": "Доля ошибок",
|
||||
"datasource": "prometheus",
|
||||
"series": 1,
|
||||
"missing_metrics": []
|
||||
},
|
||||
{
|
||||
"dashboard": "messenger-api.json",
|
||||
"panel": "Доля ошибок",
|
||||
"datasource": "prometheus",
|
||||
"series": 1,
|
||||
"missing_metrics": []
|
||||
},
|
||||
{
|
||||
"dashboard": "messenger-api.json",
|
||||
"panel": "Latency p50 / p95 / p99",
|
||||
"datasource": "prometheus",
|
||||
"series": 1,
|
||||
"missing_metrics": []
|
||||
},
|
||||
{
|
||||
"dashboard": "messenger-api.json",
|
||||
"panel": "Latency p50 / p95 / p99",
|
||||
"datasource": "prometheus",
|
||||
"series": 1,
|
||||
"missing_metrics": []
|
||||
},
|
||||
{
|
||||
"dashboard": "messenger-api.json",
|
||||
"panel": "Latency p50 / p95 / p99",
|
||||
"datasource": "prometheus",
|
||||
"series": 1,
|
||||
"missing_metrics": []
|
||||
},
|
||||
{
|
||||
"dashboard": "messenger-api.json",
|
||||
"panel": "p95 по маршруту",
|
||||
"datasource": "prometheus",
|
||||
"series": 9,
|
||||
"missing_metrics": []
|
||||
},
|
||||
{
|
||||
"dashboard": "messenger-api.json",
|
||||
"panel": "RPS по реплике",
|
||||
"datasource": "prometheus",
|
||||
"series": 4,
|
||||
"missing_metrics": []
|
||||
},
|
||||
{
|
||||
"dashboard": "messenger-api.json",
|
||||
"panel": "Активные запросы",
|
||||
"datasource": "prometheus",
|
||||
"series": 6,
|
||||
"missing_metrics": []
|
||||
},
|
||||
{
|
||||
"dashboard": "messenger-api.json",
|
||||
"panel": "Логи API (ошибки и предупреждения)",
|
||||
"datasource": "loki",
|
||||
"lines": 5
|
||||
},
|
||||
{
|
||||
"dashboard": "messenger-api.json",
|
||||
"panel": "Трассы API с ошибкой",
|
||||
"datasource": "tempo",
|
||||
"traces": 5
|
||||
},
|
||||
{
|
||||
"dashboard": "messenger-pipeline.json",
|
||||
"panel": "Jobs по исходу",
|
||||
"datasource": "prometheus",
|
||||
"series": 1,
|
||||
"missing_metrics": []
|
||||
},
|
||||
{
|
||||
"dashboard": "messenger-pipeline.json",
|
||||
"panel": "Длительность обработки job",
|
||||
"datasource": "prometheus",
|
||||
"series": 1,
|
||||
"missing_metrics": []
|
||||
},
|
||||
{
|
||||
"dashboard": "messenger-pipeline.json",
|
||||
"panel": "Длительность обработки job",
|
||||
"datasource": "prometheus",
|
||||
"series": 1,
|
||||
"missing_metrics": []
|
||||
},
|
||||
{
|
||||
"dashboard": "messenger-pipeline.json",
|
||||
"panel": "Длительность обработки job",
|
||||
"datasource": "prometheus",
|
||||
"series": 1,
|
||||
"missing_metrics": []
|
||||
},
|
||||
{
|
||||
"dashboard": "messenger-pipeline.json",
|
||||
"panel": "Логи worker",
|
||||
"datasource": "loki",
|
||||
"lines": 5
|
||||
},
|
||||
{
|
||||
"dashboard": "messenger-pipeline.json",
|
||||
"panel": "Трассы worker",
|
||||
"datasource": "tempo",
|
||||
"traces": 5
|
||||
},
|
||||
{
|
||||
"dashboard": "messenger-pipeline.json",
|
||||
"panel": "Durable queue depth (includes retry)",
|
||||
"datasource": "prometheus",
|
||||
"series": 1,
|
||||
"missing_metrics": []
|
||||
},
|
||||
{
|
||||
"dashboard": "messenger-pipeline.json",
|
||||
"panel": "Oldest durable job age",
|
||||
"datasource": "prometheus",
|
||||
"series": 1,
|
||||
"missing_metrics": []
|
||||
},
|
||||
{
|
||||
"dashboard": "messenger-pipeline.json",
|
||||
"panel": "DB pool used / waiting / capacity",
|
||||
"datasource": "prometheus",
|
||||
"series": 9,
|
||||
"missing_metrics": []
|
||||
},
|
||||
{
|
||||
"dashboard": "messenger-pipeline.json",
|
||||
"panel": "Worker busy / capacity",
|
||||
"datasource": "prometheus",
|
||||
"series": 2,
|
||||
"missing_metrics": []
|
||||
},
|
||||
{
|
||||
"dashboard": "messenger-pipeline.json",
|
||||
"panel": "Process CPU cores",
|
||||
"datasource": "prometheus",
|
||||
"series": 3,
|
||||
"missing_metrics": []
|
||||
},
|
||||
{
|
||||
"dashboard": "messenger-pipeline.json",
|
||||
"panel": "Process resident memory",
|
||||
"datasource": "prometheus",
|
||||
"series": 3,
|
||||
"missing_metrics": []
|
||||
},
|
||||
{
|
||||
"dashboard": "messenger-pipeline.json",
|
||||
"panel": "Time to ready p50 / p95 / p99",
|
||||
"datasource": "prometheus",
|
||||
"series": 1,
|
||||
"missing_metrics": []
|
||||
},
|
||||
{
|
||||
"dashboard": "messenger-pipeline.json",
|
||||
"panel": "Time to ready p50 / p95 / p99",
|
||||
"datasource": "prometheus",
|
||||
"series": 1,
|
||||
"missing_metrics": []
|
||||
},
|
||||
{
|
||||
"dashboard": "messenger-pipeline.json",
|
||||
"panel": "Time to ready p50 / p95 / p99",
|
||||
"datasource": "prometheus",
|
||||
"series": 1,
|
||||
"missing_metrics": []
|
||||
},
|
||||
{
|
||||
"dashboard": "messenger-pipeline.json",
|
||||
"panel": "Ready within 30s, SLO 95% / 1h",
|
||||
"datasource": "prometheus",
|
||||
"series": 1,
|
||||
"missing_metrics": []
|
||||
},
|
||||
{
|
||||
"dashboard": "messenger-pipeline.json",
|
||||
"panel": "API availability, SLO 99% / 1h",
|
||||
"datasource": "prometheus",
|
||||
"series": 1,
|
||||
"missing_metrics": []
|
||||
}
|
||||
],
|
||||
"problems": []
|
||||
}
|
||||
exit_code: 0 elapsed_seconds: 0.112
|
||||
@@ -1,45 +0,0 @@
|
||||
{
|
||||
"at": "2026-11-07T01:11:54.405624+00:00",
|
||||
"process_settings": [
|
||||
{
|
||||
"name": "/mtusi2026lab6-api-1",
|
||||
"settings": {
|
||||
"OTEL_SDK_DISABLED": "false",
|
||||
"OTEL_TRACE_RATIO": "1",
|
||||
"OTEL_METRIC_EXPORT_INTERVAL": "10000",
|
||||
"COST_EXPERIMENT": "false"
|
||||
}
|
||||
},
|
||||
{
|
||||
"name": "/mtusi2026lab6-api-2",
|
||||
"settings": {
|
||||
"OTEL_SDK_DISABLED": "false",
|
||||
"OTEL_TRACE_RATIO": "1",
|
||||
"OTEL_METRIC_EXPORT_INTERVAL": "10000",
|
||||
"COST_EXPERIMENT": "false"
|
||||
}
|
||||
},
|
||||
{
|
||||
"name": "/mtusi2026lab6-relay-1",
|
||||
"settings": {
|
||||
"OTEL_SDK_DISABLED": "false",
|
||||
"OTEL_TRACE_RATIO": "1",
|
||||
"OTEL_METRIC_EXPORT_INTERVAL": "10000",
|
||||
"COST_EXPERIMENT": null
|
||||
}
|
||||
},
|
||||
{
|
||||
"name": "/mtusi2026lab6-worker-1",
|
||||
"settings": {
|
||||
"OTEL_SDK_DISABLED": "false",
|
||||
"OTEL_TRACE_RATIO": "1",
|
||||
"OTEL_METRIC_EXPORT_INTERVAL": "10000",
|
||||
"COST_EXPERIMENT": null
|
||||
}
|
||||
}
|
||||
],
|
||||
"collector_command": [
|
||||
"--config=/etc/otelcol/collector.yaml"
|
||||
],
|
||||
"result": "PASS"
|
||||
}
|
||||
@@ -1,6 +0,0 @@
|
||||
date: 2026-11-06T23:44:50Z commit: bc1d7aa7713858acb5d65b61d07e69a640f1ee97
|
||||
environment: {"COMPOSE_PROJECT_NAME": "mtusi2026lab6", "LB_HTTP_PORT": "18086", "LB_STATS_PORT": "26085", "BASE_URL": "http://127.0.0.1:18086", "NO_PROXY": "localhost,127.0.0.1,::1"}
|
||||
$ .venv/bin/python -c 'import sqlalchemy,alembic; from sqlalchemy import select,literal; from sqlalchemy.dialects import postgresql; print("SQLAlchemy",sqlalchemy.__version__,"Alembic",alembic.__version__); print(select(literal(1)).with_for_update(read=True,key_share=True).compile(dialect=postgresql.dialect()))'
|
||||
SQLAlchemy 2.0.45 Alembic 1.16.5
|
||||
SELECT %(param_1)s AS anon_1 FOR KEY SHARE
|
||||
exit_code: 0 elapsed_seconds: 0.182
|
||||
@@ -1,8 +0,0 @@
|
||||
date: 2026-11-06T23:45:11Z commit: bc1d7aa7713858acb5d65b61d07e69a640f1ee97
|
||||
environment: {"COMPOSE_PROJECT_NAME": "mtusi2026lab6", "LB_HTTP_PORT": "18086", "LB_STATS_PORT": "26085", "BASE_URL": "http://127.0.0.1:18086", "NO_PROXY": "localhost,127.0.0.1,::1"}
|
||||
$ make test-failover ACTION_SCRIPT=scripts/stop-one.sh
|
||||
python3 tests/resilience.py --mode failover --action-script "scripts/stop-one.sh" --base-url "http://127.0.0.1:18086"
|
||||
Executing explicit failover hook; hook output suppressed to avoid leaking secrets.
|
||||
{"observed_instances_before": 2, "successful_writes": 130, "failed_attempts": 0, "first_recovery_seconds": 2.876}
|
||||
PASS: failover preserved confirmed data and existing session. Hook scope needs operator evidence.
|
||||
exit_code: 0 elapsed_seconds: 16.433
|
||||
@@ -1,14 +0,0 @@
|
||||
date: 2026-11-07T01:12:37Z commit: bc1d7aa7713858acb5d65b61d07e69a640f1ee97
|
||||
environment: {"COMPOSE_PROJECT_NAME": "mtusi2026lab6", "LB_HTTP_PORT": "18086", "LB_STATS_PORT": "26085", "BASE_URL": "http://127.0.0.1:18086", "NO_PROXY": "localhost,127.0.0.1,::1"}
|
||||
$ make check validate lint
|
||||
python3 scripts/check_contract.py
|
||||
PASS: offline skeleton structure, local refs and Python syntax; application NOT tested.
|
||||
.venv/bin/python scripts/validate_openapi.py
|
||||
PASS: full OpenAPI 3.1 and JSON Schema validation; application NOT tested.
|
||||
.venv/bin/ruff check src student-tests scripts/obs_cost_summary.py scripts/obs_cost.py scripts/obs_incidents.py scripts/obs_recovery.py scripts/capture_evidence.py alembic scripts/scaling.py tools scripts/probe.py scripts/limits.py scripts/lab4_scenarios.py scripts/lab4_seed.py scripts/upload_memory.py scripts/reconcile_check.py scripts/reconcile_track.py scripts/make_images.py scripts/pipeline_suite.py scripts/pipeline_evidence.py
|
||||
All checks passed!
|
||||
.venv/bin/ruff format --check src student-tests scripts/obs_cost_summary.py scripts/obs_cost.py scripts/obs_incidents.py scripts/obs_recovery.py scripts/capture_evidence.py alembic scripts/scaling.py tools scripts/probe.py scripts/limits.py scripts/lab4_scenarios.py scripts/lab4_seed.py scripts/upload_memory.py scripts/reconcile_check.py scripts/reconcile_track.py scripts/make_images.py scripts/pipeline_suite.py scripts/pipeline_evidence.py
|
||||
216 files already formatted
|
||||
.venv/bin/ty check src student-tests alembic
|
||||
All checks passed!
|
||||
exit_code: 0 elapsed_seconds: 0.763
|
||||
@@ -1,6 +0,0 @@
|
||||
date: 2026-11-07T01:11:54Z commit: bc1d7aa7713858acb5d65b61d07e69a640f1ee97
|
||||
environment: {"COMPOSE_PROJECT_NAME": "mtusi2026lab6", "LB_HTTP_PORT": "18086", "LB_STATS_PORT": "26085", "BASE_URL": "http://127.0.0.1:18086", "NO_PROXY": "localhost,127.0.0.1,::1"}
|
||||
$ make test
|
||||
python3 tests/smoke.py --base-url "http://127.0.0.1:18086"
|
||||
PASS: lab6 public API scenario; infrastructure and grading evidence remain separate.
|
||||
exit_code: 0 elapsed_seconds: 1.813
|
||||
@@ -1,22 +0,0 @@
|
||||
[
|
||||
{
|
||||
"severity": "minor",
|
||||
"file": "scripts/limits.py:33; .github/workflows/application.yml:85",
|
||||
"problem": "Inherited service allowlists omit OTel/helper services. Runtime limits checked independently in evidence/grade3/runtime.json; helper audit remains incompatible. Late-forward audit: evidence/forward-published/runtime.json confirms current container limits independently."
|
||||
},
|
||||
{
|
||||
"severity": "minor",
|
||||
"file": "infra/prometheus/rules/messenger.alerts.yml",
|
||||
"problem": "API error-rate SLI excludes HAProxy-generated 503 and can miss the first burst of a new counter series. Full PostgreSQL pause did not fire (database-incident.txt); sustained SQL-lock incident is verified separately. Late-forward SQL-lock alert firing/resolved: evidence/forward-published/incident-database.txt. No alert rules changed."
|
||||
},
|
||||
{
|
||||
"severity": "minor",
|
||||
"file": "infra/otel/collector.yaml; compose.yaml",
|
||||
"problem": "Collector reached 252.7 MiB / 256 MiB (98.7%) during storage outage without observed OOM; memory headroom is small (storage-incident.txt). Configuration unchanged, evidence/forward-published/preserved-mechanisms.json; no claim of a new storage-outage run."
|
||||
},
|
||||
{
|
||||
"severity": "minor",
|
||||
"file": "evidence/track5/comparison.svg; evidence/track5/*.txt; openspec/specs/lab6-observability-cost/spec.md; evidence/forward-published/cost/comparison.svg; evidence/forward-published/*.txt",
|
||||
"problem": "git show --check reports trailing whitespace in generated SVG/raw command output and a final blank line in generated OpenSpec. This cosmetic check did not pass; make lint passed. Raw output preserved without reformatting. Current evidence has the same cosmetic class; actual result retained in evidence/forward-published/whitespace-check.txt. No source formatting failure."
|
||||
}
|
||||
]
|
||||
@@ -1,52 +0,0 @@
|
||||
date: 2026-11-06T23:41:45Z commit: bc1d7aa7713858acb5d65b61d07e69a640f1ee97
|
||||
environment: {"COMPOSE_PROJECT_NAME": "mtusi2026lab6", "LB_HTTP_PORT": "18086", "LB_STATS_PORT": "26085", "BASE_URL": "http://127.0.0.1:18086", "NO_PROXY": "localhost,127.0.0.1,::1"}
|
||||
$ sh -c '
|
||||
set -eu
|
||||
export API_IMAGE=mtusi-messenger:mtusi2026lab6
|
||||
dc() { docker compose -p hlpipe-lab6-forward-lb -f student-tests/tools/lb_errors/compose.yaml "$@"; }
|
||||
trap "dc down" EXIT
|
||||
dc up -d --wait api lb
|
||||
dc run --rm probe 502
|
||||
dc run --rm probe 504
|
||||
dc stop api
|
||||
dc run --rm probe 503
|
||||
'
|
||||
Network hlpipe-lab6-forward-lb_default Creating
|
||||
Network hlpipe-lab6-forward-lb_default Created
|
||||
Container hlpipe-lab6-forward-lb-api-1 Creating
|
||||
Container hlpipe-lab6-forward-lb-lb-1 Creating
|
||||
Container hlpipe-lab6-forward-lb-api-1 Created
|
||||
Container hlpipe-lab6-forward-lb-lb-1 Created
|
||||
Container hlpipe-lab6-forward-lb-api-1 Starting
|
||||
Container hlpipe-lab6-forward-lb-lb-1 Starting
|
||||
Container hlpipe-lab6-forward-lb-api-1 Started
|
||||
Container hlpipe-lab6-forward-lb-lb-1 Started
|
||||
Container hlpipe-lab6-forward-lb-api-1 Waiting
|
||||
Container hlpipe-lab6-forward-lb-lb-1 Waiting
|
||||
Container hlpipe-lab6-forward-lb-lb-1 Healthy
|
||||
Container hlpipe-lab6-forward-lb-api-1 Healthy
|
||||
{"status": 502, "request_id": "a\"b", "json_valid": true, "echo_matches": true, "seconds": 0.001}
|
||||
{"status": 502, "request_id": "a\\b", "json_valid": true, "echo_matches": true, "seconds": 0.001}
|
||||
{"status": 502, "request_id": "a\tb", "json_valid": true, "echo_matches": true, "seconds": 0.001}
|
||||
{"status": 502, "request_id": "xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx", "json_valid": true, "echo_matches": true, "seconds": 0.001}
|
||||
{"status": 504, "request_id": "a\"b", "json_valid": true, "echo_matches": true, "seconds": 10.012}
|
||||
{"status": 504, "request_id": "a\\b", "json_valid": true, "echo_matches": true, "seconds": 10.006}
|
||||
{"status": 504, "request_id": "a\tb", "json_valid": true, "echo_matches": true, "seconds": 10.012}
|
||||
{"status": 504, "request_id": "xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx", "json_valid": true, "echo_matches": true, "seconds": 10.005}
|
||||
Container hlpipe-lab6-forward-lb-api-1 Stopping
|
||||
Container hlpipe-lab6-forward-lb-api-1 Stopped
|
||||
{"status": 503, "request_id": "a\"b", "json_valid": true, "echo_matches": true, "seconds": 0.004}
|
||||
{"status": 503, "request_id": "a\\b", "json_valid": true, "echo_matches": true, "seconds": 0.0}
|
||||
{"status": 503, "request_id": "a\tb", "json_valid": true, "echo_matches": true, "seconds": 0.0}
|
||||
{"status": 503, "request_id": "xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx", "json_valid": true, "echo_matches": true, "seconds": 0.0}
|
||||
Container hlpipe-lab6-forward-lb-api-1 Stopping
|
||||
Container hlpipe-lab6-forward-lb-lb-1 Stopping
|
||||
Container hlpipe-lab6-forward-lb-api-1 Stopped
|
||||
Container hlpipe-lab6-forward-lb-api-1 Removing
|
||||
Container hlpipe-lab6-forward-lb-api-1 Removed
|
||||
Container hlpipe-lab6-forward-lb-lb-1 Stopped
|
||||
Container hlpipe-lab6-forward-lb-lb-1 Removing
|
||||
Container hlpipe-lab6-forward-lb-lb-1 Removed
|
||||
Network hlpipe-lab6-forward-lb_default Removing
|
||||
Network hlpipe-lab6-forward-lb_default Removed
|
||||
exit_code: 0 elapsed_seconds: 56.915
|
||||
@@ -1,570 +0,0 @@
|
||||
date: 2026-11-06T23:46:44Z commit: bc1d7aa7713858acb5d65b61d07e69a640f1ee97
|
||||
environment: {"COMPOSE_PROJECT_NAME": "mtusi2026lab6", "LB_HTTP_PORT": "18086", "LB_STATS_PORT": "26085", "BASE_URL": "http://127.0.0.1:18086", "NO_PROXY": "localhost,127.0.0.1,::1"}
|
||||
$ python3 scripts/obs_incidents.py chain
|
||||
{
|
||||
"started": "2026-11-06T23:46:44+00:00",
|
||||
"finished": "2026-11-06T23:46:51+00:00",
|
||||
"result": "PASS",
|
||||
"scenario": "chain",
|
||||
"observations": {
|
||||
"upload_request_id": "353d6004-0fce-4307-b74f-3e1330e099f1",
|
||||
"trace_id": "2a788dd8fe3bdba6c2b00ff3c6578b34",
|
||||
"retry": false,
|
||||
"outcomes": [
|
||||
"done"
|
||||
],
|
||||
"spans": [
|
||||
{
|
||||
"service": "messenger-api",
|
||||
"name": "POST /api/v1/chats/{chat_id}/attachments",
|
||||
"kind": "SPAN_KIND_SERVER",
|
||||
"status": "STATUS_CODE_UNSET",
|
||||
"span_id": "1KnDTB7ilNc=",
|
||||
"parent_span_id": null,
|
||||
"duration_ms": 12.268,
|
||||
"attempt": null
|
||||
},
|
||||
{
|
||||
"service": "messenger-api",
|
||||
"name": "BEGIN;",
|
||||
"kind": "SPAN_KIND_CLIENT",
|
||||
"status": "STATUS_CODE_UNSET",
|
||||
"span_id": "kOTXX/pL+PI=",
|
||||
"parent_span_id": "1KnDTB7ilNc=",
|
||||
"duration_ms": 0.111,
|
||||
"attempt": null
|
||||
},
|
||||
{
|
||||
"service": "messenger-api",
|
||||
"name": ";",
|
||||
"kind": "SPAN_KIND_CLIENT",
|
||||
"status": "STATUS_CODE_UNSET",
|
||||
"span_id": "N7KwpItUcOg=",
|
||||
"parent_span_id": "1KnDTB7ilNc=",
|
||||
"duration_ms": 0.063,
|
||||
"attempt": null
|
||||
},
|
||||
{
|
||||
"service": "messenger-api",
|
||||
"name": "ROLLBACK;",
|
||||
"kind": "SPAN_KIND_CLIENT",
|
||||
"status": "STATUS_CODE_UNSET",
|
||||
"span_id": "ExH/3uFnT+c=",
|
||||
"parent_span_id": "1KnDTB7ilNc=",
|
||||
"duration_ms": 0.049,
|
||||
"attempt": null
|
||||
},
|
||||
{
|
||||
"service": "messenger-api",
|
||||
"name": "BEGIN;",
|
||||
"kind": "SPAN_KIND_CLIENT",
|
||||
"status": "STATUS_CODE_UNSET",
|
||||
"span_id": "6r9mViaW30k=",
|
||||
"parent_span_id": "1KnDTB7ilNc=",
|
||||
"duration_ms": 0.059,
|
||||
"attempt": null
|
||||
},
|
||||
{
|
||||
"service": "messenger-api",
|
||||
"name": "SELECT",
|
||||
"kind": "SPAN_KIND_CLIENT",
|
||||
"status": "STATUS_CODE_UNSET",
|
||||
"span_id": "VV9EDONJaKo=",
|
||||
"parent_span_id": "1KnDTB7ilNc=",
|
||||
"duration_ms": 0.176,
|
||||
"attempt": null
|
||||
},
|
||||
{
|
||||
"service": "messenger-api",
|
||||
"name": "ROLLBACK;",
|
||||
"kind": "SPAN_KIND_CLIENT",
|
||||
"status": "STATUS_CODE_UNSET",
|
||||
"span_id": "LGXb7KbUBKk=",
|
||||
"parent_span_id": "1KnDTB7ilNc=",
|
||||
"duration_ms": 0.054,
|
||||
"attempt": null
|
||||
},
|
||||
{
|
||||
"service": "messenger-api",
|
||||
"name": "BEGIN;",
|
||||
"kind": "SPAN_KIND_CLIENT",
|
||||
"status": "STATUS_CODE_UNSET",
|
||||
"span_id": "cY2vJIoHh+I=",
|
||||
"parent_span_id": "1KnDTB7ilNc=",
|
||||
"duration_ms": 0.058,
|
||||
"attempt": null
|
||||
},
|
||||
{
|
||||
"service": "messenger-api",
|
||||
"name": ";",
|
||||
"kind": "SPAN_KIND_CLIENT",
|
||||
"status": "STATUS_CODE_UNSET",
|
||||
"span_id": "4WNnApqEnW4=",
|
||||
"parent_span_id": "1KnDTB7ilNc=",
|
||||
"duration_ms": 0.046,
|
||||
"attempt": null
|
||||
},
|
||||
{
|
||||
"service": "messenger-api",
|
||||
"name": "ROLLBACK;",
|
||||
"kind": "SPAN_KIND_CLIENT",
|
||||
"status": "STATUS_CODE_UNSET",
|
||||
"span_id": "afET0pqdh0w=",
|
||||
"parent_span_id": "1KnDTB7ilNc=",
|
||||
"duration_ms": 0.042,
|
||||
"attempt": null
|
||||
},
|
||||
{
|
||||
"service": "messenger-api",
|
||||
"name": "BEGIN;",
|
||||
"kind": "SPAN_KIND_CLIENT",
|
||||
"status": "STATUS_CODE_UNSET",
|
||||
"span_id": "qqkEFWjNMRc=",
|
||||
"parent_span_id": "1KnDTB7ilNc=",
|
||||
"duration_ms": 0.044,
|
||||
"attempt": null
|
||||
},
|
||||
{
|
||||
"service": "messenger-api",
|
||||
"name": "INSERT",
|
||||
"kind": "SPAN_KIND_CLIENT",
|
||||
"status": "STATUS_CODE_UNSET",
|
||||
"span_id": "B2NutixhjjM=",
|
||||
"parent_span_id": "1KnDTB7ilNc=",
|
||||
"duration_ms": 0.185,
|
||||
"attempt": null
|
||||
},
|
||||
{
|
||||
"service": "messenger-api",
|
||||
"name": "COMMIT;",
|
||||
"kind": "SPAN_KIND_CLIENT",
|
||||
"status": "STATUS_CODE_UNSET",
|
||||
"span_id": "iXFIfBn80Z4=",
|
||||
"parent_span_id": "1KnDTB7ilNc=",
|
||||
"duration_ms": 0.222,
|
||||
"attempt": null
|
||||
},
|
||||
{
|
||||
"service": "messenger-api",
|
||||
"name": "BEGIN;",
|
||||
"kind": "SPAN_KIND_CLIENT",
|
||||
"status": "STATUS_CODE_UNSET",
|
||||
"span_id": "ClGR/8bvx7s=",
|
||||
"parent_span_id": "1KnDTB7ilNc=",
|
||||
"duration_ms": 0.091,
|
||||
"attempt": null
|
||||
},
|
||||
{
|
||||
"service": "messenger-api",
|
||||
"name": ";",
|
||||
"kind": "SPAN_KIND_CLIENT",
|
||||
"status": "STATUS_CODE_UNSET",
|
||||
"span_id": "KHHQiGtugf8=",
|
||||
"parent_span_id": "1KnDTB7ilNc=",
|
||||
"duration_ms": 0.055,
|
||||
"attempt": null
|
||||
},
|
||||
{
|
||||
"service": "messenger-api",
|
||||
"name": "ROLLBACK;",
|
||||
"kind": "SPAN_KIND_CLIENT",
|
||||
"status": "STATUS_CODE_UNSET",
|
||||
"span_id": "h6ioIL28mmE=",
|
||||
"parent_span_id": "1KnDTB7ilNc=",
|
||||
"duration_ms": 0.062,
|
||||
"attempt": null
|
||||
},
|
||||
{
|
||||
"service": "messenger-api",
|
||||
"name": "BEGIN;",
|
||||
"kind": "SPAN_KIND_CLIENT",
|
||||
"status": "STATUS_CODE_UNSET",
|
||||
"span_id": "d1s9gYOAjTY=",
|
||||
"parent_span_id": "1KnDTB7ilNc=",
|
||||
"duration_ms": 0.044,
|
||||
"attempt": null
|
||||
},
|
||||
{
|
||||
"service": "messenger-api",
|
||||
"name": "UPDATE",
|
||||
"kind": "SPAN_KIND_CLIENT",
|
||||
"status": "STATUS_CODE_UNSET",
|
||||
"span_id": "Z73gIsACvyk=",
|
||||
"parent_span_id": "1KnDTB7ilNc=",
|
||||
"duration_ms": 0.226,
|
||||
"attempt": null
|
||||
},
|
||||
{
|
||||
"service": "messenger-api",
|
||||
"name": "INSERT",
|
||||
"kind": "SPAN_KIND_CLIENT",
|
||||
"status": "STATUS_CODE_UNSET",
|
||||
"span_id": "ZU4nVi/O270=",
|
||||
"parent_span_id": "1KnDTB7ilNc=",
|
||||
"duration_ms": 0.155,
|
||||
"attempt": null
|
||||
},
|
||||
{
|
||||
"service": "messenger-api",
|
||||
"name": "INSERT",
|
||||
"kind": "SPAN_KIND_CLIENT",
|
||||
"status": "STATUS_CODE_UNSET",
|
||||
"span_id": "2xriCNx45Ss=",
|
||||
"parent_span_id": "1KnDTB7ilNc=",
|
||||
"duration_ms": 0.142,
|
||||
"attempt": null
|
||||
},
|
||||
{
|
||||
"service": "messenger-api",
|
||||
"name": "INSERT",
|
||||
"kind": "SPAN_KIND_CLIENT",
|
||||
"status": "STATUS_CODE_UNSET",
|
||||
"span_id": "7clq4wwABWo=",
|
||||
"parent_span_id": "1KnDTB7ilNc=",
|
||||
"duration_ms": 0.117,
|
||||
"attempt": null
|
||||
},
|
||||
{
|
||||
"service": "messenger-api",
|
||||
"name": "COMMIT;",
|
||||
"kind": "SPAN_KIND_CLIENT",
|
||||
"status": "STATUS_CODE_UNSET",
|
||||
"span_id": "HCWi0TAraeg=",
|
||||
"parent_span_id": "1KnDTB7ilNc=",
|
||||
"duration_ms": 0.192,
|
||||
"attempt": null
|
||||
},
|
||||
{
|
||||
"service": "messenger-api",
|
||||
"name": "S3 put_object",
|
||||
"kind": "SPAN_KIND_CLIENT",
|
||||
"status": "STATUS_CODE_UNSET",
|
||||
"span_id": "eqo0RZhx2r4=",
|
||||
"parent_span_id": "1KnDTB7ilNc=",
|
||||
"duration_ms": 5.315,
|
||||
"attempt": null
|
||||
},
|
||||
{
|
||||
"service": "messenger-relay",
|
||||
"name": "attachments.attachment.process.v1 create",
|
||||
"kind": "SPAN_KIND_PRODUCER",
|
||||
"status": "STATUS_CODE_UNSET",
|
||||
"span_id": "DdVW16xtPjM=",
|
||||
"parent_span_id": "1KnDTB7ilNc=",
|
||||
"duration_ms": 0.033,
|
||||
"attempt": null
|
||||
},
|
||||
{
|
||||
"service": "messenger-relay",
|
||||
"name": "attachments.attachment.process.v1 publish",
|
||||
"kind": "SPAN_KIND_PRODUCER",
|
||||
"status": "STATUS_CODE_UNSET",
|
||||
"span_id": "T6EWXaDDQRY=",
|
||||
"parent_span_id": "DdVW16xtPjM=",
|
||||
"duration_ms": 4.356,
|
||||
"attempt": null
|
||||
},
|
||||
{
|
||||
"service": "messenger-worker",
|
||||
"name": "attachments.attachment.process.v1 process",
|
||||
"kind": "SPAN_KIND_CONSUMER",
|
||||
"status": "STATUS_CODE_UNSET",
|
||||
"span_id": "IJrEIXz5vQU=",
|
||||
"parent_span_id": "DdVW16xtPjM=",
|
||||
"duration_ms": 42.854,
|
||||
"attempt": "1"
|
||||
},
|
||||
{
|
||||
"service": "messenger-worker",
|
||||
"name": "BEGIN;",
|
||||
"kind": "SPAN_KIND_CLIENT",
|
||||
"status": "STATUS_CODE_UNSET",
|
||||
"span_id": "6yaGj8OjHpo=",
|
||||
"parent_span_id": "IJrEIXz5vQU=",
|
||||
"duration_ms": 0.284,
|
||||
"attempt": null
|
||||
},
|
||||
{
|
||||
"service": "messenger-worker",
|
||||
"name": ";",
|
||||
"kind": "SPAN_KIND_CLIENT",
|
||||
"status": "STATUS_CODE_UNSET",
|
||||
"span_id": "wvYv52Ceymw=",
|
||||
"parent_span_id": "IJrEIXz5vQU=",
|
||||
"duration_ms": 0.195,
|
||||
"attempt": null
|
||||
},
|
||||
{
|
||||
"service": "messenger-worker",
|
||||
"name": "ROLLBACK;",
|
||||
"kind": "SPAN_KIND_CLIENT",
|
||||
"status": "STATUS_CODE_UNSET",
|
||||
"span_id": "IXF/7Dnea8I=",
|
||||
"parent_span_id": "IJrEIXz5vQU=",
|
||||
"duration_ms": 0.17,
|
||||
"attempt": null
|
||||
},
|
||||
{
|
||||
"service": "messenger-worker",
|
||||
"name": "BEGIN;",
|
||||
"kind": "SPAN_KIND_CLIENT",
|
||||
"status": "STATUS_CODE_UNSET",
|
||||
"span_id": "ZFDgbFUJ38s=",
|
||||
"parent_span_id": "IJrEIXz5vQU=",
|
||||
"duration_ms": 0.164,
|
||||
"attempt": null
|
||||
},
|
||||
{
|
||||
"service": "messenger-worker",
|
||||
"name": "UPDATE",
|
||||
"kind": "SPAN_KIND_CLIENT",
|
||||
"status": "STATUS_CODE_UNSET",
|
||||
"span_id": "IiJRka3nsOk=",
|
||||
"parent_span_id": "IJrEIXz5vQU=",
|
||||
"duration_ms": 0.55,
|
||||
"attempt": null
|
||||
},
|
||||
{
|
||||
"service": "messenger-worker",
|
||||
"name": "UPDATE",
|
||||
"kind": "SPAN_KIND_CLIENT",
|
||||
"status": "STATUS_CODE_UNSET",
|
||||
"span_id": "Ql3IoVPxbuk=",
|
||||
"parent_span_id": "IJrEIXz5vQU=",
|
||||
"duration_ms": 0.385,
|
||||
"attempt": null
|
||||
},
|
||||
{
|
||||
"service": "messenger-worker",
|
||||
"name": "INSERT",
|
||||
"kind": "SPAN_KIND_CLIENT",
|
||||
"status": "STATUS_CODE_UNSET",
|
||||
"span_id": "dZVxc0YqKd4=",
|
||||
"parent_span_id": "IJrEIXz5vQU=",
|
||||
"duration_ms": 0.207,
|
||||
"attempt": null
|
||||
},
|
||||
{
|
||||
"service": "messenger-worker",
|
||||
"name": "SELECT",
|
||||
"kind": "SPAN_KIND_CLIENT",
|
||||
"status": "STATUS_CODE_UNSET",
|
||||
"span_id": "z1F9TtIQdcA=",
|
||||
"parent_span_id": "IJrEIXz5vQU=",
|
||||
"duration_ms": 0.185,
|
||||
"attempt": null
|
||||
},
|
||||
{
|
||||
"service": "messenger-worker",
|
||||
"name": "COMMIT;",
|
||||
"kind": "SPAN_KIND_CLIENT",
|
||||
"status": "STATUS_CODE_UNSET",
|
||||
"span_id": "eMgOi4KYRuM=",
|
||||
"parent_span_id": "IJrEIXz5vQU=",
|
||||
"duration_ms": 0.571,
|
||||
"attempt": null
|
||||
},
|
||||
{
|
||||
"service": "messenger-worker",
|
||||
"name": "BEGIN;",
|
||||
"kind": "SPAN_KIND_CLIENT",
|
||||
"status": "STATUS_CODE_UNSET",
|
||||
"span_id": "2qFq/3351v8=",
|
||||
"parent_span_id": "IJrEIXz5vQU=",
|
||||
"duration_ms": 0.173,
|
||||
"attempt": null
|
||||
},
|
||||
{
|
||||
"service": "messenger-worker",
|
||||
"name": ";",
|
||||
"kind": "SPAN_KIND_CLIENT",
|
||||
"status": "STATUS_CODE_UNSET",
|
||||
"span_id": "f3lKJAgUqPM=",
|
||||
"parent_span_id": "IJrEIXz5vQU=",
|
||||
"duration_ms": 0.142,
|
||||
"attempt": null
|
||||
},
|
||||
{
|
||||
"service": "messenger-worker",
|
||||
"name": "ROLLBACK;",
|
||||
"kind": "SPAN_KIND_CLIENT",
|
||||
"status": "STATUS_CODE_UNSET",
|
||||
"span_id": "LN76EV7HKBo=",
|
||||
"parent_span_id": "IJrEIXz5vQU=",
|
||||
"duration_ms": 0.133,
|
||||
"attempt": null
|
||||
},
|
||||
{
|
||||
"service": "messenger-worker",
|
||||
"name": "BEGIN;",
|
||||
"kind": "SPAN_KIND_CLIENT",
|
||||
"status": "STATUS_CODE_UNSET",
|
||||
"span_id": "jylzdd/SomQ=",
|
||||
"parent_span_id": "IJrEIXz5vQU=",
|
||||
"duration_ms": 0.132,
|
||||
"attempt": null
|
||||
},
|
||||
{
|
||||
"service": "messenger-worker",
|
||||
"name": "UPDATE",
|
||||
"kind": "SPAN_KIND_CLIENT",
|
||||
"status": "STATUS_CODE_UNSET",
|
||||
"span_id": "ZrNx+53YHDg=",
|
||||
"parent_span_id": "IJrEIXz5vQU=",
|
||||
"duration_ms": 0.282,
|
||||
"attempt": null
|
||||
},
|
||||
{
|
||||
"service": "messenger-worker",
|
||||
"name": "COMMIT;",
|
||||
"kind": "SPAN_KIND_CLIENT",
|
||||
"status": "STATUS_CODE_UNSET",
|
||||
"span_id": "C3gPIERIt/0=",
|
||||
"parent_span_id": "IJrEIXz5vQU=",
|
||||
"duration_ms": 0.45,
|
||||
"attempt": null
|
||||
},
|
||||
{
|
||||
"service": "messenger-worker",
|
||||
"name": "BEGIN;",
|
||||
"kind": "SPAN_KIND_CLIENT",
|
||||
"status": "STATUS_CODE_UNSET",
|
||||
"span_id": "o//TrE5/tR8=",
|
||||
"parent_span_id": "IJrEIXz5vQU=",
|
||||
"duration_ms": 0.095,
|
||||
"attempt": null
|
||||
},
|
||||
{
|
||||
"service": "messenger-worker",
|
||||
"name": ";",
|
||||
"kind": "SPAN_KIND_CLIENT",
|
||||
"status": "STATUS_CODE_UNSET",
|
||||
"span_id": "eU7D/wTzm3s=",
|
||||
"parent_span_id": "IJrEIXz5vQU=",
|
||||
"duration_ms": 0.082,
|
||||
"attempt": null
|
||||
},
|
||||
{
|
||||
"service": "messenger-worker",
|
||||
"name": "ROLLBACK;",
|
||||
"kind": "SPAN_KIND_CLIENT",
|
||||
"status": "STATUS_CODE_UNSET",
|
||||
"span_id": "hbXwj1bqqr0=",
|
||||
"parent_span_id": "IJrEIXz5vQU=",
|
||||
"duration_ms": 0.066,
|
||||
"attempt": null
|
||||
},
|
||||
{
|
||||
"service": "messenger-worker",
|
||||
"name": "BEGIN;",
|
||||
"kind": "SPAN_KIND_CLIENT",
|
||||
"status": "STATUS_CODE_UNSET",
|
||||
"span_id": "7WW7O9uzEag=",
|
||||
"parent_span_id": "IJrEIXz5vQU=",
|
||||
"duration_ms": 0.081,
|
||||
"attempt": null
|
||||
},
|
||||
{
|
||||
"service": "messenger-worker",
|
||||
"name": "UPDATE",
|
||||
"kind": "SPAN_KIND_CLIENT",
|
||||
"status": "STATUS_CODE_UNSET",
|
||||
"span_id": "R5CuUJ4DKx4=",
|
||||
"parent_span_id": "IJrEIXz5vQU=",
|
||||
"duration_ms": 0.139,
|
||||
"attempt": null
|
||||
},
|
||||
{
|
||||
"service": "messenger-worker",
|
||||
"name": "INSERT",
|
||||
"kind": "SPAN_KIND_CLIENT",
|
||||
"status": "STATUS_CODE_UNSET",
|
||||
"span_id": "BscD3XrQ6IM=",
|
||||
"parent_span_id": "IJrEIXz5vQU=",
|
||||
"duration_ms": 0.236,
|
||||
"attempt": null
|
||||
},
|
||||
{
|
||||
"service": "messenger-worker",
|
||||
"name": "UPDATE",
|
||||
"kind": "SPAN_KIND_CLIENT",
|
||||
"status": "STATUS_CODE_UNSET",
|
||||
"span_id": "yJ5825EbSlY=",
|
||||
"parent_span_id": "IJrEIXz5vQU=",
|
||||
"duration_ms": 0.177,
|
||||
"attempt": null
|
||||
},
|
||||
{
|
||||
"service": "messenger-worker",
|
||||
"name": "INSERT",
|
||||
"kind": "SPAN_KIND_CLIENT",
|
||||
"status": "STATUS_CODE_UNSET",
|
||||
"span_id": "ctFlHkHK3w4=",
|
||||
"parent_span_id": "IJrEIXz5vQU=",
|
||||
"duration_ms": 0.131,
|
||||
"attempt": null
|
||||
},
|
||||
{
|
||||
"service": "messenger-worker",
|
||||
"name": "COMMIT;",
|
||||
"kind": "SPAN_KIND_CLIENT",
|
||||
"status": "STATUS_CODE_UNSET",
|
||||
"span_id": "miaP4WbLSsw=",
|
||||
"parent_span_id": "IJrEIXz5vQU=",
|
||||
"duration_ms": 0.2,
|
||||
"attempt": null
|
||||
},
|
||||
{
|
||||
"service": "messenger-worker",
|
||||
"name": "S3 get_object",
|
||||
"kind": "SPAN_KIND_CLIENT",
|
||||
"status": "STATUS_CODE_UNSET",
|
||||
"span_id": "51Ks1BHIgsY=",
|
||||
"parent_span_id": "IJrEIXz5vQU=",
|
||||
"duration_ms": 3.52,
|
||||
"attempt": null
|
||||
},
|
||||
{
|
||||
"service": "messenger-worker",
|
||||
"name": "S3 copy_object",
|
||||
"kind": "SPAN_KIND_CLIENT",
|
||||
"status": "STATUS_CODE_UNSET",
|
||||
"span_id": "xKXCi8QQTjI=",
|
||||
"parent_span_id": "IJrEIXz5vQU=",
|
||||
"duration_ms": 6.112,
|
||||
"attempt": null
|
||||
},
|
||||
{
|
||||
"service": "messenger-worker",
|
||||
"name": "S3 put_object",
|
||||
"kind": "SPAN_KIND_CLIENT",
|
||||
"status": "STATUS_CODE_UNSET",
|
||||
"span_id": "7yfvSxRV3Io=",
|
||||
"parent_span_id": "IJrEIXz5vQU=",
|
||||
"duration_ms": 3.501,
|
||||
"attempt": null
|
||||
},
|
||||
{
|
||||
"service": "messenger-worker",
|
||||
"name": "S3 put_object",
|
||||
"kind": "SPAN_KIND_CLIENT",
|
||||
"status": "STATUS_CODE_UNSET",
|
||||
"span_id": "qW0rRHnhoqo=",
|
||||
"parent_span_id": "IJrEIXz5vQU=",
|
||||
"duration_ms": 3.845,
|
||||
"attempt": null
|
||||
},
|
||||
{
|
||||
"service": "messenger-worker",
|
||||
"name": "S3 put_object",
|
||||
"kind": "SPAN_KIND_CLIENT",
|
||||
"status": "STATUS_CODE_UNSET",
|
||||
"span_id": "8LvmSmoKWfM=",
|
||||
"parent_span_id": "IJrEIXz5vQU=",
|
||||
"duration_ms": 3.201,
|
||||
"attempt": null
|
||||
}
|
||||
]
|
||||
}
|
||||
}
|
||||
exit_code: 0 elapsed_seconds: 7.279
|
||||
@@ -1,730 +0,0 @@
|
||||
date: 2026-11-06T23:48:04Z commit: bc1d7aa7713858acb5d65b61d07e69a640f1ee97
|
||||
environment: {"COMPOSE_PROJECT_NAME": "mtusi2026lab6", "LB_HTTP_PORT": "18086", "LB_STATS_PORT": "26085", "BASE_URL": "http://127.0.0.1:18086", "NO_PROXY": "localhost,127.0.0.1,::1"}
|
||||
$ python3 scripts/obs_incidents.py database
|
||||
{
|
||||
"started": "2026-11-06T23:48:04+00:00",
|
||||
"finished": "2026-11-06T23:49:55+00:00",
|
||||
"result": "PASS",
|
||||
"scenario": "database",
|
||||
"observations": {
|
||||
"paused": "2026-11-06T23:48:16+00:00",
|
||||
"restored": "2026-11-06T23:48:59+00:00",
|
||||
"requests": [
|
||||
{
|
||||
"request_id": "db-incident-8b5642602908-10",
|
||||
"status": 503
|
||||
},
|
||||
{
|
||||
"request_id": "db-incident-8b5642602908-11",
|
||||
"status": 503
|
||||
},
|
||||
{
|
||||
"request_id": "db-incident-8b5642602908-12",
|
||||
"status": 503
|
||||
},
|
||||
{
|
||||
"request_id": "db-incident-8b5642602908-13",
|
||||
"status": 503
|
||||
},
|
||||
{
|
||||
"request_id": "db-incident-8b5642602908-14",
|
||||
"status": 503
|
||||
},
|
||||
{
|
||||
"request_id": "db-incident-8b5642602908-15",
|
||||
"status": 503
|
||||
},
|
||||
{
|
||||
"request_id": "db-incident-8b5642602908-16",
|
||||
"status": 503
|
||||
},
|
||||
{
|
||||
"request_id": "db-incident-8b5642602908-17",
|
||||
"status": 503
|
||||
},
|
||||
{
|
||||
"request_id": "db-incident-8b5642602908-18",
|
||||
"status": 503
|
||||
},
|
||||
{
|
||||
"request_id": "db-incident-8b5642602908-19",
|
||||
"status": 503
|
||||
},
|
||||
{
|
||||
"request_id": "db-incident-8b5642602908-20",
|
||||
"status": 503
|
||||
},
|
||||
{
|
||||
"request_id": "db-incident-8b5642602908-21",
|
||||
"status": 503
|
||||
},
|
||||
{
|
||||
"request_id": "db-incident-8b5642602908-22",
|
||||
"status": 503
|
||||
},
|
||||
{
|
||||
"request_id": "db-incident-8b5642602908-23",
|
||||
"status": 503
|
||||
},
|
||||
{
|
||||
"request_id": "db-incident-8b5642602908-24",
|
||||
"status": 503
|
||||
},
|
||||
{
|
||||
"request_id": "db-incident-8b5642602908-25",
|
||||
"status": 503
|
||||
},
|
||||
{
|
||||
"request_id": "db-incident-8b5642602908-26",
|
||||
"status": 503
|
||||
},
|
||||
{
|
||||
"request_id": "db-incident-8b5642602908-27",
|
||||
"status": 503
|
||||
},
|
||||
{
|
||||
"request_id": "db-incident-8b5642602908-28",
|
||||
"status": 503
|
||||
},
|
||||
{
|
||||
"request_id": "db-incident-8b5642602908-29",
|
||||
"status": 503
|
||||
},
|
||||
{
|
||||
"request_id": "db-incident-8b5642602908-30",
|
||||
"status": 503
|
||||
},
|
||||
{
|
||||
"request_id": "db-incident-8b5642602908-31",
|
||||
"status": 503
|
||||
},
|
||||
{
|
||||
"request_id": "db-incident-8b5642602908-32",
|
||||
"status": 503
|
||||
},
|
||||
{
|
||||
"request_id": "db-incident-8b5642602908-33",
|
||||
"status": 503
|
||||
},
|
||||
{
|
||||
"request_id": "db-incident-8b5642602908-34",
|
||||
"status": 503
|
||||
},
|
||||
{
|
||||
"request_id": "db-incident-8b5642602908-35",
|
||||
"status": 503
|
||||
},
|
||||
{
|
||||
"request_id": "db-incident-8b5642602908-36",
|
||||
"status": 503
|
||||
},
|
||||
{
|
||||
"request_id": "db-incident-8b5642602908-37",
|
||||
"status": 503
|
||||
},
|
||||
{
|
||||
"request_id": "db-incident-8b5642602908-38",
|
||||
"status": 503
|
||||
},
|
||||
{
|
||||
"request_id": "db-incident-8b5642602908-39",
|
||||
"status": 503
|
||||
},
|
||||
{
|
||||
"request_id": "db-incident-8b5642602908-40",
|
||||
"status": 503
|
||||
},
|
||||
{
|
||||
"request_id": "db-incident-8b5642602908-41",
|
||||
"status": 503
|
||||
},
|
||||
{
|
||||
"request_id": "db-incident-8b5642602908-42",
|
||||
"status": 503
|
||||
},
|
||||
{
|
||||
"request_id": "db-incident-8b5642602908-43",
|
||||
"status": 503
|
||||
},
|
||||
{
|
||||
"request_id": "db-incident-8b5642602908-44",
|
||||
"status": 503
|
||||
},
|
||||
{
|
||||
"request_id": "db-incident-8b5642602908-45",
|
||||
"status": 503
|
||||
},
|
||||
{
|
||||
"request_id": "db-incident-8b5642602908-46",
|
||||
"status": 503
|
||||
},
|
||||
{
|
||||
"request_id": "db-incident-8b5642602908-47",
|
||||
"status": 503
|
||||
},
|
||||
{
|
||||
"request_id": "db-incident-8b5642602908-48",
|
||||
"status": 503
|
||||
},
|
||||
{
|
||||
"request_id": "db-incident-8b5642602908-49",
|
||||
"status": 503
|
||||
},
|
||||
{
|
||||
"request_id": "db-incident-8b5642602908-50",
|
||||
"status": 503
|
||||
},
|
||||
{
|
||||
"request_id": "db-incident-8b5642602908-51",
|
||||
"status": 503
|
||||
},
|
||||
{
|
||||
"request_id": "db-incident-8b5642602908-52",
|
||||
"status": 503
|
||||
},
|
||||
{
|
||||
"request_id": "db-incident-8b5642602908-53",
|
||||
"status": 503
|
||||
},
|
||||
{
|
||||
"request_id": "db-incident-8b5642602908-54",
|
||||
"status": 503
|
||||
},
|
||||
{
|
||||
"request_id": "db-incident-8b5642602908-55",
|
||||
"status": 503
|
||||
},
|
||||
{
|
||||
"request_id": "db-incident-8b5642602908-56",
|
||||
"status": 503
|
||||
},
|
||||
{
|
||||
"request_id": "db-incident-8b5642602908-57",
|
||||
"status": 503
|
||||
},
|
||||
{
|
||||
"request_id": "db-incident-8b5642602908-58",
|
||||
"status": 503
|
||||
},
|
||||
{
|
||||
"request_id": "db-incident-8b5642602908-59",
|
||||
"status": 503
|
||||
},
|
||||
{
|
||||
"request_id": "db-incident-8b5642602908-60",
|
||||
"status": 503
|
||||
},
|
||||
{
|
||||
"request_id": "db-incident-8b5642602908-61",
|
||||
"status": 503
|
||||
},
|
||||
{
|
||||
"request_id": "db-incident-8b5642602908-62",
|
||||
"status": 503
|
||||
},
|
||||
{
|
||||
"request_id": "db-incident-8b5642602908-63",
|
||||
"status": 503
|
||||
},
|
||||
{
|
||||
"request_id": "db-incident-8b5642602908-64",
|
||||
"status": 503
|
||||
},
|
||||
{
|
||||
"request_id": "db-incident-8b5642602908-65",
|
||||
"status": 503
|
||||
},
|
||||
{
|
||||
"request_id": "db-incident-8b5642602908-66",
|
||||
"status": 503
|
||||
},
|
||||
{
|
||||
"request_id": "db-incident-8b5642602908-67",
|
||||
"status": 503
|
||||
},
|
||||
{
|
||||
"request_id": "db-incident-8b5642602908-68",
|
||||
"status": 503
|
||||
},
|
||||
{
|
||||
"request_id": "db-incident-8b5642602908-69",
|
||||
"status": 503
|
||||
},
|
||||
{
|
||||
"request_id": "db-incident-8b5642602908-70",
|
||||
"status": 503
|
||||
},
|
||||
{
|
||||
"request_id": "db-incident-8b5642602908-71",
|
||||
"status": 503
|
||||
},
|
||||
{
|
||||
"request_id": "db-incident-8b5642602908-72",
|
||||
"status": 503
|
||||
},
|
||||
{
|
||||
"request_id": "db-incident-8b5642602908-73",
|
||||
"status": 503
|
||||
},
|
||||
{
|
||||
"request_id": "db-incident-8b5642602908-74",
|
||||
"status": 503
|
||||
},
|
||||
{
|
||||
"request_id": "db-incident-8b5642602908-75",
|
||||
"status": 503
|
||||
},
|
||||
{
|
||||
"request_id": "db-incident-8b5642602908-76",
|
||||
"status": 503
|
||||
},
|
||||
{
|
||||
"request_id": "db-incident-8b5642602908-77",
|
||||
"status": 503
|
||||
},
|
||||
{
|
||||
"request_id": "db-incident-8b5642602908-78",
|
||||
"status": 503
|
||||
},
|
||||
{
|
||||
"request_id": "db-incident-8b5642602908-79",
|
||||
"status": 503
|
||||
},
|
||||
{
|
||||
"request_id": "db-incident-8b5642602908-80",
|
||||
"status": 503
|
||||
},
|
||||
{
|
||||
"request_id": "db-incident-8b5642602908-81",
|
||||
"status": 503
|
||||
},
|
||||
{
|
||||
"request_id": "db-incident-8b5642602908-82",
|
||||
"status": 503
|
||||
},
|
||||
{
|
||||
"request_id": "db-incident-8b5642602908-83",
|
||||
"status": 503
|
||||
},
|
||||
{
|
||||
"request_id": "db-incident-8b5642602908-84",
|
||||
"status": 503
|
||||
},
|
||||
{
|
||||
"request_id": "db-incident-8b5642602908-85",
|
||||
"status": 503
|
||||
},
|
||||
{
|
||||
"request_id": "db-incident-8b5642602908-86",
|
||||
"status": 503
|
||||
},
|
||||
{
|
||||
"request_id": "db-incident-8b5642602908-87",
|
||||
"status": 503
|
||||
},
|
||||
{
|
||||
"request_id": "db-incident-8b5642602908-88",
|
||||
"status": 503
|
||||
},
|
||||
{
|
||||
"request_id": "db-incident-8b5642602908-89",
|
||||
"status": 503
|
||||
},
|
||||
{
|
||||
"request_id": "db-incident-8b5642602908-90",
|
||||
"status": 503
|
||||
},
|
||||
{
|
||||
"request_id": "db-incident-8b5642602908-91",
|
||||
"status": 503
|
||||
},
|
||||
{
|
||||
"request_id": "db-incident-8b5642602908-92",
|
||||
"status": 503
|
||||
},
|
||||
{
|
||||
"request_id": "db-incident-8b5642602908-93",
|
||||
"status": 503
|
||||
},
|
||||
{
|
||||
"request_id": "db-incident-8b5642602908-94",
|
||||
"status": 503
|
||||
},
|
||||
{
|
||||
"request_id": "db-incident-8b5642602908-95",
|
||||
"status": 503
|
||||
},
|
||||
{
|
||||
"request_id": "db-incident-8b5642602908-96",
|
||||
"status": 503
|
||||
},
|
||||
{
|
||||
"request_id": "db-incident-8b5642602908-97",
|
||||
"status": 503
|
||||
},
|
||||
{
|
||||
"request_id": "db-incident-8b5642602908-98",
|
||||
"status": 503
|
||||
},
|
||||
{
|
||||
"request_id": "db-incident-8b5642602908-99",
|
||||
"status": 503
|
||||
},
|
||||
{
|
||||
"request_id": "db-incident-8b5642602908-100",
|
||||
"status": 503
|
||||
},
|
||||
{
|
||||
"request_id": "db-incident-8b5642602908-101",
|
||||
"status": 503
|
||||
},
|
||||
{
|
||||
"request_id": "db-incident-8b5642602908-102",
|
||||
"status": 503
|
||||
},
|
||||
{
|
||||
"request_id": "db-incident-8b5642602908-103",
|
||||
"status": 503
|
||||
},
|
||||
{
|
||||
"request_id": "db-incident-8b5642602908-104",
|
||||
"status": 503
|
||||
},
|
||||
{
|
||||
"request_id": "db-incident-8b5642602908-105",
|
||||
"status": 503
|
||||
},
|
||||
{
|
||||
"request_id": "db-incident-8b5642602908-106",
|
||||
"status": 503
|
||||
},
|
||||
{
|
||||
"request_id": "db-incident-8b5642602908-107",
|
||||
"status": 503
|
||||
},
|
||||
{
|
||||
"request_id": "db-incident-8b5642602908-108",
|
||||
"status": 503
|
||||
},
|
||||
{
|
||||
"request_id": "db-incident-8b5642602908-109",
|
||||
"status": 503
|
||||
},
|
||||
{
|
||||
"request_id": "db-incident-8b5642602908-110",
|
||||
"status": 503
|
||||
},
|
||||
{
|
||||
"request_id": "db-incident-8b5642602908-111",
|
||||
"status": 503
|
||||
},
|
||||
{
|
||||
"request_id": "db-incident-8b5642602908-112",
|
||||
"status": 503
|
||||
},
|
||||
{
|
||||
"request_id": "db-incident-8b5642602908-113",
|
||||
"status": 503
|
||||
},
|
||||
{
|
||||
"request_id": "db-incident-8b5642602908-114",
|
||||
"status": 503
|
||||
},
|
||||
{
|
||||
"request_id": "db-incident-8b5642602908-115",
|
||||
"status": 503
|
||||
},
|
||||
{
|
||||
"request_id": "db-incident-8b5642602908-116",
|
||||
"status": 503
|
||||
},
|
||||
{
|
||||
"request_id": "db-incident-8b5642602908-117",
|
||||
"status": 503
|
||||
},
|
||||
{
|
||||
"request_id": "db-incident-8b5642602908-118",
|
||||
"status": 503
|
||||
},
|
||||
{
|
||||
"request_id": "db-incident-8b5642602908-119",
|
||||
"status": 503
|
||||
},
|
||||
{
|
||||
"request_id": "db-incident-8b5642602908-120",
|
||||
"status": 503
|
||||
},
|
||||
{
|
||||
"request_id": "db-incident-8b5642602908-121",
|
||||
"status": 503
|
||||
},
|
||||
{
|
||||
"request_id": "db-incident-8b5642602908-122",
|
||||
"status": 503
|
||||
},
|
||||
{
|
||||
"request_id": "db-incident-8b5642602908-123",
|
||||
"status": 503
|
||||
},
|
||||
{
|
||||
"request_id": "db-incident-8b5642602908-124",
|
||||
"status": 503
|
||||
},
|
||||
{
|
||||
"request_id": "db-incident-8b5642602908-125",
|
||||
"status": 503
|
||||
},
|
||||
{
|
||||
"request_id": "db-incident-8b5642602908-126",
|
||||
"status": 503
|
||||
},
|
||||
{
|
||||
"request_id": "db-incident-8b5642602908-127",
|
||||
"status": 503
|
||||
},
|
||||
{
|
||||
"request_id": "db-incident-8b5642602908-128",
|
||||
"status": 503
|
||||
},
|
||||
{
|
||||
"request_id": "db-incident-8b5642602908-129",
|
||||
"status": 503
|
||||
},
|
||||
{
|
||||
"request_id": "db-incident-8b5642602908-130",
|
||||
"status": 503
|
||||
},
|
||||
{
|
||||
"request_id": "db-incident-8b5642602908-131",
|
||||
"status": 503
|
||||
},
|
||||
{
|
||||
"request_id": "db-incident-8b5642602908-132",
|
||||
"status": 503
|
||||
},
|
||||
{
|
||||
"request_id": "db-incident-8b5642602908-133",
|
||||
"status": 503
|
||||
},
|
||||
{
|
||||
"request_id": "db-incident-8b5642602908-134",
|
||||
"status": 503
|
||||
},
|
||||
{
|
||||
"request_id": "db-incident-8b5642602908-135",
|
||||
"status": 503
|
||||
},
|
||||
{
|
||||
"request_id": "db-incident-8b5642602908-136",
|
||||
"status": 503
|
||||
},
|
||||
{
|
||||
"request_id": "db-incident-8b5642602908-137",
|
||||
"status": 503
|
||||
},
|
||||
{
|
||||
"request_id": "db-incident-8b5642602908-138",
|
||||
"status": 503
|
||||
},
|
||||
{
|
||||
"request_id": "db-incident-8b5642602908-139",
|
||||
"status": 503
|
||||
},
|
||||
{
|
||||
"request_id": "db-incident-8b5642602908-140",
|
||||
"status": 503
|
||||
},
|
||||
{
|
||||
"request_id": "db-incident-8b5642602908-141",
|
||||
"status": 503
|
||||
},
|
||||
{
|
||||
"request_id": "db-incident-8b5642602908-142",
|
||||
"status": 503
|
||||
},
|
||||
{
|
||||
"request_id": "db-incident-8b5642602908-143",
|
||||
"status": 503
|
||||
},
|
||||
{
|
||||
"request_id": "db-incident-8b5642602908-144",
|
||||
"status": 503
|
||||
},
|
||||
{
|
||||
"request_id": "db-incident-8b5642602908-145",
|
||||
"status": 503
|
||||
},
|
||||
{
|
||||
"request_id": "db-incident-8b5642602908-146",
|
||||
"status": 503
|
||||
},
|
||||
{
|
||||
"request_id": "db-incident-8b5642602908-147",
|
||||
"status": 503
|
||||
},
|
||||
{
|
||||
"request_id": "db-incident-8b5642602908-148",
|
||||
"status": 503
|
||||
},
|
||||
{
|
||||
"request_id": "db-incident-8b5642602908-149",
|
||||
"status": 503
|
||||
},
|
||||
{
|
||||
"request_id": "db-incident-8b5642602908-150",
|
||||
"status": 503
|
||||
},
|
||||
{
|
||||
"request_id": "db-incident-8b5642602908-151",
|
||||
"status": 503
|
||||
},
|
||||
{
|
||||
"request_id": "db-incident-8b5642602908-152",
|
||||
"status": 503
|
||||
},
|
||||
{
|
||||
"request_id": "db-incident-8b5642602908-153",
|
||||
"status": 503
|
||||
},
|
||||
{
|
||||
"request_id": "db-incident-8b5642602908-154",
|
||||
"status": 503
|
||||
},
|
||||
{
|
||||
"request_id": "db-incident-8b5642602908-155",
|
||||
"status": 503
|
||||
},
|
||||
{
|
||||
"request_id": "db-incident-8b5642602908-156",
|
||||
"status": 503
|
||||
},
|
||||
{
|
||||
"request_id": "db-incident-8b5642602908-157",
|
||||
"status": 503
|
||||
},
|
||||
{
|
||||
"request_id": "db-incident-8b5642602908-158",
|
||||
"status": 503
|
||||
},
|
||||
{
|
||||
"request_id": "db-incident-8b5642602908-159",
|
||||
"status": 503
|
||||
},
|
||||
{
|
||||
"request_id": "db-incident-8b5642602908-160",
|
||||
"status": 503
|
||||
},
|
||||
{
|
||||
"request_id": "db-incident-8b5642602908-161",
|
||||
"status": 503
|
||||
},
|
||||
{
|
||||
"request_id": "db-incident-8b5642602908-162",
|
||||
"status": 503
|
||||
},
|
||||
{
|
||||
"request_id": "db-incident-8b5642602908-163",
|
||||
"status": 503
|
||||
},
|
||||
{
|
||||
"request_id": "db-incident-8b5642602908-164",
|
||||
"status": 503
|
||||
},
|
||||
{
|
||||
"request_id": "db-incident-8b5642602908-165",
|
||||
"status": 503
|
||||
},
|
||||
{
|
||||
"request_id": "db-incident-8b5642602908-166",
|
||||
"status": 503
|
||||
},
|
||||
{
|
||||
"request_id": "db-incident-8b5642602908-167",
|
||||
"status": 503
|
||||
},
|
||||
{
|
||||
"request_id": "db-incident-8b5642602908-168",
|
||||
"status": 503
|
||||
},
|
||||
{
|
||||
"request_id": "db-incident-8b5642602908-169",
|
||||
"status": 503
|
||||
},
|
||||
{
|
||||
"request_id": "db-incident-8b5642602908-170",
|
||||
"status": 503
|
||||
},
|
||||
{
|
||||
"request_id": "db-incident-8b5642602908-171",
|
||||
"status": 503
|
||||
},
|
||||
{
|
||||
"request_id": "db-incident-8b5642602908-172",
|
||||
"status": 503
|
||||
},
|
||||
{
|
||||
"request_id": "db-incident-8b5642602908-173",
|
||||
"status": 503
|
||||
},
|
||||
{
|
||||
"request_id": "db-incident-8b5642602908-174",
|
||||
"status": 503
|
||||
},
|
||||
{
|
||||
"request_id": "db-incident-8b5642602908-175",
|
||||
"status": 503
|
||||
},
|
||||
{
|
||||
"request_id": "db-incident-8b5642602908-176",
|
||||
"status": 503
|
||||
},
|
||||
{
|
||||
"request_id": "db-incident-8b5642602908-177",
|
||||
"status": 503
|
||||
}
|
||||
],
|
||||
"signals": {
|
||||
"error_ratio": 0.9181136211080942,
|
||||
"pool_waiting": 0.0
|
||||
},
|
||||
"firing": {
|
||||
"utc": "2026-11-06T23:48:59+00:00",
|
||||
"state": "firing",
|
||||
"alerts": [
|
||||
{
|
||||
"labels": {
|
||||
"alertname": "MessengerHighErrorRate",
|
||||
"severity": "warning"
|
||||
},
|
||||
"annotations": {
|
||||
"description": "Availability target is 99% over 1 hour; health and client 4xx are excluded from failures.",
|
||||
"runbook": "infra/prometheus/runbooks.md#messengerhigherrorrate",
|
||||
"summary": "More than 5% business HTTP 5xx over 1 minute"
|
||||
},
|
||||
"state": "firing",
|
||||
"activeAt": "2026-11-06T23:48:43.389340978Z",
|
||||
"value": "9.181136211080942e-01"
|
||||
}
|
||||
]
|
||||
},
|
||||
"resolved": {
|
||||
"utc": "2026-11-06T23:49:54+00:00",
|
||||
"state": "resolved",
|
||||
"alerts": []
|
||||
},
|
||||
"dependency_traces": [
|
||||
{
|
||||
"trace_id": "1cee5df1144b8c4eb2b801d449bfc0d4",
|
||||
"db_errors": [
|
||||
{
|
||||
"name": "SELECT",
|
||||
"kind": "SPAN_KIND_CLIENT",
|
||||
"status": "STATUS_CODE_ERROR",
|
||||
"duration_ms": 2002.866
|
||||
}
|
||||
]
|
||||
}
|
||||
]
|
||||
}
|
||||
}
|
||||
exit_code: 0 elapsed_seconds: 111.140
|
||||
@@ -1,881 +0,0 @@
|
||||
date: 2026-11-06T23:46:51Z commit: bc1d7aa7713858acb5d65b61d07e69a640f1ee97
|
||||
environment: {"COMPOSE_PROJECT_NAME": "mtusi2026lab6", "LB_HTTP_PORT": "18086", "LB_STATS_PORT": "26085", "BASE_URL": "http://127.0.0.1:18086", "NO_PROXY": "localhost,127.0.0.1,::1"}
|
||||
$ python3 scripts/obs_incidents.py retry
|
||||
{
|
||||
"started": "2026-11-06T23:46:51+00:00",
|
||||
"finished": "2026-11-06T23:47:04+00:00",
|
||||
"result": "PASS",
|
||||
"scenario": "retry",
|
||||
"observations": {
|
||||
"upload_request_id": "6d25dbc3-0394-4733-8ecb-63c1ac721847",
|
||||
"trace_id": "933831a64efb8a5deb62b2669afc9698",
|
||||
"retry": true,
|
||||
"outcomes": [
|
||||
"retry_scheduled",
|
||||
"done"
|
||||
],
|
||||
"spans": [
|
||||
{
|
||||
"service": "messenger-api",
|
||||
"name": "POST /api/v1/chats/{chat_id}/attachments",
|
||||
"kind": "SPAN_KIND_SERVER",
|
||||
"status": "STATUS_CODE_UNSET",
|
||||
"span_id": "Debvq4Digx0=",
|
||||
"parent_span_id": null,
|
||||
"duration_ms": 21.315,
|
||||
"attempt": null
|
||||
},
|
||||
{
|
||||
"service": "messenger-api",
|
||||
"name": "BEGIN;",
|
||||
"kind": "SPAN_KIND_CLIENT",
|
||||
"status": "STATUS_CODE_UNSET",
|
||||
"span_id": "Waullyq3N34=",
|
||||
"parent_span_id": "Debvq4Digx0=",
|
||||
"duration_ms": 0.148,
|
||||
"attempt": null
|
||||
},
|
||||
{
|
||||
"service": "messenger-api",
|
||||
"name": ";",
|
||||
"kind": "SPAN_KIND_CLIENT",
|
||||
"status": "STATUS_CODE_UNSET",
|
||||
"span_id": "K0kakII6xo4=",
|
||||
"parent_span_id": "Debvq4Digx0=",
|
||||
"duration_ms": 0.094,
|
||||
"attempt": null
|
||||
},
|
||||
{
|
||||
"service": "messenger-api",
|
||||
"name": "ROLLBACK;",
|
||||
"kind": "SPAN_KIND_CLIENT",
|
||||
"status": "STATUS_CODE_UNSET",
|
||||
"span_id": "AiKsaFLbKb8=",
|
||||
"parent_span_id": "Debvq4Digx0=",
|
||||
"duration_ms": 0.088,
|
||||
"attempt": null
|
||||
},
|
||||
{
|
||||
"service": "messenger-api",
|
||||
"name": "BEGIN;",
|
||||
"kind": "SPAN_KIND_CLIENT",
|
||||
"status": "STATUS_CODE_UNSET",
|
||||
"span_id": "VrrcbEJGSCc=",
|
||||
"parent_span_id": "Debvq4Digx0=",
|
||||
"duration_ms": 0.076,
|
||||
"attempt": null
|
||||
},
|
||||
{
|
||||
"service": "messenger-api",
|
||||
"name": "SELECT",
|
||||
"kind": "SPAN_KIND_CLIENT",
|
||||
"status": "STATUS_CODE_UNSET",
|
||||
"span_id": "AEIu7yg0sn0=",
|
||||
"parent_span_id": "Debvq4Digx0=",
|
||||
"duration_ms": 0.247,
|
||||
"attempt": null
|
||||
},
|
||||
{
|
||||
"service": "messenger-api",
|
||||
"name": "ROLLBACK;",
|
||||
"kind": "SPAN_KIND_CLIENT",
|
||||
"status": "STATUS_CODE_UNSET",
|
||||
"span_id": "Wng5k5TYN4E=",
|
||||
"parent_span_id": "Debvq4Digx0=",
|
||||
"duration_ms": 0.118,
|
||||
"attempt": null
|
||||
},
|
||||
{
|
||||
"service": "messenger-api",
|
||||
"name": "BEGIN;",
|
||||
"kind": "SPAN_KIND_CLIENT",
|
||||
"status": "STATUS_CODE_UNSET",
|
||||
"span_id": "sQsK2QPQPJU=",
|
||||
"parent_span_id": "Debvq4Digx0=",
|
||||
"duration_ms": 0.106,
|
||||
"attempt": null
|
||||
},
|
||||
{
|
||||
"service": "messenger-api",
|
||||
"name": ";",
|
||||
"kind": "SPAN_KIND_CLIENT",
|
||||
"status": "STATUS_CODE_UNSET",
|
||||
"span_id": "7asDsVS6+xs=",
|
||||
"parent_span_id": "Debvq4Digx0=",
|
||||
"duration_ms": 0.089,
|
||||
"attempt": null
|
||||
},
|
||||
{
|
||||
"service": "messenger-api",
|
||||
"name": "ROLLBACK;",
|
||||
"kind": "SPAN_KIND_CLIENT",
|
||||
"status": "STATUS_CODE_UNSET",
|
||||
"span_id": "EdJsPxFHnjM=",
|
||||
"parent_span_id": "Debvq4Digx0=",
|
||||
"duration_ms": 0.092,
|
||||
"attempt": null
|
||||
},
|
||||
{
|
||||
"service": "messenger-api",
|
||||
"name": "BEGIN;",
|
||||
"kind": "SPAN_KIND_CLIENT",
|
||||
"status": "STATUS_CODE_UNSET",
|
||||
"span_id": "PcoY45akFEQ=",
|
||||
"parent_span_id": "Debvq4Digx0=",
|
||||
"duration_ms": 0.072,
|
||||
"attempt": null
|
||||
},
|
||||
{
|
||||
"service": "messenger-api",
|
||||
"name": "INSERT",
|
||||
"kind": "SPAN_KIND_CLIENT",
|
||||
"status": "STATUS_CODE_UNSET",
|
||||
"span_id": "CdbrJRYuFnE=",
|
||||
"parent_span_id": "Debvq4Digx0=",
|
||||
"duration_ms": 0.438,
|
||||
"attempt": null
|
||||
},
|
||||
{
|
||||
"service": "messenger-api",
|
||||
"name": "COMMIT;",
|
||||
"kind": "SPAN_KIND_CLIENT",
|
||||
"status": "STATUS_CODE_UNSET",
|
||||
"span_id": "DBBcI9Ulv/M=",
|
||||
"parent_span_id": "Debvq4Digx0=",
|
||||
"duration_ms": 0.317,
|
||||
"attempt": null
|
||||
},
|
||||
{
|
||||
"service": "messenger-api",
|
||||
"name": "BEGIN;",
|
||||
"kind": "SPAN_KIND_CLIENT",
|
||||
"status": "STATUS_CODE_UNSET",
|
||||
"span_id": "VtOmph6FOBI=",
|
||||
"parent_span_id": "Debvq4Digx0=",
|
||||
"duration_ms": 0.104,
|
||||
"attempt": null
|
||||
},
|
||||
{
|
||||
"service": "messenger-api",
|
||||
"name": ";",
|
||||
"kind": "SPAN_KIND_CLIENT",
|
||||
"status": "STATUS_CODE_UNSET",
|
||||
"span_id": "DPXHG5HHGa8=",
|
||||
"parent_span_id": "Debvq4Digx0=",
|
||||
"duration_ms": 0.068,
|
||||
"attempt": null
|
||||
},
|
||||
{
|
||||
"service": "messenger-api",
|
||||
"name": "ROLLBACK;",
|
||||
"kind": "SPAN_KIND_CLIENT",
|
||||
"status": "STATUS_CODE_UNSET",
|
||||
"span_id": "1BvLOYIb1uQ=",
|
||||
"parent_span_id": "Debvq4Digx0=",
|
||||
"duration_ms": 0.074,
|
||||
"attempt": null
|
||||
},
|
||||
{
|
||||
"service": "messenger-api",
|
||||
"name": "BEGIN;",
|
||||
"kind": "SPAN_KIND_CLIENT",
|
||||
"status": "STATUS_CODE_UNSET",
|
||||
"span_id": "WUjMiYKCT8Q=",
|
||||
"parent_span_id": "Debvq4Digx0=",
|
||||
"duration_ms": 0.069,
|
||||
"attempt": null
|
||||
},
|
||||
{
|
||||
"service": "messenger-api",
|
||||
"name": "UPDATE",
|
||||
"kind": "SPAN_KIND_CLIENT",
|
||||
"status": "STATUS_CODE_UNSET",
|
||||
"span_id": "hyJX1jww6uc=",
|
||||
"parent_span_id": "Debvq4Digx0=",
|
||||
"duration_ms": 0.305,
|
||||
"attempt": null
|
||||
},
|
||||
{
|
||||
"service": "messenger-api",
|
||||
"name": "INSERT",
|
||||
"kind": "SPAN_KIND_CLIENT",
|
||||
"status": "STATUS_CODE_UNSET",
|
||||
"span_id": "48fAH8bMuSA=",
|
||||
"parent_span_id": "Debvq4Digx0=",
|
||||
"duration_ms": 0.294,
|
||||
"attempt": null
|
||||
},
|
||||
{
|
||||
"service": "messenger-api",
|
||||
"name": "INSERT",
|
||||
"kind": "SPAN_KIND_CLIENT",
|
||||
"status": "STATUS_CODE_UNSET",
|
||||
"span_id": "bT2xInlvctI=",
|
||||
"parent_span_id": "Debvq4Digx0=",
|
||||
"duration_ms": 0.284,
|
||||
"attempt": null
|
||||
},
|
||||
{
|
||||
"service": "messenger-api",
|
||||
"name": "INSERT",
|
||||
"kind": "SPAN_KIND_CLIENT",
|
||||
"status": "STATUS_CODE_UNSET",
|
||||
"span_id": "k/ENR5nG9/g=",
|
||||
"parent_span_id": "Debvq4Digx0=",
|
||||
"duration_ms": 0.153,
|
||||
"attempt": null
|
||||
},
|
||||
{
|
||||
"service": "messenger-api",
|
||||
"name": "COMMIT;",
|
||||
"kind": "SPAN_KIND_CLIENT",
|
||||
"status": "STATUS_CODE_UNSET",
|
||||
"span_id": "t3n5uTl2PlM=",
|
||||
"parent_span_id": "Debvq4Digx0=",
|
||||
"duration_ms": 0.362,
|
||||
"attempt": null
|
||||
},
|
||||
{
|
||||
"service": "messenger-api",
|
||||
"name": "S3 put_object",
|
||||
"kind": "SPAN_KIND_CLIENT",
|
||||
"status": "STATUS_CODE_UNSET",
|
||||
"span_id": "0U2pHU/RDjU=",
|
||||
"parent_span_id": "Debvq4Digx0=",
|
||||
"duration_ms": 5.47,
|
||||
"attempt": null
|
||||
},
|
||||
{
|
||||
"service": "messenger-relay",
|
||||
"name": "attachments.attachment.process.v1 create",
|
||||
"kind": "SPAN_KIND_PRODUCER",
|
||||
"status": "STATUS_CODE_UNSET",
|
||||
"span_id": "bwRa62vgs2k=",
|
||||
"parent_span_id": "Debvq4Digx0=",
|
||||
"duration_ms": 0.008,
|
||||
"attempt": null
|
||||
},
|
||||
{
|
||||
"service": "messenger-relay",
|
||||
"name": "attachments.attachment.process.v1 publish",
|
||||
"kind": "SPAN_KIND_PRODUCER",
|
||||
"status": "STATUS_CODE_UNSET",
|
||||
"span_id": "KBBn1geg3IA=",
|
||||
"parent_span_id": "bwRa62vgs2k=",
|
||||
"duration_ms": 1.818,
|
||||
"attempt": null
|
||||
},
|
||||
{
|
||||
"service": "messenger-worker",
|
||||
"name": "attachments.attachment.process.v1 process",
|
||||
"kind": "SPAN_KIND_CONSUMER",
|
||||
"status": "STATUS_CODE_ERROR",
|
||||
"span_id": "BfeHo65w9oE=",
|
||||
"parent_span_id": "bwRa62vgs2k=",
|
||||
"duration_ms": 1042.638,
|
||||
"attempt": "1"
|
||||
},
|
||||
{
|
||||
"service": "messenger-worker",
|
||||
"name": "BEGIN;",
|
||||
"kind": "SPAN_KIND_CLIENT",
|
||||
"status": "STATUS_CODE_UNSET",
|
||||
"span_id": "bukxkY2R92E=",
|
||||
"parent_span_id": "BfeHo65w9oE=",
|
||||
"duration_ms": 0.116,
|
||||
"attempt": null
|
||||
},
|
||||
{
|
||||
"service": "messenger-worker",
|
||||
"name": "select",
|
||||
"kind": "SPAN_KIND_CLIENT",
|
||||
"status": "STATUS_CODE_UNSET",
|
||||
"span_id": "FcFtes5C2S0=",
|
||||
"parent_span_id": "BfeHo65w9oE=",
|
||||
"duration_ms": 0.122,
|
||||
"attempt": null
|
||||
},
|
||||
{
|
||||
"service": "messenger-worker",
|
||||
"name": "select",
|
||||
"kind": "SPAN_KIND_CLIENT",
|
||||
"status": "STATUS_CODE_UNSET",
|
||||
"span_id": "VnuhpEWn90A=",
|
||||
"parent_span_id": "BfeHo65w9oE=",
|
||||
"duration_ms": 0.109,
|
||||
"attempt": null
|
||||
},
|
||||
{
|
||||
"service": "messenger-worker",
|
||||
"name": "show",
|
||||
"kind": "SPAN_KIND_CLIENT",
|
||||
"status": "STATUS_CODE_UNSET",
|
||||
"span_id": "c4vU6fUOroM=",
|
||||
"parent_span_id": "BfeHo65w9oE=",
|
||||
"duration_ms": 0.087,
|
||||
"attempt": null
|
||||
},
|
||||
{
|
||||
"service": "messenger-worker",
|
||||
"name": "show",
|
||||
"kind": "SPAN_KIND_CLIENT",
|
||||
"status": "STATUS_CODE_UNSET",
|
||||
"span_id": "vs4kP7fYreM=",
|
||||
"parent_span_id": "BfeHo65w9oE=",
|
||||
"duration_ms": 0.082,
|
||||
"attempt": null
|
||||
},
|
||||
{
|
||||
"service": "messenger-worker",
|
||||
"name": "ROLLBACK;",
|
||||
"kind": "SPAN_KIND_CLIENT",
|
||||
"status": "STATUS_CODE_UNSET",
|
||||
"span_id": "QRTMZ3eRZuQ=",
|
||||
"parent_span_id": "BfeHo65w9oE=",
|
||||
"duration_ms": 0.087,
|
||||
"attempt": null
|
||||
},
|
||||
{
|
||||
"service": "messenger-worker",
|
||||
"name": "BEGIN;",
|
||||
"kind": "SPAN_KIND_CLIENT",
|
||||
"status": "STATUS_CODE_UNSET",
|
||||
"span_id": "QDbAA2U75Jw=",
|
||||
"parent_span_id": "BfeHo65w9oE=",
|
||||
"duration_ms": 0.086,
|
||||
"attempt": null
|
||||
},
|
||||
{
|
||||
"service": "messenger-worker",
|
||||
"name": "UPDATE",
|
||||
"kind": "SPAN_KIND_CLIENT",
|
||||
"status": "STATUS_CODE_UNSET",
|
||||
"span_id": "i6m5Do6EEvo=",
|
||||
"parent_span_id": "BfeHo65w9oE=",
|
||||
"duration_ms": 0.562,
|
||||
"attempt": null
|
||||
},
|
||||
{
|
||||
"service": "messenger-worker",
|
||||
"name": "UPDATE",
|
||||
"kind": "SPAN_KIND_CLIENT",
|
||||
"status": "STATUS_CODE_UNSET",
|
||||
"span_id": "dFJa0q3l5c4=",
|
||||
"parent_span_id": "BfeHo65w9oE=",
|
||||
"duration_ms": 0.545,
|
||||
"attempt": null
|
||||
},
|
||||
{
|
||||
"service": "messenger-worker",
|
||||
"name": "INSERT",
|
||||
"kind": "SPAN_KIND_CLIENT",
|
||||
"status": "STATUS_CODE_UNSET",
|
||||
"span_id": "H3ogXCCzG0A=",
|
||||
"parent_span_id": "BfeHo65w9oE=",
|
||||
"duration_ms": 0.211,
|
||||
"attempt": null
|
||||
},
|
||||
{
|
||||
"service": "messenger-worker",
|
||||
"name": "SELECT",
|
||||
"kind": "SPAN_KIND_CLIENT",
|
||||
"status": "STATUS_CODE_UNSET",
|
||||
"span_id": "RaAOGgl3WQk=",
|
||||
"parent_span_id": "BfeHo65w9oE=",
|
||||
"duration_ms": 0.167,
|
||||
"attempt": null
|
||||
},
|
||||
{
|
||||
"service": "messenger-worker",
|
||||
"name": "COMMIT;",
|
||||
"kind": "SPAN_KIND_CLIENT",
|
||||
"status": "STATUS_CODE_UNSET",
|
||||
"span_id": "/r2s8Kv3oxI=",
|
||||
"parent_span_id": "BfeHo65w9oE=",
|
||||
"duration_ms": 0.365,
|
||||
"attempt": null
|
||||
},
|
||||
{
|
||||
"service": "messenger-worker",
|
||||
"name": "BEGIN;",
|
||||
"kind": "SPAN_KIND_CLIENT",
|
||||
"status": "STATUS_CODE_UNSET",
|
||||
"span_id": "kAk9rtMbpVM=",
|
||||
"parent_span_id": "BfeHo65w9oE=",
|
||||
"duration_ms": 0.088,
|
||||
"attempt": null
|
||||
},
|
||||
{
|
||||
"service": "messenger-worker",
|
||||
"name": ";",
|
||||
"kind": "SPAN_KIND_CLIENT",
|
||||
"status": "STATUS_CODE_UNSET",
|
||||
"span_id": "9IR9tpNfKLc=",
|
||||
"parent_span_id": "BfeHo65w9oE=",
|
||||
"duration_ms": 0.167,
|
||||
"attempt": null
|
||||
},
|
||||
{
|
||||
"service": "messenger-worker",
|
||||
"name": "ROLLBACK;",
|
||||
"kind": "SPAN_KIND_CLIENT",
|
||||
"status": "STATUS_CODE_UNSET",
|
||||
"span_id": "M9S+7N7xuvQ=",
|
||||
"parent_span_id": "BfeHo65w9oE=",
|
||||
"duration_ms": 0.072,
|
||||
"attempt": null
|
||||
},
|
||||
{
|
||||
"service": "messenger-worker",
|
||||
"name": "BEGIN;",
|
||||
"kind": "SPAN_KIND_CLIENT",
|
||||
"status": "STATUS_CODE_UNSET",
|
||||
"span_id": "AFBHKda3lQU=",
|
||||
"parent_span_id": "BfeHo65w9oE=",
|
||||
"duration_ms": 0.086,
|
||||
"attempt": null
|
||||
},
|
||||
{
|
||||
"service": "messenger-worker",
|
||||
"name": "UPDATE",
|
||||
"kind": "SPAN_KIND_CLIENT",
|
||||
"status": "STATUS_CODE_UNSET",
|
||||
"span_id": "fmP3rOGz/6Y=",
|
||||
"parent_span_id": "BfeHo65w9oE=",
|
||||
"duration_ms": 0.149,
|
||||
"attempt": null
|
||||
},
|
||||
{
|
||||
"service": "messenger-worker",
|
||||
"name": "COMMIT;",
|
||||
"kind": "SPAN_KIND_CLIENT",
|
||||
"status": "STATUS_CODE_UNSET",
|
||||
"span_id": "4bmV8TnBwkU=",
|
||||
"parent_span_id": "BfeHo65w9oE=",
|
||||
"duration_ms": 0.228,
|
||||
"attempt": null
|
||||
},
|
||||
{
|
||||
"service": "messenger-worker",
|
||||
"name": "BEGIN;",
|
||||
"kind": "SPAN_KIND_CLIENT",
|
||||
"status": "STATUS_CODE_UNSET",
|
||||
"span_id": "VlQ2TBIQJ18=",
|
||||
"parent_span_id": "BfeHo65w9oE=",
|
||||
"duration_ms": 0.284,
|
||||
"attempt": null
|
||||
},
|
||||
{
|
||||
"service": "messenger-worker",
|
||||
"name": ";",
|
||||
"kind": "SPAN_KIND_CLIENT",
|
||||
"status": "STATUS_CODE_UNSET",
|
||||
"span_id": "g+FdHSn48nA=",
|
||||
"parent_span_id": "BfeHo65w9oE=",
|
||||
"duration_ms": 0.229,
|
||||
"attempt": null
|
||||
},
|
||||
{
|
||||
"service": "messenger-worker",
|
||||
"name": "ROLLBACK;",
|
||||
"kind": "SPAN_KIND_CLIENT",
|
||||
"status": "STATUS_CODE_UNSET",
|
||||
"span_id": "IcDc7gRMQrI=",
|
||||
"parent_span_id": "BfeHo65w9oE=",
|
||||
"duration_ms": 0.205,
|
||||
"attempt": null
|
||||
},
|
||||
{
|
||||
"service": "messenger-worker",
|
||||
"name": "BEGIN;",
|
||||
"kind": "SPAN_KIND_CLIENT",
|
||||
"status": "STATUS_CODE_UNSET",
|
||||
"span_id": "pUxoqQhJ7e8=",
|
||||
"parent_span_id": "BfeHo65w9oE=",
|
||||
"duration_ms": 0.223,
|
||||
"attempt": null
|
||||
},
|
||||
{
|
||||
"service": "messenger-worker",
|
||||
"name": "UPDATE",
|
||||
"kind": "SPAN_KIND_CLIENT",
|
||||
"status": "STATUS_CODE_UNSET",
|
||||
"span_id": "PGfPW8e8aUc=",
|
||||
"parent_span_id": "BfeHo65w9oE=",
|
||||
"duration_ms": 0.599,
|
||||
"attempt": null
|
||||
},
|
||||
{
|
||||
"service": "messenger-worker",
|
||||
"name": "UPDATE",
|
||||
"kind": "SPAN_KIND_CLIENT",
|
||||
"status": "STATUS_CODE_UNSET",
|
||||
"span_id": "O8F+/YbnorM=",
|
||||
"parent_span_id": "BfeHo65w9oE=",
|
||||
"duration_ms": 0.438,
|
||||
"attempt": null
|
||||
},
|
||||
{
|
||||
"service": "messenger-worker",
|
||||
"name": "INSERT",
|
||||
"kind": "SPAN_KIND_CLIENT",
|
||||
"status": "STATUS_CODE_UNSET",
|
||||
"span_id": "G3uEKRm668s=",
|
||||
"parent_span_id": "BfeHo65w9oE=",
|
||||
"duration_ms": 0.282,
|
||||
"attempt": null
|
||||
},
|
||||
{
|
||||
"service": "messenger-worker",
|
||||
"name": "INSERT",
|
||||
"kind": "SPAN_KIND_CLIENT",
|
||||
"status": "STATUS_CODE_UNSET",
|
||||
"span_id": "N9g279eP5uk=",
|
||||
"parent_span_id": "BfeHo65w9oE=",
|
||||
"duration_ms": 0.596,
|
||||
"attempt": null
|
||||
},
|
||||
{
|
||||
"service": "messenger-worker",
|
||||
"name": "COMMIT;",
|
||||
"kind": "SPAN_KIND_CLIENT",
|
||||
"status": "STATUS_CODE_UNSET",
|
||||
"span_id": "AnDJGXjW+eE=",
|
||||
"parent_span_id": "BfeHo65w9oE=",
|
||||
"duration_ms": 1.173,
|
||||
"attempt": null
|
||||
},
|
||||
{
|
||||
"service": "messenger-worker",
|
||||
"name": "BEGIN;",
|
||||
"kind": "SPAN_KIND_CLIENT",
|
||||
"status": "STATUS_CODE_UNSET",
|
||||
"span_id": "UkN0hQ86NWs=",
|
||||
"parent_span_id": "8xpUCowkZ+s=",
|
||||
"duration_ms": 0.192,
|
||||
"attempt": null
|
||||
},
|
||||
{
|
||||
"service": "messenger-worker",
|
||||
"name": ";",
|
||||
"kind": "SPAN_KIND_CLIENT",
|
||||
"status": "STATUS_CODE_UNSET",
|
||||
"span_id": "7uLkyTzXADQ=",
|
||||
"parent_span_id": "8xpUCowkZ+s=",
|
||||
"duration_ms": 0.141,
|
||||
"attempt": null
|
||||
},
|
||||
{
|
||||
"service": "messenger-worker",
|
||||
"name": "ROLLBACK;",
|
||||
"kind": "SPAN_KIND_CLIENT",
|
||||
"status": "STATUS_CODE_UNSET",
|
||||
"span_id": "8oCbHKZgLgA=",
|
||||
"parent_span_id": "8xpUCowkZ+s=",
|
||||
"duration_ms": 0.129,
|
||||
"attempt": null
|
||||
},
|
||||
{
|
||||
"service": "messenger-worker",
|
||||
"name": "BEGIN;",
|
||||
"kind": "SPAN_KIND_CLIENT",
|
||||
"status": "STATUS_CODE_UNSET",
|
||||
"span_id": "rEsJdw/1gEA=",
|
||||
"parent_span_id": "8xpUCowkZ+s=",
|
||||
"duration_ms": 0.107,
|
||||
"attempt": null
|
||||
},
|
||||
{
|
||||
"service": "messenger-worker",
|
||||
"name": "UPDATE",
|
||||
"kind": "SPAN_KIND_CLIENT",
|
||||
"status": "STATUS_CODE_UNSET",
|
||||
"span_id": "6rP7QLkb1I8=",
|
||||
"parent_span_id": "8xpUCowkZ+s=",
|
||||
"duration_ms": 0.342,
|
||||
"attempt": null
|
||||
},
|
||||
{
|
||||
"service": "messenger-worker",
|
||||
"name": "UPDATE",
|
||||
"kind": "SPAN_KIND_CLIENT",
|
||||
"status": "STATUS_CODE_UNSET",
|
||||
"span_id": "fXmqpv3ea4A=",
|
||||
"parent_span_id": "8xpUCowkZ+s=",
|
||||
"duration_ms": 0.243,
|
||||
"attempt": null
|
||||
},
|
||||
{
|
||||
"service": "messenger-worker",
|
||||
"name": "INSERT",
|
||||
"kind": "SPAN_KIND_CLIENT",
|
||||
"status": "STATUS_CODE_UNSET",
|
||||
"span_id": "4n80obWEpfo=",
|
||||
"parent_span_id": "8xpUCowkZ+s=",
|
||||
"duration_ms": 0.153,
|
||||
"attempt": null
|
||||
},
|
||||
{
|
||||
"service": "messenger-worker",
|
||||
"name": "SELECT",
|
||||
"kind": "SPAN_KIND_CLIENT",
|
||||
"status": "STATUS_CODE_UNSET",
|
||||
"span_id": "w060gr0ejnc=",
|
||||
"parent_span_id": "8xpUCowkZ+s=",
|
||||
"duration_ms": 0.126,
|
||||
"attempt": null
|
||||
},
|
||||
{
|
||||
"service": "messenger-worker",
|
||||
"name": "COMMIT;",
|
||||
"kind": "SPAN_KIND_CLIENT",
|
||||
"status": "STATUS_CODE_UNSET",
|
||||
"span_id": "BK1ZrQHnpFA=",
|
||||
"parent_span_id": "8xpUCowkZ+s=",
|
||||
"duration_ms": 0.291,
|
||||
"attempt": null
|
||||
},
|
||||
{
|
||||
"service": "messenger-worker",
|
||||
"name": "BEGIN;",
|
||||
"kind": "SPAN_KIND_CLIENT",
|
||||
"status": "STATUS_CODE_UNSET",
|
||||
"span_id": "10uHmCMpWZg=",
|
||||
"parent_span_id": "8xpUCowkZ+s=",
|
||||
"duration_ms": 0.08,
|
||||
"attempt": null
|
||||
},
|
||||
{
|
||||
"service": "messenger-worker",
|
||||
"name": ";",
|
||||
"kind": "SPAN_KIND_CLIENT",
|
||||
"status": "STATUS_CODE_UNSET",
|
||||
"span_id": "FeXJXVagnQk=",
|
||||
"parent_span_id": "8xpUCowkZ+s=",
|
||||
"duration_ms": 0.07,
|
||||
"attempt": null
|
||||
},
|
||||
{
|
||||
"service": "messenger-worker",
|
||||
"name": "ROLLBACK;",
|
||||
"kind": "SPAN_KIND_CLIENT",
|
||||
"status": "STATUS_CODE_UNSET",
|
||||
"span_id": "Zy5J9SneT4I=",
|
||||
"parent_span_id": "8xpUCowkZ+s=",
|
||||
"duration_ms": 0.061,
|
||||
"attempt": null
|
||||
},
|
||||
{
|
||||
"service": "messenger-worker",
|
||||
"name": "BEGIN;",
|
||||
"kind": "SPAN_KIND_CLIENT",
|
||||
"status": "STATUS_CODE_UNSET",
|
||||
"span_id": "OgHgDqHQkAA=",
|
||||
"parent_span_id": "8xpUCowkZ+s=",
|
||||
"duration_ms": 0.069,
|
||||
"attempt": null
|
||||
},
|
||||
{
|
||||
"service": "messenger-worker",
|
||||
"name": "UPDATE",
|
||||
"kind": "SPAN_KIND_CLIENT",
|
||||
"status": "STATUS_CODE_UNSET",
|
||||
"span_id": "UGk4+2mR1SY=",
|
||||
"parent_span_id": "8xpUCowkZ+s=",
|
||||
"duration_ms": 0.147,
|
||||
"attempt": null
|
||||
},
|
||||
{
|
||||
"service": "messenger-worker",
|
||||
"name": "COMMIT;",
|
||||
"kind": "SPAN_KIND_CLIENT",
|
||||
"status": "STATUS_CODE_UNSET",
|
||||
"span_id": "JHlQA/pOcPQ=",
|
||||
"parent_span_id": "8xpUCowkZ+s=",
|
||||
"duration_ms": 0.204,
|
||||
"attempt": null
|
||||
},
|
||||
{
|
||||
"service": "messenger-worker",
|
||||
"name": "S3 get_object",
|
||||
"kind": "SPAN_KIND_CLIENT",
|
||||
"status": "STATUS_CODE_ERROR",
|
||||
"span_id": "+ZFBPxYYZB8=",
|
||||
"parent_span_id": "BfeHo65w9oE=",
|
||||
"duration_ms": 979.107,
|
||||
"attempt": null
|
||||
},
|
||||
{
|
||||
"service": "messenger-relay",
|
||||
"name": "attachments.attachment.process.v1 create",
|
||||
"kind": "SPAN_KIND_PRODUCER",
|
||||
"status": "STATUS_CODE_UNSET",
|
||||
"span_id": "ElpYDj40+k0=",
|
||||
"parent_span_id": "BfeHo65w9oE=",
|
||||
"duration_ms": 0.02,
|
||||
"attempt": null
|
||||
},
|
||||
{
|
||||
"service": "messenger-relay",
|
||||
"name": "attachments.attachment.process.v1 publish",
|
||||
"kind": "SPAN_KIND_PRODUCER",
|
||||
"status": "STATUS_CODE_UNSET",
|
||||
"span_id": "orqs4nj6zdU=",
|
||||
"parent_span_id": "ElpYDj40+k0=",
|
||||
"duration_ms": 3.277,
|
||||
"attempt": null
|
||||
},
|
||||
{
|
||||
"service": "messenger-worker",
|
||||
"name": "attachments.attachment.process.v1 process",
|
||||
"kind": "SPAN_KIND_CONSUMER",
|
||||
"status": "STATUS_CODE_UNSET",
|
||||
"span_id": "8xpUCowkZ+s=",
|
||||
"parent_span_id": "ElpYDj40+k0=",
|
||||
"duration_ms": 2490.326,
|
||||
"attempt": "2"
|
||||
},
|
||||
{
|
||||
"service": "messenger-worker",
|
||||
"name": "S3 get_object",
|
||||
"kind": "SPAN_KIND_CLIENT",
|
||||
"status": "STATUS_CODE_UNSET",
|
||||
"span_id": "zhEmRuqzYl4=",
|
||||
"parent_span_id": "8xpUCowkZ+s=",
|
||||
"duration_ms": 1755.064,
|
||||
"attempt": null
|
||||
},
|
||||
{
|
||||
"service": "messenger-worker",
|
||||
"name": "S3 copy_object",
|
||||
"kind": "SPAN_KIND_CLIENT",
|
||||
"status": "STATUS_CODE_UNSET",
|
||||
"span_id": "uvNwJ0jDn4g=",
|
||||
"parent_span_id": "8xpUCowkZ+s=",
|
||||
"duration_ms": 6.867,
|
||||
"attempt": null
|
||||
},
|
||||
{
|
||||
"service": "messenger-worker",
|
||||
"name": "S3 put_object",
|
||||
"kind": "SPAN_KIND_CLIENT",
|
||||
"status": "STATUS_CODE_UNSET",
|
||||
"span_id": "gkl/eAs8x4o=",
|
||||
"parent_span_id": "8xpUCowkZ+s=",
|
||||
"duration_ms": 3.521,
|
||||
"attempt": null
|
||||
},
|
||||
{
|
||||
"service": "messenger-worker",
|
||||
"name": "S3 put_object",
|
||||
"kind": "SPAN_KIND_CLIENT",
|
||||
"status": "STATUS_CODE_UNSET",
|
||||
"span_id": "wCX2paxCccQ=",
|
||||
"parent_span_id": "8xpUCowkZ+s=",
|
||||
"duration_ms": 2.763,
|
||||
"attempt": null
|
||||
},
|
||||
{
|
||||
"service": "messenger-worker",
|
||||
"name": "S3 put_object",
|
||||
"kind": "SPAN_KIND_CLIENT",
|
||||
"status": "STATUS_CODE_UNSET",
|
||||
"span_id": "8UCt7bEeO+Q=",
|
||||
"parent_span_id": "8xpUCowkZ+s=",
|
||||
"duration_ms": 2.431,
|
||||
"attempt": null
|
||||
},
|
||||
{
|
||||
"service": "messenger-worker",
|
||||
"name": "BEGIN;",
|
||||
"kind": "SPAN_KIND_CLIENT",
|
||||
"status": "STATUS_CODE_UNSET",
|
||||
"span_id": "VMB1TYgfTdk=",
|
||||
"parent_span_id": "8xpUCowkZ+s=",
|
||||
"duration_ms": 0.134,
|
||||
"attempt": null
|
||||
},
|
||||
{
|
||||
"service": "messenger-worker",
|
||||
"name": ";",
|
||||
"kind": "SPAN_KIND_CLIENT",
|
||||
"status": "STATUS_CODE_UNSET",
|
||||
"span_id": "UHP5U7dMydE=",
|
||||
"parent_span_id": "8xpUCowkZ+s=",
|
||||
"duration_ms": 0.063,
|
||||
"attempt": null
|
||||
},
|
||||
{
|
||||
"service": "messenger-worker",
|
||||
"name": "ROLLBACK;",
|
||||
"kind": "SPAN_KIND_CLIENT",
|
||||
"status": "STATUS_CODE_UNSET",
|
||||
"span_id": "GSoLKxyZ0WA=",
|
||||
"parent_span_id": "8xpUCowkZ+s=",
|
||||
"duration_ms": 0.055,
|
||||
"attempt": null
|
||||
},
|
||||
{
|
||||
"service": "messenger-worker",
|
||||
"name": "BEGIN;",
|
||||
"kind": "SPAN_KIND_CLIENT",
|
||||
"status": "STATUS_CODE_UNSET",
|
||||
"span_id": "m+xW8xOWVyQ=",
|
||||
"parent_span_id": "8xpUCowkZ+s=",
|
||||
"duration_ms": 0.06,
|
||||
"attempt": null
|
||||
},
|
||||
{
|
||||
"service": "messenger-worker",
|
||||
"name": "UPDATE",
|
||||
"kind": "SPAN_KIND_CLIENT",
|
||||
"status": "STATUS_CODE_UNSET",
|
||||
"span_id": "c+H4LJWBCek=",
|
||||
"parent_span_id": "8xpUCowkZ+s=",
|
||||
"duration_ms": 0.19,
|
||||
"attempt": null
|
||||
},
|
||||
{
|
||||
"service": "messenger-worker",
|
||||
"name": "INSERT",
|
||||
"kind": "SPAN_KIND_CLIENT",
|
||||
"status": "STATUS_CODE_UNSET",
|
||||
"span_id": "AYRYePBZsqE=",
|
||||
"parent_span_id": "8xpUCowkZ+s=",
|
||||
"duration_ms": 0.343,
|
||||
"attempt": null
|
||||
},
|
||||
{
|
||||
"service": "messenger-worker",
|
||||
"name": "UPDATE",
|
||||
"kind": "SPAN_KIND_CLIENT",
|
||||
"status": "STATUS_CODE_UNSET",
|
||||
"span_id": "XUj8IqOu4fY=",
|
||||
"parent_span_id": "8xpUCowkZ+s=",
|
||||
"duration_ms": 0.34,
|
||||
"attempt": null
|
||||
},
|
||||
{
|
||||
"service": "messenger-worker",
|
||||
"name": "INSERT",
|
||||
"kind": "SPAN_KIND_CLIENT",
|
||||
"status": "STATUS_CODE_UNSET",
|
||||
"span_id": "f1ZCF+vhHKg=",
|
||||
"parent_span_id": "8xpUCowkZ+s=",
|
||||
"duration_ms": 0.106,
|
||||
"attempt": null
|
||||
},
|
||||
{
|
||||
"service": "messenger-worker",
|
||||
"name": "COMMIT;",
|
||||
"kind": "SPAN_KIND_CLIENT",
|
||||
"status": "STATUS_CODE_UNSET",
|
||||
"span_id": "EGs4gQZnt0g=",
|
||||
"parent_span_id": "8xpUCowkZ+s=",
|
||||
"duration_ms": 0.219,
|
||||
"attempt": null
|
||||
}
|
||||
]
|
||||
}
|
||||
}
|
||||
exit_code: 0 elapsed_seconds: 13.425
|
||||
@@ -1,45 +0,0 @@
|
||||
date: 2026-11-06T23:47:04Z commit: bc1d7aa7713858acb5d65b61d07e69a640f1ee97
|
||||
environment: {"COMPOSE_PROJECT_NAME": "mtusi2026lab6", "LB_HTTP_PORT": "18086", "LB_STATS_PORT": "26085", "BASE_URL": "http://127.0.0.1:18086", "NO_PROXY": "localhost,127.0.0.1,::1"}
|
||||
$ python3 scripts/obs_incidents.py worker
|
||||
{
|
||||
"started": "2026-11-06T23:47:04+00:00",
|
||||
"finished": "2026-11-06T23:48:04+00:00",
|
||||
"result": "PASS",
|
||||
"scenario": "worker",
|
||||
"observations": {
|
||||
"stopped": "2026-11-06T23:47:05+00:00",
|
||||
"restored": "2026-11-06T23:47:52+00:00",
|
||||
"jobs": 8,
|
||||
"backlog": {
|
||||
"depth": 8.0,
|
||||
"age_seconds": 34.470043
|
||||
},
|
||||
"firing": {
|
||||
"utc": "2026-11-06T23:47:49+00:00",
|
||||
"state": "firing",
|
||||
"alerts": [
|
||||
{
|
||||
"labels": {
|
||||
"alertname": "MessengerQueueLag",
|
||||
"severity": "warning"
|
||||
},
|
||||
"annotations": {
|
||||
"description": "Target is 95% ready within 30 seconds over 1 hour; depth includes retry and leased work.",
|
||||
"runbook": "infra/prometheus/runbooks.md#messengerqueuelag",
|
||||
"summary": "Durable attachment backlog has waited more than 15 seconds"
|
||||
},
|
||||
"state": "firing",
|
||||
"activeAt": "2026-11-06T23:47:33.389340978Z",
|
||||
"value": "3.4470043e+01"
|
||||
}
|
||||
]
|
||||
},
|
||||
"resolved": {
|
||||
"utc": "2026-11-06T23:48:04+00:00",
|
||||
"state": "resolved",
|
||||
"alerts": []
|
||||
},
|
||||
"depth_after": 0.0
|
||||
}
|
||||
}
|
||||
exit_code: 0 elapsed_seconds: 59.808
|
||||
Some files were not shown because too many files have changed in this diff Show More
Reference in New Issue
Block a user