forked from mtusi2026/mtusi2026lab2
Compare commits
| Author | SHA1 | Date | |
|---|---|---|---|
|
|
6d8b76b447 |
@@ -42,5 +42,3 @@ compose*.yaml
|
||||
lab.json
|
||||
requirements-dev.txt
|
||||
.claude
|
||||
|
||||
.verification/
|
||||
|
||||
+4
-74
@@ -9,78 +9,8 @@ DATABASE_URL_FILE=/run/secrets/database_url
|
||||
# Optional on 3, required use on 4 in lab2; Redis OR Valkey:
|
||||
SESSION_STORE=postgres
|
||||
CACHE_URL_FILE=/run/secrets/cache_url
|
||||
API_REPLICAS=2
|
||||
IDEMPOTENCY_TTL_SECONDS=86400
|
||||
S3_ENDPOINT=http://s3:9000
|
||||
S3_REGION=us-east-1
|
||||
S3_BUCKET=messenger-attachments
|
||||
S3_ACCESS_KEY_ID_FILE=/run/secrets/s3_access_key_id
|
||||
S3_SECRET_ACCESS_KEY_FILE=/run/secrets/s3_secret_access_key
|
||||
MAX_UPLOAD_BYTES=10485760
|
||||
MAX_IMAGE_PIXELS=40000000
|
||||
BROKER_URL_FILE=/run/secrets/broker_url
|
||||
WORKER_CONCURRENCY=2
|
||||
JOB_MAX_ATTEMPTS=5
|
||||
JOB_TIMEOUT_SECONDS=60
|
||||
STAGING_RETENTION_SECONDS=86400
|
||||
# Solution-specific: published LB ports, replica limits, workers and pool per replica,
|
||||
# LB queue per replica, drain window before closing the listener on SIGTERM, PostgreSQL
|
||||
# limits, load generator limits (profile bench), cursor key file. API_PORT/SHORTTTL_PORT of lab2 are gone:
|
||||
# only the load balancer is published.
|
||||
LB_HTTP_PORT=18085
|
||||
LB_STATS_PORT=25085
|
||||
API_CPUS=1
|
||||
API_MEMORY=512m
|
||||
WEB_CONCURRENCY=2
|
||||
DB_POOL_MAX_SIZE=8
|
||||
API_SERVER_MAXCONN=64
|
||||
DRAIN_SECONDS=2
|
||||
PG_MAX_CONNECTIONS=200
|
||||
PG_CPUS=2
|
||||
PG_MEMORY=1g
|
||||
K6_CPUS=2
|
||||
K6_MEMORY=512m
|
||||
# Solution-specific: host ports of the API and of the short TTL instance, workers, cursor key file.
|
||||
API_PORT=8080
|
||||
SHORTTTL_PORT=8082
|
||||
WEB_CONCURRENCY=4
|
||||
CURSOR_SECRET_FILE=/run/secrets/cursor_secret
|
||||
# Solution-specific for lab4: S3 client timeouts (connect + read, two attempts stay below
|
||||
# REQUEST_TIMEOUT_SECONDS=8), parallel image checks per worker, RustFS memory limit.
|
||||
S3_CONNECT_TIMEOUT_SECONDS=1
|
||||
S3_READ_TIMEOUT_SECONDS=2
|
||||
IMAGE_CHECK_CONCURRENCY=2
|
||||
S3_MEMORY=512m
|
||||
# Solution-specific for lab4 grade 4: upload bodies buffered at once per worker, grace period
|
||||
# before an abandoned pending upload is swept, sweep interval and rows per sweep pass.
|
||||
UPLOAD_CONCURRENCY=3
|
||||
UPLOAD_GRACE_SECONDS=900
|
||||
UPLOAD_SWEEP_INTERVAL_SECONDS=30
|
||||
UPLOAD_SWEEP_BATCH=100
|
||||
# Fixed glibc mmap threshold for the API: buffers above 128 KiB are returned to the system on free.
|
||||
MALLOC_MMAP_THRESHOLD_=131072
|
||||
# Solution-specific for lab5: RabbitMQ management UI on 127.0.0.1, backoff base of a transient
|
||||
# retry (doubles per attempt up to 60 s), relay poll and sweep intervals, worker limits and the
|
||||
# PostgreSQL pool of relay and worker. FAULT_POINT is set only by infra/compose.faults.yaml.
|
||||
BROKER_MANAGEMENT_PORT=25086
|
||||
JOB_BACKOFF_BASE_SECONDS=2
|
||||
OUTBOX_POLL_SECONDS=1
|
||||
SWEEP_INTERVAL_SECONDS=5
|
||||
WORKER_CPUS=2
|
||||
WORKER_MEMORY=1g
|
||||
PIPELINE_DB_POOL_MAX_SIZE=4
|
||||
# Solution-specific for lab5 grade 4: render time per job (the render process is killed after it),
|
||||
# address space of one render process (WORKER_MEMORY >= WORKER_CONCURRENCY * RENDER_MEMORY_MB plus
|
||||
# ~120 MiB of the worker itself), jobs per render process before it is replaced.
|
||||
RENDER_TIMEOUT_SECONDS=30
|
||||
RENDER_MEMORY_MB=448
|
||||
RENDER_TASKS_PER_CHILD=100
|
||||
# Minimal client transfer rate, bytes/s: every body byte moved in either direction extends the
|
||||
# request deadline by 1/rate, so slow but steady uploads and downloads outlive REQUEST_TIMEOUT_SECONDS.
|
||||
MIN_TRANSFER_RATE_BYTES=131072
|
||||
# Solution-specific for lab4 track 2: limits of the one-off reconciler (profile reconcile), its S3
|
||||
# read timeout for listing pages, optional CPU pinning of the measured services (empty = no pinning)
|
||||
# and the CPU limit of RustFS (make reconcile-cost raises it with its memory for the 100k point).
|
||||
RECONCILE_CPUS=1
|
||||
RECONCILE_MEMORY=256m
|
||||
RECONCILE_S3_READ_TIMEOUT_SECONDS=10
|
||||
RECONCILE_CPUSET=
|
||||
S3_CPUSET=
|
||||
PG_CPUSET=
|
||||
S3_CPUS=1
|
||||
|
||||
@@ -1,4 +1,4 @@
|
||||
## Лабораторная 5
|
||||
## Лабораторная 2
|
||||
|
||||
Автор / группа: TODO
|
||||
Целевая оценка (3/4/5): TODO
|
||||
|
||||
@@ -19,7 +19,7 @@ jobs:
|
||||
- run: make student-test VENV=.venv
|
||||
|
||||
acceptance:
|
||||
name: Стенд Compose с RabbitMQ, relay и worker за HAProxy, smoke, pipeline, отказ реплики, рестарт и отказы зависимостей
|
||||
name: Стенд Compose, smoke, рестарт и отказы зависимостей
|
||||
runs-on: ubuntu-latest
|
||||
steps:
|
||||
- uses: actions/checkout@v4
|
||||
@@ -31,91 +31,27 @@ jobs:
|
||||
- name: Поднять стенд из чистого clone
|
||||
run: make up
|
||||
|
||||
- name: Публичный smoke через балансировщик
|
||||
- name: Публичный smoke
|
||||
run: make test
|
||||
|
||||
- name: Топология брокера, consumer с prefetch и права клиентов
|
||||
run: make topology
|
||||
|
||||
- name: Уровни «3» и «4» pipeline — worker остановлен, рестарт брокера, дубль, S3, попытки, варианты и пределы, падения в окнах 2–5, аренда, replay, DLQ, jitter, retention
|
||||
run: |
|
||||
make suite-preflight
|
||||
make level4
|
||||
|
||||
- name: Сообщение задания в очереди, 409 до ready и SIGTERM relay и worker
|
||||
run: make pipeline-evidence
|
||||
|
||||
- name: Вложение после остановки принявшей его реплики и при недоступном S3
|
||||
run: |
|
||||
make scenario SCENARIO=failover-upload
|
||||
make scenario SCENARIO=s3-outage
|
||||
|
||||
- name: Приватный bucket, ограниченный ключ API и повторный bootstrap
|
||||
run: make s3-check
|
||||
|
||||
- name: Негативный suite вложений, компенсация, уборка после grace, обрыв и зависание загрузки
|
||||
run: make upload-faults
|
||||
|
||||
- name: Несколько реплик на одном токене и гонка одного ключа
|
||||
run: make lb-check
|
||||
|
||||
- name: Повтор неподтверждённой записи после потерянного ответа и убитой реплики
|
||||
run: make retry-check
|
||||
|
||||
- name: Остановка реплики под запросами, затем возврат
|
||||
run: |
|
||||
make test-failover ACTION_SCRIPT=scripts/stop-one.sh
|
||||
docker compose ps -a api
|
||||
make restore
|
||||
|
||||
- name: Рестарт LB, API и хранилищ с сохранением volumes
|
||||
- name: Рестарт API и хранилищ с сохранением volumes
|
||||
run: make test-persistence ACTION_SCRIPT=scripts/restart.sh
|
||||
|
||||
- name: Отказы Valkey и PostgreSQL, гонка и rollback
|
||||
- name: Отказы Valkey и PostgreSQL, expiry, гонка и rollback
|
||||
run: make test-faults
|
||||
|
||||
- name: Лимиты, порты, секреты, volumes и сети по политике
|
||||
run: make limits
|
||||
|
||||
- name: Время обнаружения отказа балансировщиком (SIGTERM, kill, pause, PostgreSQL)
|
||||
run: make detection
|
||||
|
||||
- name: Наружу опубликован только балансировщик
|
||||
run: |
|
||||
docker compose ps --format '{{.Service}} {{.Ports}}' | awk '$2 != "" && $1 != "lb" && $1 != "broker" {print; bad=1} END {exit bad}'
|
||||
docker compose ps --format '{{.Service}} {{.Ports}}' | awk '$1 == "broker" && $2 !~ /^127\.0\.0\.1:/ {print; bad=1} END {exit bad}'
|
||||
|
||||
- name: Процессы работают не от root
|
||||
run: |
|
||||
for id in $(docker compose ps -q); do
|
||||
docker top "$id" -eo pid,uid,comm | awk 'NR>1 && $2==0 {print; bad=1} END {exit bad}' || exit 1
|
||||
done
|
||||
docker compose top | awk 'NR>1 && $3=="0" {print; bad=1} END {exit bad}'
|
||||
|
||||
- name: Одноразовые сервисы не от root
|
||||
run: |
|
||||
for service in migrate s3-init; do
|
||||
user=$(docker inspect -f '{{.Config.User}}' "$(docker compose ps -aq "$service")")
|
||||
echo "$service: $user"
|
||||
case "${user%%:*}" in ""|0|root) exit 1 ;; esac
|
||||
done
|
||||
|
||||
- name: Корректная остановка relay и worker по SIGTERM
|
||||
run: |
|
||||
start=$(date +%s)
|
||||
docker compose stop -t 10 relay worker
|
||||
elapsed=$(( $(date +%s) - start ))
|
||||
codes=$(docker inspect -f '{{.State.ExitCode}}' $(docker compose ps -aq relay worker) | sort -u)
|
||||
echo "остановка за ${elapsed} с, коды завершения ${codes}"
|
||||
test "$elapsed" -le 10 && test "$codes" = "0"
|
||||
|
||||
- name: Корректная остановка реплик API по SIGTERM
|
||||
- name: Корректная остановка API по SIGTERM
|
||||
run: |
|
||||
start=$(date +%s)
|
||||
docker compose kill --signal SIGTERM api
|
||||
codes=$(docker wait $(docker compose ps -aq api) | sort -u)
|
||||
code=$(docker wait "$(docker compose ps -aq api)")
|
||||
elapsed=$(( $(date +%s) - start ))
|
||||
echo "остановка за ${elapsed} с, коды завершения ${codes}"
|
||||
test "$elapsed" -le 10 && test "$codes" = "0"
|
||||
echo "остановка за ${elapsed} с, код завершения ${code}"
|
||||
test "$elapsed" -le 10 && test "$code" = "0"
|
||||
|
||||
- name: Журналы стенда
|
||||
if: always()
|
||||
|
||||
@@ -38,5 +38,3 @@ coverage/
|
||||
|
||||
# Локальные настройки агента
|
||||
.claude/settings.local.json
|
||||
|
||||
.verification/
|
||||
|
||||
@@ -1,90 +1,61 @@
|
||||
## Что это за репозиторий
|
||||
|
||||
Skeleton лабораторной 5 курса «Мессенджер под нагрузкой» (МТУСИ, 7 независимых лаб) и решение в ветке `solution/bpi2303-kostylev`. Skeleton даёт задание (`README.md`), нормативный контракт (`contracts/`) и публичные black-box проверки (`tests/`). Реализация API, worker, relay, Dockerfile, compose-стенд, конфигурация балансировщика, S3 и брокера, миграции, хуки отказов и собственные тесты — студенческие; решение лабы 5 построено переносом решения лабы 4.
|
||||
Skeleton лабораторной 2 курса «Мессенджер под нагрузкой» (МТУСИ, 7 независимых лаб) и решение в ветке `solution/bpi2303-kostylev`. Skeleton даёт задание (`README.md`), нормативный контракт (`contracts/`) и публичные black-box проверки (`tests/`). Реализация API, Dockerfile, compose-стенд, миграции и собственные тесты — студенческие; решение лабы 2 построено переносом решения лабы 1.
|
||||
|
||||
Лаба 5: приём вложения отделён от тяжёлой обработки. `POST /api/v1/chats/{chat_id}/attachments` проверяет файл как в лабе 4, кладёт оригинал в приватный префикс `staging/` bucket **RustFS** и одной транзакцией PostgreSQL фиксирует вложение `queued`, задание (`jobs`) и строку **transactional outbox**; только после этого отвечает `202` со снимком `queued`. Отдельный сервис `relay` публикует outbox в **RabbitMQ 4.1** (quorum queue, DLX, publisher confirms, `mandatory`, persistent), отдельный сервис `worker` (тот же образ, свой entrypoint) потребляет очередь через **FastStream** поверх aio-pika с ручным `ack` строго после `COMMIT` результата, захватывает задание арендой (`lease_token`), публикует оригинал в `originals/` и строит варианты Pillow. Источник истины состояний — PostgreSQL, брокер — транспорт и будильник. Остаётся всё из лаб 1–4: HAProxy перед ≥2 репликами, `X-Instance-Id`, `Idempotency-Key`, Basic → Bearer, хуки остановки реплики и рестарта стенда.
|
||||
|
||||
Текущий доступ к PostgreSQL — **SQLAlchemy 2.0.45 async**, `postgresql+asyncpg`, `async_sessionmaker`, ORM/Core и `DeclarativeBase`; миграции — **Alembic 1.16.5**, каталог `alembic/versions/`, async `alembic/env.py`. Compose-service `migrate` выполняет `alembic upgrade head` под advisory lock с проверкой legacy-схемы. Сырой asyncpg и прежние SQL-миграции не являются текущей архитектурой.
|
||||
Лаба 2: состояние переезжает в **PostgreSQL**, пользователи входят по паролю (`Basic` только на `POST /api/v1/auth/sessions`), остальные endpoint требуют непрозрачный `Bearer`-токен сессии с TTL и отзывом, `X-User-Id` игнорируется. На «4» появляется **Valkey** с конкретной ролью (здесь — read-through кэш сессий поверх PostgreSQL). Данные и действующие сессии переживают рестарт API и хранилищ с сохранёнными volumes.
|
||||
|
||||
## Команды
|
||||
|
||||
```sh
|
||||
make check # offline: структура skeleton, JSON, локальные $ref, синтаксис Python, версия 1.5.0
|
||||
make validate PYTHON=.venv/bin/python # полная валидация OpenAPI 3.1 и jobs.schema.json (venv с requirements-dev.txt)
|
||||
make install # uv sync --group dev
|
||||
make check # offline: структура skeleton, JSON, локальные $ref, синтаксис Python
|
||||
make install # uv sync --group dev (включая openapi-spec-validator)
|
||||
make validate # полная валидация OpenAPI 3.1 (берёт .venv/bin/python после make install)
|
||||
make lint # ruff check + ruff format --check + ty check; обязательно перед commit
|
||||
make student-test # собственные тесты (одноразовые PostgreSQL, Valkey, RustFS и RabbitMQ в Docker)
|
||||
make student-test # собственные тесты (поднимают одноразовые PostgreSQL и Valkey в Docker)
|
||||
make student-test PYTEST_ARGS='-v -k cache' # выборка тестов с именами
|
||||
|
||||
make secrets # локальные secrets/* (PostgreSQL, Valkey, S3 root/API/worker, RabbitMQ) и .env
|
||||
make up # docker compose build, затем up -d --wait (relay и worker пересоздаются на новом образе): хранилища и broker → migrate, s3-init → api ×2, relay, worker → lb
|
||||
make test # публичный smoke через LB (BASE_URL=http://127.0.0.1:18085)
|
||||
make test-persistence ACTION_SCRIPT=scripts/restart.sh # рестарт lb, api, relay, worker и postgres, valkey, s3, broker с volumes
|
||||
make test-failover ACTION_SCRIPT=scripts/stop-one.sh # остановка реплики TARGET_INSTANCE_ID под запросами
|
||||
make restore # вернуть остановленные реплики и дождаться их в ротации LB
|
||||
make worker-stop / worker-start # демонстрация «worker недоступен»
|
||||
make queues # очереди брокера: ready, unacked, consumers
|
||||
make level3 # сценарии уровня «3» suite (scripts/pipeline_suite.py) → evidence/level3.json
|
||||
make level4 # сценарии уровней «3» и «4» suite и инварианты → evidence/level4.json
|
||||
make track2 TRACK2_OUTPUT=evidence/local-track2.json # 13 сценариев и 8 инвариантов трека 2
|
||||
make reprocess ID=… PIPELINE_VERSION=2 # новая версия обработки доступного исходника
|
||||
make failed / make replay ID=… / make dlq # реестр failed, явный replay, просмотр DLQ (python -m messenger.admin, rabbitmqadmin)
|
||||
make down # остановка своего project без удаления постоянных volumes
|
||||
make secrets # локальные secrets/* и .env из .env.example (не коммитятся)
|
||||
make up # docker compose up -d --build --wait: postgres, valkey, migrate, api
|
||||
make test # публичный smoke против http://localhost:$API_PORT (Makefile читает .env)
|
||||
make test-persistence ACTION_SCRIPT=scripts/restart.sh # рестарт api, postgres, valkey с сохранением volumes
|
||||
make test-faults # expiry, logout, гонки, rollback, отказы Valkey и PostgreSQL против стенда
|
||||
make seed explain # 20 000 сообщений и EXPLAIN (ANALYZE, BUFFERS) индекса истории
|
||||
make track-bench # трек 5: база track, 1M сообщений по Ципфу, 4 набора индексов, pgbench
|
||||
make track-recovery # трек 5: pg_dump → новый postgres-restore → pg_restore → сверка, RTO/RPO
|
||||
make down # остановка без удаления данных (с профилями faults и track); make reset-data — удаление volumes
|
||||
make toolchain-evidence # и другие *-evidence: файлы evidence/ с датой и коммитом (список — REPORT.md)
|
||||
```
|
||||
|
||||
`tests/*.py` и `scripts/*.py` — только stdlib, синтаксис Python 3.9 (`make check` разбирает их системным `python3`). Проверки сами не поднимают стенд. Хуки `scripts/stop-one.sh` и `scripts/restart.sh` запускаются тестом без shell, поэтому исполняемые и с shebang. Данные не удаляются автоматически: каждый прогон smoke создаёт новых синтетических пользователей и вложения.
|
||||
`tests/*.py` и `scripts/*.py` — только stdlib, синтаксис Python 3.9 (`make check` разбирает их системным `python3`). Проверки сами не поднимают стенд. Данные не удаляются автоматически: в API нет DELETE, каждый прогон smoke создаёт новых синтетических пользователей.
|
||||
|
||||
## Архитектура skeleton
|
||||
|
||||
- `lab.json` — единственный источник номера лабы (5). От него зависят `scripts/check_contract.py` (`info.version == 1.5.0`) и `tests/client.py` (ветки `LAB>=5`: upload отвечает `202 queued`, сообщение с вложением сразу, ожидание `ready` до 60 с от второго участника, ровно один вариант `thumbnail` 256×160 настоящим JPEG).
|
||||
- `tests/` байт в байт как в лабе 4; поведение переключает только `lab.json`. `tests/resilience.py` после хука рестарта запрашивает метаданные и оригинал один раз с таймаутом 2 с.
|
||||
- `contracts/jobs.schema.json` — формат сообщения брокера (7 обязательных полей, без bytes, URL, ключей S3 и filename); `contracts/attachment-states.md` — машина состояний и окна отказа.
|
||||
- `contracts/infrastructure.json` — роли `api`, `postgres`, `load_balancer`, `s3`, `broker` (persistent volume, at-least-once), `worker` (отдельный процесс). `compose.example.yaml` — только worksheet ролей.
|
||||
- `lab.json` — единственный источник номера лабы (2). От него зависят `scripts/check_contract.py` (`info.version == 1.2.0`, наличие `/api/v1/auth/sessions`) и `tests/client.py` (Bearer-ветки smoke с lab2).
|
||||
- `tests/client.py` валидирует ответы по подмножеству JSON Schema прямо из `contracts/openapi.json`; для `401` на lab≥2 проверяет `WWW-Authenticate`: `Basic` на `/api/v1/auth/sessions`, `Bearer` на остальных путях.
|
||||
- `tests/resilience.py --mode persistence` держит токен только в памяти, запускает hook без shell (≤90 с, код 0), ждёт `/health/ready` и `/users/me` прежним токеном до 90 с, сверяет историю. Таймаут клиента 2 с.
|
||||
- `contracts/infrastructure.json` — роли: `api`, `postgres` (persistent volume), опциональный `redis_or_valkey` (обязателен на «4»). `compose.example.yaml` — только worksheet ролей.
|
||||
|
||||
## Ключевые правила контракта (lab5)
|
||||
## Ключевые правила контракта (lab2)
|
||||
|
||||
- Upload: те же лимиты и коды, что в лабе 4 (`413`, `415`, `400`, `404`), но успех — `202 Attachment` со снимком `status=queued`, `variants=[]`, `error_code=null`; снимок берётся из записанного объекта, а не перечитывается после публикации. `202` — только после записи оригинала в `staging/` и `COMMIT` вложения, задания и outbox.
|
||||
- Состояния: `queued → processing → ready | failed`; `processing → queued` при временной ошибке или истёкшей аренде; `failed → queued` только явным replay. `ready` не откатывается. `ready` выставляется, только когда записаны оригинал и все обещанные уровнем варианты.
|
||||
- `/content` для `queued`, `processing`, `failed` — `409 conflict` для любого `variant`, включая `original`; неизвестный `variant` — `400`; отсутствующий вариант `ready`-вложения — `404`; посторонний — `404`. Варианты: `thumbnail` JPEG вписан в 256×256 без увеличения, EXIF orientation применяется, alpha на белом, размеры вниз, минимум 1 px.
|
||||
- Сообщение: вложение `queued`/`processing` прикрепляется (`201`), `failed` — `409`, вложение другого чата или неизвестное — `404`.
|
||||
- Сообщение брокера — ровно поля `jobs.schema.json`; `job_id` не меняется при redelivery, `attempt` растёт только при управляемом повторе через outbox. Ключ эффекта — `(attachment_id, pipeline_version, variant)`.
|
||||
- Сохраняются правила lab4 (сырые байты, тип по содержимому, скачивание только через API без redirect), lab3 (`X-Instance-Id`, `Idempotency-Key`, LB не повторяет upload), lab2 (`Basic` только на входе, `Bearer` дальше, `WWW-Authenticate` по пути) и lab1 (формат ошибки, посторонний → `404`, keyset `(created_at, id)`, время RFC 3339 с `Z`).
|
||||
- `POST /api/v1/users` публичен, тело `{username, display_name, password}`; `password` 12–128 code points, хранится только как Argon2id; `User` без пароля и hash; дубль `username` → `409`, в том числе в гонке.
|
||||
- `POST /api/v1/auth/sessions`: только `Authorization: Basic`, без тела; неверный пароль и неизвестный username — одинаковый `401` с `WWW-Authenticate: Basic realm="messenger", charset="UTF-8"`. Ответ `201 {token, token_type:"Bearer", expires_at, user}`.
|
||||
- Остальные `/api/v1/*` — только `Authorization: Bearer <token>`; истёкший, отозванный, неизвестный токен и `Basic` на бизнес-endpoint → `401` с `WWW-Authenticate: Bearer realm="messenger"`. `X-User-Id` игнорируется полностью.
|
||||
- `DELETE /api/v1/auth/sessions/current` → `204` без тела; повтор → `401`. TTL абсолютный (`SESSION_TTL_SECONDS`), рестарт его не продлевает.
|
||||
- Аутентификация раньше доступа и валидации: без валидного Bearer — `401` даже при битом JSON. Отказ зависимости при проверке сессии — `503 unavailable`, не `401` и не анонимный доступ.
|
||||
- Прежние правила lab1 сохраняются: `X-Request-Id` в каждом ответе, формат ошибки `{"error":{code,message,request_id}}`, посторонний → `404`, keyset `(created_at, id)`, `limit` 1–100, cursor привязан к чату, время RFC 3339 с `Z`.
|
||||
|
||||
## Правила работы с репозиторием
|
||||
|
||||
- Не менять и не ослаблять `contracts/`, `tests/`, `README.md`, `COURSE.md`, рубрику. Расхождение оформляется вопросом преподавателю.
|
||||
- Код — `src/messenger/`, миграции — `alembic/versions/`, конфигурация LB, нагрузки, S3 и брокера — `infra/`, хуки и обвязка стенда — `scripts/`, собственные тесты — `student-tests/`, обезличенные доказательства — `evidence/`.
|
||||
- Код — `src/messenger/`, миграции — `src/messenger/migrations/NNNN_*.sql`, собственные тесты — `student-tests/`, обезличенные доказательства — `evidence/`.
|
||||
- Без комментариев в коде; отступы — пробелы (`[tool.ruff.format]`); Python 3.14 без `from __future__ import annotations` и `TYPE_CHECKING`.
|
||||
- Порты реплик API, S3, AMQP наружу не публикуются: только LB и UI брокера на `127.0.0.1`. API к брокеру не подключается. Клиенты брокера не объявляют очереди: топология — в `infra/rabbitmq/definitions.json`, права configure есть только у оператора.
|
||||
- `REPORT.md`: команды из чистого clone, архитектура, таблица «критерий → команда → наблюдение → файл», таблица отказов. PASS без команды не доказательство; для отказов — какой контейнер реально остановлен (`docker ps -a`).
|
||||
- Ветка `solution/bpi2303-kostylev`, коммиты на английском, перед каждым — `make lint`. Никогда не коммитить `.env`, `secrets/`, токены, ключи S3, пароли брокера, volumes, дампы.
|
||||
- Проверять документацию используемых библиотек через Context7. Изменения реализации проходят OpenSpec propose/apply/archive. `openspec/config.yaml` уже описывает SQLAlchemy/Alembic и ЛР5; оставшееся в design правило `201` относится к прежней загрузке ЛР4, нормативный успех ЛР5 — `202`.
|
||||
- Автор работы — Костылев Артём, БПИ2303. Не приписывать авторство Claude. Публикация только в private MTUCI-Labs и только назначенным агентом фазы PUBLICATION; вне неё не делать push и не отправлять Telegram.
|
||||
|
||||
## Порядок этапов и Docker
|
||||
|
||||
- Только runner управляет агентами: один переносит основу и последовательно реализует 3 → 4 → 5 с evidence, затем отдельные review → fix только major → re-review, отчёт, один агент нагрузки и публикации. Review/отчёт предыдущей лабы могут идти параллельно реализации следующей. Самостоятельно фоновых агентов не запускать, runner/state не менять.
|
||||
- Major — доказанная угроза безопасности, потеря/повреждение данных, недоступность сервиса или провал обязательного сценария. Остальное — minor: сохранять в findings и ограничениях REPORT, не исправлять без назначения и не блокировать этапы. Обязательный FAIL нельзя объявлять PASS.
|
||||
- Менять только назначенную лабу; другую читать лишь через предоставленный snapshot. Перед итоговым review переносить применимые поздние исправления. Сохранять WIP; `reset/clean` и удаление пользовательских данных запрещены.
|
||||
- Разрешены основной project `mtusi2026lab5` в основном репозитории или `hlpipe-lab5-*` с working_dir под ним либо `/Users/artemkostylev/projects/learning/HL/labs/.pipeline/.runs/labs`. API — 18085, остальные порты — 25000–25999; текущие значения stats/UI — 25085/25086. Учитывать Compose env, не печатать секреты.
|
||||
- Обычные Docker-этапы работают совместно на отдельных project/портах/volumes; финальная нагрузка получает эксклюзивный доступ через runner. Останавливать только свой стенд, в конце — без `-v`. Фон и условия замеров фиксировать; пригодные серии сохранять, повторять только отсутствующие, затронутые или непригодные.
|
||||
- Отчётная фаза меняет только `REPORT.md`, `AGENTS.md`, `evidence/**/*.md`; не меняет код, конфиги, OpenSpec и сырые измерения. Docker, динамические/нагрузочные прогоны и полный `make student-test` в этой фазе запрещены; лёгкие check/validate/lint и OpenSpec validation допустимы.
|
||||
|
||||
## Состояние доказательств после ревью
|
||||
|
||||
Индекс — [evidence/README.md](evidence/README.md), отчёт — [REPORT.md](REPORT.md). Текущий код после исправления памяти и независимого re-review — `6096aa7948b8b666aa3892397a96d044a55f02c6` (M). Последняя полная динамическая квалификация — `0e921116610d289716af0a40ec823376eb8bbcbc` (D); предыдущее review — `42575281b352d35bda17ee7601bae5548a996e91` (R). От D к R менялись renderer PNG и policy RabbitMQ; от R к M из runtime изменён только renderer. Старые PASS не обозначать прогоном M.
|
||||
|
||||
Validation на `b30e2f6a84419d1ca64525ffb40df92183cccaef` (V, runtime = R) завершила реальный PostgreSQL outage: 12 requeue → ready без replay, policy `delivery-limit=-1` на сохранённом volume, DLQ не выросла. HTTP PNG: 8 fixtures / 48 сравнений вариантов v1/v2 PASS. Delivery subset: 12 сценариев / 8 инвариантов PASS. Student-test: 980 passed / 1 Linux-only skip. Исторический аудит — [evidence/load-validation.md](evidence/load-validation.md), результаты V — [evidence/final-validation-2026-11-07/RESULTS.md](evidence/final-validation-2026-11-07/RESULTS.md).
|
||||
|
||||
**Прежний major закрыт динамически на F `74c33160ac01618f70e9e1c6a121a5e45c3c7155` (runtime = M).** Четыре исходных PNG 8000×5000 и grayscale16 без tRNS прошли Linux с импортами worker при 448 MiB/30 с и HTTP 202 → ready в v1/v2. Два одновременных HTTP jobs: peak 844.41 MiB / 1 GiB, OOM=0. Boundary: 8 сценариев / 8 инвариантов, 11 ID / 59 объектов; малая HTTP-матрица: 8 fixtures / 48 сравнений / 8 инвариантов, 8 ID / 56 объектов. Принудительные лимиты, обычное задание после каждого отказа и cleanup после sweep — PASS. Student-test: 984 passed / 2 Linux-only skipped / 19 deselected; Linux-эквивалент выполнен отдельно. Исходные FAIL V сохранены, лимиты не увеличивались.
|
||||
|
||||
Актуальные команды и сырьё — [evidence/final-memory-validation-2026-11-07/RESULTS.md](evidence/final-memory-validation-2026-11-07/RESULTS.md), аудит применимости — [evidence/load-validation.md](evidence/load-validation.md). Полные track2, PostgreSQL outage и delivery subset приняты без повторения: соответствующий runtime не менялся. Стенд F остановлен, четыре volumes сохранены. Validation завершена; push/Telegram не выполнялись, публикация требует отдельного сообщения координатора с точным SHA. Документационные коммиты после F не меняют измеренный runtime.
|
||||
|
||||
Семь minor последнего review сохраняются в REPORT: crash_publish_confirm фактически после confirm до COMMIT outbox; limits.py имеет ложный FAIL порядка secrets; reconcile_track.py ожидает upload 201 ЛР4; failed upgrade v2 нельзя отдельно повторить при ready v1; UTC/elapsed run2/3 расходятся; design-правило config сохранило 201; JobMessage допускает преобразования типов и null вне jobs.schema.json. Последний minor воспроизведён reviewer в четырёх offline-пробах (bus/ack вместо reject); штатный relay формирует корректные сообщения, критичного последствия не установлено. Происхождение — [аудит обновления отчёта](evidence/report-memory-audit-2026-11-07.md). Корневые старые evidence до SQLAlchemy остаются историей.
|
||||
- `REPORT.md`: команды из чистого clone, архитектура, таблица «критерий → команда → наблюдение → файл». PASS без команды не доказательство.
|
||||
- Ветка `solution/bpi2303-kostylev`, коммиты на английском, перед каждым — `make lint`. Никогда не коммитить `.env`, `secrets/`, токены, volumes, дампы.
|
||||
|
||||
## Уровни оценки
|
||||
|
||||
Цель — **«5»**, трек 2 «Доказанная идемпотентность pipeline». Критерии подтверждены совокупностью сохранённых серий D/V и адресной validation F; прежний major закрыт, семь minor сохранены. Таблица доказательств и границы применимости — в `REPORT.md`.
|
||||
Решение заявлено на **«5»** с треком 2 «План запроса и восстановление»; таблица доказательств — в `REPORT.md`.
|
||||
|
||||
- **3** — `202 queued` после staging и `COMMIT` задания с outbox; отдельные `broker`, `relay`, `worker` в стенде; durable quorum queue, publisher confirm, ручной `ack` после `COMMIT`; состояния `queued/processing/ready/failed`, оригинал в `originals/` и thumbnail; ограниченный retry (`JOB_MAX_ATTEMPTS=5`) и `failed` с `error_code`; повтор job без второго набора вариантов; worker остановлен → upload → сообщение → рестарт API и broker → worker → `ready`; минимум lab4 сохранён.
|
||||
- **4** — crop и optimized WebP, лимиты worker по байтам, пикселям, времени и памяти, crash между `COMMIT` и publish, backoff с jitter и классификация ошибок, DLQ и replay, crash после записи объекта до `ack`, lease и fencing для зависшего `processing`, prefetch, очистка staging.
|
||||
- **5** — трек 2: `pipeline_version` 1 и 2, монотонная публикация, автоматический fault-injection (дубль, reorder, crash до и после side effect, устаревшая job) и проверка инвариантов одной командой.
|
||||
- **3** — контракт lab2, PostgreSQL с PK/FK/UNIQUE и миграциями, атомарное создание чата, Basic/Bearer/TTL/logout, Argon2id, `make test` и `make test-persistence ACTION_SCRIPT=scripts/restart.sh`.
|
||||
- **4** — Valkey с ролью и политикой инвалидации, параметризованный SQL, ограниченный пул и таймауты, гонка регистрации и rollback, индекс истории с EXPLAIN (ANALYZE, BUFFERS) на ≥10 000 сообщениях, автотесты expiry/logout/неверного пароля/недоступности Valkey и PostgreSQL.
|
||||
- **5** — трек 2: ≥100 000 сообщений с перекосом чатов, сравнение индексов и запросов, стоимость записи, backup → restore в новое хранилище → сверка, RTO/RPO.
|
||||
|
||||
+3
-7
@@ -24,10 +24,9 @@ ENV PYTHONUNBUFFERED=1 \
|
||||
HOST=0.0.0.0 \
|
||||
PORT=8080 \
|
||||
LOG_LEVEL=INFO \
|
||||
WEB_CONCURRENCY=2 \
|
||||
REQUEST_TIMEOUT_SECONDS=8 \
|
||||
DRAIN_SECONDS=2 \
|
||||
SHUTDOWN_TIMEOUT_SECONDS=6
|
||||
WEB_CONCURRENCY=4 \
|
||||
REQUEST_TIMEOUT_SECONDS=15 \
|
||||
SHUTDOWN_TIMEOUT_SECONDS=8
|
||||
|
||||
RUN groupadd --system --gid 10001 messenger \
|
||||
&& useradd --system --uid 10001 --gid messenger --no-create-home --shell /usr/sbin/nologin messenger
|
||||
@@ -36,9 +35,6 @@ COPY --from=builder --chown=root:root /opt/venv /opt/venv
|
||||
|
||||
WORKDIR /app
|
||||
|
||||
COPY --chown=root:root alembic.ini ./
|
||||
COPY --chown=root:root alembic ./alembic
|
||||
|
||||
USER 10001:10001
|
||||
|
||||
EXPOSE 8080
|
||||
|
||||
+1
-1
@@ -1,4 +1,4 @@
|
||||
# Памятка преподавателю — лабораторная 5
|
||||
# Памятка преподавателю — лабораторная 2
|
||||
|
||||
## Что подготовлено
|
||||
|
||||
|
||||
@@ -1,5 +1,9 @@
|
||||
SHELL_PORTS := $(foreach v,API_PORT SHORTTTL_PORT,$(if $(filter environment,$(origin $v)),$v=$($v)))
|
||||
-include .env
|
||||
$(foreach port,$(SHELL_PORTS),$(eval $(port)))
|
||||
|
||||
PYTHON ?= python3
|
||||
BASE_URL ?= http://$(shell docker compose port lb 8080 2>/dev/null || echo localhost:8080)
|
||||
BASE_URL ?= http://localhost:$(or $(API_PORT),8080)
|
||||
CA_FILE ?=
|
||||
ACTION_SCRIPT ?=
|
||||
TLS_ARGS = $(if $(CA_FILE),--ca-file "$(CA_FILE)",)
|
||||
@@ -7,55 +11,21 @@ TLS_ARGS = $(if $(CA_FILE),--ca-file "$(CA_FILE)",)
|
||||
VENV ?= .venv
|
||||
UV ?= uv
|
||||
COMPOSE ?= docker compose
|
||||
RATE ?= 100
|
||||
FROM_REV ?=
|
||||
SHIFT ?= 0
|
||||
SCRIPTS_PY = scripts/capture_evidence.py alembic scripts/scaling.py tools scripts/probe.py scripts/limits.py scripts/lab4_scenarios.py scripts/lab4_seed.py \
|
||||
scripts/upload_memory.py scripts/reconcile_check.py scripts/reconcile_track.py \
|
||||
scripts/make_images.py scripts/pipeline_suite.py scripts/pipeline_evidence.py
|
||||
SCENARIO ?= failover-upload
|
||||
PSQL = $(COMPOSE) exec -T postgres psql -U messenger -d messenger -X -q
|
||||
TRACK2_OUTPUT ?= evidence/track2.json
|
||||
TRACK2_SCENARIOS = smoke_pipeline,duplicate_after_ready,crash_commit_publish,crash_publish_confirm,crash_after_s3_before_commit,crash_after_commit_before_ack,lease_expiry_fencing,crash_before_side_effect,worker_kill_mid_task,duplicate_in_flight,reorder_attempts,reorder_versions,stale_after_new_version
|
||||
PIPELINE_VERSION ?= 2
|
||||
SHORTTTL_PORT ?= 8082
|
||||
PYTEST_ARGS ?=
|
||||
TRACK_ARGS ?=
|
||||
SHORTTTL_URL ?= http://localhost:$(SHORTTTL_PORT)
|
||||
|
||||
.PHONY: help check validate test load test-persistence test-failover \
|
||||
.PHONY: help check validate test load test-persistence \
|
||||
install lint format typecheck student-test \
|
||||
secrets up down reset-data migrate ps logs restore lb-check failover-evidence stack-evidence \
|
||||
persistence-evidence storage-evidence cache-evidence test-faults seed explain \
|
||||
limits detection failover-each rolling-update lab4-level4 \
|
||||
scenario s3-check attachments-evidence upload-faults upload-memory \
|
||||
images queues topology worker-stop worker-start broker-restart suite-preflight level3 \
|
||||
pipeline-evidence level4 replay failed dlq \
|
||||
faults-evidence retry-check reconcile reconcile-demo reconcile-cost load-evidence \
|
||||
clean-clone-evidence overload-leftovers
|
||||
|
||||
.NOTPARALLEL:
|
||||
secrets up down reset-data migrate ps logs persistence-evidence storage-evidence cache-evidence test-faults seed explain track-bench track-recovery \
|
||||
migrations-evidence environment-evidence sigterm-evidence load-evidence toolchain-evidence faults-evidence
|
||||
|
||||
help:
|
||||
@echo "check: offline structure; validate: full OpenAPI (requirements-dev.txt); test: running API; load: synthetic writes"
|
||||
@echo "install/lint/typecheck/student-test: студенческий тулчейн"
|
||||
@echo "secrets/up/down/migrate/ps/logs: стенд Docker Compose; reset-data: намеренное удаление volumes"
|
||||
@echo "restore: вернуть остановленные реплики; lb-check: реплики на одном токене и 20 гонок одного ключа"
|
||||
@echo "lab4-level4 = limits, lb-check, detection, failover-each, rolling-update [FROM_REV=<коммит>]; RATE=$(RATE) rps"
|
||||
@echo "scenario SCENARIO=failover-upload|s3-outage → evidence/<сценарий>.json; s3-check; attachments-evidence"
|
||||
@echo "upload-faults: негативный suite, компенсация, уборка, обрыв и зависание загрузки против стенда"
|
||||
@echo "upload-memory: пик памяти реплик при 10/20/40 одновременных загрузках 1 и 10 MiB → evidence/upload-memory/"
|
||||
@echo "lab5: queues, topology, worker-stop/worker-start, broker-restart, images, suite-preflight, level3, level4"
|
||||
@echo "lab5 оператор: failed (реестр), replay ID=<attachment_id>, dlq (просмотр DLQ без извлечения)"
|
||||
@echo "retry-check: потерянный ответ на живой и на убитой реплике, повтор тем же ключом"
|
||||
@echo "lab4-level4 = limits, lb-check, detection, failover-each, rolling-update [FROM_REV=<коммит>]; RATE=$(RATE) rps"
|
||||
@echo "scenario SCENARIO=failover-upload|s3-outage → evidence/<сценарий>.json; s3-check; attachments-evidence"
|
||||
@echo "upload-faults: негативный suite, компенсация, уборка, обрыв и зависание загрузки против стенда"
|
||||
@echo "upload-memory ARGS='--out evidence/upload-memory/runN': пик памяти реплик при 10/20/40 загрузках 1 и 10 MiB"
|
||||
@echo "load-evidence: tests/load.py ×3 клиентом-контейнером в сети edge стенда → evidence/load.txt, evidence/load/"
|
||||
@echo "overload-leftovers: после upload-memory — намерения от 503, сверка и уборка после grace → evidence/overload-leftovers.txt"
|
||||
@echo "clean-clone-evidence: блок «Запуск из чистого clone» в свежем клоне рядом → evidence/clean-clone.txt"
|
||||
@echo "reconcile ARGS='--apply --deep': сверка PostgreSQL ↔ S3 (без ARGS — dry-run); трек 2:"
|
||||
@echo "reconcile-demo: внедрение ошибок, dry-run/apply/повтор, безопасность, нагрузка → evidence/reconcile/"
|
||||
@echo "reconcile-cost: стоимость обхода 1k/10k/30k/100k объектов × 3 прогона на чистом стенде → evidence/reconcile/cost/"
|
||||
@echo "BASE_URL=$(BASE_URL) (порт lb из docker compose); failover-evidence SHIFT=1 — сдвиг round robin на вторую реплику"
|
||||
|
||||
check:
|
||||
$(PYTHON) scripts/check_contract.py
|
||||
@@ -74,43 +44,36 @@ test-persistence:
|
||||
@test -n "$(ACTION_SCRIPT)" || (echo "Set ACTION_SCRIPT to your implemented executable restart hook"; exit 2)
|
||||
$(PYTHON) tests/resilience.py --mode persistence --action-script "$(ACTION_SCRIPT)" --base-url "$(BASE_URL)" $(TLS_ARGS)
|
||||
|
||||
test-failover:
|
||||
@test -n "$(ACTION_SCRIPT)" || (echo "Set ACTION_SCRIPT to your implemented executable stop-one hook"; exit 2)
|
||||
$(PYTHON) tests/resilience.py --mode failover --action-script "$(ACTION_SCRIPT)" --base-url "$(BASE_URL)" $(TLS_ARGS)
|
||||
|
||||
install:
|
||||
$(UV) sync --group dev
|
||||
|
||||
lint:
|
||||
$(VENV)/bin/ruff check src student-tests $(SCRIPTS_PY)
|
||||
$(VENV)/bin/ruff format --check src student-tests $(SCRIPTS_PY)
|
||||
$(VENV)/bin/ty check src student-tests alembic
|
||||
$(VENV)/bin/ruff check src student-tests scripts/track.py
|
||||
$(VENV)/bin/ruff format --check src student-tests scripts/track.py
|
||||
$(VENV)/bin/ty check src student-tests
|
||||
|
||||
format:
|
||||
$(VENV)/bin/ruff check --fix src student-tests $(SCRIPTS_PY)
|
||||
$(VENV)/bin/ruff format src student-tests $(SCRIPTS_PY)
|
||||
$(VENV)/bin/ruff check --fix src student-tests scripts/track.py
|
||||
$(VENV)/bin/ruff format src student-tests scripts/track.py
|
||||
|
||||
typecheck:
|
||||
$(VENV)/bin/ty check src student-tests alembic
|
||||
$(VENV)/bin/ty check src student-tests
|
||||
|
||||
student-test:
|
||||
$(VENV)/bin/pytest $(PYTEST_ARGS)
|
||||
|
||||
secrets:
|
||||
sh scripts/secrets.sh
|
||||
sh scripts/broker-secrets.sh
|
||||
|
||||
up: secrets
|
||||
$(COMPOSE) build
|
||||
$(COMPOSE) up -d --wait
|
||||
scripts/lb-wait.sh
|
||||
$(COMPOSE) up -d --build --wait
|
||||
|
||||
down:
|
||||
$(COMPOSE) --profile bench --profile tools --profile reconcile down
|
||||
$(COMPOSE) --profile faults --profile track down
|
||||
|
||||
reset-data:
|
||||
@echo "Удаляются volumes с учебными данными стенда"
|
||||
$(COMPOSE) --profile bench --profile tools --profile reconcile down -v --remove-orphans
|
||||
$(COMPOSE) --profile faults --profile track down -v --remove-orphans
|
||||
|
||||
migrate:
|
||||
$(COMPOSE) run --rm migrate
|
||||
@@ -121,81 +84,6 @@ ps:
|
||||
logs:
|
||||
$(COMPOSE) logs --tail 200
|
||||
|
||||
restore:
|
||||
scripts/restore.sh
|
||||
|
||||
lb-check:
|
||||
$(PYTHON) scripts/probe.py check --rounds 20 --out evidence/lb-check.json
|
||||
|
||||
retry-check:
|
||||
$(PYTHON) scripts/probe.py retry --out evidence/retry.json
|
||||
|
||||
limits:
|
||||
$(PYTHON) scripts/limits.py --out evidence/limits.txt
|
||||
|
||||
detection:
|
||||
rm -rf evidence/detection
|
||||
for run in 1 2 3; do sh scripts/detection.sh evidence/detection/run$$run || exit 1; done
|
||||
|
||||
failover-each:
|
||||
RATE=$(RATE) sh scripts/failover-each.sh evidence/failover-each
|
||||
|
||||
rolling-update:
|
||||
ifneq ($(FROM_REV),)
|
||||
git archive "$(FROM_REV)" | docker build -q -t "mtusi-messenger:$(FROM_REV)" -
|
||||
API_IMAGE="mtusi-messenger:$(FROM_REV)" $(COMPOSE) up -d --no-deps --force-recreate --wait api
|
||||
scripts/lb-wait.sh
|
||||
endif
|
||||
$(COMPOSE) build -q api
|
||||
RATE=$(RATE) $(PYTHON) scripts/probe.py load --expect replace --duration 90 \
|
||||
--out evidence/rolling$(if $(FROM_REV),-from-$(FROM_REV)) \
|
||||
-- scripts/rolling-update.sh
|
||||
|
||||
lab4-level4: limits lb-check detection failover-each rolling-update
|
||||
|
||||
scenario:
|
||||
$(PYTHON) scripts/lab4_scenarios.py $(SCENARIO) --base-url "$(BASE_URL)" --restore --output evidence/$(SCENARIO).json
|
||||
scripts/lb-wait.sh
|
||||
|
||||
s3-check:
|
||||
sh scripts/s3-check.sh > evidence/s3-security.txt; status=$$?; cat evidence/s3-security.txt; exit $$status
|
||||
|
||||
attachments-evidence:
|
||||
sh scripts/evidence-attachments.sh
|
||||
|
||||
upload-faults:
|
||||
{ echo "date: $$(date -u +%FT%TZ) commit: $$(git rev-parse --short HEAD) BASE_URL=$(BASE_URL)"; \
|
||||
BASE_URL="$(BASE_URL)" $(VENV)/bin/pytest -m stack -v -s --no-header --tb=short \
|
||||
-p no:cacheprovider student-tests/stack/test_attachment_faults.py; } > evidence/upload-faults.txt; \
|
||||
status=$$?; cat evidence/upload-faults.txt; exit $$status
|
||||
|
||||
upload-memory:
|
||||
$(PYTHON) scripts/upload_memory.py --base-url "$(BASE_URL)" $(ARGS)
|
||||
|
||||
load-evidence:
|
||||
sh scripts/load-evidence.sh
|
||||
|
||||
overload-leftovers:
|
||||
sh scripts/overload-leftovers.sh
|
||||
|
||||
clean-clone-evidence:
|
||||
sh scripts/clean-clone.sh
|
||||
|
||||
reconcile:
|
||||
$(COMPOSE) run --rm --no-deps reconciler $(ARGS)
|
||||
|
||||
reconcile-demo:
|
||||
$(PYTHON) scripts/reconcile_track.py demo --base-url "$(BASE_URL)" $(ARGS)
|
||||
|
||||
reconcile-cost:
|
||||
$(PYTHON) scripts/reconcile_track.py cost $(ARGS)
|
||||
|
||||
failover-evidence:
|
||||
sh scripts/failover-evidence.sh "$(BASE_URL)" "$(SHIFT)"
|
||||
|
||||
stack-evidence:
|
||||
sh scripts/evidence-stack.sh
|
||||
|
||||
persistence-evidence:
|
||||
sh scripts/persistence-evidence.sh "$(BASE_URL)" > evidence/persistence.txt
|
||||
cat evidence/persistence.txt
|
||||
@@ -207,14 +95,34 @@ cache-evidence:
|
||||
sh scripts/evidence-cache.sh > evidence/cache.txt
|
||||
cat evidence/cache.txt
|
||||
|
||||
migrations-evidence:
|
||||
@echo "Удаляются volumes с учебными данными стенда: миграции применяются к пустой БД"
|
||||
sh scripts/evidence-migrations.sh "$(BASE_URL)" > evidence/migrations.txt
|
||||
cat evidence/migrations.txt
|
||||
|
||||
environment-evidence:
|
||||
sh scripts/evidence-environment.sh > evidence/environment.txt
|
||||
cat evidence/environment.txt
|
||||
|
||||
sigterm-evidence:
|
||||
sh scripts/evidence-sigterm.sh "$(BASE_URL)" > evidence/sigterm.txt
|
||||
cat evidence/sigterm.txt
|
||||
|
||||
load-evidence:
|
||||
sh scripts/evidence-load.sh "$(BASE_URL)" > evidence/load.txt
|
||||
cat evidence/load.txt
|
||||
|
||||
toolchain-evidence:
|
||||
sh scripts/evidence-toolchain.sh "$(BASE_URL)"
|
||||
|
||||
test-faults:
|
||||
BASE_URL="$(BASE_URL)" $(VENV)/bin/pytest -m stack -v -s student-tests/stack
|
||||
$(COMPOSE) --profile faults up -d --wait api-shortttl
|
||||
BASE_URL="$(BASE_URL)" SHORTTTL_URL="$(SHORTTTL_URL)" $(VENV)/bin/pytest -m stack -v -s student-tests/stack
|
||||
|
||||
faults-evidence:
|
||||
{ echo "date: $$(date -u +%FT%TZ) commit: $$(git rev-parse --short HEAD)"; echo "\$$ make test-faults"; \
|
||||
$(MAKE) --no-print-directory test-faults 2>&1; } | sed 's#$(CURDIR)#<repo>#g' > evidence/faults.txt
|
||||
$(MAKE) --no-print-directory test-faults 2>&1; } > evidence/faults.txt
|
||||
cat evidence/faults.txt
|
||||
grep -qE '^=+ [0-9]+ passed in' evidence/faults.txt
|
||||
|
||||
seed:
|
||||
$(PSQL) -f - < scripts/sql/seed-history.sql
|
||||
@@ -225,63 +133,8 @@ explain: seed
|
||||
$(PSQL) -f - < scripts/sql/explain-history.sql; } > evidence/explain-history.txt
|
||||
cat evidence/explain-history.txt
|
||||
|
||||
images:
|
||||
$(PYTHON) scripts/make_images.py
|
||||
track-bench:
|
||||
$(PYTHON) scripts/track.py bench $(TRACK_ARGS)
|
||||
|
||||
queues:
|
||||
sh scripts/broker.sh queues
|
||||
|
||||
topology:
|
||||
{ echo "date: $$(date -u +%FT%TZ) commit: $$(git rev-parse --short HEAD)"; \
|
||||
echo "$$ rabbitmqctl list_queues -p messenger name type durable policy messages"; \
|
||||
$(COMPOSE) exec -T broker rabbitmqctl -q list_queues -p messenger name type durable policy messages; \
|
||||
echo "$$ rabbitmqctl list_consumers -p messenger"; \
|
||||
$(COMPOSE) exec -T broker rabbitmqctl -q list_consumers -p messenger queue_name ack_required prefetch_count; \
|
||||
echo "$$ rabbitmqctl list_permissions -p messenger"; \
|
||||
$(COMPOSE) exec -T broker rabbitmqctl -q list_permissions -p messenger; \
|
||||
echo "$$ rabbitmqctl list_users"; \
|
||||
$(COMPOSE) exec -T broker rabbitmqctl -q list_users; \
|
||||
echo "$$ docker compose ps"; \
|
||||
$(COMPOSE) ps --format '{{.Service}}\t{{.Status}}\t{{.Ports}}'; } > evidence/topology.txt
|
||||
cat evidence/topology.txt
|
||||
|
||||
worker-stop:
|
||||
sh scripts/worker.sh stop
|
||||
|
||||
worker-start:
|
||||
sh scripts/worker.sh start
|
||||
|
||||
broker-restart:
|
||||
sh scripts/broker.sh restart
|
||||
|
||||
suite-preflight:
|
||||
BASE_URL="$(BASE_URL)" $(PYTHON) scripts/pipeline_suite.py --preflight
|
||||
|
||||
level3:
|
||||
BASE_URL="$(BASE_URL)" $(PYTHON) scripts/pipeline_suite.py --level 3 --output evidence/level3.json
|
||||
|
||||
level4:
|
||||
BASE_URL="$(BASE_URL)" $(PYTHON) scripts/pipeline_suite.py --level 4 --output evidence/level4.json
|
||||
|
||||
failed:
|
||||
$(COMPOSE) run --rm --no-deps -T worker python -m messenger.admin failed
|
||||
|
||||
replay:
|
||||
@test -n "$(ID)" || (echo "Set ID=<attachment_id>"; exit 2)
|
||||
$(COMPOSE) run --rm --no-deps -T worker python -m messenger.admin replay --attachment-id "$(ID)"
|
||||
|
||||
dlq:
|
||||
sh scripts/broker.sh dlq
|
||||
|
||||
pipeline-evidence:
|
||||
$(PYTHON) scripts/pipeline_evidence.py --base-url "$(BASE_URL)" > evidence/pipeline-stand.txt; \
|
||||
status=$$?; cat evidence/pipeline-stand.txt; exit $$status
|
||||
|
||||
.PHONY: track2 reprocess
|
||||
|
||||
track2:
|
||||
BASE_URL="$(BASE_URL)" $(PYTHON) scripts/pipeline_suite.py --level 5 --only "$(TRACK2_SCENARIOS)" --output "$(TRACK2_OUTPUT)"
|
||||
|
||||
reprocess:
|
||||
@test -n "$(ID)" || (echo "Set ID=<attachment_id>"; exit 2)
|
||||
$(COMPOSE) run --rm --no-deps -T worker python -m messenger.admin reprocess --attachment-id "$(ID)" --pipeline-version "$(PIPELINE_VERSION)"
|
||||
track-recovery:
|
||||
$(PYTHON) scripts/track.py recovery $(TRACK_ARGS)
|
||||
|
||||
@@ -1,6 +1,6 @@
|
||||
# Лабораторная 5. Очереди и асинхронная обработка изображений
|
||||
# Лабораторная 2. PostgreSQL, сессии и Redis/Valkey
|
||||
|
||||
Отделить приём файла от тяжёлой обработки, корректно переживать повторную доставку и остановку worker.
|
||||
Перенести состояние в постоянное хранилище и связать запросы с аутентифицированным пользователем. Подтверждённые сообщения и действующие сессии переживают перезапуск.
|
||||
|
||||
Это **skeleton**, а не готовый сервер. Здесь есть задание, контракт и публичные проверки. Реализацию приложения, Dockerfile и требуемую инфраструктуру пишет студент. Язык и framework свободные; UI не обязателен.
|
||||
|
||||
@@ -8,42 +8,41 @@
|
||||
|
||||
## Откуда начинаем
|
||||
|
||||
Нужен минимум lab4. POST upload теперь возвращает 202 queued, а готовность выясняется через метаданные. В HTTP upload клиент по-прежнему передаёт все байты.
|
||||
Перенесите собственный минимум lab1. Изменения API: password при регистрации, Basic для создания сессии, Bearer вместо X-User-Id для бизнес-запросов.
|
||||
|
||||
**Архитектура:** API → устойчивый staging + запись задания → брокер → worker → конечный S3 + PostgreSQL. Клиент опрашивает статус.
|
||||
**Архитектура:** Клиент → API → PostgreSQL; на 4 появляется Redis ИЛИ Valkey для сессий/кэша.
|
||||
|
||||
## Что сделать
|
||||
|
||||
1. Выберите RabbitMQ, Redis/Valkey Streams, NATS JetStream или другой брокер с persistence и подтверждениями. Обычный Pub/Sub без хранения не подходит.
|
||||
2. Разделите приём, durable staging, публикацию задания, обработку и фиксацию результата. Прочитайте contracts/attachment-states.md.
|
||||
3. Реализуйте worker отдельно от API: публикация оригинала в конечный S3-prefix и thumbnail 256×256 по правилам контракта.
|
||||
4. Добавьте конечные состояния, ограниченные повторы и идемпотентную запись результатов. Не помещайте bytes или credentials в сообщения брокера.
|
||||
5. Остановите worker, загрузите файл, перезапустите API/worker, убедитесь в завершении принятой задачи. Затем проверьте повторную доставку.
|
||||
1. Опишите таблицы, ограничения, индексы и транзакционные границы до написания запросов. Добавьте версионируемые миграции.
|
||||
2. Перенесите пользователей, чаты, членство и сообщения в PostgreSQL. Не используйте SQLite как замену PostgreSQL в принимаемом стенде.
|
||||
3. Реализуйте регистрацию с password KDF, вход через Basic, opaque Bearer-сессию, expiry и logout. Действующие сессии тоже должны сохраняться.
|
||||
4. Подготовьте единый локальный запуск API и БД (Compose рекомендуется уже здесь), подключите именованные volumes.
|
||||
5. Пройдите smoke и тест полного перезапуска. На 4 добавьте Redis/Valkey с конкретной ролью и повторите эксперимент отказа.
|
||||
|
||||
## Оценка «3»: работающий минимум
|
||||
|
||||
- Весь минимум lab4 сохранён с переходом upload 201 → 202. API возвращает 202 только после устойчивого приёма оригинала и сохранения задания; остановка API после ответа не теряет работу.
|
||||
- В общем Compose/Swarm есть отдельные broker и worker. Сообщения durable, доставка at least once, подтверждение только после устойчивого эффекта. Недоступность worker не заставляет API выполнять resize синхронно.
|
||||
- Состояния queued/processing/ready/failed доступны в API. Worker сохраняет оригинал и один thumbnail; original неизменен, thumbnail соответствует контракту. Публичный smoke проходит.
|
||||
- Есть ограниченный retry (конкретное число попыток в конфигурации, например 5), финальное failed с безопасным error_code. Повтор одной job не создаёт второго набора вариантов.
|
||||
- Демонстрация: worker остановлен → upload 202 → сообщение с вложением создано → API перезапущен → worker запущен → ready и доступный thumbnail. Принятое задание не исчезает при рестарте broker с volume.
|
||||
- Минимум lab1 сохранён с объявленным переходом на новую аутентификацию. Все обязательные данные и ещё действующие сессии переживают рестарт API и хранилищ без удаления volumes.
|
||||
- PostgreSQL содержит пользователей, чаты, участников и сообщения. Есть первичные/внешние ключи, уникальность username и миграции с нуля. Составная операция создания чата выполняется атомарно.
|
||||
- Basic применяется только на POST /auth/sessions, остальные endpoint требуют Bearer. Есть срок жизни сессии и отзыв; X-User-Id не даёт доступ. Пароли уже хешируются password KDF.
|
||||
- make test и make test-persistence ACTION_SCRIPT=scripts/restart.sh проходят. Миграции повторно запускаются без дублирования данных. Secrets/volumes не попадают в Git.
|
||||
|
||||
## Оценка «4»: уровень стажёра/джуна
|
||||
|
||||
Весь уровень 3 **и все** пункты ниже:
|
||||
|
||||
- Добавлены crop 128×128 и optimized WebP по контракту, параметры качества/удаления метаданных описаны. Невалидные/огромные изображения ограничены по bytes, пикселям, времени и памяти worker.
|
||||
- Разрыв между PostgreSQL и broker закрыт transactional outbox или другой доказанной схемой восстановления намерения. Внедрён crash между COMMIT и publish; после восстановления задача доходит до ready без ручного создания нового задания.
|
||||
- Retry использует backoff с jitter, различает постоянные/временные ошибки; есть DLQ/реестр failed и безопасный явный replay. «Повторить» не означает безусловно исполнить дубль уже успешной job.
|
||||
- Проверена остановка worker после записи объекта, но до ack; повтор завершает тот же результат. Есть timeout/lease для зависшего processing, ограниченная конкуренция/prefetch и очистка staging после безопасной фиксации.
|
||||
- Redis ИЛИ Valkey реально используется для сессий с TTL либо осмысленного кэша. Опишите источник истины, политику expiry и инвалидации. Если это единственное хранилище сессий, включите persistence, выдерживающее проверяемый рестарт; один TTL не сохраняет данные.
|
||||
- Используются параметризованные запросы/безопасный ORM, ограниченный connection pool и таймауты. Проверены гонка регистрации одинакового username и rollback составной операции.
|
||||
- Индекс истории обоснован запросом и EXPLAIN (ANALYZE, BUFFERS) на ≥10 000 сообщениях; пагинация не использует полный scan всей истории на каждую страницу.
|
||||
- Есть автоматическая проверка expiry при коротком SESSION_TTL_SECONDS, logout, неверного пароля и недоступности Redis/БД. При потере сервиса приложение возвращает ограниченную ошибку/корректно обходит кэш, не принимает запрос от анонимного пользователя как доверенный.
|
||||
|
||||
## Оценка «5»: исследование и доказанный результат
|
||||
|
||||
Весь уровень 4 **и один законченный трек на выбор**. Приведите гипотезу, повторяемую методику, результаты и ограничения.
|
||||
|
||||
**Трек 1. Очередь под перегрузкой.** Сравните ≥3 настройки concurrency/prefetch на разных размерах изображений. Измерьте throughput, queue lag, p95 времени до ready и RSS; покажите backpressure и ограничение количества принятой работы. Докажите восстановление после перегрузки, объясните компромисс latency/ресурсы.
|
||||
**Трек 1. Согласованность кэша.** Покажите на конкурентном сценарии stale read или cache stampede, реализуйте защиту и измерьте число SQL-запросов/latency до и после. Докажите read-after-write из контракта и восстановление после рестарта кэша; одной установки Redis недостаточно.
|
||||
|
||||
**Трек 2. Доказанная идемпотентность pipeline.** Постройте versioned pipeline и автоматический fault-injection для дубля, reorder, crash до/после side effect и устаревшей job после новой версии. Зафиксируйте инварианты, покажите отсутствие потери подтверждённых задач и перезаписи нового результата старым. Обсудите почему это не exactly-once доставка.
|
||||
**Трек 2. План запроса и восстановление.** Исследуйте ≥100 000 сообщений с неравномерными размерами чатов, сравните ≥2 индекса/запроса и стоимость записи. Сделайте backup → восстановление в новое хранилище → сверку количества и выбранных сообщений. Обсудите время восстановления и границы потери данных.
|
||||
|
||||
## Как начать и проверить
|
||||
|
||||
@@ -79,27 +78,28 @@ Smoke не выставляет оценку автоматически. Про
|
||||
|
||||
## Сценарий защиты
|
||||
|
||||
1. Запустить make test: API возвращает 202, GET доходит до ready, оригинал и настоящий JPEG thumbnail проверяются.
|
||||
2. Остановить worker своим скриптом, загрузить файл, убедиться, что content отвечает 409, а другие сообщения продолжают работать.
|
||||
3. Перезапустить API/broker с сохранением volumes, запустить worker; та же запись должна стать ready. Зафиксировать порядок действий и ID без токенов.
|
||||
4. Для 4: воспроизвести crash после side effect до ack, разрыв COMMIT/publish и replay failed; для 5 — выбранный эксперимент.
|
||||
1. Применить миграции к пустому volume, создать пользователей, войти, отправить сообщение.
|
||||
2. Запустить persistence-сценарий: он держит токен только в памяти тестового процесса; action script перезапускает API и все используемые хранилища, сохраняя volumes.
|
||||
3. После готовности тот же токен читает те же данные; после logout — 401. Повторить с отдельным коротким TTL для проверки expiry.
|
||||
4. Для 4: показать роль Redis/Valkey, план SQL и ошибку зависимости. Для 5: выполнить выбранный эксперимент.
|
||||
|
||||
## Что должно быть в PR
|
||||
|
||||
Worker, брокер в общем стенде, схема jobs, migrations/outbox по уровню, конфигурация retry, тесты сбоев и отчёт.
|
||||
Исходники, Dockerfile, миграции, compose.yaml либо эквивалентный воспроизводимый запуск, scripts/restart.sh, собственные тесты и отчёт.
|
||||
|
||||
Заполните `REPORT.md` и [шаблон PR](.github/pull_request_template.md), укажите целевую оценку/трек. Не меняйте обязательный контракт и публичные tests ради зелёного результата. Сохраняйте возможности предыдущих лабораторных в пределах [объявленных переходов](COURSE.md).
|
||||
|
||||
## Вопросы на защите
|
||||
|
||||
- Чем publisher confirm отличается от consumer ack?
|
||||
- Что именно уже сохранено в момент 202?
|
||||
- Почему повторная доставка нормальна и где находится ключ идемпотентности job?
|
||||
- Как отличить зависший worker от долго работающего и не запустить два неконтролируемых дубля?
|
||||
- Что подтверждает COMMIT и какие гарантии зависят от настройки durability?
|
||||
- Где хранятся сессии и что будет после flush/restart Redis?
|
||||
- Чем аутентификация отличается от доступа к конкретному чату?
|
||||
- Почему hash пароля и быстрый checksum имеют разные задачи?
|
||||
|
||||
## Первичные материалы
|
||||
|
||||
- [RabbitMQ reliability](https://www.rabbitmq.com/docs/reliability)
|
||||
- [Publisher confirms and acknowledgements](https://www.rabbitmq.com/docs/confirms)
|
||||
- [Redis Streams](https://redis.io/docs/latest/develop/data-types/streams/)
|
||||
- [NATS JetStream](https://docs.nats.io/nats-concepts/jetstream)
|
||||
- [PostgreSQL transactions](https://www.postgresql.org/docs/current/tutorial-transactions.html)
|
||||
- [PostgreSQL EXPLAIN](https://www.postgresql.org/docs/current/using-explain.html)
|
||||
- [Valkey persistence](https://valkey.io/topics/persistence/)
|
||||
- [Redis persistence](https://redis.io/docs/latest/operate/oss_and_stack/management/persistence/)
|
||||
- [Basic authentication](https://www.rfc-editor.org/info/rfc7617/)
|
||||
|
||||
@@ -1,242 +1,555 @@
|
||||
# Отчёт — лабораторная работа 5
|
||||
# Отчёт — лабораторная 2
|
||||
|
||||
Автор: **Костылев Артём, БПИ2303**. Тема: «Очереди и асинхронная обработка изображений».
|
||||
Цель — **«5», трек 2 «Доказанная идемпотентность pipeline»**. Критичный дефект памяти PNG закрыт после отдельного fix/re-review и адресной Linux/HTTP validation. Совокупность сохранённых серий D/V и новых проверок M подтверждает критерии выбранного трека в описанных условиях. Семь minor сохранены; исходные четыре FAIL остаются историей. Validation завершена, публикация требует отдельного разрешения координатора.
|
||||
- Автор, группа: Костылев Артём, БПИ2303
|
||||
- Целевая оценка: **5**; трек «5» — **трек 2 «План запроса и восстановление»**
|
||||
- Commit/PR: ветка `solution/bpi2303-kostylev`; код (`src/`, `compose.yaml`, `Dockerfile`, `student-tests/`)
|
||||
последний раз менялся в коммите `bc90266`. Все файлы `evidence/` сняты на `6468ee2`: код там тот же, после
|
||||
`bc90266` менялись только скрипты доказательств и архив openspec. Дальше коммиты меняют только отчёт и
|
||||
`evidence/`. PR «ЛР 2 — БПИ2303 — Костылев — на 5» в репозиторий преподавателя заполняется по
|
||||
`.github/pull_request_template.md`; его ссылка появляется при публикации
|
||||
- Использованные источники, библиотеки и помощь ИИ: FastAPI, gunicorn + uvicorn-worker, dishka, pydantic,
|
||||
structlog, asyncpg, redis-py (`redis.asyncio`), argon2-cffi, pytest, ruff, ty (версии —
|
||||
`evidence/environment.txt` и `uv.lock`); документация PostgreSQL (transactions, EXPLAIN, WAL
|
||||
reliability), Valkey persistence, RFC 7617, OWASP Password Storage Cheat Sheet.
|
||||
Решение перенесено из моей лабы 1 и выполнено с помощью Claude Code; код, стенд и измерения проверены
|
||||
прогонами, перечисленными ниже.
|
||||
|
||||
Ветка: `solution/bpi2303-kostylev`. Предыдущее ревью: `42575281b352d35bda17ee7601bae5548a996e91` (далее **R**). Последняя полная динамическая квалификация: `0e921116610d289716af0a40ec823376eb8bbcbc` (далее **D**). Между D и R из runtime изменены только `infra/rabbitmq/definitions.json` и `src/messenger/attachments/infrastructure/images.py`; SQLAlchemy, Alembic, outbox, lease/fencing и публикация версий не изменились. Финальные проверки выполнены на `b30e2f6a84419d1ca64525ffb40df92183cccaef` (V), runtime которого побайтно совпадает с R. Текущий код после исправления памяти и повторного ревью — **`6096aa7948b8b666aa3892397a96d044a55f02c6` (M)**; реализация исправления — `1a8020524909ebc5e2e43303436c9d1ce3c1a87b`. От V из runtime изменён только `images.py`, настройки 448 MiB/30 с/concurrency=2 сохранены. Новая validation выполнена на **`74c33160ac01618f70e9e1c6a121a5e45c3c7155` (F, runtime = M)**: 984 passed / 2 Linux-only skipped, Linux-пробник с импортами worker, граничные HTTP и 8 PNG / 48 сравнений PASS. Результаты V не являются прогоном M; новые результаты F сохранены отдельно. Документационные коммиты отчёта и evidence не меняют runtime. Публикация — отдельная фаза, только в private MTUCI-Labs; этот этап ничего не публикует.
|
||||
## Запуск из чистого clone
|
||||
|
||||
Индекс происхождения всех доказательств — [evidence/README.md](evidence/README.md). Источники решения: skeleton и контракт курса, собственная ЛР4 с поздними исправлениями до `4ed889c1e4008e3f6040ae2534bef99262d3b8ce`, документация библиотек; при подготовке использован Codex. Перенос 253 файлов разобран в [forward-port.md](evidence/forward-port.md). Нормативные `contracts/`, `tests/`, `README.md`, `COURSE.md` не изменены.
|
||||
|
||||
## Воспроизведение из чистого clone
|
||||
|
||||
Нужны доступ к приватному репозиторию, Git, Docker с Compose v2, make, системный Python 3.9+, uv и OpenSpec CLI для проверки спецификаций. Приложение использует Python 3.14. Команды ниже — инструкция, а не заявление о новом прогоне из clone: отчётные этапы Docker не запускали; validation V и F использовали существующие volumes, а не чистый clone. Для воспроизведения выбран M.
|
||||
|
||||
Вместо `<PRIVATE_REPOSITORY_URL>` подставляется URL репозитория ЛР5 в MTUCI-Labs, доступный после публикации. На общей машине запуск разрешён только в выделенной фазе и своём project; занятые порты не освобождают остановкой чужих контейнеров.
|
||||
Требуются Docker с Compose v2 и `make`; системный Python 3.9+ — только для публичных проверок. Образы
|
||||
сторонних сервисов закреплены версией и digest, API собирается из исходников.
|
||||
|
||||
```sh
|
||||
git clone <PRIVATE_REPOSITORY_URL> mtusi2026lab5
|
||||
cd mtusi2026lab5
|
||||
git checkout 6096aa7948b8b666aa3892397a96d044a55f02c6
|
||||
export COMPOSE_PROJECT_NAME=mtusi2026lab5
|
||||
export COMPOSE_FILE=compose.yaml
|
||||
export API_IMAGE=mtusi-messenger:lab5-reviewed
|
||||
export LB_HTTP_PORT=18085
|
||||
export LB_STATS_PORT=25085
|
||||
export BROKER_MANAGEMENT_PORT=25086
|
||||
export BASE_URL=http://127.0.0.1:18085
|
||||
export NO_PROXY=localhost,127.0.0.1,::1
|
||||
uv sync --frozen --group dev
|
||||
make check validate lint
|
||||
openspec validate --all --strict
|
||||
make secrets
|
||||
docker compose --env-file .env config --quiet
|
||||
make up
|
||||
make test
|
||||
git clone <repo> && cd mtusi2026lab2 && git checkout solution/bpi2303-kostylev
|
||||
|
||||
make secrets # secrets/*: пароль PostgreSQL, DATABASE_URL, valkey.conf и CACHE_URL, ключ курсора; .env из .env.example
|
||||
make up # docker compose up -d --build --wait: postgres и valkey → migrate → api, ждёт healthy
|
||||
make test # публичный smoke против http://localhost:$API_PORT
|
||||
make test-persistence ACTION_SCRIPT=scripts/restart.sh
|
||||
make test-failover ACTION_SCRIPT=scripts/stop-one.sh
|
||||
make restore
|
||||
make student-test
|
||||
make images
|
||||
make suite-preflight
|
||||
python3 scripts/pipeline_suite.py --level 4 --output evidence/local-level4.json
|
||||
make track2 TRACK2_OUTPUT=evidence/local-track2-run1.json
|
||||
make track2 TRACK2_OUTPUT=evidence/local-track2-run2.json
|
||||
make track2 TRACK2_OUTPUT=evidence/local-track2-run3.json
|
||||
make down
|
||||
|
||||
make down # безопасная остановка: контейнеры удаляются, volumes с данными остаются
|
||||
make reset-data # НАМЕРЕННОЕ удаление учебных данных: docker compose down -v
|
||||
```
|
||||
|
||||
`make up` собирает образ и ждёт готовности хранилищ, успешных одноразовых `migrate` и `s3-init`, затем API ×2, relay, worker и LB. `migrate` выполняет **`alembic upgrade head`**. `make secrets` создаёт локальные секреты и `.env`, не предназначенные для Git; их содержимое не входит в evidence. Порты реплик, PostgreSQL, S3 и AMQP наружу не опубликованы. HTTP, статистика LB и UI RabbitMQ слушают только `127.0.0.1`. Экспорты выше имеют приоритет над Compose `.env` и предотвращают случайный выбор старых портов.
|
||||
Стенд останавливают только `make down` и `make reset-data`: в них стоит `--profile faults --profile track`. Простой
|
||||
`docker compose down` не видит профильные `api-shortttl` и `postgres-restore`, которые поднимают
|
||||
`make test-faults`, трек и `make environment-evidence`, и не может удалить сеть («Resource is still in use»). При
|
||||
ручном вызове профили нужно указать явно: `docker compose --profile faults --profile track down`.
|
||||
|
||||
`make student-test` поднимает одноразовые Docker-зависимости; его нельзя считать offline-проверкой. Suite сам использует `infra/compose.faults.yaml`, временно меняет параметры своих relay/worker и восстанавливает их. Level 4 включает все шесть сценариев уровня 3. Новые JSON сохраняются отдельно от квалификационных файлов. Стенд останавливают `make down` без удаления постоянных volumes; `reset-data`, `down -v`, `reset/clean` в процедуру не входят.
|
||||
`make secrets` идемпотентен: существующие файлы не перезаписываются, поэтому пароль остаётся согласованным
|
||||
с уже созданным volume. Значения нигде не печатаются. Порты хоста задают `API_PORT` (по умолчанию 8080) и
|
||||
`SHORTTTL_PORT` (8082, экземпляр с коротким TTL) в `.env`. Makefile читает `.env`, поэтому `BASE_URL` и
|
||||
`SHORTTTL_URL` следуют за ними без флагов. Переопределить порты можно переменной окружения
|
||||
(`API_PORT=18082 make up`: Makefile запоминает её до чтения `.env` и возвращает после) или аргументом make
|
||||
(`make test-faults API_PORT=18082 SHORTTTL_PORT=22082`). Доказательства в `evidence/` сняты на портах 18082 и 22082.
|
||||
Образ приложения помечается именем compose-проекта (`mtusi-messenger:${COMPOSE_PROJECT_NAME}`), поэтому клон
|
||||
в другом каталоге собирает свой образ и не перетирает чужой.
|
||||
|
||||
Для защиты и оператора: `make worker-stop`, `make worker-start`, `make queues`, `make topology`, `make failed`, `make dlq`; `make replay ID=<attachment_id>` возвращает failed в queued с audit, повтор для ready — noop. `make reprocess ID=<attachment_id> PIPELINE_VERSION=2` создаёт новую версию при доступном исходнике. Результаты завершённой адресной validation приведены ниже; полный повтор пригодных серий не требуется.
|
||||
Собственные проверки и тулчейн:
|
||||
|
||||
```sh
|
||||
make install # uv sync --group dev (Python 3.14, зависимости из uv.lock, openapi-spec-validator)
|
||||
make lint # ruff check + ruff format --check + ty check
|
||||
make student-test # собственные тесты; поднимают одноразовые PostgreSQL и Valkey тех же образов в Docker
|
||||
make student-test PYTEST_ARGS='-v -k cache' # выборка тестов с именами (аргументы уходят в pytest)
|
||||
make check # офлайн-проверка skeleton
|
||||
make validate # полная валидация OpenAPI 3.1: берёт .venv/bin/python, если его создал make install
|
||||
make migrate # повторный запуск миграций на текущей БД
|
||||
make test-faults # поднимает api-shortttl и гоняет 13 тестов отказов против стенда
|
||||
make seed explain # 20 000 сообщений в синтетическом чате и EXPLAIN (ANALYZE, BUFFERS)
|
||||
make track-bench # трек 5: база track, 1 000 000 сообщений по Ципфу, 4 набора индексов + контроль, pgbench (~10 мин)
|
||||
make track-recovery # трек 5: pg_dump → новый postgres-restore → pg_restore → сверка, 100k и 1M × 3 (~1.5 мин)
|
||||
```
|
||||
|
||||
Без `make install` каталога `.venv` нет, и `make validate` идёт системным `python3`, где нет
|
||||
`openapi_spec_validator` (`ModuleNotFoundError`). Тогда нужен `make install` или `pip install -r requirements-dev.txt`.
|
||||
|
||||
Короткая проверка трека без перезаписи `evidence/track` (аргументы уходят в `scripts/track.py`):
|
||||
|
||||
```sh
|
||||
make track-bench TRACK_ARGS='--messages 20000 --write-seconds 2 --write-repeats 1 --out backups/track-quick' # ~40 с
|
||||
make track-recovery TRACK_ARGS='--sizes 100000 --repeats 1 --out backups/track-quick' # ~15 с
|
||||
```
|
||||
|
||||
Каждый файл доказательств пишет своя цель, с датой и коммитом в заголовке:
|
||||
|
||||
```sh
|
||||
make toolchain-evidence # check, validate, lint, test → checks.txt; student-test -v и выборки -k → student-tests.txt
|
||||
make migrations-evidence # НАМЕРЕННО удаляет volumes: 0001_init на пустом volume, затем повтор → migrations.txt
|
||||
make persistence-evidence # persistence-тест + StartedAt сервисов до и после → persistence.txt
|
||||
make storage-evidence # \d+ схемы, префикс KDF, правила ignore и volumes проекта → schema/kdf/secrets.txt
|
||||
make cache-evidence # AOF, попадания, ключи и отметки отзыва, срок ключа против срока сессии → cache.txt
|
||||
make faults-evidence # make test-faults → faults.txt
|
||||
make load-evidence # 3 прогона tests/load.py c64 с docker stats и ожиданиями pg_stat_activity → load.txt, load-c64-{1,2,3}.json
|
||||
make sigterm-evidence # SIGTERM api при двух запросах в работе: ответы, время и код завершения → sigterm.txt
|
||||
make environment-evidence # host, образы, версии пакетов, uid процессов (сам поднимает профильные сервисы), durability → environment.txt
|
||||
```
|
||||
|
||||
**Версии и стенд:** Python 3.14.7 в образе `python:3.14-slim-trixie@sha256:51dafde8…`,
|
||||
`postgres:17.11-alpine@sha256:266d3c25…`, `valkey/valkey:8.1.11-alpine@sha256:2602ace2…`, uv 0.9.7 по digest, Docker 28.3.2, Compose 2.38.2. Машина —
|
||||
Apple M4 Max, 16 CPU, 48 ГБ RAM, macOS 15.1; VM Docker Desktop — 16 CPU, 7.65 ГиБ. Полный список —
|
||||
`evidence/environment.txt`.
|
||||
|
||||
## Архитектура и решения
|
||||
|
||||
```text
|
||||
Клиент → HAProxy :18085 → API ×2 → проверка → PUT staging в RustFS
|
||||
→ COMMIT queued + jobs + outbox → 202
|
||||
PostgreSQL outbox → relay → RabbitMQ quorum queue → отдельный worker
|
||||
confirm manual ack ↑ после COMMIT
|
||||
worker → lease → рендер → originals/ и variants/ в S3 → fenced COMMIT
|
||||
```
|
||||
┌──redis.asyncio, 0.2 с──▶ valkey (кэш сессий, AOF, volume valkeydata)
|
||||
клиент ──HTTP──▶ api (gunicorn, 4 × UvicornWorker)
|
||||
└──asyncpg pool, 1–2 с──▶ postgres (источник истины, volume pgdata)
|
||||
migrate (тот же образ, одноразово до старта api) ──▶ postgres
|
||||
api-shortttl (профиль faults, SESSION_TTL_SECONDS=2) ──▶ те же postgres и valkey
|
||||
```
|
||||
|
||||
Python 3.14, FastAPI, gunicorn/uvicorn-worker, dishka и dishka-faststream, pydantic, structlog; **SQLAlchemy 2.0.45 async**, драйвер asyncpg 0.32.0, **Alembic 1.16.5**; FastStream 0.7.8 поверх aio-pika 10.2.1, Pillow 13.0.0, aiobotocore, redis-py, argon2-cffi. Версии закреплены в [uv.lock](uv.lock); сохранённая проверка runtime — [runtime.txt](evidence/sqlalchemy-2026-11-06/track2/qualified/runtime.txt). Образы PostgreSQL 17.11, Valkey 8.1.11, RustFS 1.0.4, RabbitMQ 4.1.8, HAProxy 3.2.26 закреплены digest в [compose.yaml](compose.yaml).
|
||||
**Перенесено из лабы 1:** две доменные зоны `identity` и `messaging`, порты и адаптеры, UoW, шина событий
|
||||
с журналом аудита, единый ASGI-конвейер (`X-Request-Id` → предел тела → таймаут, внутри которого
|
||||
аутентификация и обработчик → журнал), курсор с HMAC, pydantic-схемы на границе, structlog за портом
|
||||
`Logger`, non-root образ. **Изменено после ревью** (change `2026-10-28-harden-lab2-after-review`): предел
|
||||
тела 1 MiB считает фактически принятые байты, поэтому и `chunked`-тело больше предела получает `413`.
|
||||
**Изменено после второго ревью** (change `2026-10-28-harden-lab2-second-review`): выход при сбое PostgreSQL
|
||||
снимает отметку отзыва (см. «Инвалидация»); пустой `cursor=` даёт `400`; воркер uvicorn ждёт принятые
|
||||
запросы 7 с, мастер gunicorn ждёт воркеры 8 с (`SHUTDOWN_TIMEOUT_SECONDS`), Docker ждёт 10 с
|
||||
(`stop_grace_period`). В `evidence/sigterm.txt` два запроса в работе: тот, чьё тело дописано через 1 с
|
||||
после `SIGTERM`, получает `201`. Тот, чьё тело не приходит, воркер сам отменяет через 7.2 с (клиент получает
|
||||
`500`) и выходит штатно; контейнер останавливается за 7.68 с с кодом 0. Когда сроки воркера и мастера были
|
||||
равны, мастер успевал убить такой воркер раньше. **Удалено:**
|
||||
адаптеры в память, реестр участников с проекцией, слоёный конвейер и режимы блокировки — инструменты
|
||||
эксперимента лабы 1, которым в PostgreSQL не с чем сравниваться.
|
||||
|
||||
Три зоны `identity`, `messaging`, `attachments` имеют домен, application-порты, инфраструктурные адаптеры и entrypoints. `shared` содержит платформу, а сборка — `main.py`, `relay.py`, `worker.py`, `admin.py`. PostgreSQL хранит состояния, версии, сессии и идемпотентность; S3 — байты; Valkey — ускорение проверки сессий; брокер — транспорт. API не подключается к RabbitMQ. Порты зон связаны через DI, а зависимости проверяет `test_bounded_contexts.py`.
|
||||
**Источник истины** — PostgreSQL для всего: пользователей, сессий, чатов, участников и сообщений. API не
|
||||
держит состояния между запросами, поэтому воркеров несколько. Valkey — только кэш сессий: его потеря не
|
||||
теряет данных и не открывает доступ.
|
||||
|
||||
**SQLAlchemy и миграции.** [Database/UoW](src/messenger/shared/infrastructure/postgres.py) используют `create_async_engine`, `postgresql+asyncpg`, `async_sessionmaker`, `AsyncSession` и явный `commit()`; ORM-модели основаны на `DeclarativeBase`. Репозитории строят параметризованные ORM/Core-запросы, граница API остаётся pydantic. [alembic/env.py](alembic/env.py) запускает миграции через async engine и `run_sync`, сериализует их advisory lock и проверяет legacy-схему перед принятием. Последовательность [alembic/versions](alembic/versions): `0001_init` → `0002_idempotency_keys` → `0003_attachments` → `0004_jobs` → `0005_failed_registry` → `0006_attachment_quarantine`. Старый каталог SQL-миграций и самописный мигратор не являются текущим способом развёртывания.
|
||||
**Схема и ограничения** (`src/messenger/migrations/0001_init.sql`, вывод `\d+` — `evidence/schema.txt`):
|
||||
|
||||
**Граница 202.** Сначала фиксируется внутреннее намерение pending, затем проверенные bytes записываются в приватный `staging/`. Одной транзакцией вложение переводится в queued, создаются job, outbox и audit. Только после COMMIT отдаётся сохранённый снимок `queued`, `variants=[]`, `error_code=null`. Отказ до COMMIT не подтверждён клиенту; оставшееся намерение убирается по grace period. API не ждёт resize. Очередь или worker могут быть недоступны при успешном upload.
|
||||
|
||||
**Outbox.** Relay выбирает доступные строки по частичному `outbox_pending_idx (available_at, id) WHERE published_at IS NULL` с `FOR UPDATE SKIP LOCKED`. Публикация persistent/mandatory с publisher confirms предшествует отметке `published_at` в той же транзакции. Ошибка публикации оставляет намерение для повтора; сбой после confirm до COMMIT может создать дубль. Цена решения — транзакция остаётся открытой на время сетевой публикации пачки и outbox растёт при недоступном брокере. Нет общей транзакции PostgreSQL/RabbitMQ.
|
||||
|
||||
**Worker и эффект.** FastStream использует `AckPolicy.MANUAL`, `RabbitMessage`, prefetch=2 при `WORKER_CONCURRENCY=2`. Worker берёт доверенные ключи S3 из БД, захватывает job арендой `lease_token`, продлевает её при работе и рендерит в отдельном процессе. После записи оригинала и всех трёх вариантов условный COMMIT проверяет актуальность аренды. Ключ эффекта — `(attachment_id, pipeline_version, name)`; уникальные ограничения, versioned S3-ключи с хешем и условие `published_version < new_version` предотвращают второй набор и откат новой публикации. `ack()` вызывается после завершения обработчика с COMMIT, включая фиксацию результата/noop. Ошибка БД приводит к задержке 1 с и `nack(requeue=True)`.
|
||||
|
||||
**Повторы.** После claim временная ошибка назначает новую outbox-попытку с equal jitter: половина экспоненциальной задержки плюс случайная половина; штатная база 2 с, максимум 5 попыток. Постоянные ошибки дают `invalid_image`/`processing_failed`, исчерпание — `retry_exhausted`. Просроченный processing возвращает relay через `jobs_lease_idx`; старый держатель не проходит fencing. Ready не откатывается при upgrade, ошибка v2 оставляет v1 доступной. Сообщение, отвергнутое моделью `JobMessage`, отправляется в DLQ; модель не полностью эквивалентна `jobs.schema.json` из-за преобразования типов и nullable-поля (minor ниже). Реестр failed и replay доступны через CLI.
|
||||
|
||||
В R policy `delivery-limit=-1` сохраняет инфраструктурные redelivery при длительном отказе БД; прикладной предел `JOB_MAX_ATTEMPTS=5` остаётся. Это исправляет прежний путь queued → DLQ после 10 nack без автоматического восстановления. На V policy подтверждена на существующем volume: 12 requeue после реальной остановки PostgreSQL, затем ready без replay и без роста DLQ — [evidence](evidence/final-validation-2026-11-07/postgres-outage-retry.json); уже лежащие в DLQ сообщения смена policy не возвращает. Произвольное удаление сообщения при уже опубликованном outbox также не исправляется автоматически: outbox/lease не равны универсальной сверке очереди.
|
||||
|
||||
**Изображения и ресурсы.** Оригинал неизменен. EXIF orientation применяется, прозрачность накладывается на белый фон, EXIF/ICC/XMP не копируются в варианты. Thumbnail — JPEG в 256×256 без увеличения, округление вниз, минимум 1 px; crop — центральный JPEG 128×128; optimized — WebP в 1280×1280 без увеличения. JPEG quality v1/v2 = 85/90, optimize=True; WebP = 80/85, method=4; Lanczos, reducing_gap=3.0. R исправляет tRNS, включая grayscale 2/4/16 и сравнение полных RGB16 samples до потери младших битов.
|
||||
|
||||
Предел входа — 10 485 760 байт и 40 млн пикселей; renderer — 30 с, Linux `RLIMIT_AS=448 MiB` на процесс, до 100 задач на дочерний процесс. Контейнер worker ограничен 2 CPU / 1 GiB, API — 1 CPU / 512 MiB на реплику, relay — 0.5 CPU / 192 MiB, broker — 1 CPU / 512 MiB, PostgreSQL — 2 CPU / 1 GiB, S3 — 1 CPU / 512 MiB. Старое измерение 423 MiB относится к обычному PNG. На V четыре 40 Мп PNG tRNS дали `processing_failed` на первой попытке; Linux-пробник подтверждает `MemoryError` внутри RLIMIT_AS, несмотря на peak контейнера 640 196 608 байт < 1 GiB. Это исходное доказательство major на V; исправление M ещё не подтверждено на той же Linux/HTTP-границе.
|
||||
|
||||
**Исправление памяти M.** Преобразования цвета и RGB-маски вычисляются плитками 256×256; глобальные resize/fit остаются после сборки изображения, чтобы не создавать границы плиток. Low-byte core закрывается перед high-byte decode, маски — до EXIF/resize, grayscale-исходник — после сборки RGB. `Image.close()` уничтожает pixel core; обычный выход из контекста изображения закрывает файл, но сохраняет core — [Pillow 13.0.0](https://github.com/python-pillow/Pillow/blob/13.0.0/docs/reference/open_files.rst). Сохранённое сравнение 132 вариантов побайтно совпало с V, но новые затраты Linux-процесса этим не измерены.
|
||||
|
||||
**Очистка.** Staging удаляется после безопасной публикации и завершения активных версий; у failed хранится 86400 с, затем replay возвращает expired. Проверка активных jobs и сериализация cleanup/reprocess защищают используемый исходник. Удаление выполняет relay; worker не получает право DeleteObject. Quarantine-миграция поддерживает унаследованную сверку S3, но демонстратор `reconcile_track.py` для квалификации ЛР5 непригоден.
|
||||
|
||||
## Проверки и таблица критериев
|
||||
|
||||
Исторические динамические PASS относятся к **D**, 2026-11-06 UTC; более ранняя топология и новые проверки V помечены явно. Это аудит сохранённых прогонов, не новый запуск на M. Новые tRNS и policy дополнительно проверены динамически на V в отдельном блоке ниже; эти результаты не смешиваются с D. Полные команды, environment, exit codes и SHA находятся в связанных файлах.
|
||||
|
||||
| Критерий | Команда / сценарий | Наблюдение | Файл |
|
||||
| --- | --- | --- | --- |
|
||||
| Контракт, синтаксис, типы | `make check validate lint` | PASS на F; приложение этим не проверяется | [checks](evidence/final-memory-validation-2026-11-07/checks.txt) |
|
||||
| Собственные интеграционные тесты | `make student-test PYTEST_ARGS='-q --tb=short'` | F: 984 passed, 2 Linux-only skips, 19 stack deselected; real-broker, Linux-эквивалент пропусков выполнен отдельно | [student-test.txt](evidence/final-memory-validation-2026-11-07/student-test.txt), [Linux](evidence/final-memory-validation-2026-11-07/linux.json) |
|
||||
| Предыдущее исправление tRNS | Offline-команда с `--confcutdir`, шесть unit-модулей; отдельно `--noconftest` для границ | R: сохранённые 430 + 20 passed; 114 прежних вариантов побайтно совпали; Docker не участвовал | [Команды и результаты](evidence/review-trns-depth-2026-11-06/RESULTS.md) |
|
||||
| Исправление памяти M | `make student-test` с `--confcutdir` и восемью unit-модулями; отдельно `--noconftest` для границ | Сохранённые 440 passed / 2 Linux-only skipped + 20 passed; 22 изображения / 132 идентичных варианта. Это offline-результат исправления; новые Linux/HTTP на F приведены ниже | [Команды](evidence/review-png-memory-2026-11-07/RESULTS.md), [offline](evidence/review-png-memory-2026-11-07/offline-tests.txt), [границы](evidence/review-png-memory-2026-11-07/boundaries.txt) |
|
||||
| OpenSpec | `openspec validate --all --strict`; `openspec list --json` | F: 22 спецификации PASS, активных changes нет; цикл исправления памяти архивирован | [OpenSpec](evidence/final-memory-validation-2026-11-07/openspec.txt) |
|
||||
| 3: минимум lab1–4, 202 и thumbnail | `make test` | Публичный smoke PASS через LB на F | [smoke.txt](evidence/final-memory-validation-2026-11-07/smoke.txt) |
|
||||
| 3: сессия, исходник и данные после рестарта | `make test-persistence ACTION_SCRIPT=scripts/restart.sh` | PASS; рестарты своих хранилищ и процессов подтверждены событиями | [persistence.txt](evidence/forward-final-2026-11-06/persistence.txt), [контейнеры](evidence/forward-final-2026-11-06/persistence-containers.txt) |
|
||||
| 3: отказ реплики | `make test-failover ACTION_SCRIPT=scripts/stop-one.sh`; `make restore` | 131 успешная запись, 0 ошибок, первая после отказа через 2.791 с; api-2 остановлен и восстановлен | [failover.txt](evidence/forward-final-2026-11-06/failover.txt), [контейнеры](evidence/forward-final-2026-11-06/failover-containers.txt), [restore.txt](evidence/forward-final-2026-11-06/restore.txt) |
|
||||
| 3: отдельный broker/worker, quorum, confirm, manual ack, prefetch | `rabbitmqctl list_queues/list_consumers/list_permissions`; проверки падений suite | Топология и prefetch=2 зафиксированы до forward; COMMIT/ack повторно проверен на D. Старый delivery-limit не доказывает policy R | [queues.txt](evidence/sqlalchemy-2026-11-06/grade3/queues.txt), [consumers.txt](evidence/sqlalchemy-2026-11-06/grade3/consumers.txt), [permissions.txt](evidence/sqlalchemy-2026-11-06/grade3/permissions.txt), [level4.json](evidence/forward-final-2026-11-06/level4.json) |
|
||||
| 3: worker down, рестарт API/broker, затем ready | `pipeline_suite.py --level 4`, `worker_down_broker_restart` | 202 queued, content 409, сообщение 201; очередь [1,0] переживает рестарт; тот же ID становится ready | [level4.json](evidence/forward-final-2026-11-06/level4.json) |
|
||||
| 3: конечные состояния и повторы | `s3_outage_recovers`, `retry_exhausted`, `duplicate_after_ready` в suite | S3 восстановлен → done на попытке 2; failed на попытке 5; дубль ready → duplicate_noop | [level4.json](evidence/forward-final-2026-11-06/level4.json) |
|
||||
| 4: варианты и Linux-лимиты | `image_matrix`, `worker_limits` в suite | 26 fixtures: 17 ready и 9 отклонённых; 40 Мп, 0.5 с / 200 MiB → контролируемый failed, worker жив; штатно ready, peak 423/1024 MiB. Новые tRNS на V не прошли границу; после исправления M адресная validation F проходит, см. ниже | [level4.json](evidence/forward-final-2026-11-06/level4.json) |
|
||||
| 4: outbox, crash COMMIT→publish | `crash_commit_publish` | Relay exit 137; outbox не опубликован; после восстановления ready без новой job | [level4.json](evidence/forward-final-2026-11-06/level4.json) |
|
||||
| 4: backoff, DLQ, replay | `retry_backoff_jitter`, `malformed_message_dead_lettered`, `replay_failed`, `failed_retention` | Задержки 0.722422/1.010937/2.240832/4.845013 с; DLQ +1; replay failed→ready, ready→noop, после retention→expired | [level4.json](evidence/forward-final-2026-11-06/level4.json) |
|
||||
| 4: S3→COMMIT→ack, lease/fencing, cleanup | `crash_after_s3_before_commit`, `crash_after_commit_before_ack`, `lease_expiry_fencing` | Exit 137 в заданных окнах; один набор вариантов; старая аренда fenced; staging ready очищен | [level4.json](evidence/forward-final-2026-11-06/level4.json) |
|
||||
| Все уровни 3/4 в suite | `python3 scripts/pipeline_suite.py --level 4 --output evidence/forward-final-2026-11-06/level4.json` | 17 сценариев / 8 инвариантов PASS; 33 ID, 28 ready, 5 ожидаемых failed, 116 объектов | [Команда](evidence/forward-final-2026-11-06/level4-command.txt), [JSON](evidence/forward-final-2026-11-06/level4.json) |
|
||||
| 5: трек 2 | `make track2 TRACK2_OUTPUT=evidence/forward-final-2026-11-06/track-runN.json`, N=1,2,3 | 39 сценариев / 24 инварианта PASS; 39 ID / 174 объекта, см. методику | [run1](evidence/forward-final-2026-11-06/track-run1.json), [run2](evidence/forward-final-2026-11-06/track-run2.json), [run3](evidence/forward-final-2026-11-06/track-run3.json) |
|
||||
| Поздние исправления ЛР4 | `forward_network.py`, целевые stack-тесты и fixture HAProxy | Basic/NUL/logout; битые PNG до storage; обход Valkey с безопасным logout; 12 корректных JSON для 502/503/504 | [network](evidence/forward-final-2026-11-06/network-regressions.txt), [upload](evidence/forward-final-2026-11-06/upload-negative.txt), [cache](evidence/forward-final-2026-11-06/cache-outage.txt), [HAProxy](evidence/forward-final-2026-11-06/haproxy-errors.txt) |
|
||||
|
||||
## Отказы: время и сохранность
|
||||
|
||||
Источник — D: [level4.json](evidence/forward-final-2026-11-06/level4.json) и публичные логи выше. Времена suite — **длительности всего сценария**, включая управление контейнерами и assertions; это не время недоступности API и не p95. «Потерь 0» означает отсутствие потерь принятых ID в выборке, а не доказательство для любых отказов диска/сети.
|
||||
|
||||
| Воздействие / команда suite | Фактически остановленный контейнер | Наблюдение | Время / потери |
|
||||
| --- | --- | --- | --- |
|
||||
| `worker_down_broker_restart` | `mtusi2026lab5-worker-1`, `3924574b030d`, exited 0 | 19:36:04.231533Z upload; рестарт API/relay, broker с volume; worker started 19:36:20.143149Z, ready 19:36:20.313903Z | 0.171 с от отметки старта до ready; сценарий 16.6 с; потерь 0 |
|
||||
| Persistence, `scripts/restart.sh` | `mtusi2026lab5-{postgres,valkey,s3,broker,lb,api-1,api-2,relay,worker}`; точные ID в events | Данные, сессия и оригинал сохранены | Команда 12.835 с; потерь подтверждённых данных не обнаружено |
|
||||
| Failover, `scripts/stop-one.sh` | `mtusi2026lab5-api-2`, exited 0 | 131 запись, 0 ошибок | Первая запись 2.791 с; потерь 0 |
|
||||
| `crash_commit_publish` | `mtusi2026lab5-relay-1`, `57ef736182d7`, exited 137 | Неопубликованный outbox → ready с прежней job | Сценарий 9.5 с; потерь 0 |
|
||||
| `crash_publish_confirm` | `mtusi2026lab5-relay-1`, `9f63b40078d5`, exited 137 | **После confirm**, до COMMIT отметки outbox; повтор публикации без второго эффекта | Сценарий 9.6 с; потерь 0; потеря confirm не проверялась |
|
||||
| `crash_after_s3_before_commit` | `mtusi2026lab5-worker-1`, `c74820bbdab3`, exited 137 | Processing, 0 строк вариантов; повтор → ready | Сценарий 12.6 с; потерь 0 |
|
||||
| `crash_after_commit_before_ack` | `mtusi2026lab5-worker-1`, `5accc3314905`, exited 137 | Ready до падения; redelivery без нового набора | Сценарий 10.3 с; потерь 0 |
|
||||
| `lease_expiry_fencing` | Worker задержан, не остановлен | claimed(1) → lease_expired(2) → done(2) → fenced(1) | Сценарий 33.2 с при аренде 5 с и stall 15 с; перезаписи нет |
|
||||
| `s3_outage_recovers` | S3 остановлен сценарием; отдельного ps с ID в этом JSON нет | После восстановления done на попытке 2 | Сценарий 12.0 с; потерь 0; полнота свидетельства остановки ограничена |
|
||||
| `retry_exhausted` / `replay_failed` | Fault-injection, контейнеры не требуется останавливать | 5 попыток → failed; явный replay → ready, повтор → noop | Сценарии 17.6 / 28.4 с; failed — ожидаемый исход, не потерянная job |
|
||||
| `worker_limits` | Worker остаётся running | 40 Мп: принудительные время/память → failed; штатный режим → ready | 15.4 с на сценарий; ошибок процесса worker не зафиксировано |
|
||||
|
||||
Историческая остановка стенда D: `make down` без `-v`, затем пустой список контейнеров project и четыре сохранённых volume — [down.txt](evidence/forward-final-2026-11-06/down.txt), [stopped-containers.txt](evidence/forward-final-2026-11-06/stopped-containers.txt), [retained-volumes.txt](evidence/forward-final-2026-11-06/retained-volumes.txt). В финальной validation стенд снова остановлен без `-v`; контейнеров project нет, четыре volume сохранены — [down](evidence/final-validation-2026-11-07/down.txt), [проверка](evidence/final-validation-2026-11-07/stopped-containers.txt), [volumes](evidence/final-validation-2026-11-07/retained-volumes.txt).
|
||||
|
||||
## Трек 2: гипотеза, методика и числа
|
||||
|
||||
**Гипотеза.** At-least-once доставка вместе с lease/fencing, уникальностью эффекта и монотонной публикацией сохраняет принятые задания при проверенных сбоях; старая job не заменяет результат новой версии.
|
||||
|
||||
**Методика.** На D выполнены три последовательных `make track2`. Каждый повтор создаёт 13 новых вложений и включает контроль `smoke_pipeline`, дубль готовой job, две копии в работе, перестановку attempts и версий, crash до side effect, после S3 и после COMMIT до ack, SIGKILL worker, истечение аренды и позднюю v1 после v2. В `reorder_attempts` меняется порядок транспортных копий, а управляемый номер попытки остаётся фактом БД. Отдельно проверяется outbox до publish и после confirm до COMMIT. Потеря самого confirm не моделируется, несмотря на историческое название сценария.
|
||||
|
||||
После сценариев suite сверяет SQL и фактический S3 inventory для принятых ID, опрашивает API, скачивает bytes и сравнивает SHA-256, длину и геометрию. Восемь инвариантов: `terminal`, `single_effect`, `no_ready_rollback`, `monotonic_publication`, `bytes_match_metadata`, `bounded_attempts`, `no_orphans`, `no_lost_202`. Наблюдение состояний дискретное, дополнено журналом переходов и SQL-ограничениями. `no_orphans` относится к выборке: исторические failed/DLQ сохранены, глобальная DLQ не обязана быть пустой.
|
||||
|
||||
| Повтор на D | Сценарии PASS | Инварианты PASS | Уникальные 202 | Объекты S3 | Команда и первичные данные |
|
||||
| --- | --- | --- | --- | --- | --- |
|
||||
| 1 | 13 | 8 | 13 | 58 | [txt](evidence/forward-final-2026-11-06/track-run1.txt), [json](evidence/forward-final-2026-11-06/track-run1.json) |
|
||||
| 2 | 13 | 8 | 13 | 58 | [txt](evidence/forward-final-2026-11-06/track-run2.txt), [json](evidence/forward-final-2026-11-06/track-run2.json) |
|
||||
| 3 | 13 | 8 | 13 | 58 | [txt](evidence/forward-final-2026-11-06/track-run3.txt), [json](evidence/forward-final-2026-11-06/track-run3.json) |
|
||||
| Всего | 39 | 24 | 39 | 174 | [summary.json](evidence/forward-final-2026-11-06/summary.json) |
|
||||
|
||||
Во всех трёх повторах `stale_after_new_version` сохраняет одинаковый публичный снимок v2 до/после поздней v1. В `reorder_versions` v2 достигает done первой, v1 получает superseded. Для fixture 320×200 версии различимы; размеры и первые 16 hex SHA-256 ниже повторяются во всех трёх JSON:
|
||||
|
||||
| Вариант | Геометрия | v1, байт | v2, байт | SHA v1 / v2 |
|
||||
| --- | --- | --- | --- | --- |
|
||||
| crop | 128×128 | 1820 | 2142 | `97bf1400b30a28c1` / `5b6fb2a66216f8ca` |
|
||||
| optimized | 320×200 | 2462 | 2790 | `1090d84ed8411226` / `fe520c978bd45fc8` |
|
||||
| thumbnail | 256×160 | 4679 | 5628 | `7bc40bf315c8e18e` / `fa0db661078d4da9` |
|
||||
|
||||
Разница вызвана quality JPEG/WebP, не изменением геометрии; больший файл не является измерением визуального качества. На D в этой матрице не обнаружены потеря 202, второй эффект, откат ready или замена v2 старой job. Это ограниченное подтверждение гипотезы, не exactly-once доставка: commit и подтверждение брокеру не атомарны, поэтому повторная доставка остаётся нормальным исходом сбоя.
|
||||
|
||||
**Условия.** Darwin arm64, 16 CPU; Docker 28.3.2, VM 16 CPU / 8 217 190 400 байт RAM. Project `mtusi2026lab5`, образ `mtusi-messenger:lab5-forward`, ports 18085/25085/25086; volumes между повторами сохранены. Fault override: lease 5 с, backoff 1 с, outbox poll 0.5 с, sweep 1 с, stall 15 с. [conditions-before.json](evidence/forward-final-2026-11-06/conditions-before.json) и [conditions-track-start.json](evidence/forward-final-2026-11-06/conditions-track-start.json) не показывают других Docker projects в моменты снимков; непрерывного мониторинга CPU хоста нет. Фоновая нагрузка этого этапа не запускалась, ресурсная изоляция производительности не доказана.
|
||||
|
||||
У run2/3 UTC-интервалы и монотонные elapsed расходятся: 1161.195/186.458 с и 571.513/180.259 с; у run1 — 181.175/181.089 с. Причина не установлена. Эти длительности исключены из SLO, RPS, сравнений производительности и оценок разброса — [clock-observation.json](evidence/forward-final-2026-11-06/clock-observation.json). Трек 2 проверяет идемпотентность, а не throughput; пригодные функциональные серии не требуется повторять из-за спорного времени.
|
||||
|
||||
Предыдущие 39/174 на `9ba3076fa8ba707de932e053fc22f455d83b3210` — историческое сравнение сохранности инвариантов до позднего forward, не ускорения: [старые результаты](evidence/sqlalchemy-2026-11-06/track2/qualified/RESULTS.md). Прерванный старый run3 исключён и заменён только третьим повтором; 10 принятых до прерывания ID восстановились. Корневые `evidence/level3.json`, `level4.json` и старые логи относятся к коду до SQLAlchemy и не подтверждают R.
|
||||
|
||||
## Ограничения
|
||||
|
||||
Семь minor последнего независимого ревью M сохранены без исправления; они не блокируют отчёт или передачу следующей фазе. Новый minor JobMessage передан координатором в результате `lab5-release-load0-round1`; в отчётном этапе его offline-пробы не повторялись:
|
||||
|
||||
| Файл | Ограничение / доказательство |
|
||||
| --- | --- |
|
||||
| `src/messenger/attachments/application/pipeline.py:230` | `after_publish_before_confirm` вызывается после `publish()`, уже получившего Basic.Ack. `crash_publish_confirm` проверяет окно после confirm до COMMIT outbox, а не потерю confirm. См. [findings.json](evidence/review-trns-depth-2026-11-06/findings.json). |
|
||||
| `scripts/limits.py:10` | Несортированный список secrets сравнивается с отсортированным и даёт два ложных FAIL. [Сохранённый запуск](evidence/sqlalchemy-2026-11-06/grade3/limits.txt) имеет exit_code=1; PASS ему не присваивается. |
|
||||
| `scripts/reconcile_track.py:396` | Демонстратор ждёт upload 201 и `attachments/` из ЛР4; для ЛР5 с 202 непригоден и в квалификации не используется. См. [findings.json](evidence/forward-final-2026-11-06/findings.json). |
|
||||
| `src/messenger/attachments/application/pipeline.py:304` | Failed upgrade v2 при ready v1 нельзя отдельно повторить replay/reprocess; v1 остаётся доступной. Проверка `test_failed_new_version_keeps_ready_original` — [student-test.txt](evidence/forward-final-2026-11-06/student-test.txt). |
|
||||
| `evidence/forward-final-2026-11-06/clock-observation.json` | Расхождение часов в run2/3; время не используется для performance-выводов. |
|
||||
| `openspec/config.yaml:130` | Унаследованное design-правило указывает upload 201 вместо нормативного 202. Конфиг вне scope отчётной фазы. |
|
||||
| `src/messenger/attachments/entrypoints/schemas.py:67` | Модель допускает `attempt="1"`, `pipeline_version=true`, числовой `created_at` и `traceparent=null` вне `jobs.schema.json`. В четырёх offline-пробах ревью вызваны bus/ack, reject=0. Штатный relay формирует корректные сообщения; критичного последствия не установлено. [Источник и границы проверки](evidence/report-memory-audit-2026-11-07.md). |
|
||||
|
||||
Один host, один PostgreSQL, S3 и узел quorum RabbitMQ не обеспечивают HA. Инфраструктурные redelivery теперь не ограничены числом доставок и при долгом отказе создают повторные обращения/логи; прикладные ошибки после claim ограничены. SIGTERM во время обработки может задержать повтор до истечения аренды. Replay сбрасывает attempt с audit и не ограничивает число ручных запусков. Три повтора не покрывают все чередования событий. Уже опубликованные ready-объекты автоматически новым renderer не переписываются; RGB16+tRNS зависит от tile rawmode Pillow и требует регрессий при обновлении.
|
||||
|
||||
`openspec/config.yaml` проверен, но не изменён: разрешённый scope отчётной фазы исключает конфиги и OpenSpec. Он уже содержит SQLAlchemy/Alembic и контекст ЛР5; в унаследованном правиле design осталось `201` для PostgreSQL+S3. Для upload ЛР5 нормативен `202` после staging и COMMIT, как в `contracts/`. Эта документационная неточность не меняет HTTP-реализацию.
|
||||
|
||||
## Историческая validation V: завершённые проверки и исходный major
|
||||
|
||||
Аудит по README, измеренному SHA, diff, конфигурации, ресурсам, dataset, повторам и сырью — [load-validation.md](evidence/load-validation.md). Три пригодных функциональных track2-повтора приняты, вся матрица повторно не запускалась. Изменение только документации не аннулирует эти свидетельства. Новых SLO/throughput-обещаний нет: выбран трек 2.
|
||||
|
||||
| Проверка на V | Реальный результат | Доказательство |
|
||||
| Таблица | Ключи и ограничения | Индексы и зачем |
|
||||
| --- | --- | --- |
|
||||
| `make check validate lint`, OpenSpec | PASS; 22 спецификации, changes=[] | [checks](evidence/final-validation-2026-11-07/checks.txt), [OpenSpec](evidence/final-validation-2026-11-07/openspec.txt) |
|
||||
| Сборка и публичный `make test` | PASS; образ содержит reviewed images.py, версии закреплены | [build](evidence/final-validation-2026-11-07/build.txt), [runtime](evidence/final-validation-2026-11-07/image-runtime.txt), [smoke](evidence/final-validation-2026-11-07/smoke.txt) |
|
||||
| Policy на существующем volume и реальная остановка PostgreSQL | PostgreSQL `9f62ea9d176b` exited; 12 `job.requeued`; без replay ready с той же job и attempt=1; DLQ осталась 15; 8 инвариантов PASS. Сценарий 21.815 с, вся команда 27.330 с; принятое вложение сохранено | [команда](evidence/final-validation-2026-11-07/postgres-outage-retry.txt), [JSON](evidence/final-validation-2026-11-07/postgres-outage-retry.json) |
|
||||
| tRNS HTTP v1/v2, exact neighbor, Adam7/filter/EXIF | 8 изображений, 48 побайтных сравнений вариантов с независимым белым эталоном; исходник, metadata/hash/размеры, stale/duplicate noop; 8 инвариантов PASS | [команда](evidence/final-validation-2026-11-07/png-http.txt), [JSON](evidence/final-validation-2026-11-07/png-http.json) |
|
||||
| Адресные duplicate/reorder/fencing, COMMIT/ack, malformed/DLQ, exhaustion/replay | 12 сценариев, 8 инвариантов PASS, 11 ID / 47 объектов; одна ожидаемая новая DLQ от malformed | [команда](evidence/final-validation-2026-11-07/delivery-targeted.txt), [JSON](evidence/final-validation-2026-11-07/delivery-targeted.json) |
|
||||
| PNG tRNS 8000×5000 при 448 MiB / 30 с | **4 FAIL**: grayscale 2/4/16 и RGB16 получили 202 → failed/processing_failed, attempt=1. Штатный ready-сценарий не пройден | [команда](evidence/final-validation-2026-11-07/png-limits.txt), [JSON](evidence/final-validation-2026-11-07/png-limits.json), [fixtures](evidence/final-validation-2026-11-07/fixtures) |
|
||||
| Принудительные timeout/memory и последующее обычное задание | PASS; worker остаётся жив, обычное задание ready. Это не отменяет четыре FAIL выше | [png-limits.json](evidence/final-validation-2026-11-07/png-limits.json) |
|
||||
| Повторная read-only сверка после staging sweep | PASS; нет pending outbox/staging/nonterminal/дублей, 10 объектов совпали с БД для 7 ID. Исходный ранний no_orphans FAIL сохранён | [cleanup-recheck](evidence/final-validation-2026-11-07/cleanup-recheck.json) |
|
||||
| `users` | PK `id`; `UNIQUE (username)`; `CHECK` формата `username`, длины `display_name`, префикса `$argon2id$` у хеша | `users_username_key` — вход по username и уникальность |
|
||||
| `sessions` | PK `token_hash` (32 байта SHA-256); FK `user_id → users`; `CHECK expires_at > created_at` | `sessions_user_idx` — удаление истёкших при входе |
|
||||
| `chats` | PK `id`; `CHECK` длины `title`; `last_message_at` — отметка последнего сообщения | — |
|
||||
| `chat_members` | PK `(chat_id, user_id)`; FK `chat_id → chats`, `user_id → users`; `position` — порядок `member_ids` | `(user_id, chat_created_at, chat_id)` — keyset-список чатов одним индексом |
|
||||
| `messages` | PK `id`; FK `(chat_id, sender_id) → chat_members`; `CHECK` длины `text` | `(chat_id, created_at, id)` — keyset-история без сортировки |
|
||||
|
||||
**Исходный major на V:** объявленный [OpenSpec-сценарий PNG на пределе пикселей](openspec/specs/lab5-image-variants/spec.md) требует ready при штатных пределах. Новые 40 Мп tRNS fixtures размером 35 759–385 445 байт его не проходят. [Linux-пробник с импортами worker](evidence/final-validation-2026-11-07/resource-probe-worker.txt) воспроизводит MemoryError в `images.py`: grayscale 2/4 — белый RGB-фон, grayscale16 — `I → L`, RGB16 — маски/повторное декодирование. Без tRNS gray2/gray4/RGB16 проходят; gray16 превышает память и без tRNS. Это провал конкретного граничного сценария; потери данных или падение сервиса не обнаружены.
|
||||
Составной FK `messages → chat_members` держит на уровне БД правило «пишет только участник»: вставка от
|
||||
постороннего отклоняется даже в обход API (тест `test_sender_must_be_member_even_bypassing_api`).
|
||||
|
||||
Этот вывод относится к V. Причина исправлена отдельным агентом в M через OpenSpec, выполнено независимое re-review. Старый [findings.json](evidence/final-validation-2026-11-07/findings.json) сохраняет исходный major и шесть minor как историю; он не перезаписывается. Динамическое закрытие major подтверждено новым прогоном F ниже; исходные FAIL V сохранены.
|
||||
**Границы транзакций.** Регистрация — один `INSERT … ON CONFLICT (username) DO NOTHING RETURNING`: при
|
||||
гонке ровно один успешен, остальные получают `409`. Вход — один оператор, удаляющий истёкшие сессии
|
||||
пользователя и вставляющий новую. Создание чата — `INSERT chats` и `INSERT chat_members` из
|
||||
`unnest(…) WITH ORDINALITY` в одной транзакции UoW: несуществующий участник даёт нарушение FK, транзакция
|
||||
откатывается целиком, ответ `400`. Сообщение — `SELECT … FOR UPDATE` строки чата с условием членства
|
||||
отправителя (посторонний сразу получает `404` и не встаёт в очередь за участниками, тест
|
||||
`test_outsider_does_not_wait_for_members_lock`), затем одним оператором `INSERT messages` и
|
||||
`UPDATE chats.last_message_at`. Чтения — по одному оператору без явной транзакции.
|
||||
UoW фиксирует только явно, откат — по умолчанию.
|
||||
|
||||
Первый outage-прогон невалиден: `docker compose start worker` автоматически запустил БД; повторён только этот сценарий с точным container ID. Первая передача пробника через docker cp отклонена read-only rootfs, затем использован stdin/tmpfs. Эти ошибки обвязки и ранний cleanup FAIL сохранены отдельно и не объявлены успехом. Все команды, условия, ограничения и остановка — [RESULTS](evidence/final-validation-2026-11-07/RESULTS.md).
|
||||
**Порядок истории при нескольких процессах.** Монотонные часы процесса лабы 1 при четырёх воркерах ничего
|
||||
не гарантируют. Агрегат `Chat` хранит `last_message_at` и назначает `created_at = max(now, last + 1 мкс)`
|
||||
под блокировкой строки чата. Порядок фиксации поэтому совпадает с порядком `(created_at, id)`, и
|
||||
keyset-читатель не пропускает сообщение, зафиксированное позже с меньшей отметкой. Цена — запись в один
|
||||
горячий чат сериализуется; разные чаты не мешают друг другу. Идентификаторы — UUIDv7.
|
||||
|
||||
Запуск из чистого clone и отдельная throughput-матрица на V не выполнялись. Полный student-test, HTTP и реальный брокер выполнены именно на V. Runtime M дополнительно проверен динамически на F ниже; публикация остаётся отдельной фазой. Push и Telegram не выполнялись.
|
||||
**Зоны и общая БД.** Проекция участников заменена внешним ключом `chat_members.user_id → users`: проверку
|
||||
«участник существует» делает СУБД внутри той же транзакции. Зоны не вызывают и не импортируют друг друга,
|
||||
SQL зоны `messaging` не читает `users` и `sessions`, зона `identity` не читает таблиц чатов — это проверяет
|
||||
тест границ по импортам и по текстам SQL; требование `lab1-event-publication` «Доменные зоны не вызывают
|
||||
друг друга; общая точка — схема БД» заменило прежнее «связаны только событиями». Цена: схемы зон сцеплены,
|
||||
`identity` нельзя вынести в отдельную БД или сервис, не вернув проекцию участников с outbox; FK при создании
|
||||
чата берёт `FOR KEY SHARE` на строках `users`; любое нарушение FK в `INSERT chat_members` обезличенно
|
||||
становится «неизвестный участник» (`400`). Триггер пересмотра — отдельная БД для зоны `identity`.
|
||||
|
||||
## Исправление M и завершённая адресная validation F
|
||||
**Пароли и сессии.** Argon2id `m=19 MiB, t=2, p=1` (минимум OWASP) в пуле потоков под семафором
|
||||
(2 на воркер), чтобы не блокировать event loop и ограничить память при всплеске регистраций. Для
|
||||
неизвестного username выполняется проверка против фиктивного хеша — время не выдаёт существование
|
||||
пользователя. Токен — `secrets.token_urlsafe(32)` (43 символа, 256 бит); в БД лежит только его SHA-256.
|
||||
Пароль хешируется медленно, потому что у него мало энтропии и перебор надо удорожать; у токена энтропия
|
||||
полная, быстрого хеша достаточно, а утечка таблицы `sessions` не даёт действующих токенов. Срок
|
||||
абсолютный: `expires_at = вход + SESSION_TTL_SECONDS`, проверка по часам приложения, рестарт его не
|
||||
продлевает. Выход — удаление строки.
|
||||
|
||||
[Результаты исправления](evidence/review-png-memory-2026-11-07/RESULTS.md) сохраняют четыре ожидаемых FAIL регрессии на исходном renderer и PASS после изменения. Счётчик одновременно живущих pixel buffers на 1025×769 дал:
|
||||
**Аутентификация в конвейере.** Страж зоны `identity` работает в ASGI-конвейере до FastAPI, поэтому `401`
|
||||
приходит раньше `404` и `400`, даже при битом JSON. `Basic` разбирается своим строгим парсером (base64 с
|
||||
`validate=True`, первое `:`, UTF-8, ASCII-username) только на `POST /api/v1/auth/sessions`; остальные
|
||||
`/api/v1/*` принимают только `Bearer`. `WWW-Authenticate` выбирается по пути: `Basic realm="messenger",
|
||||
charset="UTF-8"` на входе и `Bearer realm="messenger"` везде, включая `Basic` на бизнес-endpoint.
|
||||
`X-User-Id` не читается нигде. Отказ БД при проверке сессии — `503 unavailable`, не `401`.
|
||||
|
||||
| PNG tRNS | До, байт | После, байт |
|
||||
**Пул и таймауты.** asyncpg-пул ленивый (`min_size=0`, `max_size=8` на воркер; 4×8 < `max_connections`),
|
||||
подключение 1 с, ожидание соединения из пула 1 с, команда 2 с на клиенте и `statement_timeout`,
|
||||
`lock_timeout` 2 с на сервере. Сетевые ошибки и отказ сервера превращаются в `503`. Готовность
|
||||
`/health/ready` выполняет `SELECT 1` через тот же пул; `/health/live` от БД не зависит.
|
||||
|
||||
**Роль Valkey: read-through кэш сессий.** Адаптер `CachedSessionDirectory` оборачивает справочник сессий
|
||||
PostgreSQL за тем же портом чтения `SessionDirectory` и реализует отдельный порт `SessionRevocations` для
|
||||
отзыва (без кэша — пустой `NoRevocations`) — домен и обработчики о кэше не знают.
|
||||
|
||||
- *Что лежит:* ключ `session:<sha256 токена>`, значение — `user_id` и сроки сессии. Токена в кэше нет.
|
||||
- *Чтение:* `GET`; промах → `SELECT` в PostgreSQL → `SET … NX PXAT`. Повторные проверки одного токена
|
||||
обслуживает Valkey (`keyspace_hits` растёт, `evidence/cache.txt`, `evidence/faults.txt`).
|
||||
- *Expiry:* `PXAT` — абсолютное время, `min(expires_at, сейчас + SESSION_CACHE_TTL_SECONDS)`; повторное
|
||||
заполнение не продлевает сессию, ключ не переживает сессию (`pexpiretime` ≤ `expires_at` в
|
||||
`evidence/cache.txt`). Потолок 300 с — страховка от ошибки инвалидации.
|
||||
- *Инвалидация:* выход сначала пишет отметку отзыва `SET key "-" PXAT expires_at`, затем удаляет строку в
|
||||
БД. Заполнение идёт только с `NX`, поэтому читатель, достававший сессию из БД в момент выхода, не
|
||||
перетрёт отметку и не оживит токен (тест `test_fill_racing_with_logout_does_not_revive_token`). Если
|
||||
отметку записать нельзя, выход отвечает `503` и сессию не трогает: иначе после возвращения Valkey из AOF
|
||||
ожила бы закэшированная запись. Если отметка записана, а удаление или `COMMIT` в PostgreSQL упали,
|
||||
отметка снимается (`DEL`, через тот же размыкатель) и выход отвечает `503`. Значит, `503` всегда означает
|
||||
«ничего не изменилось»: токен работает, повтор после возвращения БД даёт `204` (тест
|
||||
`test_logout_rejected_by_database_changes_nothing`). До исправления отметка оставалась: повтор отвечал
|
||||
`401`, а после вытеснения отметки или `FLUSHALL` токен оживал. Остаток без двухфазной фиксации: при
|
||||
неоднозначном `COMMIT` строка уже удалена, и если в то же окно чтение успеет заполнить кэш, токен
|
||||
проживёт в кэше до 300 с. Клиент же получил `503` и повторит выход.
|
||||
- *Недоступность:* таймаут 0.2 с, один повтор на новом соединении, размыкатель на 1 с. Проверка уходит в
|
||||
PostgreSQL, неизвестный токен получает `401`; запрос никогда не становится анонимным. Готовность от
|
||||
Valkey не зависит.
|
||||
- *Persistence:* AOF `appendfsync always` на volume `valkeydata`: подтверждённая отметка отзыва уже на
|
||||
диске, рестарт сохраняет тёплый кэш и отметки. `FLUSHALL` безвреден: источник истины — PostgreSQL.
|
||||
`maxmemory 64mb` с `volatile-lru`: вытеснение любой записи безопасно по той же причине.
|
||||
|
||||
**Курсор** подписывается постоянным ключом из `secrets/cursor_secret`: страница, выданная одним воркером,
|
||||
продолжается другим и после рестарта.
|
||||
|
||||
**Миграции.** `python -m messenger.migrate`: `pg_advisory_lock`, `schema_migrations(version, checksum,
|
||||
applied_at)`, каждая версия — в своей транзакции, изменённая применённая миграция останавливает запуск.
|
||||
Одноразовый сервис `migrate` стартует после `postgres: service_healthy`, `api` — после
|
||||
`migrate: service_completed_successfully`. Применение к пустому volume и безопасный повтор —
|
||||
`evidence/migrations.txt`.
|
||||
|
||||
**Инфраструктура** (`compose.yaml`, одна внутренняя сеть `backend`, наружу — только API на `127.0.0.1`):
|
||||
|
||||
| Роль | Сервис | Версия / digest | Health / readiness | Volume | Сеть / порт | Credentials |
|
||||
| --- | --- | --- | --- | --- | --- | --- |
|
||||
| api | `api` | образ `mtusi-messenger:${COMPOSE_PROJECT_NAME}` из `Dockerfile`, python по digest, uid 10001; `SIGTERM`: воркер ждёт 7 с, gunicorn 8 с, `stop_grace_period` 10 с | `GET /health/ready` (пингует БД), при старте раз в 200 мс | нет | `127.0.0.1:${API_PORT:-8080}:8080` | secrets `database_url`, `cache_url`, `cursor_secret` через `*_FILE` |
|
||||
| postgres | `postgres` | `postgres:17.11-alpine@sha256:266d3c25…`, uid 70 | `pg_isready`, при старте раз в 200 мс (`start_interval`) | `pgdata:/var/lib/postgresql/data` | `backend`, порт не публикуется | secret `postgres_password` через `POSTGRES_PASSWORD_FILE` |
|
||||
| cache | `valkey` | `valkey/valkey:8.1.11-alpine@sha256:2602ace2…`, uid 999 | `valkey-cli ping` с паролем | `valkeydata:/data` (AOF) | `backend`, порт не публикуется | secret `valkey.conf` (`requirepass`); API — secret `cache_url` |
|
||||
| bootstrap | `migrate` | образ api | код выхода 0 | нет | `backend` | secret `database_url` |
|
||||
| expiry-тест | `api-shortttl` (профиль `faults`) | образ api, `SESSION_TTL_SECONDS=2`, 1 воркер | как у api | нет | `127.0.0.1:${SHORTTTL_PORT:-8082}:8080` | как у api |
|
||||
|
||||
Критичная зависимость готовности — только PostgreSQL. Bootstrap: `make secrets` (идемпотентно), `make up`
|
||||
(миграции применяет `migrate`), повтор обеих команд безопасен.
|
||||
|
||||
**Соответствие `.env.example` реальной конфигурации:**
|
||||
|
||||
| `.env.example` | В решении | Комментарий |
|
||||
| --- | --- | --- |
|
||||
| `APP_HOST`, `APP_PORT` | `HOST`, `PORT` | заданы в образе (`0.0.0.0:8080`); порт хоста — `API_PORT` |
|
||||
| `APP_ENV` | не используется | режимов окружения нет |
|
||||
| `SESSION_TTL_SECONDS` | `SESSION_TTL_SECONDS` | по умолчанию 3600 |
|
||||
| `DATABASE_URL_FILE` | `DATABASE_URL_FILE` | любой параметр читается из `<ИМЯ>_FILE` |
|
||||
| `SESSION_STORE=postgres` | фиксировано | PostgreSQL — источник истины сессий, Valkey — кэш поверх него |
|
||||
| `CACHE_URL_FILE` | `CACHE_URL_FILE` | без него кэш выключен и всё работает как на уровне «3» |
|
||||
| — | `CURSOR_SECRET_FILE`, `WEB_CONCURRENCY`, `API_PORT`, `SHORTTTL_PORT` | ключ курсора, число воркеров, порты хоста |
|
||||
| — | `SESSION_CACHE_TTL_SECONDS`, `CACHE_TIMEOUT_SECONDS`, `CACHE_COOLDOWN_SECONDS` | потолок срока ключа 300 с, таймаут 0.2 с, размыкатель 1 с |
|
||||
| — | `DB_POOL_MAX_SIZE`, `DB_*_TIMEOUT_SECONDS`, `PASSWORD_HASH_CONCURRENCY` | пул 8, подключение и `acquire` 1 с, команда 2 с, Argon2 по 2 |
|
||||
|
||||
## Доказательства критериев
|
||||
|
||||
| Критерий README | Команда/сценарий | Наблюдаемый результат | Файл доказательства |
|
||||
| --- | --- | --- | --- |
|
||||
| Публичный smoke | `make test` (в `make toolchain-evidence`) | `PASS: lab2 public API scenario` | `evidence/checks.txt` |
|
||||
| Офлайн-проверки и тулчейн | `make check`, `make validate` (после `make install`), `make lint` | `PASS: offline skeleton structure…`, `PASS: full OpenAPI 3.1 and JSON Schema validation`, ruff и ty — `All checks passed!` | `evidence/checks.txt` |
|
||||
| Persistence: данные и действующие сессии переживают рестарт API и хранилищ | `make test-persistence ACTION_SCRIPT=scripts/restart.sh` (обёртка `make persistence-evidence`) | `PASS: persistence preserved confirmed data and existing session`; `StartedAt` у `postgres`, `valkey` и `api` после теста новее, чем до | `evidence/persistence.txt` |
|
||||
| Persistence + logout после полного рестарта | `make test-faults` (`test_full_restart_keeps_session_until_logout`) | после `scripts/restart.sh` прежний токен `200`, выход `204`, затем `401` | `evidence/faults.txt` |
|
||||
| **«3»** Минимум lab1 сохранён с переходом на новую аутентификацию | `make student-test PYTEST_ARGS=-v` | 221 тест `PASSED` по именам (в процессе против одноразовых PostgreSQL и Valkey), включая перенесённые проверки ошибок, членства, пагинации и конкурентной записи; ещё 13 тестов стенда — `make test-faults` | `evidence/student-tests.txt` |
|
||||
| **«3»** Keyset-курсор: чужой, испорченный и пустой отклоняются | `make student-test PYTEST_ARGS="-v -k cursor"` | 17 `PASSED`: курсор другого чата → `400`; `garbage`, `1.2.3.4`, `%20` и пустой `cursor=` → `400 invalid_request` и в истории, и в списке чатов (до второго ревью пустой давал первую страницу `200`) | `evidence/student-tests.txt` |
|
||||
| **«3»** PostgreSQL: пользователи, чаты, участники, сообщения; PK/FK/UNIQUE | `make storage-evidence` (`\d+` по таблицам) | `users_username_key UNIQUE`, FK `chat_members → users, chats`, `messages → chat_members` | `evidence/schema.txt` |
|
||||
| **«3»** Миграции с нуля и повторный запуск без дублей | `make migrations-evidence`: `make reset-data && make up`, `docker compose logs migrate`, `make test`, `make migrate` | на пустом volume `migration.applied 0001_init`, 0 строк во всех таблицах и одна версия в `schema_migrations`; после `make test` повтор — `up to date`, счётчики 3/2/1/2/2 до и после равны | `evidence/migrations.txt` |
|
||||
| **«3»** Составная операция создания чата атомарна | `make student-test PYTEST_ARGS="-v -k rolls_back"` | `test_failed_chat_creation_rolls_back_both_tables PASSED`: неизвестный участник → `400`, строк в `chats` и `chat_members` не появилось | `evidence/student-tests.txt` |
|
||||
| **«3»** Basic только на `POST /auth/sessions`, остальное — Bearer | `make student-test PYTEST_ARGS="-v -k 'sessions or bearer'"` | 34 `PASSED`, в том числе `Basic` на `/users/me` → `401 Bearer realm="messenger"`, без `Basic` на входе → `401 Basic …` | `evidence/student-tests.txt` |
|
||||
| **«3»** Срок жизни сессии и отзыв | `make student-test PYTEST_ARGS="-v -k 'expire or logout'"` | 6 `PASSED`: TTL 1 с → `401`; `DELETE /auth/sessions/current` → `204`, затем `401`, повтор → `401`, вторая сессия жива; удаление в БД упало → `503`, токен `200`, отметки в Valkey нет, повтор → `204` | `evidence/student-tests.txt` |
|
||||
| **«3»** `X-User-Id` не даёт доступ | `make test`; `make student-test PYTEST_ARGS="-v -k user_id"` | один `X-User-Id` → `401`; `Bearer` alice + `X-User-Id` eve → alice (2 `PASSED`) | `evidence/checks.txt`, `evidence/student-tests.txt` |
|
||||
| **«3»** Доступ к чату — по членству, отдельно от аутентификации | `make test`; `make student-test PYTEST_ARGS="-v -k outsider"` | посторонний с действующим токеном получает `404`, как на несуществующий чат; запись постороннего не ждёт блокировки чата участником (`404` быстрее 0.5 с) | `evidence/checks.txt`, `evidence/student-tests.txt` |
|
||||
| **«3»** Пароли хешируются password KDF | `make storage-evidence` | у всех строк `users` префикс `$argon2id$v=19$m=19456,t=2,p=1$`; у 34 настоящих хешей длина 97 символов. Отдельной строкой (`seed_stub = t`) показан синтетический `seed_author` из `make seed` с заглушкой в 44 символа: войти им нельзя, он нужен только для `make explain`. В `sessions` только 32-байтовые SHA-256 | `evidence/kdf.txt` |
|
||||
| **«3»** Secrets и volumes не в Git | `git ls-files secrets .env`; `git check-ignore -v …`; `docker volume ls --filter label=com.docker.compose.project=…` | пусто; пути игнорируются правилами `.gitignore`; volumes `pgdata`, `valkeydata`, `pgrestore` только у Docker | `evidence/secrets.txt` |
|
||||
| Непривилегированные процессы | `make environment-evidence` (сам поднимает `api-shortttl` и `postgres-restore`, затем `docker compose top` без процессов healthcheck) | api и api-shortttl — uid 10001, postgres и postgres-restore — uid 70, valkey — uid 999 | `evidence/environment.txt` |
|
||||
| Остановка по `SIGTERM` ≤10 с | `make sigterm-evidence` (два `POST /messages` с недописанным телом в момент сигнала) | дописанный через 1 с после `SIGTERM` → `201 Created` через 1.15 с; недописанный воркер сам отменяет → `500` через 7.24 с (`Cancel 1 running task(s)` в журнале); остановка за 7.68 с, код 0, при `stop_grace_period` 10 с | `evidence/sigterm.txt` |
|
||||
| Предел тела, в том числе `chunked` | `make student-test PYTEST_ARGS="-v -k 'body_limit or chunked'"` | `Content-Length` больше предела и `chunked`-тело больше предела → `413 payload_too_large`; `chunked` в пределах → `201` | `evidence/student-tests.txt` |
|
||||
| **«4»** Valkey реально используется: роль, источник истины | `make test-faults` (`test_valkey_serves_repeated_checks`); `make cache-evidence` | 5 проверок токена → `keyspace_hits` 4 → 9; 4 ключа вида `session:<sha256>…`, из них 1 отметка отзыва | `evidence/faults.txt`, `evidence/cache.txt` |
|
||||
| **«4»** Политика expiry и инвалидации | `make student-test PYTEST_ARGS="-v -k cache"`; `make cache-evidence` | для сессии из БД `pexpiretime` ключа ≤ `expires_at` («ключ не переживает сессию: да»); выход оставляет отметку `"-"`; гонка заполнения после выхода не оживляет токен; сбой БД при выходе снимает отметку; при недоступном Valkey чат и сообщение создаются (6 `PASSED`) | `evidence/student-tests.txt`, `evidence/cache.txt` |
|
||||
| **«4»** Persistence кэша выдерживает рестарт; FLUSHALL | `make test-faults` (restart, flushall); `make test-persistence ACTION_SCRIPT=scripts/restart.sh` | после рестарта Valkey ключей 14 → 14, живой токен 200, отозванный 401; после `FLUSHALL` то же | `evidence/faults.txt`, `evidence/persistence.txt` |
|
||||
| **«4»** Параметризованные запросы | код адаптеров `*/infrastructure/postgres.py` | все значения передаются как `$1…$n`, SQL — константы модуля | `src/messenger/*/infrastructure/postgres.py` |
|
||||
| **«4»** Ограниченный пул и таймауты | `make student-test PYTEST_ARGS="-v -k pool"` | 2 `PASSED`: пул из 1 занятого соединения → `503` за 0.3 с ожидания; на соединении `statement_timeout = lock_timeout` равны таймауту команды (в тесте задано 1.5 с, в стенде — 2 с) | `evidence/student-tests.txt` |
|
||||
| **«4»** Гонка регистрации одного username | `make test-faults` (`test_registration_race_yields_exactly_one_user`) | 50 параллельных `POST /users` → 201×1, 409×49, в `users` одна строка | `evidence/faults.txt` |
|
||||
| **«4»** Rollback составной операции | `make test-faults` (`test_chat_creation_rolls_back_on_unknown_member`) | `400 invalid_request`; в `chats` и `chat_members` ноль строк | `evidence/faults.txt` |
|
||||
| **«4»** Индекс истории обоснован EXPLAIN (ANALYZE, BUFFERS) на ≥10 000 | `make explain` | 20 000 сообщений в чате, 30 005 всего; keyset-страница после 10 000-го — `Index Scan using messages_history_idx`, 51 строка, 4 буфера; `OFFSET 10000` — 10 051 строка, 247 буферов; без индекса — `Seq Scan` всех 30 005 строк + сортировка, 505 буферов | `evidence/explain-history.txt` |
|
||||
| **«4»** Автотест expiry при коротком TTL | `make test-faults` (`test_short_ttl_session_expires`, `test_short_ttl_expires_after_restart_at_original_time`) | сразу `200`, через 3 с `401 Bearer realm="messenger"`; после рестарта `api-shortttl` токен всё равно `401` после исходного `expires_at` | `evidence/faults.txt` |
|
||||
| **«4»** Автотест logout | `make test-faults` (`test_logout_then_token_is_dead`) | `204` без тела, затем `401`, повтор `401` | `evidence/faults.txt` |
|
||||
| **«4»** Автотест неверного пароля | `make test-faults` | неверный пароль и неизвестный username — одинаковый `401 Basic realm="messenger", charset="UTF-8"`, 0.012 с и 0.011 с | `evidence/faults.txt` |
|
||||
| **«4»** Недоступность Valkey: обход кэша, без анонимного доступа | `make test-faults` (`test_valkey_stopped_is_bypassed_but_logout_waits`) | действующий токен `200` за 0.207 с, неизвестный `401`, ready `200`, вход `201`, выход `503`, после старта — `204` | `evidence/faults.txt` |
|
||||
| **«4»** Недоступность PostgreSQL: ограниченная ошибка | `make test-faults` (`test_postgres_stopped_gives_bounded_503_and_recovers`) | ready, me, неизвестный токен, вход, регистрация — `503` за 0.992–1.012 с; live `200`; после `healthy` PostgreSQL готовность `200` без рестарта API | `evidence/faults.txt` |
|
||||
| **«5» трек 2** ≥100 000 сообщений с неравномерными чатами | `make track-bench` | база `track`: 999 993 сообщения в 1 000 чатах по Ципфу `s = 1.3`; крупнейший чат 284 708 (28.5 %), 50-й — 1 761, мельчайший — 36 | `evidence/track/bench.json`, `evidence/track/summary.txt` |
|
||||
| **«5» трек 2** Сравнение ≥2 индексов и запросов, EXPLAIN (ANALYZE, BUFFERS) | `make track-bench` | 4 набора индексов × 3 чата × {первая, keyset 90 %, OFFSET 90 %} × {тёплый, холодный}, все запуски — custom-план; составной индекс + keyset — 0.012–0.024 мс и 4–6 буферов везде; `(chat_id)` — 12.2 мс и сортировка 284 709 строк на крупнейшем; `(created_at, id)` — 14.7 мс на мельчайшем: планировщик выбирает параллельный `Seq Scan` всей таблицы (25 704 буфера, 999 993 строки); `OFFSET` 90 % крупнейшего — 20–63 мс при любом индексе | `evidence/track/summary.txt`, `evidence/track/plans.txt` |
|
||||
| **«5» трек 2** Custom против generic плана | `make track-bench` | при `(created_at, id)` generic-план для мельчайшего чата 156.5 мс против 14.9 мс custom (≈10 раз); при `(chat_id)` на крупнейшем 28.1 против 13.0 мс; при составном индексе планы совпадают (0.015–0.023 мс) | `evidence/track/summary.txt` |
|
||||
| **«5» трек 2** Стоимость записи | `make track-bench` (pgbench, 5 × 10 с на режим, `docker stats` в середине прогона, `pg_stat_wal`, контрольный повтор без индексов A-B-C-D-A) | индекс истории 56.2 МБ против 6.8 МБ у `(chat_id)`; каждый индекс — +1 запись WAL на вставку (6.03–6.06 → 7.03–7.06), +75–105 байт у одноколоночного и +133–161 у составного при `sync`; TPS ниже на 0.4–3.6 % при дрейфе первый/контрольный 1.0–1.2 %, то есть на уровне шума; postgres 266–359 % CPU, 183–190 МиБ | `evidence/track/bench.json`, `evidence/track/summary.txt` |
|
||||
| **«5» трек 2** Backup → новое хранилище → сверка | `make track-recovery` (3 повтора на размер) | `pg_dump -Fc` 14.7 МБ за 1.04 с; каждый раз новый `postgres-restore` с новым volume; `pg_restore` 0.16 + 2.16 + 0.91 с (медианы); 13 из 13 проверок совпали во всех 6 восстановлениях (счётчики, `md5` по чатам и истории, выборка ≈0.1 % строк — 90 и 1 005, миграции, индексы, ограничения) | `evidence/track/recovery.json` |
|
||||
| **«5» трек 2** RTO и RPO | `make track-recovery` для 100 011 и 999 993 сообщений | RTO — медиана 2.17 с (2.17..2.26) и 5.32 с (5.31..5.35), из них новый экземпляр 1.26–1.30 с; 46–48 маркеров, записанных во время дампа 1M после его снимка, в копии отсутствуют — потеря равна всему, что после снимка | `evidence/track/recovery.json` |
|
||||
| Нагрузка с конкуренцией 64 | `make load-evidence` (3 × `tests/load.py --duration 8 --concurrency 64`, снимки `pg_stat_activity`) | медиана 1 676 RPS (1 619..1 711), p50/p95/p99 = 30/87/112 мс, 0 ошибок; на сервере 0×5xx; 81–86 % занятых соединений PostgreSQL ждут блокировку строки чата (`Lock:tuple`, `Lock:transactionid`); CPU api ≈1.6 ядра, postgres ≈1.5 | `evidence/load.txt`, `evidence/load-c64-{1,2,3}.json` |
|
||||
|
||||
## Эксперименты и отказы
|
||||
|
||||
| Воздействие | Что ожидаем | Что наблюдали | Время восстановления / потеря данных |
|
||||
| --- | --- | --- | --- |
|
||||
| Рестарт всего стека hook-ом `scripts/restart.sh` (api, postgres, valkey) | прежний токен работает, история побайтно та же; после logout — `401` | persistence-тест `PASS`, `StartedAt` всех трёх обновился; `test_full_restart_keeps_session_until_logout`: токен `200`, выход `204`, затем `401` | API стартует через ≈1.6 с после хранилищ (healthy с опросом раз в 200 мс + `migrate`; до `start_interval` первая проверка ждала 5 с, и выходило ≈6 с); потерь нет |
|
||||
| Рестарт только API (`docker compose restart api`) | данные и сессии на месте, `expires_at` не меняется | `test_api_restart_keeps_session_without_extending_it`: токен `200`, `expires_at` в БД побайтно равен выданному при входе | готовность через ≈0.5 с; потерь нет |
|
||||
| Рестарт `api-shortttl` (TTL 2 с) до истечения сессии | рестарт не продлевает срок | после исходного `expires_at` токен `401 Bearer` | готовность через ≈0.5 с |
|
||||
| `SIGTERM` в контейнер API с двумя запросами в работе | принятый запрос дорабатывается, зависший прерывает сам сервер, остановка ≤10 с, код 0 | дописанный запрос `201` через 1.15 с; недописанный воркер отменил через 7.24 с (`500`); остановка за 7.68 с, код 0 | `docker compose up -d --wait api` |
|
||||
| `docker compose stop postgres` | live `200`, ready и защищённые `503` быстрее 2 с, без `500` | `503` за 0.99–1.01 с (таймаут подключения и `acquire` 1 с), live `200` за 0.004 с | после `healthy` PostgreSQL готовность `200` сразу, тот же процесс API; подтверждённые данные целы |
|
||||
| `docker compose stop valkey` | проверка уходит в PostgreSQL, никакого анонимного доступа | действующий токен `200` за 0.207 с, неизвестный `401`, ready `200`, вход `201`, выход `503`. Время зависит от соединения в пуле воркера: на свежем соединении имя остановленного контейнера не резолвится и отказ мгновенный (0.007 с в отдельном прогоне), на зависшем — таймаут 0.2 с и один повтор (до 0.41 с); дальше размыкатель на 1 с | после `start` выход снова `204`; потерь нет |
|
||||
| `docker compose restart valkey` | кэш и отметки отзыва сохраняются (AOF) | ключей 14 → 14, живой `200`, отозванный `401` | секунды; потерь нет |
|
||||
| `FLUSHALL` в Valkey | сессии не теряются, отозванные не оживают | живой `200`, отозванный `401`, кэш заполняется заново | мгновенно; потерь нет |
|
||||
| Истечение TTL (`api-shortttl`, 2 с) | `401` после `expires_at` | сразу `200`, через 3 с `401 Bearer` | — |
|
||||
| Logout | `204`, затем `401`, повтор `401` | так и есть; в Valkey отметка `-` | — |
|
||||
| Сбой PostgreSQL посреди выхода: отметка записана, `DELETE` сессии падает | `503`, сессия цела и в БД, и для кэша | `503 unavailable`, ключа в Valkey нет, токен `200`, повтор `204`, затем `401` (до исправления: повтор `401`, а после `FLUSHALL` токен снова `200`) | сразу после возвращения БД |
|
||||
| Посторонний пишет в чужой чат, пока участник держит блокировку строки чата | `404` сразу | `404` быстрее 0.5 с (до исправления — `503` через `lock_timeout` 2 с) | — |
|
||||
| `chunked`-тело больше 1 MiB | `413`, тело не дочитывается | `413 payload_too_large` (до исправления тело читалось целиком и давало `400`) | — |
|
||||
| 50 параллельных регистраций одного username | ровно один `201` | 201×1, 409×49, одна строка | — |
|
||||
| Чат с несуществующим участником | `400`, откат транзакции | `400`, ноль строк в `chats` и `chat_members` | — |
|
||||
| Пул исчерпан | `503` за время `acquire`, без зависания | `503` за 0.3 с, затем `200` | мгновенно после освобождения |
|
||||
| Повторный `migrate` | схема и данные не меняются | `up to date`, счётчики строк равны | мгновенно |
|
||||
| Потеря базы: backup → восстановление в новый `postgres-restore` (трек 2) | все данные снимка на месте, всё после снимка потеряно | 13/13 проверок совпали в 6 восстановлениях; 46–48 маркеров после снимка отсутствуют | RTO 5.32 с (5.31..5.35) для 1M сообщений, 2.17 с для 100k; RPO — момент снимка `pg_dump` |
|
||||
|
||||
### Нагрузка HTTP
|
||||
|
||||
*Гипотеза:* запись в один горячий чат упирается в блокировку строки чата, а не в пул (4 × 8 соединений) и
|
||||
не в Argon2. Поэтому при 64 конкурентных клиентах большая часть занятых соединений PostgreSQL ждёт блокировку
|
||||
строки, ошибок и `503` нет, а p99 остаётся в пределах 0.2 с.
|
||||
|
||||
*Методика* (`make load-evidence`): закрытый контур `tests/load.py`, 64 потока, 8 с, все записи прогона в
|
||||
один чат (одна строка `chats` под `FOR UPDATE`), 3 повтора с паузой 40 с, клиент на хосте macOS, стенд —
|
||||
VM Docker Desktop 16 CPU / 7.65 ГиБ, 4 воркера API × пул 8. Прогрева нет: в окно попадают и регистрация
|
||||
пользователей, и создание чата из `tests/load.py`. На 4-й секунде снимаются `docker stats` и 20 снимков
|
||||
`pg_stat_activity` через 0.1 с: состояние и `wait_event` всех непростаивающих соединений базы `messenger`.
|
||||
Статусы ответов берутся из журнала `request.handled`. Других compose-стендов на VM во время прогона не было
|
||||
(строка в заголовке `evidence/load.txt`).
|
||||
|
||||
*Результат:* медиана 1 676 RPS (1 619..1 711), p50/p95/p99 = 30/87/112 мс, 0 ошибок из 40 696 запросов; на
|
||||
сервере только `201` и `200`, ни одного `5xx`. В среднем заняты 14.5–17.4 соединения PostgreSQL из 32, и
|
||||
81–86 % из них ждут блокировку строки: `Lock:tuple` (очередь за `FOR UPDATE`) и `Lock:transactionid`
|
||||
(ожидание транзакции-держателя). На CPU в момент снимка — 0.5–0.7 соединения, на `fsync` WAL — до 0.3.
|
||||
CPU: api 162–165 %, postgres 138–157 %, valkey ≈5 %; память: api 254–280 МиБ, postgres 135–144 МиБ.
|
||||
Гипотеза подтверждена: ни CPU (16 ядер), ни пул не насыщены, очередь стоит на строке чата.
|
||||
|
||||
Разброс трёх прогонов серии — 5.5 %. Между сериями абсолютный RPS плавает сильнее: прошлая серия дала
|
||||
1 724, повтор ревьюера при работающем рядом стенде лабы 3 — 1 639. Поэтому выводы опираются на
|
||||
отсутствие ошибок, p99 и долю ожиданий, а не на RPS. Прогон длиннее 8 с упирается в эфемерные порты macOS:
|
||||
клиент открывает новое соединение на каждый запрос (`TIME_WAIT` ≈14 000), поэтому между повторами пауза.
|
||||
Это пропускная способность HTTP-подтверждений одного горячего чата, а не предел системы.
|
||||
|
||||
### Трек 5 — трек 2 «План запроса и восстановление»
|
||||
|
||||
**Гипотезы.** H1: составной индекс `(chat_id, created_at, id)` с keyset-курсором даёт время страницы,
|
||||
не зависящее ни от размера чата, ни от глубины страницы; `(chat_id)` проигрывает на большом чате (надо
|
||||
отсортировать весь чат), `(created_at, id)` — на маленьком (надо пройти чужие сообщения), а `OFFSET`
|
||||
проигрывает на глубине при любом индексе. H2: каждый индекс истории добавляет к вставке измеримую долю
|
||||
WAL и времени; составной индекс дороже `(chat_id)` на ширину ключа. H3: `pg_dump -Fc` + `pg_restore -j`
|
||||
поднимает миллион сообщений в новом хранилище за секунды, заметная доля уходит на перестройку индексов,
|
||||
а граница потери данных — момент снимка дампа.
|
||||
|
||||
**Методика** (`scripts/track.py`, `scripts/sql/track-*.sql`, одна команда на часть):
|
||||
|
||||
- Стенд: Apple M4 Max, VM Docker Desktop 16 CPU / 7.65 ГиБ, PostgreSQL 17.11 с настройками образа
|
||||
(`shared_buffers = 128MB`, `fsync` и `synchronous_commit` включены). API в это время простаивает.
|
||||
- Данные: отдельная база `track`, мигрированная тем же runner-ом (`python -m messenger.migrate track`) —
|
||||
схема, ограничения и индекс те же, что у сервиса. 2 000 пользователей, 1 000 чатов по два участника,
|
||||
`n_k = round(N · k^-1.3 / H)`, `N = 1 000 000` (фактически 999 993): крупнейший чат 284 708 (28.5 %),
|
||||
топ-10 — 65 %, 50-й — 1 761, мельчайший — 36. Таблица `messages` — 200.8 МБ. Построение детерминировано.
|
||||
- Чтение: подготовленные запросы приложения с `LIMIT 51`; первая страница, keyset-страница после 90 %
|
||||
чата и та же страница через `OFFSET`; 5 тёплых запусков и 3 холодных (перед каждым все буферы базы
|
||||
вытесняются `pg_buffercache_evict`), медиана. Все запуски матрицы идут с
|
||||
`plan_cache_mode = force_custom_plan`: при `auto` шестое выполнение перешло бы на generic-план, и время,
|
||||
форма плана и строки одной ячейки относились бы к разным планам. Форма плана и «строк просмотрено» берутся
|
||||
из медианного запуска, `plans.txt` снят в том же режиме. «Строк просмотрено» — сумма по узлам `Scan` величины
|
||||
`(Actual Rows + Rows Removed by Filter + Rows Removed by Index Recheck) × Actual Loops`: PostgreSQL отдаёт
|
||||
обе величины как среднее на один цикл, и у параллельного узла их надо умножать на число процессов.
|
||||
Generic-план меряется отдельно: для первой страницы — 5 запусков в `force_custom_plan` и в
|
||||
`force_generic_plan`.
|
||||
- Запись: `pgbench -c 4 -j 4`, 5 прогонов по 10 с на режим, транзакция приложения (`SELECT … FOR UPDATE`,
|
||||
`INSERT messages` + `UPDATE chats`) в случайный из 1 000 чатов, UUIDv7; перед прогоном `CHECKPOINT`;
|
||||
WAL — разница `pg_current_wal_lsn()` в байтах и разница `pg_stat_wal` в записях WAL и full page images
|
||||
(FPI) на вставку. Режим `sync` — как в приложении, `async` — `synchronous_commit=off`, чтобы отделить
|
||||
обслуживание индекса от ожидания fsync. В середине прогона — `docker stats` контейнера postgres (в нём и
|
||||
сервер, и клиент pgbench). После прогона вставки удаляются. Наборы идут в фиксированном порядке, поэтому
|
||||
после составного набора запись ещё раз меряется без индексов истории (порядок A-B-C-D-A): если цифры
|
||||
повторного «без индексов» уходят от первого, это дрейф VM и рост PK, а не цена индекса.
|
||||
- Восстановление: во время дампа в источник каждые 20 мс пишется маркер; `postgres-restore` (профиль
|
||||
`track`) и его volume `pgrestore` удаляются и создаются заново, время нового экземпляра — `up --wait` до
|
||||
`healthy`, при старте `pg_isready` опрашивается раз в 200 мс (`start_interval`), так что шаг опроса добавляет
|
||||
не больше 0.2 с; `pg_restore` по секциям `pre-data`,
|
||||
`data -j 4`, `post-data -j 4`; затем одинаковые проверочные запросы в обеих базах. Начало и конец дампа —
|
||||
`clock_timestamp()` PostgreSQL-источника, теми же часами, что `created_at` маркеров, поэтому граница
|
||||
«после снимка» не зависит от часов хоста. Каждый размер — 3 повтора, медиана и диапазон.
|
||||
|
||||
**Чтение, медиана тёплых запусков, мс** (в скобках — холодный; полная матрица с буферами и планами —
|
||||
`evidence/track/summary.txt` и `plans.txt`):
|
||||
|
||||
| Индексы истории | Крупнейший: 1-я стр. | Крупнейший: keyset 90 % | Крупнейший: OFFSET 90 % | 50-й чат: 1-я стр. | Мельчайший: 1-я стр. | Мельчайший: keyset 90 % |
|
||||
| --- | ---: | ---: | ---: | ---: | ---: | ---: |
|
||||
| нет (только PK) | 22.0 (19.8) | 17.6 | 61.3 | 14.5 | 14.4 | 16.2 |
|
||||
| `(chat_id)` | 12.2 (16.5) | 8.3 | 55.8 | 0.19 | 0.024 | 0.016 |
|
||||
| `(created_at, id)` | 0.035 (0.092) | 0.065 | 63.1 | 3.1 | 14.7 (14.5) | 6.6 |
|
||||
| `(chat_id, created_at, id)` | **0.022** (0.036) | **0.024** | 20.0 (33.4) | **0.019** | **0.017** | **0.012** |
|
||||
|
||||
Буферы и строки холодного запуска. Составной индекс читает 4–6 буферов на любую keyset-страницу. Без индекса
|
||||
читается вся таблица: 25 698–25 704 буфера, 999 993 строки. `(chat_id)` на крупнейшем чате читает 7 606 буферов
|
||||
и сортирует 284 709 строк. `(created_at, id)` на мельчайшем чате тоже читает всю таблицу (25 704 буфера,
|
||||
999 993 строки): зная по статистике, что чат маленький, custom-план выбирает параллельный `Seq Scan` с
|
||||
сортировкой, а не проход по индексу времени. Keyset-страница того же чата идёт через bitmap-скан индекса
|
||||
времени: 223 122 строки, 4 496 буферов. `OFFSET` 90 % по составному индексу читает 8 453 буфера и 256 288
|
||||
строк, которые выбрасываются. Колонка «строк просмотрено» теперь считается по циклам (см. методику). В прошлой
|
||||
версии отчёта она складывала среднее «Rows Removed by Filter» один раз, и параллельный `Seq Scan` всей
|
||||
таблицы выглядел как 333 355–523 137 строк.
|
||||
|
||||
**Custom против generic плана** (asyncpg использует prepared statements, PostgreSQL после пяти выполнений
|
||||
может перейти на generic-план):
|
||||
|
||||
| Индексы | Чат | custom, мс | generic, мс | Что меняется |
|
||||
| --- | --- | ---: | ---: | --- |
|
||||
| `(created_at, id)` | мельчайший | 14.9 (параллельный Seq Scan + Sort) | **156.5** (Index Scan по всему индексу времени) | generic-план не знает, что чат маленький |
|
||||
| `(chat_id)` | крупнейший | 13.0 (параллельная сортировка) | 28.1 (последовательная) | generic теряет параллелизм |
|
||||
| `(chat_id, created_at, id)` | крупнейший / мельчайший | 0.023 / 0.021 | 0.022 / 0.015 | план не зависит от параметра |
|
||||
|
||||
**Запись** (медиана 5 прогонов, в скобках — минимум..максимум; строки в порядке прогонов, последняя —
|
||||
контрольный повтор без индексов истории):
|
||||
|
||||
| № | Индексы истории | Размер индекса, МБ | TPS `sync` | TPS `async` | Задержка `sync`, мс | WAL на вставку `sync` / `async`, байт | Записей WAL на вставку | FPI на вставку `sync` |
|
||||
| ---: | --- | ---: | ---: | ---: | ---: | ---: | ---: | ---: |
|
||||
| 1 | нет | — | 9 455 (9 314..9 502) | 12 681 (12 393..12 820) | 0.423 | 1 511 / 1 205 | 6.70 / 6.05 | 0.128 |
|
||||
| 2 | `(chat_id)` | 6.8 | 9 233 (7 941..9 604) | 12 497 (10 743..12 721) | 0.433 | 1 588 / 1 303 | 7.06 / 7.04 | 0.135 |
|
||||
| 3 | `(created_at, id)` | 38.7 | 9 180 (9 055..9 540) | 12 461 (12 429..12 626) | 0.436 | 1 586 / 1 304 | 7.04 / 7.04 | 0.132 |
|
||||
| 4 | `(chat_id, created_at, id)` | 56.2 | 9 113 (8 821..9 448) | 12 444 (12 368..12 483) | 0.439 | 1 644 / 1 365 | 7.03 / 7.04 | 0.146 |
|
||||
| 5 | нет (контроль) | — | 9 346 (9 279..9 601) | 12 551 (12 437..12 612) | 0.428 | 1 483 / 1 216 | 6.03 / 6.06 | 0.130 |
|
||||
|
||||
`(chat_id)` весит всего 6.8 МБ из-за дедупликации повторяющихся ключей в B-tree (PostgreSQL 13+); у
|
||||
составного индекса ключи уникальны. Первичный ключ после первого набора прогонов pgbench растёт с 30.1 до
|
||||
37.8 МБ: удалённые вставки оставляют пустые страницы, `VACUUM` их не возвращает. CPU postgres — 266–282 %
|
||||
при `sync` и 306–359 % при `async`; память — 183–190 МиБ (один замер 282 МиБ в первом прогоне).
|
||||
|
||||
**Восстановление в новое хранилище:**
|
||||
|
||||
| Набор | 100 011 сообщений | 999 993 сообщения |
|
||||
| --- | ---: | ---: |
|
||||
| grayscale 2 | 7 882 250 | 4 596 485 |
|
||||
| grayscale 4 | 7 882 250 | 4 596 485 |
|
||||
| grayscale 16 | 7 882 250 | 5 384 710 |
|
||||
| RGB16 | 9 458 700 | 5 517 575 |
|
||||
| Размер `pg_dump -Fc` | 1.6 МБ | 14.7 МБ |
|
||||
| Дамп | 0.15 с (0.15..0.15) | 1.04 с (1.03..1.05) |
|
||||
| Новый экземпляр (пустой volume, initdb, `healthy` с опросом раз в 200 мс) | 1.26 с (1.26..1.30) | 1.27 с (1.27..1.27) |
|
||||
| `pre-data` / `data -j 4` / `post-data -j 4` | 0.16 / 0.35 / 0.22 с | 0.16 / 2.16 / 0.91 с |
|
||||
| Сверка | 0.19 с | 0.84 с |
|
||||
| **RTO** (экземпляр + восстановление + сверка), медиана [мин..макс] | **2.17 с** [2.17..2.26] | **5.32 с** [5.31..5.35] |
|
||||
| Проверки: счётчики 4 таблиц, `md5` «чат: число», `md5` истории 3 чатов, выборка, миграции, индексы, ограничения | 13 из 13 × 3 | 13 из 13 × 3 |
|
||||
| Маркеры: в источнике / в копии / записаны во время дампа после снимка и потеряны (медиана) | 76 / 43 / 6 | 118 / 43 / 47 |
|
||||
|
||||
Это модель pixel buffers, не RSS, виртуальная память процесса или проверка 40 Мп под Linux. До — [regression-before.txt](evidence/review-png-memory-2026-11-07/regression-before.txt), после — [offline-tests.txt](evidence/review-png-memory-2026-11-07/offline-tests.txt). Сохранённые 440 + 20 passed и 132 идентичных варианта подтверждают offline-часть. Независимое ревью M по данным координатора повторило 460 проверок с двумя Linux-only skips и не обнаружило major в доступной области. Его семь minor перечислены выше.
|
||||
**Выводы.**
|
||||
|
||||
Адресная validation F выполнена после независимого review M. Runtime совпадает с M; от V изменён только renderer, поэтому PostgreSQL outage, delivery subset и три полных track2-повтора приняты без повторения. Аудит применимости — [load-validation](evidence/load-validation.md), команды и методика — [RESULTS](evidence/final-memory-validation-2026-11-07/RESULTS.md).
|
||||
- H1 **подтверждена**. Составной индекс с keyset — единственный вариант, где страница стоит 0.012–0.024 мс
|
||||
и 4–6 буферов и для чата из 36 сообщений, и для чата из 284 708, на любой глубине. `(chat_id)` хорош для
|
||||
маленьких чатов и в ≈550 раз хуже на большом (12.2 против 0.022 мс); `(created_at, id)` — зеркально: хорош
|
||||
на большом и в ≈860 раз хуже на маленьком (14.7 против 0.017 мс). Перекос размеров чатов делает оба
|
||||
одноколоночных индекса непригодными: в одном сервисе есть и те и другие чаты. `OFFSET` на 90 % большого
|
||||
чата стоит 20 мс даже с лучшим индексом — читает и выбрасывает 256 288 строк; keyset на той же глубине —
|
||||
0.024 мс. Поэтому курсор приложения — keyset.
|
||||
- Находка про prepared statements: с `(created_at, id)` generic-план для маленького чата в ≈10 раз
|
||||
медленнее custom (156.5 против 14.9 мс). Приложение работает через asyncpg и после пяти выполнений могло
|
||||
бы получить именно его. С составным индексом план от параметра не зависит (0.015–0.023 мс в обоих
|
||||
режимах), и риска нет — ещё один довод за этот индекс.
|
||||
- H2 **подтверждена для объёма и WAL; по времени эффект на уровне шума**. Размер: составной индекс — 56.2 МБ
|
||||
против 6.8 МБ у `(chat_id)` и 38.7 МБ у `(created_at, id)`. WAL: каждый индекс истории добавляет ровно одну
|
||||
запись WAL на вставку (6.03–6.06 без индекса → 7.03–7.06 с любым индексом, в обоих режимах) и 75–105 байт
|
||||
у одноколоночного или 133–161 байт у составного при `sync`; при `async` — 87–99 и 149–160 байт. Диапазон
|
||||
взят относительно первого и контрольного прогона без индексов. Составной дороже одноколоночных примерно на
|
||||
60 байт: его ключ — 40 байт (`uuid`, `timestamptz`, `uuid`) против 16 и 24. Доля full page writes почти не
|
||||
меняется: 0.128–0.146 FPI на вставку при `sync`. TPS с индексом падает на 0.4–3.6 %: при `sync` 9 455 → 9 113
|
||||
у составного (−3.6 % к первому прогону, −2.5 % к контрольному). Это того же порядка, что дрейф между
|
||||
первым и контрольным прогоном без индексов (−1.2 % и −1.0 %), и диапазоны пересекаются. Значит, направление
|
||||
эффекта ожидаемое (составной самый медленный), но величину по TPS эта VM не различает. Прошлая серия без
|
||||
контрольного повтора дала обратную картину: составной набор при `async` был на 20 % быстрее, чем без
|
||||
индексов. Скорее всего, это был дрейф VM, и как раз его ловит повтор A-B-C-D-A. Ещё одна оговорка: первый прогон без
|
||||
индексов дал 6.70 записей WAL при `sync` против 6.03 у контрольного, то есть состояние таблиц сразу после
|
||||
построения базы тоже весит. Цену индекса показывают размер и WAL; на чтении он выигрывает 2–3 порядка.
|
||||
- H3 **подтверждена**. Миллион сообщений поднимается в новом хранилище за 5.32 с (три повтора
|
||||
5.31–5.35 с), 100 тысяч — за 2.17 с. Запуск пустого экземпляра (initdb, старт, первый успешный
|
||||
`pg_isready`) занимает 1.27 с: 24 % RTO для миллиона и 58 % для 100 тысяч. Перестройка индексов и
|
||||
ограничений (`post-data`) — 28 % времени `pg_restore` миллиона. От 100 тысяч к миллиону время данных выросло
|
||||
в 6.2 раза, `post-data` — в 4.1 раза, запуск экземпляра не изменился. Прошлая версия отчёта давала RTO 9.75
|
||||
и 6.68 с и «5.8 с на запуск экземпляра». Из этих 5.8 с около 4.5 с были не PostgreSQL, а ожиданием первой
|
||||
проверки здоровья: без `start_interval` Docker ждёт 5 с до первого `pg_isready`. Теперь при старте проверка
|
||||
идёт раз в 200 мс. RPO дампа — момент его снимка: 46–48 сообщений, подтверждённых во время работы
|
||||
`pg_dump` после снимка, в копии отсутствуют, хотя дамп завершился позже них. Последний маркер копии
|
||||
записан за 1–16 мс до начала дампа по часам источника.
|
||||
- Решение по приложению: индекс `(chat_id, created_at, id)` и keyset-курсор остаются без изменений.
|
||||
|
||||
| Критерий / команда | Результат F | Доказательство |
|
||||
| --- | --- | --- |
|
||||
| `linux-runner.py`: импорты worker, RLIMIT_AS=448 MiB, 30 с | Четыре прежних 40 Мп tRNS и grayscale16 без tRNS, v1/v2, обычный render после каждого — PASS; два параллельных RGB16 render — PASS | [команда](evidence/final-memory-validation-2026-11-07/linux.txt), [JSON](evidence/final-memory-validation-2026-11-07/linux.json) |
|
||||
| `targeted.py png-boundary`: LB/API/relay/broker/worker | 8 сценариев / 8 инвариантов PASS; 202 → ready, original/bytes/hash/геометрия/tRNS, v2, stale/duplicate noop; 11 ID / 59 объектов | [команда](evidence/final-memory-validation-2026-11-07/png-boundary.txt), [JSON](evidence/final-memory-validation-2026-11-07/png-boundary.json) |
|
||||
| Два одновременных HTTP jobs, v1/v2 | Перекрытие claimed→done; peak worker 885 428 224 байт (844.41 MiB) / 1 GiB; OOM=0 | [concurrent-rgb16](evidence/final-memory-validation-2026-11-07/png-boundary.json) |
|
||||
| Принудительные 0.01 с / 200 MiB и следующие обычные задания | Два ожидаемых failed/processing_failed, worker жив; после каждого обычная загрузка ready; штатные 448 MiB/30 с/concurrency=2 восстановлены | [JSON](evidence/final-memory-validation-2026-11-07/png-boundary.json), [условия после](evidence/final-memory-validation-2026-11-07/conditions-after.json) |
|
||||
| `targeted.py png-http`: точный tRNS, Adam7/filter=4/EXIF=6 | 8 fixtures / 48 сравнений v1/v2 с независимым эталоном, 8 инвариантов PASS; 8 ID / 56 объектов | [команда](evidence/final-memory-validation-2026-11-07/png-http.txt), [JSON](evidence/final-memory-validation-2026-11-07/png-http.json) |
|
||||
| Sweep и SQL/S3 inventory обеих серий | Нет pending outbox/staging/дублей для новых ID; 19 ID / 115 объектов согласованы. Историческая DLQ=16 не выросла | Инварианты в двух JSON выше |
|
||||
**Ограничения трека.** VM Docker Desktop шумит, поэтому сравниваются буферы, строки и порядки величин, а
|
||||
абсолютные миллисекунды — только внутри одного прогона. «Холодный» кэш — это пустые `shared_buffers`;
|
||||
кэш страниц ОС внутри VM не сбрасывается, реальное чтение с диска было бы медленнее. Для параллельных
|
||||
планов «строк просмотрено» считается по циклам: `(Actual Rows + Rows Removed by Filter + Rows Removed by Index
|
||||
Recheck) × Actual Loops`; строки, прочитанные и отброшенные внутри `Sort` или `Limit`, в ней не учтены.
|
||||
Влияние индекса на TPS при записи (0.4–3.6 %) того же порядка, что дрейф между первым и контрольным прогоном
|
||||
(1.0–1.2 %); наборы идут в фиксированном порядке, и один контрольный повтор не заменяет перемешивания.
|
||||
Синтетический текст хорошо сжимается, поэтому дамп в 14 раз меньше таблицы; на реальных сообщениях он будет
|
||||
больше и дольше. Восстанавливается синтетическая база `track`, а не рабочая `messenger`. `pg_dump -d track`
|
||||
не переносит роли и прочие глобальные объекты кластера: восстановление работает, потому что роль
|
||||
`messenger` в новом экземпляре создаёт `POSTGRES_USER`. Для настоящего кластера нужен ещё
|
||||
`pg_dumpall --globals-only`. Восстановленная база сверялась SQL-запросами, а не через API. RTO измерено на
|
||||
одной машине без переключения API на восстановленную базу: это ещё смена `DATABASE_URL`, рестарт API
|
||||
(≈1.6 с до готовности по `evidence/persistence.txt`) и `make test`. Время экземпляра включает шаг опроса
|
||||
`healthy` (до 0.2 с). Три повтора дают разброс 1–4 %, для доверительного интервала их мало. «Sync»-цифры записи сняты в VM Docker
|
||||
Desktop, где `fsync` подтверждает запись в виртуальный диск; дошла ли она до носителя хоста, не проверялось.
|
||||
`pg_dump` даёт RPO, равный интервалу между дампами; для RPO в секунды нужны `pg_basebackup` и архивирование
|
||||
WAL с восстановлением на момент времени (PITR) — здесь это только обсуждается.
|
||||
|
||||
Все 30 SHA пяти файлов × двух версий × трёх вариантов совпали между Linux и HTTP. Peak RSS Linux-процесса — 342 956–406 312 KiB; это не cgroup memory и не виртуальный адресный предел. Диагностический параллельный пробник с дополнительным управляющим процессом дал cgroup peak 1 026 285 568 байт; он отделён от штатных HTTP jobs. Все memory.events=0. Исходные четыре FAIL V закрыты новым динамическим PASS F при неизменных лимитах.
|
||||
## Ответы на вопросы защиты
|
||||
|
||||
Условия F: тот же project и сохранённые volumes, Docker VM 16 CPU / 8 217 190 400 байт, worker 2 CPU / 1 GiB. В снимках нет чужих контейнеров; специальный фон не запускался, непрерывного контроля хоста нет. Throughput/SLO не заявляются. [Начальные условия](evidence/final-memory-validation-2026-11-07/conditions.json), [итоговые](evidence/final-memory-validation-2026-11-07/conditions-after.json). Стенд F остановлен через `make down` без `-v`: [команда](evidence/final-memory-validation-2026-11-07/down.txt), [пустой project](evidence/final-memory-validation-2026-11-07/stopped-containers.txt), [четыре volumes](evidence/final-memory-validation-2026-11-07/retained-volumes.txt). Push и Telegram не выполнялись.
|
||||
**Что подтверждает `COMMIT` и какие гарантии зависят от durability?** `COMMIT` возвращается, когда запись
|
||||
транзакции в WAL сброшена на диск: при `synchronous_commit = on` сервер ждёт `fsync` (здесь
|
||||
`wal_sync_method = fdatasync`) до ответа клиенту, поэтому подтверждённые `201` переживают падение процесса
|
||||
и рестарт (`make test-persistence`). Настройки стенда — `fsync = on`, `synchronous_commit = on`,
|
||||
`full_page_writes = on` (`evidence/environment.txt`). С `synchronous_commit = off` подтверждённые
|
||||
транзакции последних ≈0.6 с (`3 × wal_writer_delay`) теряются при падении сервера, но база остаётся
|
||||
согласованной; с `fsync = off` при сбое ОС база может разрушиться; без `full_page_writes` — разорванные
|
||||
страницы после сбоя питания. Оговорка стенда: `fsync` в VM Docker Desktop подтверждает запись в
|
||||
виртуальный диск, а дойдёт ли она до носителя (на macOS это `F_FULLFSYNC`), решает гипервизор — это не
|
||||
проверялось. Коммит с `fsync` в треке стоит 0.42–0.44 мс против 0.32 мс без него, подозрительно дёшево для
|
||||
честного сброса на SSD, поэтому «sync»-цифры трека — нижняя граница цены durability, а не её значение на
|
||||
реальном сервере.
|
||||
|
||||
## Вопросы защиты
|
||||
**Где хранятся сессии и что будет после flush/restart Valkey?** Источник истины — таблица `sessions` в
|
||||
PostgreSQL (только SHA-256 токена). Valkey хранит read-through копию и отметки отзыва `"-"`. `FLUSHALL`
|
||||
теряет только кэш: живой токен `200` (заполнение заново из БД), отозванный `401` (строки в БД уже нет).
|
||||
Рестарт Valkey сохраняет ключи через AOF `appendfsync always` (14 → 14). Недоступный Valkey обходится,
|
||||
выход в это время отвечает `503` (`evidence/faults.txt`).
|
||||
|
||||
- **Что сохранено к 202?** Проверенный оригинал staging, вложение queued, job и outbox после COMMIT. Быстрота worker не меняет снимок ответа.
|
||||
- **Confirm и ack — в чём разница?** Confirm подтверждает приём брокером; ack подтверждает устойчивый результат обработки. Между ними возможны дубли.
|
||||
- **Почему дубль безопасен?** Job/версия идентифицируются в БД, lease сериализует работу, fencing отвергает старого держателя, уникальный ключ эффекта защищает варианты.
|
||||
- **Как отличить долгую работу от смерти?** Живая работа продлевает lease; истёкшую восстанавливает relay. Поздняя фиксация не проходит lease_token.
|
||||
- **Почему v1 не затирает v2?** Versioned ключи и условие монотонного published_version; ready v1 остаётся доступной до успешной публикации v2.
|
||||
- **Что ещё не доказано?** Потеря confirm, все сбои диска/сети, производительность под изолированной нагрузкой. Граничные 40 Мп tRNS не прошли на V; исправление M подтверждено Linux/HTTP на F. Validation завершена; публикация требует отдельной фазы.
|
||||
**Чем аутентификация отличается от доступа к конкретному чату?** Аутентификация отвечает на вопрос «кто
|
||||
это» — страж конвейера проверяет `Bearer`-сессию до маршрутизации и даёт `401` с `WWW-Authenticate`.
|
||||
Доступ (авторизация) отвечает на вопрос «можно ли ему этот чат» — зона `messaging` проверяет членство в
|
||||
`chat_members`: посторонний с действующим токеном получает `404`, неотличимый от несуществующего чата,
|
||||
а не `403`, и не узнаёт, что чат есть (`test_outsider_*` в `evidence/student-tests.txt`, `make test`).
|
||||
Запись постороннего не берёт блокировку строки чата и не ждёт участников.
|
||||
|
||||
Документация сверена через Context7: [SQLAlchemy 2.0.45 async](https://github.com/sqlalchemy/sqlalchemy/blob/rel_2_0_45/doc/build/orm/extensions/asyncio.rst), [Alembic 1.16.5 async migrations](https://github.com/sqlalchemy/alembic/blob/rel_1_16_5/docs/build/cookbook.rst), [FastStream 0.7.2 manual ack](https://github.com/ag2ai/faststream/blob/0.7.2/docs/docs/en/getting-started/acknowledgement.md). API 0.7.2 сопоставлен с используемым FastStream 0.7.8; прикладной порядок COMMIT/ack проверяется кодом и evidence, а не одной документацией.
|
||||
**Почему hash пароля и быстрый checksum решают разные задачи?** Пароль выбирает человек, энтропии в нём
|
||||
мало, поэтому хеш должен быть медленным и требовать памяти (Argon2id `m=19 MiB, t=2`), чтобы перебор по
|
||||
утёкшей таблице стоил дорого. Токен сессии — 256 случайных бит, перебирать нечего, поэтому достаточно
|
||||
быстрого SHA-256: он лишь не даёт превратить утечку `sessions` в действующие токены. Checksum миграции
|
||||
(`schema_migrations.checksum`) — не защита от противника, а обнаружение изменения уже применённого файла.
|
||||
|
||||
## Ограничения и следующие шаги
|
||||
|
||||
- Один Docker-host и один экземпляр PostgreSQL: потеря host или volume теряет всё после последнего дампа;
|
||||
репликации нет, резервная копия снимается вручную (`make track-recovery` показывает процедуру и RTO).
|
||||
- Истёкшие сессии удаляются только при следующем входе того же пользователя; фоновой очистки нет.
|
||||
- Запись в один горячий чат сериализуется блокировкой строки чата — цена строгого порядка истории.
|
||||
- Выход невозможен, пока недоступен Valkey (`503`): осознанная плата за то, что отзыв подтверждается только
|
||||
когда он виден и в кэше. Проверка остальных запросов при этом продолжается через PostgreSQL.
|
||||
- Нагрузка снята закрытым контуром `tests/load.py` с клиента на той же машине: согласованные пропуски,
|
||||
новое TCP-соединение на запрос (поэтому прогон ограничен 8 с), все записи в один чат. Это пропускная
|
||||
способность HTTP-подтверждений в одном горячем чате, а не предел системы.
|
||||
- Секреты лежат файлами в `secrets/` на хосте (каталог `0700`, файлы `0644`, чтобы их читали
|
||||
непривилегированные пользователи контейнеров); это учебное упрощение вместо менеджера секретов.
|
||||
- Отзыв и PostgreSQL не связаны двухфазной фиксацией. Отказ БД при выходе снимает отметку в Valkey, но при
|
||||
неоднозначном `COMMIT` (сервер зафиксировал, ответ потерян) возможна гонка: чтение заполнит кэш, и токен
|
||||
проживёт в кэше до 300 с, хотя клиент получил `503` и повторит выход.
|
||||
- Запрос, который при `SIGTERM` не дождался своего тела за 7 с, отменяет uvicorn. Клиенту уходит
|
||||
встроенный текстовый `500 Internal Server Error`, а не JSON-ошибка контракта: приложение к этому моменту
|
||||
уже отменено.
|
||||
- Процесс openspec: правило `config.yaml` «proposal в пределах 400 слов» нарушено в архивных циклах.
|
||||
Без разметки в `add-lab2-postgres-sessions` около 483 слов, в `harden-lab2-after-review` — около 409;
|
||||
`wc -w` с разметкой даёт 522 и 433, а у `add-lab2-session-cache-and-resilience` — 427. Архив уже
|
||||
закоммичен, а ЛР3 переносится с коммита `8cddb09`, поэтому историю не переписываю. В proposal цикла
|
||||
`harden-lab2-second-review` 342 слова по `wc -w`.
|
||||
|
||||
@@ -1,4 +0,0 @@
|
||||
[alembic]
|
||||
script_location = %(here)s/alembic
|
||||
prepend_sys_path = %(here)s/src %(here)s/alembic
|
||||
path_separator = space
|
||||
-102
@@ -1,102 +0,0 @@
|
||||
import asyncio
|
||||
|
||||
from alembic import context
|
||||
from alembic.script import ScriptDirectory
|
||||
from legacy import adopt_legacy
|
||||
from sqlalchemy import Connection, func, make_url, pool, select
|
||||
from sqlalchemy.ext.asyncio import create_async_engine
|
||||
|
||||
from messenger.attachments.infrastructure.postgres import (
|
||||
AttachmentRow,
|
||||
JobEventRow,
|
||||
JobRow,
|
||||
OutboxRow,
|
||||
VariantRow,
|
||||
)
|
||||
from messenger.identity.infrastructure.postgres import SessionRow, UserRow
|
||||
from messenger.messaging.infrastructure.postgres import (
|
||||
ChatMemberRow,
|
||||
ChatRow,
|
||||
IdempotencyKeyRow,
|
||||
MessageAttachmentRow,
|
||||
MessageRow,
|
||||
)
|
||||
from messenger.shared.config import PlatformSettings
|
||||
|
||||
LOCK_KEY = 20_260_002
|
||||
MODELS = (
|
||||
UserRow,
|
||||
SessionRow,
|
||||
ChatRow,
|
||||
ChatMemberRow,
|
||||
MessageRow,
|
||||
IdempotencyKeyRow,
|
||||
AttachmentRow,
|
||||
JobRow,
|
||||
OutboxRow,
|
||||
JobEventRow,
|
||||
VariantRow,
|
||||
MessageAttachmentRow,
|
||||
)
|
||||
target_metadata = UserRow.metadata
|
||||
config = context.config
|
||||
|
||||
|
||||
def include_object(_obj, name, _type, _reflected, _compare_to):
|
||||
return name != "schema_migrations"
|
||||
|
||||
|
||||
def run_migrations(connection: Connection) -> None:
|
||||
with connection.engine.connect() as lock:
|
||||
lock.execute(select(func.pg_advisory_lock(LOCK_KEY)))
|
||||
lock.commit()
|
||||
try:
|
||||
with connection.begin():
|
||||
adopt_legacy(connection, ScriptDirectory.from_config(config))
|
||||
context.configure(
|
||||
connection=connection,
|
||||
target_metadata=target_metadata,
|
||||
transaction_per_migration=True,
|
||||
compare_type=True,
|
||||
include_object=include_object,
|
||||
)
|
||||
with context.begin_transaction():
|
||||
context.run_migrations()
|
||||
finally:
|
||||
lock.execute(select(func.pg_advisory_unlock(LOCK_KEY)))
|
||||
lock.commit()
|
||||
|
||||
|
||||
async def run_async_migrations() -> None:
|
||||
dsn = config.attributes.get("database_url")
|
||||
if dsn is None:
|
||||
dsn = PlatformSettings().database_url.get_secret_value()
|
||||
engine = create_async_engine(
|
||||
make_url(dsn).set(drivername="postgresql+asyncpg"),
|
||||
poolclass=pool.NullPool,
|
||||
hide_parameters=True,
|
||||
connect_args={
|
||||
"timeout": 10,
|
||||
"server_settings": {"lock_timeout": "10000", "statement_timeout": "60000"},
|
||||
},
|
||||
)
|
||||
try:
|
||||
async with engine.connect() as connection:
|
||||
await connection.run_sync(run_migrations)
|
||||
finally:
|
||||
await engine.dispose()
|
||||
|
||||
|
||||
if context.is_offline_mode():
|
||||
context.configure(
|
||||
dialect_name="postgresql",
|
||||
target_metadata=target_metadata,
|
||||
literal_binds=True,
|
||||
transaction_per_migration=True,
|
||||
)
|
||||
with context.begin_transaction():
|
||||
context.run_migrations()
|
||||
elif config.attributes.get("connection") is not None:
|
||||
run_migrations(config.attributes["connection"])
|
||||
else:
|
||||
asyncio.run(run_async_migrations())
|
||||
@@ -1,94 +0,0 @@
|
||||
from uuid import uuid4
|
||||
|
||||
from alembic.migration import MigrationContext
|
||||
from alembic.operations import Operations
|
||||
from alembic.script import ScriptDirectory
|
||||
from sqlalchemy import Connection, MetaData, Table, func, inspect, select, text
|
||||
from sqlalchemy.schema import CreateSchema
|
||||
|
||||
LEGACY = {
|
||||
"0001_init": "9a13618f078ae9056431391e2e5197a31b981ae1fff047a9b3421ac750d3fd0d",
|
||||
"0002_idempotency_keys": "d9159a35553249a1e51af5f2e4e7c39b014e97593c49748e13f3799839063dd0",
|
||||
"0003_attachments": "c4417f560538a083efba1c67f660147dc94532fcbb2fa91f3f3e8258a0f01f2e",
|
||||
"0004_jobs": "c3887fa7a886ae8153a216aa43fd4c3c6190a2074e8ce20c3e77f29bfb01550e",
|
||||
"0005_failed_registry": "02b80061a08a6929feb092148c453ad970e3d001901c651b5a73b90b1e40f145",
|
||||
"0006_attachment_quarantine": (
|
||||
"541f5399d87fac3584c4102b4e0bf92c23cd372cc20a7d56dad03e771773202c"
|
||||
),
|
||||
}
|
||||
SNAPSHOT = text("""
|
||||
WITH relations AS (
|
||||
SELECT c.* FROM pg_class c JOIN pg_namespace n ON n.oid = c.relnamespace
|
||||
WHERE n.nspname = :schema AND c.relkind IN ('r', 'p')
|
||||
AND c.relname NOT IN ('schema_migrations', 'alembic_version')
|
||||
)
|
||||
SELECT 'table' AS kind, c.relname AS name,
|
||||
concat_ws('|', c.relkind, c.relpersistence,
|
||||
c.relrowsecurity, c.relforcerowsecurity) AS definition
|
||||
FROM relations c
|
||||
UNION ALL
|
||||
SELECT 'column', c.relname || '.' || a.attname,
|
||||
concat_ws('|', a.attnum, format_type(a.atttypid, a.atttypmod), a.attnotnull,
|
||||
a.attidentity, a.attgenerated, a.attcollation::regcollation,
|
||||
pg_get_expr(d.adbin, d.adrelid))
|
||||
FROM relations c JOIN pg_attribute a ON a.attrelid = c.oid
|
||||
LEFT JOIN pg_attrdef d ON d.adrelid = c.oid AND d.adnum = a.attnum
|
||||
WHERE a.attnum > 0 AND NOT a.attisdropped
|
||||
UNION ALL
|
||||
SELECT 'constraint', c.relname || '.' || k.conname,
|
||||
concat_ws('|', pg_get_constraintdef(k.oid), k.convalidated)
|
||||
FROM relations c JOIN pg_constraint k ON k.conrelid = c.oid
|
||||
UNION ALL
|
||||
SELECT 'index', c.relname || '.' || x.relname,
|
||||
concat_ws('|', pg_get_indexdef(i.indexrelid), i.indisvalid, i.indisready)
|
||||
FROM relations c JOIN pg_index i ON i.indrelid = c.oid
|
||||
JOIN pg_class x ON x.oid = i.indexrelid
|
||||
UNION ALL
|
||||
SELECT 'trigger', c.relname || '.' || t.tgname,
|
||||
concat_ws('|', pg_get_triggerdef(t.oid), t.tgenabled)
|
||||
FROM relations c JOIN pg_trigger t ON t.tgrelid = c.oid WHERE NOT t.tgisinternal
|
||||
ORDER BY kind, name
|
||||
""")
|
||||
|
||||
|
||||
def snapshot(connection: Connection, schema: str) -> list[tuple[str, str, str]]:
|
||||
return [
|
||||
(kind, name, definition.replace(f"{schema}.", ""))
|
||||
for kind, name, definition in connection.execute(SNAPSHOT, {"schema": schema})
|
||||
]
|
||||
|
||||
|
||||
def adopt_legacy(connection: Connection, scripts: ScriptDirectory) -> None:
|
||||
migration = MigrationContext.configure(connection)
|
||||
if migration.get_current_heads():
|
||||
return
|
||||
tables = set(inspect(connection).get_table_names(schema="public"))
|
||||
if tables <= {"alembic_version"}:
|
||||
return
|
||||
if "schema_migrations" not in tables:
|
||||
raise RuntimeError("Existing schema has no legacy migration journal")
|
||||
journal = Table("schema_migrations", MetaData(), schema="public", autoload_with=connection)
|
||||
applied = dict(connection.execute(select(journal.c.version, journal.c.checksum)).tuples().all())
|
||||
expected = dict(list(LEGACY.items())[: len(applied)])
|
||||
if applied != expected:
|
||||
raise RuntimeError("Unknown or changed legacy migrations")
|
||||
if not applied:
|
||||
if tables - {"schema_migrations", "alembic_version"}:
|
||||
raise RuntimeError("Existing schema has an empty migration journal")
|
||||
return
|
||||
revision = list(expected)[-1]
|
||||
actual = snapshot(connection, "public")
|
||||
reference = f"alembic_verify_{uuid4().hex}"
|
||||
savepoint = connection.begin_nested()
|
||||
try:
|
||||
connection.execute(CreateSchema(reference))
|
||||
connection.execute(select(func.set_config("search_path", reference, True)))
|
||||
with Operations.context(MigrationContext.configure(connection)):
|
||||
for script in reversed(list(scripts.walk_revisions(base="base", head=revision))):
|
||||
script.module.upgrade()
|
||||
wanted = snapshot(connection, reference)
|
||||
finally:
|
||||
savepoint.rollback()
|
||||
if actual != wanted:
|
||||
raise RuntimeError("Legacy schema differs from the recorded migrations")
|
||||
migration.stamp(scripts, revision)
|
||||
@@ -1,16 +0,0 @@
|
||||
from alembic import op
|
||||
import sqlalchemy as sa
|
||||
${imports if imports else ""}
|
||||
|
||||
revision = ${repr(up_revision)}
|
||||
down_revision = ${repr(down_revision)}
|
||||
branch_labels = ${repr(branch_labels)}
|
||||
depends_on = ${repr(depends_on)}
|
||||
|
||||
|
||||
def upgrade() -> None:
|
||||
${upgrades if upgrades else "pass"}
|
||||
|
||||
|
||||
def downgrade() -> None:
|
||||
${downgrades if downgrades else "pass"}
|
||||
@@ -1,87 +0,0 @@
|
||||
import sqlalchemy as sa
|
||||
from alembic import op
|
||||
|
||||
revision = "0001_init"
|
||||
down_revision = None
|
||||
branch_labels = None
|
||||
depends_on = None
|
||||
|
||||
|
||||
def upgrade() -> None:
|
||||
op.create_table(
|
||||
"users",
|
||||
sa.Column("id", sa.Uuid(), nullable=False),
|
||||
sa.Column("username", sa.Text(), nullable=False),
|
||||
sa.Column("display_name", sa.Text(), nullable=False),
|
||||
sa.Column("password_hash", sa.Text(), nullable=False),
|
||||
sa.Column("created_at", sa.DateTime(timezone=True), nullable=False),
|
||||
sa.CheckConstraint("password_hash LIKE '$argon2id$%'", name="users_password_hash_check"),
|
||||
sa.CheckConstraint("username ~ '^[a-z0-9_]{3,32}$'", name="users_username_format"),
|
||||
sa.CheckConstraint(
|
||||
"char_length(display_name) BETWEEN 1 AND 100", name="users_display_name_check"
|
||||
),
|
||||
sa.PrimaryKeyConstraint("id"),
|
||||
sa.UniqueConstraint("username", name="users_username_key"),
|
||||
)
|
||||
op.create_table(
|
||||
"sessions",
|
||||
sa.Column("token_hash", sa.LargeBinary(), nullable=False),
|
||||
sa.Column("user_id", sa.Uuid(), nullable=False),
|
||||
sa.Column("created_at", sa.DateTime(timezone=True), nullable=False),
|
||||
sa.Column("expires_at", sa.DateTime(timezone=True), nullable=False),
|
||||
sa.CheckConstraint("expires_at > created_at", name="sessions_check"),
|
||||
sa.CheckConstraint("octet_length(token_hash) = 32", name="sessions_token_hash_check"),
|
||||
sa.ForeignKeyConstraint(["user_id"], ["users.id"], ondelete="CASCADE"),
|
||||
sa.PrimaryKeyConstraint("token_hash"),
|
||||
)
|
||||
op.create_index("sessions_user_idx", "sessions", ["user_id"], unique=False)
|
||||
op.create_table(
|
||||
"chats",
|
||||
sa.Column("id", sa.Uuid(), nullable=False),
|
||||
sa.Column("title", sa.Text(), nullable=False),
|
||||
sa.Column("created_at", sa.DateTime(timezone=True), nullable=False),
|
||||
sa.Column("last_message_at", sa.DateTime(timezone=True), nullable=True),
|
||||
sa.CheckConstraint("char_length(title) BETWEEN 1 AND 100", name="chats_title_check"),
|
||||
sa.PrimaryKeyConstraint("id"),
|
||||
)
|
||||
op.create_table(
|
||||
"chat_members",
|
||||
sa.Column("chat_id", sa.Uuid(), nullable=False),
|
||||
sa.Column("user_id", sa.Uuid(), nullable=False),
|
||||
sa.Column("position", sa.SmallInteger(), nullable=False),
|
||||
sa.Column("chat_created_at", sa.DateTime(timezone=True), nullable=False),
|
||||
sa.CheckConstraint("position BETWEEN 1 AND 100", name="chat_members_position_check"),
|
||||
sa.ForeignKeyConstraint(["chat_id"], ["chats.id"], ondelete="CASCADE"),
|
||||
sa.ForeignKeyConstraint(
|
||||
["user_id"],
|
||||
["users.id"],
|
||||
),
|
||||
sa.PrimaryKeyConstraint("chat_id", "user_id"),
|
||||
)
|
||||
op.create_index(
|
||||
"chat_members_user_idx",
|
||||
"chat_members",
|
||||
["user_id", "chat_created_at", "chat_id"],
|
||||
unique=False,
|
||||
)
|
||||
op.create_table(
|
||||
"messages",
|
||||
sa.Column("id", sa.Uuid(), nullable=False),
|
||||
sa.Column("chat_id", sa.Uuid(), nullable=False),
|
||||
sa.Column("sender_id", sa.Uuid(), nullable=False),
|
||||
sa.Column("text", sa.Text(), nullable=False),
|
||||
sa.Column("created_at", sa.DateTime(timezone=True), nullable=False),
|
||||
sa.CheckConstraint("char_length(text) BETWEEN 1 AND 4000", name="messages_text_check"),
|
||||
sa.ForeignKeyConstraint(
|
||||
["chat_id", "sender_id"],
|
||||
["chat_members.chat_id", "chat_members.user_id"],
|
||||
),
|
||||
sa.PrimaryKeyConstraint("id"),
|
||||
)
|
||||
op.create_index(
|
||||
"messages_history_idx", "messages", ["chat_id", "created_at", "id"], unique=False
|
||||
)
|
||||
|
||||
|
||||
def downgrade() -> None:
|
||||
raise RuntimeError("Downgrade would delete application data")
|
||||
@@ -1,33 +0,0 @@
|
||||
import sqlalchemy as sa
|
||||
from alembic import op
|
||||
|
||||
revision = "0002_idempotency_keys"
|
||||
down_revision = "0001_init"
|
||||
branch_labels = None
|
||||
depends_on = None
|
||||
|
||||
|
||||
def upgrade() -> None:
|
||||
op.create_table(
|
||||
"idempotency_keys",
|
||||
sa.Column("chat_id", sa.Uuid(), nullable=False),
|
||||
sa.Column("user_id", sa.Uuid(), nullable=False),
|
||||
sa.Column("key", sa.Text(), nullable=False),
|
||||
sa.Column("fingerprint", sa.LargeBinary(), nullable=False),
|
||||
sa.Column("message_id", sa.Uuid(), nullable=False),
|
||||
sa.Column("created_at", sa.DateTime(timezone=True), nullable=False),
|
||||
sa.CheckConstraint("key ~ '^[A-Za-z0-9._:-]{1,128}$'", name="idempotency_keys_key_check"),
|
||||
sa.CheckConstraint(
|
||||
"octet_length(fingerprint) = 32", name="idempotency_keys_fingerprint_check"
|
||||
),
|
||||
sa.ForeignKeyConstraint(
|
||||
["chat_id", "user_id"],
|
||||
["chat_members.chat_id", "chat_members.user_id"],
|
||||
),
|
||||
sa.ForeignKeyConstraint(["message_id"], ["messages.id"], ondelete="CASCADE"),
|
||||
sa.PrimaryKeyConstraint("chat_id", "user_id", "key"),
|
||||
)
|
||||
|
||||
|
||||
def downgrade() -> None:
|
||||
raise RuntimeError("Downgrade would delete application data")
|
||||
@@ -1,77 +0,0 @@
|
||||
import sqlalchemy as sa
|
||||
from alembic import op
|
||||
|
||||
revision = "0003_attachments"
|
||||
down_revision = "0002_idempotency_keys"
|
||||
branch_labels = None
|
||||
depends_on = None
|
||||
|
||||
|
||||
def upgrade() -> None:
|
||||
op.drop_constraint("messages_text_check", "messages", type_="check")
|
||||
op.create_check_constraint("messages_text_check", "messages", "char_length(text) <= 4000")
|
||||
op.create_table(
|
||||
"attachments",
|
||||
sa.Column("id", sa.Uuid(), nullable=False),
|
||||
sa.Column("chat_id", sa.Uuid(), nullable=False),
|
||||
sa.Column("owner_id", sa.Uuid(), nullable=False),
|
||||
sa.Column("filename", sa.Text(), nullable=False),
|
||||
sa.Column("content_type", sa.Text(), nullable=False),
|
||||
sa.Column("size_bytes", sa.BigInteger(), nullable=False),
|
||||
sa.Column("sha256", sa.Text(), nullable=False),
|
||||
sa.Column("width", sa.Integer(), nullable=False),
|
||||
sa.Column("height", sa.Integer(), nullable=False),
|
||||
sa.Column("object_key", sa.Text(collation="C"), nullable=False),
|
||||
sa.Column("status", sa.Text(), nullable=False),
|
||||
sa.Column("created_at", sa.DateTime(timezone=True), nullable=False),
|
||||
sa.Column("updated_at", sa.DateTime(timezone=True), nullable=False),
|
||||
sa.PrimaryKeyConstraint("id"),
|
||||
sa.UniqueConstraint("object_key", name="attachments_object_key_key"),
|
||||
sa.UniqueConstraint("id", "chat_id", name="attachments_chat_key"),
|
||||
sa.ForeignKeyConstraint(
|
||||
["chat_id", "owner_id"],
|
||||
["chat_members.chat_id", "chat_members.user_id"],
|
||||
name="attachments_owner_fkey",
|
||||
),
|
||||
sa.CheckConstraint(
|
||||
"char_length(filename) BETWEEN 1 AND 255", name="attachments_filename_check"
|
||||
),
|
||||
sa.CheckConstraint(
|
||||
"content_type IN ('image/png', 'image/jpeg')", name="attachments_content_type_check"
|
||||
),
|
||||
sa.CheckConstraint(
|
||||
"size_bytes BETWEEN 1 AND 10485760", name="attachments_size_bytes_check"
|
||||
),
|
||||
sa.CheckConstraint("sha256 ~ '^[0-9a-f]{64}$'", name="attachments_sha256_check"),
|
||||
sa.CheckConstraint("width > 0", name="attachments_width_check"),
|
||||
sa.CheckConstraint("height > 0", name="attachments_height_check"),
|
||||
sa.CheckConstraint("status IN ('pending', 'ready')", name="attachments_status_check"),
|
||||
)
|
||||
op.create_index(
|
||||
"attachments_pending_idx",
|
||||
"attachments",
|
||||
["created_at"],
|
||||
postgresql_where=sa.text("status = 'pending'"),
|
||||
)
|
||||
op.create_table(
|
||||
"message_attachments",
|
||||
sa.Column("message_id", sa.Uuid(), nullable=False),
|
||||
sa.Column("position", sa.SmallInteger(), nullable=False),
|
||||
sa.Column("chat_id", sa.Uuid(), nullable=False),
|
||||
sa.Column("attachment_id", sa.Uuid(), nullable=False),
|
||||
sa.PrimaryKeyConstraint("message_id", "position"),
|
||||
sa.UniqueConstraint("message_id", "attachment_id"),
|
||||
sa.CheckConstraint("position BETWEEN 0 AND 9", name="message_attachments_position_check"),
|
||||
sa.ForeignKeyConstraint(["message_id"], ["messages.id"], ondelete="CASCADE"),
|
||||
sa.ForeignKeyConstraint(
|
||||
["attachment_id", "chat_id"],
|
||||
["attachments.id", "attachments.chat_id"],
|
||||
name="message_attachments_attachment_fkey",
|
||||
ondelete="RESTRICT",
|
||||
),
|
||||
)
|
||||
op.create_index("message_attachments_attachment_idx", "message_attachments", ["attachment_id"])
|
||||
|
||||
|
||||
def downgrade() -> None:
|
||||
raise RuntimeError("Downgrade would delete application data")
|
||||
@@ -1,146 +0,0 @@
|
||||
import sqlalchemy as sa
|
||||
from alembic import op
|
||||
from sqlalchemy.dialects import postgresql
|
||||
|
||||
revision = "0004_jobs"
|
||||
down_revision = "0003_attachments"
|
||||
branch_labels = None
|
||||
depends_on = None
|
||||
|
||||
|
||||
def upgrade() -> None:
|
||||
op.drop_constraint("attachments_status_check", "attachments", type_="check")
|
||||
op.create_check_constraint(
|
||||
"attachments_status_check",
|
||||
"attachments",
|
||||
"status IN ('pending', 'queued', 'processing', 'ready', 'failed')",
|
||||
)
|
||||
for name in ("staging_key", "original_key"):
|
||||
op.add_column("attachments", sa.Column(name, sa.Text(collation="C"), nullable=True))
|
||||
op.create_unique_constraint(f"attachments_{name}_key", "attachments", [name])
|
||||
op.add_column(
|
||||
"attachments",
|
||||
sa.Column("published_version", sa.Integer(), nullable=False, server_default="0"),
|
||||
)
|
||||
op.create_check_constraint(
|
||||
"attachments_published_version_check", "attachments", "published_version >= 0"
|
||||
)
|
||||
op.add_column("attachments", sa.Column("error_code", sa.Text(), nullable=True))
|
||||
op.create_check_constraint(
|
||||
"attachments_error_code_check",
|
||||
"attachments",
|
||||
"error_code IN ('invalid_image', 'processing_failed', 'retry_exhausted')",
|
||||
)
|
||||
op.alter_column("attachments", "object_key", nullable=True)
|
||||
attachments = sa.table(
|
||||
"attachments",
|
||||
sa.column("status"),
|
||||
sa.column("object_key"),
|
||||
sa.column("original_key"),
|
||||
sa.column("staging_key"),
|
||||
sa.column("published_version"),
|
||||
)
|
||||
op.execute(
|
||||
attachments.update()
|
||||
.where(attachments.c.status == "ready")
|
||||
.values(original_key=attachments.c.object_key, published_version=1)
|
||||
)
|
||||
op.execute(
|
||||
attachments.update()
|
||||
.where(attachments.c.status == "pending")
|
||||
.values(staging_key=attachments.c.object_key)
|
||||
)
|
||||
op.create_index(
|
||||
"attachments_staged_idx",
|
||||
"attachments",
|
||||
["updated_at"],
|
||||
postgresql_where=sa.column("staging_key").is_not(None),
|
||||
)
|
||||
op.create_table(
|
||||
"attachment_variants",
|
||||
sa.Column("attachment_id", sa.Uuid(), sa.ForeignKey("attachments.id"), nullable=False),
|
||||
sa.Column("pipeline_version", sa.Integer(), nullable=False),
|
||||
sa.Column("name", sa.Text(), nullable=False),
|
||||
sa.Column("object_key", sa.Text(collation="C"), nullable=False),
|
||||
sa.Column("content_type", sa.Text(), nullable=False),
|
||||
sa.Column("size_bytes", sa.BigInteger(), nullable=False),
|
||||
sa.Column("width", sa.Integer(), nullable=False),
|
||||
sa.Column("height", sa.Integer(), nullable=False),
|
||||
sa.Column("sha256", sa.Text(), nullable=False),
|
||||
sa.Column("created_at", sa.DateTime(timezone=True), nullable=False),
|
||||
sa.PrimaryKeyConstraint("attachment_id", "pipeline_version", "name"),
|
||||
sa.UniqueConstraint("object_key", name="attachment_variants_object_key_key"),
|
||||
sa.CheckConstraint(
|
||||
"pipeline_version >= 1", name="attachment_variants_pipeline_version_check"
|
||||
),
|
||||
sa.CheckConstraint(
|
||||
"name IN ('thumbnail', 'crop', 'optimized')", name="attachment_variants_name_check"
|
||||
),
|
||||
sa.CheckConstraint(
|
||||
"content_type IN ('image/jpeg', 'image/png', 'image/webp')",
|
||||
name="attachment_variants_content_type_check",
|
||||
),
|
||||
sa.CheckConstraint("size_bytes >= 1", name="attachment_variants_size_bytes_check"),
|
||||
sa.CheckConstraint("width >= 1", name="attachment_variants_width_check"),
|
||||
sa.CheckConstraint("height >= 1", name="attachment_variants_height_check"),
|
||||
sa.CheckConstraint("sha256 ~ '^[0-9a-f]{64}$'", name="attachment_variants_sha256_check"),
|
||||
)
|
||||
op.create_table(
|
||||
"jobs",
|
||||
sa.Column("job_id", sa.Uuid(), primary_key=True),
|
||||
sa.Column("attachment_id", sa.Uuid(), sa.ForeignKey("attachments.id"), nullable=False),
|
||||
sa.Column("pipeline_version", sa.Integer(), nullable=False),
|
||||
sa.Column("status", sa.Text(), nullable=False),
|
||||
sa.Column("attempt", sa.Integer(), nullable=False),
|
||||
sa.Column("claims", sa.Integer(), nullable=False, server_default="0"),
|
||||
sa.Column("lease_token", sa.Uuid(), nullable=True),
|
||||
sa.Column("lease_until", sa.DateTime(timezone=True), nullable=True),
|
||||
sa.Column("next_attempt_at", sa.DateTime(timezone=True), nullable=True),
|
||||
sa.Column("last_error", sa.Text(), nullable=True),
|
||||
sa.Column("created_at", sa.DateTime(timezone=True), nullable=False),
|
||||
sa.Column("updated_at", sa.DateTime(timezone=True), nullable=False),
|
||||
sa.UniqueConstraint("attachment_id", "pipeline_version", name="jobs_effect_key"),
|
||||
sa.CheckConstraint("pipeline_version >= 1", name="jobs_pipeline_version_check"),
|
||||
sa.CheckConstraint(
|
||||
"status IN ('queued', 'processing', 'done', 'failed', 'superseded')",
|
||||
name="jobs_status_check",
|
||||
),
|
||||
sa.CheckConstraint("attempt >= 1", name="jobs_attempt_check"),
|
||||
sa.CheckConstraint("claims >= 0", name="jobs_claims_check"),
|
||||
)
|
||||
op.create_index(
|
||||
"jobs_lease_idx",
|
||||
"jobs",
|
||||
["lease_until"],
|
||||
postgresql_where=sa.column("status") == "processing",
|
||||
)
|
||||
op.create_table(
|
||||
"outbox",
|
||||
sa.Column("id", sa.BigInteger(), sa.Identity(always=True), primary_key=True),
|
||||
sa.Column("job_id", sa.Uuid(), sa.ForeignKey("jobs.job_id"), nullable=False),
|
||||
sa.Column("payload", postgresql.JSONB(), nullable=False),
|
||||
sa.Column("available_at", sa.DateTime(timezone=True), nullable=False),
|
||||
sa.Column("published_at", sa.DateTime(timezone=True), nullable=True),
|
||||
)
|
||||
op.create_index(
|
||||
"outbox_pending_idx",
|
||||
"outbox",
|
||||
["available_at", "id"],
|
||||
postgresql_where=sa.column("published_at").is_(None),
|
||||
)
|
||||
op.create_index("outbox_job_idx", "outbox", ["job_id"])
|
||||
op.create_table(
|
||||
"job_events",
|
||||
sa.Column("id", sa.BigInteger(), sa.Identity(always=True), primary_key=True),
|
||||
sa.Column("job_id", sa.Uuid(), nullable=False),
|
||||
sa.Column("attachment_id", sa.Uuid(), nullable=False),
|
||||
sa.Column("kind", sa.Text(), nullable=False),
|
||||
sa.Column("attempt", sa.Integer(), nullable=True),
|
||||
sa.Column("detail", postgresql.JSONB(), nullable=False, server_default="{}"),
|
||||
sa.Column("at", sa.DateTime(timezone=True), nullable=False, server_default=sa.func.now()),
|
||||
)
|
||||
op.create_index("job_events_attachment_idx", "job_events", ["attachment_id", "id"])
|
||||
|
||||
|
||||
def downgrade() -> None:
|
||||
raise RuntimeError("Downgrade would delete pipeline data")
|
||||
@@ -1,20 +0,0 @@
|
||||
import sqlalchemy as sa
|
||||
from alembic import op
|
||||
|
||||
revision = "0005_failed_registry"
|
||||
down_revision = "0004_jobs"
|
||||
branch_labels = None
|
||||
depends_on = None
|
||||
|
||||
|
||||
def upgrade() -> None:
|
||||
op.create_index(
|
||||
"jobs_failed_idx",
|
||||
"jobs",
|
||||
[sa.column("updated_at").desc()],
|
||||
postgresql_where=sa.column("status") == "failed",
|
||||
)
|
||||
|
||||
|
||||
def downgrade() -> None:
|
||||
op.drop_index("jobs_failed_idx", table_name="jobs")
|
||||
@@ -1,28 +0,0 @@
|
||||
import sqlalchemy as sa
|
||||
from alembic import op
|
||||
|
||||
revision = "0006_attachment_quarantine"
|
||||
down_revision = "0005_failed_registry"
|
||||
branch_labels = None
|
||||
depends_on = None
|
||||
|
||||
|
||||
def upgrade() -> None:
|
||||
op.add_column("attachments", sa.Column("quarantine_reason", sa.Text(), nullable=True))
|
||||
op.create_check_constraint(
|
||||
"attachments_quarantine_reason_check",
|
||||
"attachments",
|
||||
"quarantine_reason IN ('missing', 'size_mismatch', 'sha_mismatch')",
|
||||
)
|
||||
op.add_column(
|
||||
"attachments", sa.Column("quarantined_at", sa.DateTime(timezone=True), nullable=True)
|
||||
)
|
||||
op.create_check_constraint(
|
||||
"attachments_quarantine_check",
|
||||
"attachments",
|
||||
"(quarantine_reason IS NULL) = (quarantined_at IS NULL)",
|
||||
)
|
||||
|
||||
|
||||
def downgrade() -> None:
|
||||
raise RuntimeError("Downgrade would delete quarantine data")
|
||||
@@ -1,14 +1,10 @@
|
||||
# Topology worksheet, deliberately NOT a runnable stack (no application supplied).
|
||||
# Implement compose.yaml or stack.yaml; do not submit this empty file as deployment.
|
||||
# Service names below are logical roles, not imposed container names.
|
||||
x-lab-number: 5
|
||||
x-lab-number: 2
|
||||
x-required-roles:
|
||||
- api
|
||||
- postgres
|
||||
- load_balancer
|
||||
- s3
|
||||
- broker
|
||||
- worker
|
||||
# TODO: implement real images/builds, network wiring, volumes, healthchecks,
|
||||
# credentials and bootstrap. Details: contracts/infrastructure.json and README.md.
|
||||
services: {}
|
||||
|
||||
+60
-357
@@ -1,200 +1,28 @@
|
||||
x-app: &app
|
||||
image: ${API_IMAGE:-mtusi-messenger:${COMPOSE_PROJECT_NAME}}
|
||||
image: mtusi-messenger:${COMPOSE_PROJECT_NAME}
|
||||
build: .
|
||||
environment: &app-environment
|
||||
DATABASE_URL_FILE: /run/secrets/database_url
|
||||
CACHE_URL_FILE: /run/secrets/cache_url
|
||||
CURSOR_SECRET_FILE: /run/secrets/cursor_secret
|
||||
SESSION_TTL_SECONDS: ${SESSION_TTL_SECONDS:-3600}
|
||||
WEB_CONCURRENCY: ${WEB_CONCURRENCY:-4}
|
||||
LOG_LEVEL: ${LOG_LEVEL:-INFO}
|
||||
secrets: [database_url, cache_url, cursor_secret]
|
||||
networks: [backend]
|
||||
|
||||
x-s3-env: &s3-env
|
||||
S3_ENDPOINT: ${S3_ENDPOINT:-http://s3:9000}
|
||||
S3_REGION: ${S3_REGION:-us-east-1}
|
||||
S3_BUCKET: ${S3_BUCKET:-messenger-attachments}
|
||||
S3_ACCESS_KEY_ID_FILE: /run/secrets/s3_access_key_id
|
||||
S3_SECRET_ACCESS_KEY_FILE: /run/secrets/s3_secret_access_key
|
||||
S3_CONNECT_TIMEOUT_SECONDS: ${S3_CONNECT_TIMEOUT_SECONDS:-1}
|
||||
S3_READ_TIMEOUT_SECONDS: ${S3_READ_TIMEOUT_SECONDS:-2}
|
||||
MAX_UPLOAD_BYTES: ${MAX_UPLOAD_BYTES:-10485760}
|
||||
MAX_IMAGE_PIXELS: ${MAX_IMAGE_PIXELS:-40000000}
|
||||
IMAGE_CHECK_CONCURRENCY: ${IMAGE_CHECK_CONCURRENCY:-2}
|
||||
UPLOAD_CONCURRENCY: ${UPLOAD_CONCURRENCY:-3}
|
||||
UPLOAD_GRACE_SECONDS: ${UPLOAD_GRACE_SECONDS:-900}
|
||||
UPLOAD_SWEEP_INTERVAL_SECONDS: ${UPLOAD_SWEEP_INTERVAL_SECONDS:-30}
|
||||
UPLOAD_SWEEP_BATCH: ${UPLOAD_SWEEP_BATCH:-100}
|
||||
|
||||
x-pipeline: &pipeline
|
||||
image: ${API_IMAGE:-mtusi-messenger:${COMPOSE_PROJECT_NAME}}
|
||||
pull_policy: never
|
||||
restart: unless-stopped
|
||||
init: true
|
||||
read_only: true
|
||||
tmpfs: [/tmp]
|
||||
security_opt: ["no-new-privileges:true"]
|
||||
cap_drop: [ALL]
|
||||
stop_grace_period: 10s
|
||||
networks: [backend]
|
||||
healthcheck:
|
||||
test: ["CMD", "python", "-c", "import os,sys,time;sys.exit(time.time()-os.stat('/tmp/heartbeat').st_mtime>30)"]
|
||||
interval: 10s
|
||||
timeout: 5s
|
||||
retries: 3
|
||||
start_period: 30s
|
||||
start_interval: 2s
|
||||
depends_on:
|
||||
migrate:
|
||||
condition: service_completed_successfully
|
||||
s3-init:
|
||||
condition: service_completed_successfully
|
||||
broker:
|
||||
condition: service_healthy
|
||||
|
||||
x-pipeline-env: &pipeline-env
|
||||
<<: *s3-env
|
||||
DATABASE_URL_FILE: /run/secrets/database_url
|
||||
BROKER_URL_FILE: /run/secrets/broker_url
|
||||
DB_POOL_MAX_SIZE: ${PIPELINE_DB_POOL_MAX_SIZE:-4}
|
||||
LOG_LEVEL: ${LOG_LEVEL:-INFO}
|
||||
HEARTBEAT_FILE: /tmp/heartbeat
|
||||
JOB_MAX_ATTEMPTS: ${JOB_MAX_ATTEMPTS:-5}
|
||||
JOB_TIMEOUT_SECONDS: ${JOB_TIMEOUT_SECONDS:-60}
|
||||
JOB_BACKOFF_BASE_SECONDS: ${JOB_BACKOFF_BASE_SECONDS:-2}
|
||||
STAGING_RETENTION_SECONDS: ${STAGING_RETENTION_SECONDS:-86400}
|
||||
|
||||
x-s3-client: &s3-client
|
||||
image: rustfs/rc:v0.1.36@sha256:ab024bfebee49a750ce886b4c70963ccd9ddaa03f491704a90710641d7a26699
|
||||
read_only: true
|
||||
tmpfs: ["/tmp:size=16m"]
|
||||
environment:
|
||||
S3_ENDPOINT: ${S3_ENDPOINT:-http://s3:9000}
|
||||
S3_BUCKET: ${S3_BUCKET:-messenger-attachments}
|
||||
RC_CONFIG_DIR: /tmp/rc
|
||||
user: "65534:65534"
|
||||
volumes: ["./infra/s3:/s3:ro"]
|
||||
secrets:
|
||||
- s3_root_user
|
||||
- s3_root_password
|
||||
- s3_access_key_id
|
||||
- s3_secret_access_key
|
||||
- s3_reconciler_access_key_id
|
||||
- s3_reconciler_secret_access_key
|
||||
- s3_worker_access_key_id
|
||||
- s3_worker_secret_access_key
|
||||
cap_drop: [ALL]
|
||||
security_opt: ["no-new-privileges:true"]
|
||||
restart: "no"
|
||||
networks: [backend]
|
||||
deploy:
|
||||
resources:
|
||||
limits: {cpus: "0.5", memory: 64m}
|
||||
x-ready: &ready
|
||||
test: ["CMD", "python", "-c", "import urllib.request,sys;sys.exit(0 if urllib.request.urlopen('http://127.0.0.1:8080/health/ready',timeout=2).status==200 else 1)"]
|
||||
interval: 3s
|
||||
timeout: 3s
|
||||
retries: 5
|
||||
start_period: 15s
|
||||
start_interval: 200ms
|
||||
|
||||
services:
|
||||
lb:
|
||||
image: haproxy:3.2.26-alpine@sha256:5893840576071e6217cd52ebdcc14f454c6f7a631056fa6f4e0f40d3cac4215b
|
||||
environment:
|
||||
API_SERVER_MAXCONN: ${API_SERVER_MAXCONN:-64}
|
||||
volumes: [./infra/haproxy/haproxy.cfg:/usr/local/etc/haproxy/haproxy.cfg:ro]
|
||||
ports:
|
||||
- "127.0.0.1:${LB_HTTP_PORT:-18085}:8080"
|
||||
- "127.0.0.1:${LB_STATS_PORT:-25085}:8404"
|
||||
networks: [edge, backend]
|
||||
healthcheck:
|
||||
test: ["CMD", "wget", "-q", "-O", "/dev/null", "http://127.0.0.1:8404/healthz"]
|
||||
interval: 2s
|
||||
timeout: 2s
|
||||
retries: 3
|
||||
start_period: 60s
|
||||
start_interval: 1s
|
||||
sysctls:
|
||||
net.ipv4.ip_local_port_range: "10240 65535"
|
||||
net.ipv4.tcp_tw_reuse: "1"
|
||||
stop_signal: SIGUSR1
|
||||
stop_grace_period: 8s
|
||||
restart: unless-stopped
|
||||
read_only: true
|
||||
cap_drop: [ALL]
|
||||
deploy:
|
||||
resources:
|
||||
limits: {cpus: "${LB_CPUS:-1}", memory: 128m}
|
||||
|
||||
api:
|
||||
<<: *app
|
||||
build: .
|
||||
environment:
|
||||
<<: *s3-env
|
||||
DATABASE_URL_FILE: /run/secrets/database_url
|
||||
CACHE_URL_FILE: /run/secrets/cache_url
|
||||
CURSOR_SECRET_FILE: /run/secrets/cursor_secret
|
||||
SESSION_TTL_SECONDS: ${SESSION_TTL_SECONDS:-3600}
|
||||
IDEMPOTENCY_TTL_SECONDS: ${IDEMPOTENCY_TTL_SECONDS:-86400}
|
||||
WEB_CONCURRENCY: ${WEB_CONCURRENCY:-2}
|
||||
DB_POOL_MAX_SIZE: ${DB_POOL_MAX_SIZE:-8}
|
||||
REQUEST_TIMEOUT_SECONDS: ${REQUEST_TIMEOUT_SECONDS:-8}
|
||||
MIN_TRANSFER_RATE_BYTES: ${MIN_TRANSFER_RATE_BYTES:-131072}
|
||||
DB_ACQUIRE_TIMEOUT_SECONDS: ${DB_ACQUIRE_TIMEOUT_SECONDS:-1}
|
||||
DB_COMMAND_TIMEOUT_SECONDS: ${DB_COMMAND_TIMEOUT_SECONDS:-2}
|
||||
DRAIN_SECONDS: ${DRAIN_SECONDS:-2}
|
||||
SHUTDOWN_TIMEOUT_SECONDS: ${SHUTDOWN_TIMEOUT_SECONDS:-6}
|
||||
LOG_LEVEL: ${LOG_LEVEL:-INFO}
|
||||
MALLOC_MMAP_THRESHOLD_: ${MALLOC_MMAP_THRESHOLD_:-131072}
|
||||
secrets: [database_url, cache_url, cursor_secret, s3_access_key_id, s3_secret_access_key]
|
||||
healthcheck:
|
||||
test: ["CMD", "python", "-c", "import sys,urllib.request;sys.exit(urllib.request.urlopen('http://127.0.0.1:8080/health/ready',timeout=2).status!=200)"]
|
||||
interval: 5s
|
||||
timeout: 3s
|
||||
retries: 3
|
||||
start_period: 30s
|
||||
start_interval: 200ms
|
||||
stop_grace_period: 8s
|
||||
restart: unless-stopped
|
||||
read_only: true
|
||||
tmpfs: [/tmp]
|
||||
sysctls:
|
||||
net.ipv4.tcp_rmem: "4096 65536 262144"
|
||||
net.ipv4.tcp_wmem: "4096 65536 262144"
|
||||
depends_on:
|
||||
migrate:
|
||||
condition: service_completed_successfully
|
||||
valkey:
|
||||
condition: service_started
|
||||
s3-init:
|
||||
condition: service_completed_successfully
|
||||
deploy:
|
||||
replicas: ${API_REPLICAS:-2}
|
||||
resources:
|
||||
limits: {cpus: "${API_CPUS:-1}", memory: "${API_MEMORY:-512m}"}
|
||||
|
||||
migrate:
|
||||
<<: *app
|
||||
pull_policy: never
|
||||
init: true
|
||||
command: ["alembic", "upgrade", "head"]
|
||||
environment:
|
||||
DATABASE_URL_FILE: /run/secrets/database_url
|
||||
LOG_LEVEL: ${LOG_LEVEL:-INFO}
|
||||
secrets: [database_url]
|
||||
healthcheck:
|
||||
disable: true
|
||||
restart: "no"
|
||||
depends_on:
|
||||
postgres:
|
||||
condition: service_healthy
|
||||
deploy:
|
||||
resources:
|
||||
limits: {cpus: "0.5", memory: 256m}
|
||||
|
||||
postgres:
|
||||
image: postgres:17.11-alpine@sha256:266d3c257594e195b309ae9d1805e54c788f1d7b375f56bf6c367aac6c917e7b
|
||||
user: "70:70"
|
||||
command:
|
||||
- postgres
|
||||
- -c
|
||||
- max_connections=${PG_MAX_CONNECTIONS:-200}
|
||||
- -c
|
||||
- shared_buffers=${PG_SHARED_BUFFERS:-256MB}
|
||||
- -c
|
||||
- shared_preload_libraries=pg_stat_statements
|
||||
- -c
|
||||
- pg_stat_statements.track=top
|
||||
- -c
|
||||
- track_io_timing=on
|
||||
- -c
|
||||
- idle_in_transaction_session_timeout=10s
|
||||
environment:
|
||||
POSTGRES_DB: messenger
|
||||
POSTGRES_USER: messenger
|
||||
@@ -202,7 +30,6 @@ services:
|
||||
secrets: [postgres_password]
|
||||
volumes: [pgdata:/var/lib/postgresql/data]
|
||||
shm_size: 256m
|
||||
cpuset: ${PG_CPUSET:-}
|
||||
healthcheck:
|
||||
test: ["CMD", "pg_isready", "-h", "127.0.0.1", "-U", "messenger", "-d", "messenger"]
|
||||
interval: 2s
|
||||
@@ -213,9 +40,6 @@ services:
|
||||
stop_grace_period: 10s
|
||||
restart: unless-stopped
|
||||
networks: [backend]
|
||||
deploy:
|
||||
resources:
|
||||
limits: {cpus: "${PG_CPUS:-2}", memory: "${PG_MEMORY:-1g}"}
|
||||
|
||||
valkey:
|
||||
image: valkey/valkey:8.1.11-alpine@sha256:2602ace2be6569bc2bbb06f873776516ab9089821525be34f4305c67eb9db02a
|
||||
@@ -241,162 +65,68 @@ services:
|
||||
stop_grace_period: 10s
|
||||
restart: unless-stopped
|
||||
networks: [backend]
|
||||
deploy:
|
||||
resources:
|
||||
limits: {cpus: "0.5", memory: 128m}
|
||||
|
||||
s3:
|
||||
image: rustfs/rustfs:1.0.4@sha256:ed9210d6411d77ffceb70d94b964a3cb7d225983368bc25bebe01e995293dcc2
|
||||
postgres-restore:
|
||||
image: postgres:17.11-alpine@sha256:266d3c257594e195b309ae9d1805e54c788f1d7b375f56bf6c367aac6c917e7b
|
||||
profiles: [track]
|
||||
user: "70:70"
|
||||
environment:
|
||||
RUSTFS_ACCESS_KEY_FILE: /run/secrets/s3_root_user
|
||||
RUSTFS_SECRET_KEY_FILE: /run/secrets/s3_root_password
|
||||
RUSTFS_ADDRESS: ":9000"
|
||||
RUSTFS_CONSOLE_ENABLE: "false"
|
||||
RUSTFS_REGION: ${S3_REGION:-us-east-1}
|
||||
RUSTFS_OBS_LOG_DIRECTORY: ""
|
||||
RUSTFS_OBS_LOGGER_LEVEL: ${S3_LOG_LEVEL:-warn}
|
||||
secrets: [s3_root_user, s3_root_password]
|
||||
volumes: [s3data:/data]
|
||||
cpuset: ${S3_CPUSET:-}
|
||||
read_only: true
|
||||
tmpfs: ["/tmp:size=64m"]
|
||||
cap_drop: [ALL]
|
||||
security_opt: ["no-new-privileges:true"]
|
||||
POSTGRES_DB: track
|
||||
POSTGRES_USER: messenger
|
||||
POSTGRES_PASSWORD_FILE: /run/secrets/postgres_password
|
||||
secrets: [postgres_password]
|
||||
volumes:
|
||||
- pgrestore:/var/lib/postgresql/data
|
||||
- ./backups:/backups:ro
|
||||
shm_size: 256m
|
||||
healthcheck:
|
||||
test: ["CMD", "curl", "-fsS", "-o", "/dev/null", "http://127.0.0.1:9000/health/ready"]
|
||||
test: ["CMD", "pg_isready", "-h", "127.0.0.1", "-U", "messenger", "-d", "track"]
|
||||
interval: 2s
|
||||
timeout: 3s
|
||||
retries: 30
|
||||
start_period: 20s
|
||||
start_period: 10s
|
||||
start_interval: 200ms
|
||||
stop_grace_period: 10s
|
||||
restart: unless-stopped
|
||||
networks: [backend]
|
||||
deploy:
|
||||
resources:
|
||||
limits: {cpus: "${S3_CPUS:-1}", memory: "${S3_MEMORY:-512m}"}
|
||||
|
||||
reconciler:
|
||||
migrate:
|
||||
<<: *app
|
||||
pull_policy: never
|
||||
profiles: [reconcile]
|
||||
init: true
|
||||
entrypoint: ["python", "-m", "messenger.attachments.entrypoints.reconcile"]
|
||||
command: ["--dry-run"]
|
||||
environment:
|
||||
<<: *s3-env
|
||||
DATABASE_URL_FILE: /run/secrets/database_url
|
||||
S3_ACCESS_KEY_ID_FILE: /run/secrets/s3_reconciler_access_key_id
|
||||
S3_SECRET_ACCESS_KEY_FILE: /run/secrets/s3_reconciler_secret_access_key
|
||||
S3_READ_TIMEOUT_SECONDS: ${RECONCILE_S3_READ_TIMEOUT_SECONDS:-10}
|
||||
LOG_LEVEL: ${LOG_LEVEL:-INFO}
|
||||
secrets: [database_url, s3_reconciler_access_key_id, s3_reconciler_secret_access_key]
|
||||
command: ["python", "-m", "messenger.migrate"]
|
||||
healthcheck:
|
||||
disable: true
|
||||
restart: "no"
|
||||
read_only: true
|
||||
cpuset: ${RECONCILE_CPUSET:-}
|
||||
depends_on:
|
||||
postgres:
|
||||
condition: service_healthy
|
||||
s3:
|
||||
condition: service_healthy
|
||||
deploy:
|
||||
resources:
|
||||
limits: {cpus: "${RECONCILE_CPUS:-1}", memory: "${RECONCILE_MEMORY:-256m}"}
|
||||
|
||||
s3-init:
|
||||
<<: *s3-client
|
||||
entrypoint: ["/bin/sh", "/s3/init.sh"]
|
||||
depends_on:
|
||||
s3:
|
||||
condition: service_healthy
|
||||
|
||||
s3-cli:
|
||||
<<: *s3-client
|
||||
profiles: [tools]
|
||||
entrypoint: ["/bin/sh", "/s3/cli.sh"]
|
||||
|
||||
broker:
|
||||
image: rabbitmq:4.1.8-management-alpine@sha256:54ef5ff505352c1beef05a97ee9bd6ab95b3559a76629ba0119b1d63d8d6e4b2
|
||||
hostname: broker
|
||||
user: "100:101"
|
||||
restart: unless-stopped
|
||||
read_only: true
|
||||
tmpfs: [/tmp]
|
||||
security_opt: ["no-new-privileges:true"]
|
||||
cap_drop: [ALL]
|
||||
ports:
|
||||
- "127.0.0.1:${BROKER_MANAGEMENT_PORT:-25086}:15672"
|
||||
networks: [backend, edge]
|
||||
volumes:
|
||||
- broker-data:/var/lib/rabbitmq
|
||||
- ./infra/rabbitmq/rabbitmq.conf:/etc/rabbitmq/conf.d/20-messenger.conf:ro
|
||||
- ./infra/rabbitmq/enabled_plugins:/etc/rabbitmq/enabled_plugins:ro
|
||||
- ./infra/rabbitmq/definitions.json:/etc/rabbitmq/definitions.d/10-topology.json:ro
|
||||
secrets:
|
||||
- source: rabbitmq_users
|
||||
target: /etc/rabbitmq/definitions.d/20-users.json
|
||||
- rabbitmq_ops_password
|
||||
healthcheck:
|
||||
test: ["CMD", "rabbitmq-diagnostics", "-q", "check_port_connectivity"]
|
||||
interval: 10s
|
||||
timeout: 10s
|
||||
retries: 5
|
||||
start_period: 60s
|
||||
start_interval: 2s
|
||||
api:
|
||||
<<: *app
|
||||
ports: ["127.0.0.1:${API_PORT:-8080}:8080"]
|
||||
healthcheck: *ready
|
||||
stop_grace_period: 10s
|
||||
deploy:
|
||||
resources:
|
||||
limits: {cpus: "1", memory: 512m}
|
||||
restart: unless-stopped
|
||||
depends_on:
|
||||
migrate:
|
||||
condition: service_completed_successfully
|
||||
valkey:
|
||||
condition: service_started
|
||||
|
||||
relay:
|
||||
<<: *pipeline
|
||||
command: ["python", "-m", "messenger.relay"]
|
||||
api-shortttl:
|
||||
<<: *app
|
||||
profiles: [faults]
|
||||
environment:
|
||||
<<: *pipeline-env
|
||||
OUTBOX_POLL_SECONDS: ${OUTBOX_POLL_SECONDS:-1}
|
||||
SWEEP_INTERVAL_SECONDS: ${SWEEP_INTERVAL_SECONDS:-5}
|
||||
secrets:
|
||||
- database_url
|
||||
- source: broker_url_api
|
||||
target: broker_url
|
||||
- s3_access_key_id
|
||||
- s3_secret_access_key
|
||||
deploy:
|
||||
resources:
|
||||
limits: {cpus: "0.5", memory: 192m}
|
||||
|
||||
worker:
|
||||
<<: *pipeline
|
||||
command: ["python", "-m", "messenger.worker"]
|
||||
environment:
|
||||
<<: *pipeline-env
|
||||
WORKER_CONCURRENCY: ${WORKER_CONCURRENCY:-2}
|
||||
RENDER_TIMEOUT_SECONDS: ${RENDER_TIMEOUT_SECONDS:-30}
|
||||
RENDER_MEMORY_MB: ${RENDER_MEMORY_MB:-448}
|
||||
RENDER_TASKS_PER_CHILD: ${RENDER_TASKS_PER_CHILD:-100}
|
||||
secrets:
|
||||
- database_url
|
||||
- source: broker_url_worker
|
||||
target: broker_url
|
||||
- source: s3_worker_access_key_id
|
||||
target: s3_access_key_id
|
||||
- source: s3_worker_secret_access_key
|
||||
target: s3_secret_access_key
|
||||
deploy:
|
||||
resources:
|
||||
limits: {cpus: "${WORKER_CPUS:-2}", memory: "${WORKER_MEMORY:-1g}"}
|
||||
|
||||
k6:
|
||||
image: grafana/k6:2.3.0@sha256:2dd4756ec6e14e62778916e1eb850108e4b499304c02df56760fa0bdb0fba0b8
|
||||
profiles: [bench]
|
||||
environment:
|
||||
BASE_URL: http://lb:8080
|
||||
volumes: [./infra/k6:/scripts:ro]
|
||||
networks: [edge]
|
||||
deploy:
|
||||
resources:
|
||||
limits: {cpus: "${K6_CPUS:-2}", memory: "${K6_MEMORY:-512m}"}
|
||||
<<: *app-environment
|
||||
SESSION_TTL_SECONDS: "2"
|
||||
WEB_CONCURRENCY: "1"
|
||||
ports: ["127.0.0.1:${SHORTTTL_PORT:-8082}:8080"]
|
||||
healthcheck: *ready
|
||||
stop_grace_period: 10s
|
||||
restart: unless-stopped
|
||||
depends_on:
|
||||
migrate:
|
||||
condition: service_completed_successfully
|
||||
valkey:
|
||||
condition: service_started
|
||||
|
||||
secrets:
|
||||
postgres_password:
|
||||
@@ -409,38 +139,11 @@ secrets:
|
||||
file: ./secrets/cache_url
|
||||
cursor_secret:
|
||||
file: ./secrets/cursor_secret
|
||||
s3_root_user:
|
||||
file: ./secrets/s3_root_user
|
||||
s3_root_password:
|
||||
file: ./secrets/s3_root_password
|
||||
s3_access_key_id:
|
||||
file: ./secrets/s3_access_key_id
|
||||
s3_secret_access_key:
|
||||
file: ./secrets/s3_secret_access_key
|
||||
s3_worker_access_key_id:
|
||||
file: ./secrets/s3_worker_access_key_id
|
||||
s3_worker_secret_access_key:
|
||||
file: ./secrets/s3_worker_secret_access_key
|
||||
rabbitmq_users:
|
||||
file: ./secrets/rabbitmq_users.json
|
||||
rabbitmq_ops_password:
|
||||
file: ./secrets/rabbitmq_ops_password
|
||||
broker_url_api:
|
||||
file: ./secrets/broker_url_api
|
||||
broker_url_worker:
|
||||
file: ./secrets/broker_url_worker
|
||||
s3_reconciler_access_key_id:
|
||||
file: ./secrets/s3_reconciler_access_key_id
|
||||
s3_reconciler_secret_access_key:
|
||||
file: ./secrets/s3_reconciler_secret_access_key
|
||||
|
||||
volumes:
|
||||
pgdata:
|
||||
valkeydata:
|
||||
s3data:
|
||||
broker-data:
|
||||
pgrestore:
|
||||
|
||||
networks:
|
||||
edge:
|
||||
backend:
|
||||
internal: true
|
||||
|
||||
@@ -1,21 +0,0 @@
|
||||
# Состояния вложения и договор между producer/worker
|
||||
|
||||
Сообщение broker соответствует [jobs.schema.json](jobs.schema.json). Можно применять native headers брокера для trace context, но семантика carrier сохраняется; для проверки покажите отображение полей. `job_id` идентифицирует одну логическую работу и не меняется при redelivery; `attempt` начинается с 1 и отражает управляемую попытку обработки (broker redelivery сам по себе не создаёт новый job_id). Ключ эффекта — `(attachment_id, pipeline_version, variant)`.
|
||||
|
||||
| Переход | Условие | Что устойчиво сохранено |
|
||||
| --- | --- | --- |
|
||||
| нет → queued | Принимаем upload; только после durable handoff отвечаем 202 | Полный проверенный оригинал в staging, метаданные, намерение обработки |
|
||||
| queued → processing | Worker захватил/арендовал работу | Попытка, lease/deadline или эквивалентная защита |
|
||||
| processing → queued | Временная ошибка и остались попытки | Причина без секретов, время следующей попытки |
|
||||
| processing → ready | Все обязательные объекты записаны и результат атомарно опубликован | Оригинал, thumbnail (на 4 ещё crop/optimized), метаданные/checksums |
|
||||
| processing → failed | Ошибка постоянная или попытки исчерпаны | error_code и запись, доступная оператору |
|
||||
| processing → queued | Истёк lease после смерти worker | Восстановленная работа, без дублирования эффектов |
|
||||
| failed → queued | Явный операторский replay, доступен на 4 | Audit, новая попытка, прежний логический эффект защищён от дубля |
|
||||
|
||||
Повторная доставка уже ready-задачи — no-op с ack после проверки завершённого эффекта. Конкурентные попытки не перезаписывают более новый pipeline_version. Основной курс использует pipeline_version=1; версионирование нескольких pipeline — трек 5. Заявляйте готовность только когда все обещанные уровнем варианты доступны. Нельзя откатывать ready в processing из-за старого дубля.
|
||||
|
||||
**Окна отказа для защиты:** после staging до записи задания; после COMMIT до publish; после publish до confirm; после записи S3 до COMMIT результата; после COMMIT результата до ack. На 3 покажите сохранность успешно принятой работы и повторную доставку; на 4 автоматическое восстановление разрыва DB/broker (outbox/эквивалент) и зависшего processing.
|
||||
|
||||
Staging не удаляется до безопасной публикации результатов. Неуспешные/непривязанные исходники имеют документированный retention и cleanup; он не удаляет текущую работу. Broker принимает только ID/служебные данные, не произвольный URL для скачивания и не путь из клиентского filename. Worker берёт доверенные storage metadata из БД.
|
||||
|
||||
Ack подтверждает устойчивую обработку, publisher confirm — приём брокером; это разные границы. См. [RabbitMQ reliability](https://www.rabbitmq.com/docs/reliability). At-least-once + идемпотентный эффект не означает exactly-once доставку.
|
||||
@@ -34,8 +34,7 @@
|
||||
"chat_id": "33333333-3333-4333-8333-333333333333",
|
||||
"sender_id": "11111111-1111-4111-8111-111111111111",
|
||||
"text": "Привет, Боб!",
|
||||
"created_at": "2026-09-01T12:00:00Z",
|
||||
"attachment_ids": []
|
||||
"created_at": "2026-09-01T12:00:00Z"
|
||||
},
|
||||
"MessagePage": {
|
||||
"items": [
|
||||
@@ -44,8 +43,7 @@
|
||||
"chat_id": "33333333-3333-4333-8333-333333333333",
|
||||
"sender_id": "11111111-1111-4111-8111-111111111111",
|
||||
"text": "Привет, Боб!",
|
||||
"created_at": "2026-09-01T12:00:00Z",
|
||||
"attachment_ids": []
|
||||
"created_at": "2026-09-01T12:00:00Z"
|
||||
}
|
||||
],
|
||||
"next_cursor": null
|
||||
|
||||
@@ -1,10 +1,10 @@
|
||||
{
|
||||
"lab": 5,
|
||||
"lab": 2,
|
||||
"kind": "requirements, not runnable deployment",
|
||||
"required_for_grade_3": [
|
||||
{
|
||||
"role": "api",
|
||||
"count_min": 2,
|
||||
"count_min": 1,
|
||||
"student_implements": true,
|
||||
"persistent_local_state": false
|
||||
},
|
||||
@@ -12,37 +12,6 @@
|
||||
"role": "postgres",
|
||||
"purpose": "users/chats/membership/messages/metadata",
|
||||
"persistent_volume": true
|
||||
},
|
||||
{
|
||||
"role": "load_balancer",
|
||||
"public_entrypoint": true,
|
||||
"backend_readiness": true
|
||||
},
|
||||
{
|
||||
"role": "s3",
|
||||
"choose_one": [
|
||||
"MinIO",
|
||||
"SeaweedFS",
|
||||
"RustFS"
|
||||
],
|
||||
"private_bucket": true,
|
||||
"persistent_volume": true
|
||||
},
|
||||
{
|
||||
"role": "broker",
|
||||
"choose_one": [
|
||||
"RabbitMQ",
|
||||
"Redis Streams",
|
||||
"Valkey Streams",
|
||||
"NATS JetStream",
|
||||
"documented durable equivalent"
|
||||
],
|
||||
"persistent_volume": true,
|
||||
"delivery": "at-least-once"
|
||||
},
|
||||
{
|
||||
"role": "worker",
|
||||
"separate_process": true
|
||||
}
|
||||
],
|
||||
"optional_components": [
|
||||
|
||||
@@ -1,63 +0,0 @@
|
||||
{
|
||||
"$schema": "https://json-schema.org/draft/2020-12/schema",
|
||||
"$id": "urn:mtusi:messenger:attachment-job:v1",
|
||||
"title": "Durable attachment processing job v1",
|
||||
"type": "object",
|
||||
"additionalProperties": false,
|
||||
"required": [
|
||||
"schema_version",
|
||||
"job_id",
|
||||
"type",
|
||||
"attachment_id",
|
||||
"pipeline_version",
|
||||
"attempt",
|
||||
"created_at"
|
||||
],
|
||||
"properties": {
|
||||
"schema_version": {
|
||||
"const": 1
|
||||
},
|
||||
"job_id": {
|
||||
"type": "string",
|
||||
"format": "uuid"
|
||||
},
|
||||
"type": {
|
||||
"const": "attachment.process.v1"
|
||||
},
|
||||
"attachment_id": {
|
||||
"type": "string",
|
||||
"format": "uuid"
|
||||
},
|
||||
"pipeline_version": {
|
||||
"type": "integer",
|
||||
"minimum": 1
|
||||
},
|
||||
"attempt": {
|
||||
"type": "integer",
|
||||
"minimum": 1
|
||||
},
|
||||
"created_at": {
|
||||
"type": "string",
|
||||
"format": "date-time"
|
||||
},
|
||||
"traceparent": {
|
||||
"type": "string",
|
||||
"pattern": "^00-[0-9a-f]{32}-[0-9a-f]{16}-[0-9a-f]{2}$"
|
||||
},
|
||||
"tracestate": {
|
||||
"type": "string",
|
||||
"maxLength": 512
|
||||
}
|
||||
},
|
||||
"examples": [
|
||||
{
|
||||
"schema_version": 1,
|
||||
"job_id": "11111111-1111-4111-8111-111111111111",
|
||||
"type": "attachment.process.v1",
|
||||
"attachment_id": "22222222-2222-4222-8222-222222222222",
|
||||
"pipeline_version": 1,
|
||||
"attempt": 1,
|
||||
"created_at": "2026-09-01T12:00:00Z"
|
||||
}
|
||||
]
|
||||
}
|
||||
+7
-1493
File diff suppressed because it is too large
Load Diff
+3
-46
@@ -1,48 +1,5 @@
|
||||
# Индекс доказательств ЛР5
|
||||
# Доказательства
|
||||
|
||||
Актуальный [REPORT.md](../REPORT.md) обновлён после независимого ревью **6096aa7948b8b666aa3892397a96d044a55f02c6 (M)**. Предыдущее review — **42575281b352d35bda17ee7601bae5548a996e91 (R)**; полные динамические серии — **0e921116610d289716af0a40ec823376eb8bbcbc (D)**. Validation на `b30e2f6a84419d1ca64525ffb40df92183cccaef` (V, runtime = R) подтвердила PostgreSQL outage, delivery subset и HTTP tRNS, но выявила четыре FAIL на 40 Мп PNG при штатной памяти.
|
||||
Храните небольшие обезличенные результаты: команды и stdout проверок, JSON/CSV агрегатов нагрузки, EXPLAIN, dashboard JSON, текст разбора отказа. Укажите дату, commit, аппаратные лимиты и профиль нагрузки.
|
||||
|
||||
В M изменён только renderer: плитки 256×256 и явное освобождение pixel core. 440 offline + 20 границ PASS, 2 Linux-only skips; 132 варианта совпали с V. Re-review не нашло major в статике/offline; **прежний major закрыт Linux/HTTP validation F** (`74c33160ac01618f70e9e1c6a121a5e45c3c7155`, runtime = M): пять граничных PNG, concurrency=2, принудительные лимиты и HTTP 8/48 PASS. 984 student tests passed / 2 Linux-only skips; Linux-эквивалент выполнен отдельно. Исходные FAIL V сохраняются и не становятся PASS. Аудит применимости V — [load-validation.md](load-validation.md), исходная инструкция адресных проверок — [RESULTS исправления памяти](review-png-memory-2026-11-07/RESULTS.md).
|
||||
|
||||
## Как читать каталог
|
||||
|
||||
| Файлы / каталог | Код и роль доказательства | Применимость |
|
||||
| --- | --- | --- |
|
||||
| [Адресная validation M](final-memory-validation-2026-11-07/RESULTS.md) | F, runtime = M | Linux 448 MiB/30 с, пять 40 Мп PNG × v1/v2; HTTP boundary 8 сценариев / 8 инвариантов и малая матрица 8/48 / 8 инвариантов; 19 ID / 115 объектов; major закрыт, семь minor сохранены |
|
||||
| [Исправление памяти](review-png-memory-2026-11-07/RESULTS.md) | M; реализация `1a8020524909ebc5e2e43303436c9d1ce3c1a87b` | 440 + 20 passed / 2 skips, счётчик pixel buffers, 132 идентичных варианта; 28 хешей. Linux/HTTP выполняет следующий каталог validation F |
|
||||
| [Аудит обновления отчёта](report-memory-audit-2026-11-07.md) | M + только документация | Лёгкие проверки, аудит новых хешей/чисел/ссылок; семь minor последнего review, без новых динамических прогонов |
|
||||
| [Финальная validation](final-validation-2026-11-07/RESULTS.md), [аудит нагрузки](load-validation.md) | V, runtime = R | 980 tests, HTTP PNG и real DB outage; 12 адресных сценариев PASS; четыре 40 Мп PNG FAIL, один major; полный track2 не повторён |
|
||||
| [Первый аудит отчёта](report-audit-2026-11-07.md) | R + изменения документации, до validation V и исправления M | Реальные лёгкие проверки того этапа, ссылки, хеши, арифметика; без Docker и новых динамических тестов |
|
||||
| [forward-final-2026-11-06/RESULTS.md](forward-final-2026-11-06/RESULTS.md) | D, полная динамическая квалификация после поздних исправлений ЛР4 | Основная измеренная база: 819 passed / 1 skip, smoke/persistence/failover, уровень 4 и три повтора трека 2; до исправлений R |
|
||||
| [review-trns-depth-2026-11-06/RESULTS.md](review-trns-depth-2026-11-06/RESULTS.md) | R, исправление глубины PNG tRNS | 430 unit + 20 границ, 114 совместимых вариантов, fixtures и 34 хеша; offline, не Linux/HTTP-квалификация |
|
||||
| [review-fixes-2026-11-06/RESULTS.md](review-fixes-2026-11-06/RESULTS.md) | Реализация `3fad49d6b913afb122d2c1348ea8d9f99e25cc27`, архив `6e97bdbe9638c5a53951337fce639a1a0db7f92e` | История первого исправления: policy сохранена в R, renderer затем дополнен. 57 тестов не доказывали все tRNS; поздние major и исправление описаны в следующем каталоге |
|
||||
| [forward-port.md](forward-port.md), [source-inventory.json](forward-final-2026-11-06/source-inventory.json), [forward-audit.json](forward-final-2026-11-06/forward-audit.json) | Перенос ЛР4 `d7478726a85791c21e065d58f610735a9e687433` → `4ed889c1e4008e3f6040ae2534bef99262d3b8ce` | Решения по 253 файлам и 25 хешей на D. Сверяется snapshot, не другой живой репозиторий |
|
||||
| [sqlalchemy-2026-11-06/grade3/NOTES.md](sqlalchemy-2026-11-06/grade3/NOTES.md) | `24a51744f521aa585e50a931d0a0219d2e960197` | История после перехода на SQLAlchemy, до исправлений track2/forward/review; topology/ack — дополнительное свидетельство, не текущая policy |
|
||||
| [sqlalchemy-2026-11-06/grade4/NOTES.md](sqlalchemy-2026-11-06/grade4/NOTES.md) | `e9ce6d0afacadc16f1666f4bb7d54d3d7377a269` | Исторический уровень 4; `level4-retry.json` — успешный повтор; исходные неуспешные результаты не переименовываются в PASS |
|
||||
| [sqlalchemy-2026-11-06/track2/NOTES.md](sqlalchemy-2026-11-06/track2/NOTES.md) | Несколько промежуточных SHA внутри логов | История диагностики и исправлений; для итоговых чисел используется qualified, затем D |
|
||||
| [sqlalchemy-2026-11-06/track2/qualified/RESULTS.md](sqlalchemy-2026-11-06/track2/qualified/RESULTS.md) | `9ba3076fa8ba707de932e053fc22f455d83b3210` | Старая квалификация 39/174 до позднего forward: run1, run2, run3-retry. Прерванный run3 исключён, повторена только эта серия |
|
||||
| Все корневые `*.txt` и `*.json` в `evidence/` | Историческая реализация до SQLAlchemy/Alembic, даты/старые SHA — внутри файлов и истории Git | **Не подтверждают R, D или M.** Не использовать старые порты, asyncpg-мигратор, результаты и формулировки как текущие |
|
||||
|
||||
Последняя строка включает `contract-checks.txt`, `environment.txt`, `failover-upload.json`, `failover.txt`, `level3.json`, `level4.json`, `limits.txt`, `operator.txt`, `persistence.txt`, `pipeline-stand.txt`, `s3-outage.json`, `s3-security.txt`, `smoke.txt`, `stack.txt`, `student-tests.txt`, `topology.txt`, `upload-faults.txt`. Эти файлы оставлены для истории, без изменения сырья. Старые Markdown-итоги также читаются в пределах указанного выше SHA; их прежние заявления о полноте не распространяются на M. В частности, требования «нужен fix/review» в load-validation.md и RESULTS V описывают историческую остановку: fix и re-review M уже выполнены, Linux/HTTP-подтверждение завершено на F; старые документы не переписаны.
|
||||
|
||||
## Основные первичные данные D
|
||||
|
||||
- [level4-command.txt](forward-final-2026-11-06/level4-command.txt), [level4.json](forward-final-2026-11-06/level4.json): 17 сценариев, 8 инвариантов; 33 ID, 28 ready, 5 ожидаемых failed, 116 объектов.
|
||||
- [track-run1.txt](forward-final-2026-11-06/track-run1.txt), [track-run1.json](forward-final-2026-11-06/track-run1.json); [track-run2.txt](forward-final-2026-11-06/track-run2.txt), [track-run2.json](forward-final-2026-11-06/track-run2.json); [track-run3.txt](forward-final-2026-11-06/track-run3.txt), [track-run3.json](forward-final-2026-11-06/track-run3.json): каждый 13 сценариев, 8 инвариантов, 13 ID, 58 объектов. [summary.json](forward-final-2026-11-06/summary.json): всего 39/24/39/174.
|
||||
- [final-smoke.txt](forward-final-2026-11-06/final-smoke.txt), [persistence.txt](forward-final-2026-11-06/persistence.txt), [failover.txt](forward-final-2026-11-06/failover.txt): публичные проверки. [persistence-containers.txt](forward-final-2026-11-06/persistence-containers.txt), [failover-containers.txt](forward-final-2026-11-06/failover-containers.txt), [restore.txt](forward-final-2026-11-06/restore.txt): фактические операции со своим стендом.
|
||||
- [student-test.txt](forward-final-2026-11-06/student-test.txt): 819 passed / 1 skipped до последних двух исправлений. Предыдущие offline-результаты R: [offline-tests.txt](review-trns-depth-2026-11-06/offline-tests.txt), [boundaries.txt](review-trns-depth-2026-11-06/boundaries.txt). Текущие M: [offline-tests.txt](review-png-memory-2026-11-07/offline-tests.txt), [boundaries.txt](review-png-memory-2026-11-07/boundaries.txt).
|
||||
- [conditions-before.json](forward-final-2026-11-06/conditions-before.json), [conditions-track-start.json](forward-final-2026-11-06/conditions-track-start.json), остальные `conditions-*.json`: моментальные срезы общего Docker, не непрерывный контроль фоновой нагрузки.
|
||||
- [down.txt](forward-final-2026-11-06/down.txt), [stopped-containers.txt](forward-final-2026-11-06/stopped-containers.txt), [retained-volumes.txt](forward-final-2026-11-06/retained-volumes.txt): остановка стенда D. Более поздняя остановка V — [down.txt](final-validation-2026-11-07/down.txt), [stopped-containers.txt](final-validation-2026-11-07/stopped-containers.txt), [retained-volumes.txt](final-validation-2026-11-07/retained-volumes.txt): четыре volume сохранены. Исправление M и отчёт Docker не запускали. Последняя остановка F — [down.txt](final-memory-validation-2026-11-07/down.txt), [пустой project](final-memory-validation-2026-11-07/stopped-containers.txt), [четыре volumes](final-memory-validation-2026-11-07/retained-volumes.txt).
|
||||
|
||||
## Не считать успехом или измерением производительности
|
||||
|
||||
- `crash_publish_confirm` и raw `window: after publish, before confirm` — историческое имя/описание; реальная точка находится **после Basic.Ack и до COMMIT outbox**. Потерю confirm данный сценарий не проверял.
|
||||
- [grade3/limits.txt](sqlalchemy-2026-11-06/grade3/limits.txt) имеет **exit_code=1**, два ложных FAIL из-за порядка secrets. Это не PASS.
|
||||
- [clock-observation.json](forward-final-2026-11-06/clock-observation.json): UTC/elapsed run2 = 1161.195/186.458 с, run3 = 571.513/180.259 с. Причина неизвестна; длительности исключены из RPS/SLO/сравнения разброса. Функциональные результаты пригодны.
|
||||
- `no_orphans` проверяет выборку ID; на D сохранены 15 исторических/ожидаемых сообщений DLQ, после malformed-сценария V их 16; в F это число не выросло. Это не глобально пустые S3/DLQ.
|
||||
- `forward-final-2026-11-06/baseline.txt` — 0 тестов; `baseline-regressions.txt` — ожидаемые 29 FAIL до исправления. `review-fixes-2026-11-06/regressions-fixture-error.txt` — неуспешная промежуточная fixture; `review-trns-depth-2026-11-06/regressions-before.txt` — воспроизведённый дефект. Их сохраняют как диагностику, не суммируют с PASS.
|
||||
- Исторический [findings.json](review-trns-depth-2026-11-06/findings.json) содержит пять minor: окно confirm, limits, legacy reconcile, отдельный replay failed v2 и часы. Дополнительная документационная неточность `201` в `openspec/config.yaml` отражена в REPORT; конфиг этой фазе менять запрещено. Седьмой minor из review M — JobMessage принимает четыре значения вне JSON Schema; источник и ограничения — [аудит отчёта](report-memory-audit-2026-11-07.md). Исторические findings.json с пятью/шестью minor не перезаписываются.
|
||||
|
||||
Нагрузочных RPS/p95 для M здесь не заявлено. Финальный агент выполнил только отсутствующие/затронутые проверки и сохранил пригодные серии. После re-review M повторены только затронутые PNG/ресурсные проверки: четыре 40 Мп tRNS и grayscale16 без tRNS с импортами worker, HTTP subset 8/48, concurrency=2, v1/v2, принудительные лимиты и cleanup после sweep. Выполненная процедура и результаты — [validation F](final-memory-validation-2026-11-07/RESULTS.md). PostgreSQL outage, delivery subset и полный track2 повторно не нужны без нового основания.
|
||||
|
||||
Сохранять только обезличенные команды, exit codes, SHA, условия и агрегаты. Секреты, `.env`, credentials, session tokens/cookies, реальные сообщения, дампы и signed URLs в evidence не входят. Существующие сырые измерения неизменны; новые свидетельства записаны отдельно. Validation завершена, публикация не выполнялась и требует отдельной фазы.
|
||||
Не добавляйте .env, session tokens, cookies, приватные ключи, credentials, реальные сообщения, raw dumps и signed URLs. Для скриншотов скрывайте секреты. Большие логи/бинарные traces сохраняйте отдельно по правилам преподавателя; одного скриншота без методики недостаточно.
|
||||
|
||||
@@ -0,0 +1,27 @@
|
||||
date: 2026-10-28T17:16:16Z commit: 6468ee2
|
||||
$ valkey-cli config get appendonly appendfsync maxmemory maxmemory-policy
|
||||
appendonly
|
||||
yes
|
||||
appendfsync
|
||||
always
|
||||
maxmemory
|
||||
67108864
|
||||
maxmemory-policy
|
||||
volatile-lru
|
||||
$ valkey-cli info persistence | grep aof_enabled,aof_last_write_status
|
||||
aof_enabled:1
|
||||
aof_last_write_status:ok
|
||||
$ valkey-cli dbsize; info stats | grep keyspace
|
||||
4
|
||||
keyspace_hits:2
|
||||
keyspace_misses:2
|
||||
$ valkey-cli --scan --pattern 'session:*' и вид значения (хеш сокращён, значения не печатаются)
|
||||
session:253ef5d9… сессия
|
||||
session:59c9c3c4… сессия
|
||||
session:b86641dc… сессия
|
||||
session:95ea586e… отметка отзыва "-"
|
||||
tombstones: 1, cached sessions: 3
|
||||
$ срок ключа кэша против срока сессии для session:253ef5d9…
|
||||
valkey pexpiretime, ms: 1793208059163
|
||||
postgres expires_at, ms: 1793211358951
|
||||
ключ не переживает сессию: да
|
||||
@@ -0,0 +1,17 @@
|
||||
date: 2026-10-28T17:14:50Z commit: 6468ee2
|
||||
$ make check
|
||||
python3 scripts/check_contract.py
|
||||
PASS: offline skeleton structure, local refs and Python syntax; application NOT tested.
|
||||
$ make validate
|
||||
.venv/bin/python scripts/validate_openapi.py
|
||||
PASS: full OpenAPI 3.1 and JSON Schema validation; application NOT tested.
|
||||
$ make lint
|
||||
.venv/bin/ruff check src student-tests scripts/track.py
|
||||
All checks passed!
|
||||
.venv/bin/ruff format --check src student-tests scripts/track.py
|
||||
96 files already formatted
|
||||
.venv/bin/ty check src student-tests
|
||||
All checks passed!
|
||||
$ make test
|
||||
python3 tests/smoke.py --base-url "http://localhost:18082"
|
||||
PASS: lab2 public API scenario; infrastructure and grading evidence remain separate.
|
||||
@@ -1,14 +0,0 @@
|
||||
date: 2026-10-29T00:36:33Z commit: 0b85edf
|
||||
$ make check
|
||||
python3 scripts/check_contract.py
|
||||
PASS: offline skeleton structure, local refs and Python syntax; application NOT tested.
|
||||
$ make validate PYTHON=<venv с requirements-dev.txt>
|
||||
<venv>/bin/python scripts/validate_openapi.py
|
||||
PASS: full OpenAPI 3.1 and JSON Schema validation; application NOT tested.
|
||||
$ make lint
|
||||
.venv/bin/ruff check src student-tests scripts/probe.py scripts/limits.py scripts/lab4_scenarios.py scripts/lab4_seed.py scripts/upload_memory.py scripts/make_images.py scripts/pipeline_suite.py scripts/pipeline_evidence.py
|
||||
All checks passed!
|
||||
.venv/bin/ruff format --check src student-tests scripts/probe.py scripts/limits.py scripts/lab4_scenarios.py scripts/lab4_seed.py scripts/upload_memory.py scripts/make_images.py scripts/pipeline_suite.py scripts/pipeline_evidence.py
|
||||
159 files already formatted
|
||||
.venv/bin/ty check src student-tests
|
||||
All checks passed!
|
||||
+17
-34
@@ -1,24 +1,16 @@
|
||||
date: 2026-10-29T00:36:34Z commit: 0b85edf
|
||||
date: 2026-10-28T17:31:07Z commit: 6468ee2
|
||||
host: Apple M4 Max, 16 CPU, 48 GiB RAM, macOS 15.1
|
||||
docker: 28.3.2, VM: 16 CPU, 8217190400 bytes
|
||||
compose: 2.38.2-desktop.1
|
||||
images:
|
||||
image: ${API_IMAGE:-mtusi-messenger:lab5}
|
||||
image: ${API_IMAGE:-mtusi-messenger:lab5}
|
||||
image: rustfs/rc:v0.1.36@sha256:ab024bfebee49a750ce886b4c70963ccd9ddaa03f491704a90710641d7a26699
|
||||
image: haproxy:3.2.26-alpine@sha256:5893840576071e6217cd52ebdcc14f454c6f7a631056fa6f4e0f40d3cac4215b
|
||||
image: postgres:17.11-alpine@sha256:266d3c257594e195b309ae9d1805e54c788f1d7b375f56bf6c367aac6c917e7b
|
||||
image: valkey/valkey:8.1.11-alpine@sha256:2602ace2be6569bc2bbb06f873776516ab9089821525be34f4305c67eb9db02a
|
||||
image: rustfs/rustfs:1.0.4@sha256:ed9210d6411d77ffceb70d94b964a3cb7d225983368bc25bebe01e995293dcc2
|
||||
image: rabbitmq:4.1.8-management-alpine@sha256:54ef5ff505352c1beef05a97ee9bd6ab95b3559a76629ba0119b1d63d8d6e4b2
|
||||
image: grafana/k6:2.3.0@sha256:2dd4756ec6e14e62778916e1eb850108e4b499304c02df56760fa0bdb0fba0b8
|
||||
mtusi-messenger:mtusi2026lab2
|
||||
postgres:17.11-alpine@sha256:266d3c257594e195b309ae9d1805e54c788f1d7b375f56bf6c367aac6c917e7b
|
||||
valkey/valkey:8.1.11-alpine@sha256:2602ace2be6569bc2bbb06f873776516ab9089821525be34f4305c67eb9db02a
|
||||
FROM python:3.14-slim-trixie@sha256:51dafde81dbdb6ebde285137a295cf18a47ca95234fe388a343719cb97305b3d AS builder
|
||||
COPY --from=ghcr.io/astral-sh/uv:0.9.7@sha256:ba4857bf2a068e9bc0e64eed8563b065908a4cd6bfb66b531a9c424c8e25e142 /uv /usr/local/bin/uv
|
||||
FROM python:3.14-slim-trixie@sha256:51dafde81dbdb6ebde285137a295cf18a47ca95234fe388a343719cb97305b3d AS runtime
|
||||
COPY --from=builder --chown=root:root /opt/venv /opt/venv
|
||||
python in image: Python 3.14.7
|
||||
haproxy: HAProxy version 3.2.26-3e0f11a 2026/10/14 - https://haproxy.org/
|
||||
rustfs: rustfs 1.0.4
|
||||
rabbitmq: 4.1.8
|
||||
packages (uv.lock):
|
||||
fastapi 0.141.1
|
||||
uvicorn 0.54.0
|
||||
@@ -31,28 +23,19 @@ packages (uv.lock):
|
||||
dishka 1.10.1
|
||||
structlog 26.1.0
|
||||
redis 8.1.0
|
||||
aiobotocore 3.10.0
|
||||
botocore 1.43.117
|
||||
aiohttp 3.14.5
|
||||
pillow 13.0.0
|
||||
faststream 0.7.8
|
||||
aio-pika 10.2.1
|
||||
aiormq 7.2.4
|
||||
dishka-faststream 0.7.0
|
||||
process users (service uid command):
|
||||
$ docker compose --profile faults --profile track up -d --wait api-shortttl postgres-restore
|
||||
docker compose top (service, UID, command), без повторов и без процессов healthcheck:
|
||||
api 10001 python
|
||||
broker 100 beam.smp
|
||||
broker 100 epmd
|
||||
broker 100 erl_child_setup
|
||||
broker 100 inet_gethost
|
||||
broker 100 sh
|
||||
lb 99 haproxy
|
||||
api-shortttl 10001 python
|
||||
postgres 70 postgres
|
||||
relay 10001 docker-init
|
||||
relay 10001 python
|
||||
s3 10001 rustfs
|
||||
postgres 70 postgres:
|
||||
postgres-restore 70 postgres
|
||||
postgres-restore 70 postgres:
|
||||
valkey 999 tini
|
||||
valkey 999 valkey-server
|
||||
worker 10001 docker-init
|
||||
worker 10001 python
|
||||
worker limits: 2 CPU, memory.max 1024 MiB; render: WORKER_CONCURRENCY=2 processes, RLIMIT_AS 448 MiB, timeout 30 s, 100 tasks per process
|
||||
postgres durability (pg_settings):
|
||||
fsync = on
|
||||
full_page_writes = on
|
||||
shared_buffers = 16384
|
||||
synchronous_commit = on
|
||||
wal_sync_method = fdatasync
|
||||
|
||||
@@ -0,0 +1,80 @@
|
||||
date: 2026-10-28T17:16:18Z commit: 6468ee2
|
||||
$ make explain # scripts/sql/explain-history.sql
|
||||
chat_messages
|
||||
---------------
|
||||
20000
|
||||
(1 row)
|
||||
|
||||
all_messages
|
||||
--------------
|
||||
30005
|
||||
(1 row)
|
||||
|
||||
history_index_size
|
||||
--------------------
|
||||
1736 kB
|
||||
(1 row)
|
||||
|
||||
== Первая страница, limit=50 (запрос HISTORY_FIRST приложения, LIMIT limit+1)
|
||||
QUERY PLAN
|
||||
-----------------------------------------------------------------------------------------------------------------------------------------------
|
||||
Limit (cost=0.29..5.37 rows=51 width=102) (actual time=0.008..0.013 rows=51 loops=1)
|
||||
Buffers: shared hit=3
|
||||
-> Index Scan using messages_history_idx on messages (cost=0.29..1994.42 rows=20001 width=102) (actual time=0.007..0.010 rows=51 loops=1)
|
||||
Index Cond: (chat_id = '00000000-0000-7000-8000-00000000c001'::uuid)
|
||||
Buffers: shared hit=3
|
||||
Planning:
|
||||
Buffers: shared hit=24
|
||||
Planning Time: 0.081 ms
|
||||
Execution Time: 0.022 ms
|
||||
(9 rows)
|
||||
|
||||
== Глубокая страница: keyset после 10 000-го сообщения (запрос HISTORY_AFTER приложения)
|
||||
QUERY PLAN
|
||||
------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
|
||||
Limit (cost=0.29..9.99 rows=51 width=102) (actual time=0.007..0.012 rows=51 loops=1)
|
||||
Buffers: shared hit=4
|
||||
-> Index Scan using messages_history_idx on messages (cost=0.29..1269.18 rows=6670 width=102) (actual time=0.007..0.010 rows=51 loops=1)
|
||||
Index Cond: ((chat_id = '00000000-0000-7000-8000-00000000c001'::uuid) AND (ROW(created_at, id) > ROW('2026-01-01 02:46:40+00'::timestamp with time zone, '00000000-0000-7000-8001-000000002710'::uuid)))
|
||||
Buffers: shared hit=4
|
||||
Planning Time: 0.034 ms
|
||||
Execution Time: 0.032 ms
|
||||
(7 rows)
|
||||
|
||||
== Та же глубокая страница через OFFSET 10000 (не используется приложением, для сравнения)
|
||||
QUERY PLAN
|
||||
--------------------------------------------------------------------------------------------------------------------------------------------------
|
||||
Limit (cost=997.30..1002.39 rows=51 width=102) (actual time=0.879..0.885 rows=51 loops=1)
|
||||
Buffers: shared hit=247
|
||||
-> Index Scan using messages_history_idx on messages (cost=0.29..1994.42 rows=20001 width=102) (actual time=0.010..0.674 rows=10051 loops=1)
|
||||
Index Cond: (chat_id = '00000000-0000-7000-8000-00000000c001'::uuid)
|
||||
Buffers: shared hit=247
|
||||
Planning Time: 0.046 ms
|
||||
Execution Time: 0.897 ms
|
||||
(7 rows)
|
||||
|
||||
== Проверка: keyset и OFFSET возвращают одну и ту же страницу
|
||||
same_page
|
||||
-----------
|
||||
t
|
||||
(1 row)
|
||||
|
||||
== Контрольный план без индекса истории (DROP INDEX внутри транзакции, затем ROLLBACK)
|
||||
QUERY PLAN
|
||||
--------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
|
||||
Limit (cost=1246.61..1246.74 rows=51 width=102) (actual time=1.473..1.478 rows=51 loops=1)
|
||||
Buffers: shared hit=505
|
||||
-> Sort (cost=1246.61..1263.29 rows=6670 width=102) (actual time=1.473..1.473 rows=51 loops=1)
|
||||
Sort Key: created_at, id
|
||||
Sort Method: top-N heapsort Memory: 31kB
|
||||
Buffers: shared hit=505
|
||||
-> Seq Scan on messages (cost=0.00..1024.09 rows=6670 width=102) (actual time=0.291..1.073 rows=10000 loops=1)
|
||||
Filter: ((chat_id = '00000000-0000-7000-8000-00000000c001'::uuid) AND (ROW(created_at, id) > ROW('2026-01-01 02:46:40+00'::timestamp with time zone, '00000000-0000-7000-8001-000000002710'::uuid)))
|
||||
Rows Removed by Filter: 20005
|
||||
Buffers: shared hit=499
|
||||
Planning:
|
||||
Buffers: shared hit=14
|
||||
Planning Time: 0.084 ms
|
||||
Execution Time: 1.486 ms
|
||||
(14 rows)
|
||||
|
||||
@@ -1,10 +0,0 @@
|
||||
{
|
||||
"ok": true,
|
||||
"scenario": "failover-upload",
|
||||
"upload_instance": "70cfba801128",
|
||||
"download_instance": "095cb9cc85bd",
|
||||
"sha256_equal": true,
|
||||
"hook_seconds": 2.877,
|
||||
"download_ok_after_seconds": 2.886,
|
||||
"restored": true
|
||||
}
|
||||
@@ -1,39 +0,0 @@
|
||||
date: 2026-10-29T00:33:32Z commit: 0b85edf
|
||||
== before: api replicas (hostname = X-Instance-Id), state, StartedAt, FinishedAt
|
||||
095cb9cc85bd running started=2026-10-29T00:33:12.427394173Z finished=2026-10-29T00:33:03.853644169Z
|
||||
70cfba801128 running started=2026-10-29T00:33:12.607365173Z finished=2026-10-29T00:33:03.666460502Z
|
||||
$ make test-failover ACTION_SCRIPT=scripts/stop-one.sh
|
||||
python3 tests/resilience.py --mode failover --action-script "scripts/stop-one.sh" --base-url "http://localhost:18085"
|
||||
Executing explicit failover hook; hook output suppressed to avoid leaking secrets.
|
||||
{"observed_instances_before": 2, "successful_writes": 133, "failed_attempts": 0, "first_recovery_seconds": 3.005}
|
||||
PASS: failover preserved confirmed data and existing session. Hook scope needs operator evidence.
|
||||
== after: api replicas
|
||||
095cb9cc85bd running started=2026-10-29T00:33:12.427394173Z finished=2026-10-29T00:33:03.853644169Z
|
||||
70cfba801128 exited started=2026-10-29T00:33:12.607365173Z finished=2026-10-29T00:33:39.052027754Z
|
||||
== stopped replica: 70cfba801128; shutdown: signal, drain window with readiness 503, close, exit
|
||||
{"event":"Handling signal: term","level":"info","ts":"2026-10-29T00:33:36.479119Z"}
|
||||
{"event":"Draining for 2.0 s","level":"info","ts":"2026-10-29T00:33:36.486455Z"}
|
||||
{"event":"Draining for 2.0 s","level":"info","ts":"2026-10-29T00:33:36.558375Z"}
|
||||
{"method":"GET","route":"/health/ready","status":503,"request_id":"b3d9118f93b94471b698d536dda11072","duration_ms":0.772,"event":"request.handled","level":"info","ts":"2026-10-29T00:33:37.011026Z"}
|
||||
{"method":"GET","route":"/health/ready","status":503,"request_id":"3c1324def7e74f3484c4fbd242f7f70b","duration_ms":0.655,"event":"request.handled","level":"info","ts":"2026-10-29T00:33:37.515877Z"}
|
||||
{"method":"GET","route":"/health/ready","status":503,"request_id":"e56c9504272b45a89b7372020eb80d15","duration_ms":0.733,"event":"request.handled","level":"info","ts":"2026-10-29T00:33:37.588547Z"}
|
||||
{"event":"Shutting down","level":"info","ts":"2026-10-29T00:33:38.487910Z"}
|
||||
{"event":"Shutting down","level":"info","ts":"2026-10-29T00:33:38.560300Z"}
|
||||
{"event":"service.stopped","level":"info","ts":"2026-10-29T00:33:38.592638Z"}
|
||||
{"event":"Finished server process [13]","level":"info","ts":"2026-10-29T00:33:38.592934Z"}
|
||||
{"event":"Worker (pid:13) was sent SIGTERM!","level":"info","ts":"2026-10-29T00:33:38.624866Z"}
|
||||
{"event":"service.stopped","level":"info","ts":"2026-10-29T00:33:38.664775Z"}
|
||||
{"event":"Finished server process [14]","level":"info","ts":"2026-10-29T00:33:38.665027Z"}
|
||||
{"event":"Worker (pid:14) was sent SIGTERM!","level":"info","ts":"2026-10-29T00:33:38.725950Z"}
|
||||
{"event":"Shutting down: Master","level":"info","ts":"2026-10-29T00:33:38.834487Z"}
|
||||
$ scripts/restore.sh
|
||||
Container mtusi2026lab5-api-1 Running
|
||||
Container mtusi2026lab5-api-2 Starting
|
||||
Container mtusi2026lab5-api-2 Started
|
||||
Container mtusi2026lab5-api-1 Waiting
|
||||
Container mtusi2026lab5-api-2 Waiting
|
||||
Container mtusi2026lab5-api-1 Healthy
|
||||
Container mtusi2026lab5-api-2 Healthy
|
||||
== after restore
|
||||
095cb9cc85bd running started=2026-10-29T00:33:12.427394173Z finished=2026-10-29T00:33:03.853644169Z
|
||||
70cfba801128 running started=2026-10-29T00:33:51.687259594Z finished=2026-10-29T00:33:39.052027754Z
|
||||
@@ -0,0 +1,73 @@
|
||||
date: 2026-10-28T17:15:43Z commit: 6468ee2
|
||||
$ make test-faults
|
||||
docker compose --profile faults up -d --wait api-shortttl
|
||||
Container mtusi2026lab2-valkey-1 Running
|
||||
Container mtusi2026lab2-postgres-1 Running
|
||||
Container mtusi2026lab2-api-shortttl-1 Creating
|
||||
Container mtusi2026lab2-api-shortttl-1 Created
|
||||
Container mtusi2026lab2-postgres-1 Waiting
|
||||
Container mtusi2026lab2-postgres-1 Healthy
|
||||
Container mtusi2026lab2-migrate-1 Starting
|
||||
Container mtusi2026lab2-migrate-1 Started
|
||||
Container mtusi2026lab2-migrate-1 Waiting
|
||||
Container mtusi2026lab2-migrate-1 Exited
|
||||
Container mtusi2026lab2-api-shortttl-1 Starting
|
||||
Container mtusi2026lab2-api-shortttl-1 Started
|
||||
Container mtusi2026lab2-migrate-1 Waiting
|
||||
Container mtusi2026lab2-api-shortttl-1 Waiting
|
||||
Container mtusi2026lab2-postgres-1 Waiting
|
||||
Container mtusi2026lab2-valkey-1 Waiting
|
||||
Container mtusi2026lab2-valkey-1 Healthy
|
||||
Container mtusi2026lab2-postgres-1 Healthy
|
||||
Container mtusi2026lab2-migrate-1 Exited
|
||||
Container mtusi2026lab2-api-shortttl-1 Healthy
|
||||
BASE_URL="http://localhost:18082" SHORTTTL_URL="http://localhost:22082" .venv/bin/pytest -m stack -v -s student-tests/stack
|
||||
============================= test session starts ==============================
|
||||
platform darwin -- Python 3.14.5, pytest-9.1.1, pluggy-1.6.0 -- /Users/artemkostylev/projects/learning/HL/labs/mtusi2026lab2/.venv/bin/python
|
||||
cachedir: .pytest_cache
|
||||
rootdir: /Users/artemkostylev/projects/learning/HL/labs/mtusi2026lab2
|
||||
configfile: pyproject.toml
|
||||
plugins: asyncio-1.4.0, anyio-4.15.1
|
||||
asyncio: mode=Mode.AUTO, debug=False, asyncio_default_fixture_loop_scope=function, asyncio_default_test_loop_scope=function
|
||||
collecting ... collected 13 items
|
||||
|
||||
student-tests/stack/test_faults.py::test_registration_race_yields_exactly_one_user гонка 50 регистраций: 201×1, 409×49
|
||||
PASSED
|
||||
student-tests/stack/test_faults.py::test_chat_creation_rolls_back_on_unknown_member чат с несуществующим участником: 400 invalid_request
|
||||
PASSED
|
||||
student-tests/stack/test_faults.py::test_wrong_password_and_unknown_user_get_same_basic_challenge неверный пароль: 401 за 0.012 с
|
||||
неизвестный пользователь: 401 за 0.011 с
|
||||
PASSED
|
||||
student-tests/stack/test_faults.py::test_logout_then_token_is_dead logout: 204, затем 401, повтор 401
|
||||
PASSED
|
||||
student-tests/stack/test_faults.py::test_short_ttl_session_expires SESSION_TTL_SECONDS=2: сразу 200, через 3 с 401
|
||||
PASSED
|
||||
student-tests/stack/test_faults.py::test_valkey_serves_repeated_checks 5 проверок токена: keyspace_hits 4 → 9
|
||||
PASSED
|
||||
student-tests/stack/test_faults.py::test_valkey_stopped_is_bypassed_but_logout_waits valkey остановлен, действующий токен: 200 за 0.207 с
|
||||
valkey остановлен, неизвестный токен: 401 за 0.004 с
|
||||
valkey остановлен: ready 200, вход 201, выход 503
|
||||
valkey снова запущен: повторный выход 204
|
||||
PASSED
|
||||
student-tests/stack/test_faults.py::test_valkey_restart_keeps_cache_and_revocations рестарт valkey: ключей 14 → 14
|
||||
рестарт valkey: живой 200, отозванный 401
|
||||
PASSED
|
||||
student-tests/stack/test_faults.py::test_valkey_flushall_loses_nothing FLUSHALL: живой 200, отозванный 401
|
||||
PASSED
|
||||
student-tests/stack/test_faults.py::test_postgres_stopped_gives_bounded_503_and_recovers postgres остановлен, ready: 503 за 1.012 с
|
||||
postgres остановлен, live: 200 за 0.006 с
|
||||
postgres остановлен, me: 503 за 1.006 с
|
||||
postgres остановлен, stranger: 503 за 1.012 с
|
||||
postgres остановлен, login: 503 за 1.005 с
|
||||
postgres остановлен, register: 503 за 0.992 с
|
||||
postgres запущен: готовность через 0.0 с, прежний токен 200
|
||||
PASSED
|
||||
student-tests/stack/test_faults.py::test_api_restart_keeps_session_without_extending_it рестарт api: готовность через 0.5 с, токен 200
|
||||
expires_at при входе 2026-10-28T18:16:04.950293Z, в БД после рестарта 2026-10-28T18:16:04.950293Z
|
||||
PASSED
|
||||
student-tests/stack/test_faults.py::test_full_restart_keeps_session_until_logout restart.sh: готовность через 0.0 с, прежний токен 200, выход 204, затем 401
|
||||
PASSED
|
||||
student-tests/stack/test_faults.py::test_short_ttl_expires_after_restart_at_original_time рестарт api-shortttl: готовность через 0.5 с, после expires_at входа 401
|
||||
PASSED
|
||||
|
||||
============================= 13 passed in 26.08s ==============================
|
||||
@@ -1,55 +0,0 @@
|
||||
# Адресная validation исправления памяти PNG
|
||||
|
||||
**PASS. Прежний major закрыт динамически.** Измерен HEAD `74c33160ac01618f70e9e1c6a121a5e45c3c7155`, runtime побайтно равен прошедшему review `6096aa7948b8b666aa3892397a96d044a55f02c6` (M). Реализация, конфигурация и нормативные файлы в этой фазе не менялись. Публикация не выполнялась и требует отдельной фазы.
|
||||
|
||||
Исходные четыре HTTP FAIL и Linux MemoryError на V сохранены в [предыдущей validation](../final-validation-2026-11-07/RESULTS.md). Они не переименованы в PASS: здесь новый образ и новые результаты после отдельного fix/re-review. От V изменён только renderer, поэтому три пригодных повтора track2 на D, PostgreSQL outage и delivery subset на V приняты без повторения. Решения по каждой серии — [load-validation.md](../load-validation.md); SHA, diff, 53 прежних и 28 fix-хешей — [audit.json](audit.json).
|
||||
|
||||
## Условия и методика
|
||||
|
||||
2026-11-07 по локальной дате; UTC команд — 2026-11-06. Darwin arm64, Docker 28.3.2, Linux aarch64, VM 16 CPU / 8 217 190 400 байт. Project `mtusi2026lab5`, API 18085, stats/UI 25085/25086, все published ports на loopback. Использованы сохранённые volumes, не чистый clone. Worker: 2 CPU / 1 GiB; renderer RLIMIT_AS=448 MiB, 30 с, concurrency=2. Значения не повышались. Образ и закреплённые версии — [build.txt](build.txt), [runtime.txt](runtime.txt), [conditions.json](conditions.json).
|
||||
|
||||
Снимки до/после и внутри серий не показывают чужих работающих контейнеров. Специальная фоновая нагрузка не запускалась. Load average хоста: 1.67/2.11/2.34 перед этапом, 2.62/2.65/2.53 перед проверками, 6.41/4.18/3.19 после. Непрерывного контроля хоста нет; throughput, RPS, p95 и новые SLO не заявляются. Длительности — диагностические монотонные интервалы конкретных команд/рендеров, не benchmark. [Условия после](conditions-after.json) подтверждают восстановленные 448 MiB/30 с/concurrency=2 и отсутствие OOM.
|
||||
|
||||
Linux-пробник запускает новые процессы с **импортами messenger.worker**, настоящим RLIMIT_AS и alarm=30 с на каждый рендер. Пять файлов проходят v1/v2, затем обычное изображение в том же процессе. Два дополнительных процесса одновременно рендерят RGB16; пересечение измерено монотонными отметками внутри render. Пробник использует те же четыре сохранённые PNG 8000×5000; пятый получается удалением только tRNS из grayscale16. Входные SHA сохранены. Реальный HTTP использует LB/API/relay/broker/worker и ту же конфигурацию. При concurrency=2 журнал БД подтверждает перекрытие claimed→done в обеих версиях.
|
||||
|
||||
После диагностических процессов worker пересоздан без изменения образа/лимитов для отдельного cgroup peak HTTP — [reset-worker-peak.txt](reset-worker-peak.txt). Это не повтор нагрузки. Ожидаемые отказы создаются только на двух новых заданиях: 0.01 с и 200 MiB. После каждого лимиты восстановлены и обычная загрузка достигает ready. Перед SQL/S3-инвариантами дождались штатного sweep. Старые данные и DLQ не удалялись.
|
||||
|
||||
## Команды и результаты
|
||||
|
||||
Команды выполнялись из корня репозитория. `source evidence/final-memory-validation-2026-11-07/env.sh` задаёт несекретные Compose-параметры. Обёртка `python3 scripts/capture_evidence.py <новый-файл> -- <команда>` сохраняет SHA, команду, exit code и elapsed; существующие результаты не перезаписывает.
|
||||
|
||||
| Команда / проверка | Результат | Первичные данные |
|
||||
| --- | --- | --- |
|
||||
| `make check validate lint` | PASS | [checks.txt](checks.txt) |
|
||||
| `openspec validate --all --strict`; `openspec list --json` | 22 PASS, changes=[] | [openspec.txt](openspec.txt), [active-changes.txt](active-changes.txt) |
|
||||
| `make student-test PYTEST_ARGS='-q --tb=short'` | 984 passed, 2 Linux-only skipped, 19 stack deselected; 171.26 с pytest. Пропуски не названы PASS; Linux-эквивалент выполнен отдельно | [student-test.txt](student-test.txt) |
|
||||
| `docker compose build`; `docker compose up -d --wait`; `make test` | Сборка, миграции/готовность и публичный smoke PASS | [build.txt](build.txt), [up.txt](up.txt), [smoke.txt](smoke.txt) |
|
||||
| `.venv/bin/python evidence/final-memory-validation-2026-11-07/linux-runner.py` | Пять 40 Мп PNG × v1/v2 и обычный render после каждого PASS; два параллельных RGB16 × v1/v2 PASS | [linux.txt](linux.txt), [linux.json](linux.json), [child](linux-child.py), [runner](linux-runner.py) |
|
||||
| `PYTHONPATH=src .venv/bin/python evidence/final-memory-validation-2026-11-07/targeted.py png-boundary` | 8 сценариев и 8 инвариантов PASS; 11 ID, 9 ready, 2 ожидаемых failed, 59 S3-объектов | [команда](png-boundary.txt), [JSON](png-boundary.json), [обвязка](targeted.py) |
|
||||
| `PYTHONPATH=src .venv/bin/python evidence/final-memory-validation-2026-11-07/targeted.py png-http` | 8 fixtures, 48 сравнений вариантов v1/v2 с независимым белым эталоном; 8 инвариантов PASS, 8 ID / 56 объектов | [команда](png-http.txt), [JSON](png-http.json) |
|
||||
|
||||
Граничные HTTP-проверки: четыре прежних tRNS и grayscale16 без tRNS достигают ready в v1/v2; исходник неизменен; SHA, длина, MIME и размеры вариантов согласованы с байтами. Белая область белая, соседний RGB16 с отличием младшего бита остаётся непрозрачным. Все 30 хешей пяти файлов × двух версий × трёх вариантов совпали между Linux и HTTP. Поздняя v1 и дубль v2 не изменили опубликованный снимок; по шесть строк вариантов на ID. Два одновременных HTTP-вложения также проходят обе версии. Малая матрица включает grayscale 1/2/4/8/16, RGB8/16 и RGB16 Adam7/filter=4/EXIF=6.
|
||||
|
||||
| Linux-файл | Peak RSS процесса, KiB | HTTP: обе версии |
|
||||
| --- | ---: | --- |
|
||||
| grayscale2 tRNS | 343 076 | ready |
|
||||
| grayscale4 tRNS | 342 956 | ready |
|
||||
| grayscale16 tRNS | 365 508 | ready |
|
||||
| grayscale16 без tRNS | 365 492 | ready |
|
||||
| RGB16 tRNS | 406 312 | ready |
|
||||
|
||||
При двух **реальных HTTP jobs** cgroup peak worker = **885 428 224 байт (844.41 MiB) / 1 GiB**, все memory.events=0. Диагностический Linux-запуск, включающий idle worker, управляющий процесс и два дополнительных дочерних процесса, дал другой peak: 1 026 285 568 байт / 1 GiB, также без OOM. Это разные условия; диагностический peak не выдаётся за память штатных HTTP jobs. RSS не равен RLIMIT_AS или cgroup memory.
|
||||
|
||||
Инварианты обеих HTTP-серий проверяют terminal, single_effect, no_ready_rollback, monotonic_publication, bytes_match_metadata, bounded_attempts, no_orphans и no_lost_202. После sweep нет staging/pending outbox/дублирующих эффектов для новых ID; S3 inventory согласован с БД. DLQ осталась 16: это сохранённые исторические/ожидаемые записи, не новые ошибки этой серии. Проверка scoped, не глобальная очистка.
|
||||
|
||||
## Завершение и ограничения
|
||||
|
||||
Свои контейнеры остановлены через `make down` без `-v`: [до остановки](final-containers.txt), [down](down.txt), [пустой project](stopped-containers.txt), [четыре volumes](retained-volumes.txt), [пустой общий running list](running-containers-after.txt). [Ретроспективный срез Docker events](container-events.json) ограничен последними 256 событиями daemon и подтверждает финальную остановку; он не используется как полная история промежуточных worker-stop.
|
||||
|
||||
Семь minor независимого review сохранены в [findings.json](findings.json) и ограничениях [REPORT](../../REPORT.md). Новых major не обнаружено. Потеря publisher confirm, все возможные отказы диска/сети и изолированная throughput-матрица не доказаны; выбран трек 2. Исходный major памяти закрывается только для проверенных сценариев и закреплённой версии Pillow.
|
||||
|
||||
Context7 вызван для Pillow, но вернул исчерпание месячной квоты. Использован официальный [Pillow: Image lifecycle](https://pillow.readthedocs.io/en/stable/reference/open_files.html): `Image.close()` уничтожает image core, контекстный менеджер сам core не уничтожает. Эта справка не заменяет выполненные Linux-проверки.
|
||||
|
||||
Перед коммитом проверены разрешённый scope, отсутствие секретов в tracked файлах, локальные ссылки и сохранность runtime/нормативных файлов; результаты — [final-audit.json](final-audit.json), [secret-scan.json](secret-scan.json), [final-checks.txt](final-checks.txt). Контрольные суммы новых артефактов — [sha256.json](sha256.json). Push и Telegram не выполнялись.
|
||||
|
||||
Полный `git diff --cached --check` обнаружил 17 trailing-whitespace строк в сыром выводе smoke и двух HTTP-команд. Вывод сохранён без редактирования; отдельная проверка документов/обвязки проходит. Это формат console output, не результат сценария приложения.
|
||||
@@ -1,11 +0,0 @@
|
||||
date: 2026-11-06T22:54:44Z commit: 74c33160ac01618f70e9e1c6a121a5e45c3c7155
|
||||
environment: {}
|
||||
$ openspec list --json
|
||||
{
|
||||
"changes": [],
|
||||
"root": {
|
||||
"path": "<repo>",
|
||||
"source": "nearest"
|
||||
}
|
||||
}
|
||||
exit_code: 0 elapsed_seconds: 0.974
|
||||
@@ -1,153 +0,0 @@
|
||||
import ast
|
||||
import hashlib
|
||||
import json
|
||||
import re
|
||||
import subprocess
|
||||
from pathlib import Path
|
||||
|
||||
ROOT = Path.cwd()
|
||||
FOLDER = Path(__file__).resolve().parent.relative_to(ROOT)
|
||||
MEASURED = "74c33160ac01618f70e9e1c6a121a5e45c3c7155"
|
||||
REVIEWED = "6096aa7948b8b666aa3892397a96d044a55f02c6"
|
||||
|
||||
|
||||
def git(*args):
|
||||
return subprocess.check_output(["git", *args], text=True).strip()
|
||||
|
||||
|
||||
assert git("rev-parse", "HEAD") == MEASURED
|
||||
assert git("branch", "--show-current") == "solution/bpi2303-kostylev"
|
||||
paths = git("diff", "--name-only", MEASURED).splitlines()
|
||||
assert all(p in {"REPORT.md", "AGENTS.md"} or p.startswith("evidence/") for p in paths)
|
||||
runtime_diff = git(
|
||||
"diff",
|
||||
"--name-only",
|
||||
REVIEWED,
|
||||
"--",
|
||||
"src",
|
||||
"infra",
|
||||
"compose.yaml",
|
||||
"Dockerfile",
|
||||
"pyproject.toml",
|
||||
"uv.lock",
|
||||
"alembic",
|
||||
"scripts",
|
||||
"student-tests",
|
||||
"openspec",
|
||||
)
|
||||
assert not runtime_diff
|
||||
assert not git(
|
||||
"diff", "--name-only", "upstream/main", "--", "contracts", "tests", "README.md", "COURSE.md"
|
||||
)
|
||||
subprocess.run(["git", "diff", "--check"], check=True)
|
||||
whitespace = subprocess.run(["git", "diff", "--cached", "--check"], capture_output=True, text=True)
|
||||
raw_whitespace = re.findall(r"^([^\n:]+):\d+: trailing whitespace\.$", whitespace.stdout, re.M)
|
||||
assert whitespace.returncode in (0, 2)
|
||||
assert set(raw_whitespace) <= {
|
||||
str(FOLDER / "png-boundary.txt"),
|
||||
str(FOLDER / "png-http.txt"),
|
||||
str(FOLDER / "smoke.txt"),
|
||||
}
|
||||
subprocess.run(
|
||||
["git", "diff", "--cached", "--check", "--", ".", f":(exclude){FOLDER}/*.txt"],
|
||||
check=True,
|
||||
)
|
||||
tracked = set(git("ls-files").splitlines())
|
||||
docs = [
|
||||
Path("REPORT.md"),
|
||||
Path("AGENTS.md"),
|
||||
Path("evidence/README.md"),
|
||||
Path("evidence/load-validation.md"),
|
||||
FOLDER / "RESULTS.md",
|
||||
]
|
||||
links = 0
|
||||
for doc in docs:
|
||||
content = doc.read_text()
|
||||
assert len(re.findall(r"^```", content, re.M)) % 2 == 0, doc
|
||||
for target in re.findall(r"\]\(([^)]+)\)", content):
|
||||
if re.match(r"(?:https?://|#)", target):
|
||||
continue
|
||||
destination = (doc.parent / target.split("#")[0]).resolve()
|
||||
assert destination.exists(), (doc, target)
|
||||
relative = str(destination.relative_to(ROOT))
|
||||
assert relative in tracked or any(p.startswith(relative + "/") for p in tracked), relative
|
||||
links += 1
|
||||
json_files = 0
|
||||
for name in tracked:
|
||||
if name.endswith(".json"):
|
||||
json.loads(Path(name).read_text())
|
||||
json_files += 1
|
||||
for path in FOLDER.glob("*.py"):
|
||||
ast.parse(path.read_text(), filename=str(path))
|
||||
hashes = 0
|
||||
for manifest, key in [
|
||||
("evidence/final-validation-2026-11-07/sha256.json", None),
|
||||
("evidence/review-png-memory-2026-11-07/checks.json", "sha256"),
|
||||
]:
|
||||
entries = json.loads(Path(manifest).read_text())
|
||||
if key:
|
||||
entries = entries[key]
|
||||
for name, expected in entries.items():
|
||||
assert hashlib.sha256(Path(name).read_bytes()).hexdigest() == expected, name
|
||||
hashes += 1
|
||||
accepted = []
|
||||
for name in [
|
||||
"evidence/forward-final-2026-11-06/level4.json",
|
||||
*[f"evidence/forward-final-2026-11-06/track-run{n}.json" for n in (1, 2, 3)],
|
||||
"evidence/final-validation-2026-11-07/postgres-outage-retry.json",
|
||||
"evidence/final-validation-2026-11-07/delivery-targeted.json",
|
||||
]:
|
||||
data = json.loads(Path(name).read_text())
|
||||
scenarios = data.get("scenarios", data.get("cases"))
|
||||
assert data["result"] == "PASS"
|
||||
assert all(x["result"] == "PASS" for x in scenarios + data["invariants"])
|
||||
accepted.append(
|
||||
{
|
||||
"file": name,
|
||||
"source_sha": data["source_sha"],
|
||||
"scenarios": len(scenarios),
|
||||
"invariants": len(data["invariants"]),
|
||||
}
|
||||
)
|
||||
own_containers = subprocess.check_output(
|
||||
["docker", "ps", "-aq", "--filter", "label=com.docker.compose.project=mtusi2026lab5"], text=True
|
||||
).strip()
|
||||
assert not own_containers
|
||||
volumes = subprocess.check_output(
|
||||
[
|
||||
"docker",
|
||||
"volume",
|
||||
"ls",
|
||||
"--filter",
|
||||
"label=com.docker.compose.project=mtusi2026lab5",
|
||||
"--format",
|
||||
"{{.Name}}",
|
||||
],
|
||||
text=True,
|
||||
).splitlines()
|
||||
assert len(volumes) == 4
|
||||
report = {
|
||||
"measured_sha": MEASURED,
|
||||
"reviewed_runtime": REVIEWED,
|
||||
"runtime_equal": True,
|
||||
"normative_equal_to_upstream_main": True,
|
||||
"changed_paths": paths,
|
||||
"local_links_verified": links,
|
||||
"tracked_json_parsed": json_files,
|
||||
"previous_and_fix_hashes_verified": hashes,
|
||||
"raw_diff_check_exit": whitespace.returncode,
|
||||
"preserved_raw_trailing_whitespace_lines": len(raw_whitespace),
|
||||
"docs_and_helpers_diff_check": "PASS",
|
||||
"accepted_without_rerun": accepted,
|
||||
"own_containers": [],
|
||||
"retained_volumes": volumes,
|
||||
"result": "PASS",
|
||||
}
|
||||
(FOLDER / "final-audit.json").write_text(json.dumps(report, ensure_ascii=False, indent=2) + "\n")
|
||||
print(
|
||||
json.dumps(
|
||||
{k: v for k, v in report.items() if k not in {"changed_paths", "accepted_without_rerun"}},
|
||||
ensure_ascii=False,
|
||||
indent=2,
|
||||
)
|
||||
)
|
||||
@@ -1,25 +0,0 @@
|
||||
{
|
||||
"head": "74c33160ac01618f70e9e1c6a121a5e45c3c7155",
|
||||
"reviewed_runtime": "6096aa7948b8b666aa3892397a96d044a55f02c6",
|
||||
"runtime_review_equal": true,
|
||||
"runtime_diff_since_previous_validation": [
|
||||
"src/messenger/attachments/infrastructure/images.py"
|
||||
],
|
||||
"previous_artifact_hashes_verified": 53,
|
||||
"platform": "macOS-15.1-arm64-arm-64bit-Mach-O",
|
||||
"host_load": [
|
||||
1.66796875,
|
||||
2.11279296875,
|
||||
2.3447265625
|
||||
],
|
||||
"docker": "28.3.2 16 8217190400",
|
||||
"running_containers_before": "",
|
||||
"image_fixture_hashes": {
|
||||
"rgb16-40mp.png": "3c4418a6f6a7676298b30b70ebbde9d12929f1345152f4fae979caf5ba1cb3f7",
|
||||
"gray4-40mp.png": "64e665928c08ac3721324af4f8e2e9d2e98230dc1be389dde7bbf365650b08cd",
|
||||
"gray2-40mp.png": "e1238de6a5be9dbce36abee904f7233f8ff7be59e405b528671940630cce11f6",
|
||||
"gray16-40mp.png": "b59784ae916d50b41b15afa4bdd474a8699f099da55efd53580d3f97180f3800"
|
||||
},
|
||||
"fix_hashes_verified": 28,
|
||||
"linux_http_variant_hashes_equal": 30
|
||||
}
|
||||
@@ -1,90 +0,0 @@
|
||||
date: 2026-11-06T22:54:41Z commit: 74c33160ac01618f70e9e1c6a121a5e45c3c7155
|
||||
environment: {"COMPOSE_PROJECT_NAME": "mtusi2026lab5", "COMPOSE_FILE": "compose.yaml", "LB_HTTP_PORT": "18085", "LB_STATS_PORT": "25085", "BASE_URL": "http://127.0.0.1:18085", "NO_PROXY": "localhost,127.0.0.1,::1", "API_IMAGE": "mtusi-messenger:lab5-memory-validation"}
|
||||
$ docker compose build
|
||||
#1 [internal] load local bake definitions
|
||||
#1 reading from stdin 441B done
|
||||
#1 DONE 0.0s
|
||||
|
||||
#2 [internal] load build definition from Dockerfile
|
||||
#2 transferring dockerfile: 1.65kB done
|
||||
#2 DONE 0.0s
|
||||
|
||||
#3 [internal] load metadata for ghcr.io/astral-sh/uv:0.9.7@sha256:ba4857bf2a068e9bc0e64eed8563b065908a4cd6bfb66b531a9c424c8e25e142
|
||||
#3 DONE 0.0s
|
||||
|
||||
#4 [internal] load metadata for docker.io/library/python:3.14-slim-trixie@sha256:51dafde81dbdb6ebde285137a295cf18a47ca95234fe388a343719cb97305b3d
|
||||
#4 DONE 1.6s
|
||||
|
||||
#5 [internal] load .dockerignore
|
||||
#5 transferring context: 453B done
|
||||
#5 DONE 0.0s
|
||||
|
||||
#6 [builder 1/7] FROM docker.io/library/python:3.14-slim-trixie@sha256:51dafde81dbdb6ebde285137a295cf18a47ca95234fe388a343719cb97305b3d
|
||||
#6 resolve docker.io/library/python:3.14-slim-trixie@sha256:51dafde81dbdb6ebde285137a295cf18a47ca95234fe388a343719cb97305b3d 0.0s done
|
||||
#6 DONE 0.0s
|
||||
|
||||
#7 FROM ghcr.io/astral-sh/uv:0.9.7@sha256:ba4857bf2a068e9bc0e64eed8563b065908a4cd6bfb66b531a9c424c8e25e142
|
||||
#7 resolve ghcr.io/astral-sh/uv:0.9.7@sha256:ba4857bf2a068e9bc0e64eed8563b065908a4cd6bfb66b531a9c424c8e25e142 0.0s done
|
||||
#7 DONE 0.0s
|
||||
|
||||
#8 [internal] load build context
|
||||
#8 transferring context: 55.94kB 0.0s done
|
||||
#8 DONE 0.0s
|
||||
|
||||
#9 [builder 4/7] COPY pyproject.toml uv.lock README.md ./
|
||||
#9 CACHED
|
||||
|
||||
#10 [builder 3/7] WORKDIR /build
|
||||
#10 CACHED
|
||||
|
||||
#11 [builder 2/7] COPY --from=ghcr.io/astral-sh/uv:0.9.7@sha256:ba4857bf2a068e9bc0e64eed8563b065908a4cd6bfb66b531a9c424c8e25e142 /uv /usr/local/bin/uv
|
||||
#11 CACHED
|
||||
|
||||
#12 [builder 5/7] RUN uv sync --locked --no-dev --no-install-project --no-editable
|
||||
#12 CACHED
|
||||
|
||||
#13 [builder 6/7] COPY src ./src
|
||||
#13 DONE 0.1s
|
||||
|
||||
#14 [builder 7/7] RUN uv sync --locked --no-dev --no-editable
|
||||
#14 0.246 Resolved 84 packages in 9ms
|
||||
#14 0.261 Building mtusi-messenger @ file:///build
|
||||
#14 3.076 Built mtusi-messenger @ file:///build
|
||||
#14 3.081 Prepared 1 package in 2.82s
|
||||
#14 3.086 Installed 1 package in 4ms
|
||||
#14 3.306 Bytecode compiled 2301 files in 220ms
|
||||
#14 3.306 + mtusi-messenger==1.5.0 (from file:///build)
|
||||
#14 DONE 3.3s
|
||||
|
||||
#15 [runtime 2/6] RUN groupadd --system --gid 10001 messenger && useradd --system --uid 10001 --gid messenger --no-create-home --shell /usr/sbin/nologin messenger
|
||||
#15 CACHED
|
||||
|
||||
#16 [runtime 3/6] COPY --from=builder --chown=root:root /opt/venv /opt/venv
|
||||
#16 DONE 0.7s
|
||||
|
||||
#17 [runtime 4/6] WORKDIR /app
|
||||
#17 DONE 0.0s
|
||||
|
||||
#18 [runtime 5/6] COPY --chown=root:root alembic.ini ./
|
||||
#18 DONE 0.0s
|
||||
|
||||
#19 [runtime 6/6] COPY --chown=root:root alembic ./alembic
|
||||
#19 DONE 0.0s
|
||||
|
||||
#20 exporting to image
|
||||
#20 exporting layers
|
||||
#20 exporting layers 3.1s done
|
||||
#20 exporting manifest sha256:822ff6808de5ef24f7f560bfbf7d074f03882cf60f79ec17b72ec20b27fcb882
|
||||
#20 exporting manifest sha256:822ff6808de5ef24f7f560bfbf7d074f03882cf60f79ec17b72ec20b27fcb882 done
|
||||
#20 exporting config sha256:9ad245995fe138e23bc22e352d3a77ee0bf65ae6979997c6da067bd8d5315782 done
|
||||
#20 exporting attestation manifest sha256:cf7e1da74a249e6859a38405addb0350aab512b93f6e62e66405ae1936db4e38 done
|
||||
#20 exporting manifest list sha256:9a4299f2f673c414d67c3cc1f1debf4a56d9358f4a1ae85703152d48e8ef1608 done
|
||||
#20 naming to docker.io/library/mtusi-messenger:lab5-memory-validation done
|
||||
#20 unpacking to docker.io/library/mtusi-messenger:lab5-memory-validation
|
||||
#20 unpacking to docker.io/library/mtusi-messenger:lab5-memory-validation 0.6s done
|
||||
#20 DONE 3.8s
|
||||
|
||||
#21 resolving provenance for metadata file
|
||||
#21 DONE 0.0s
|
||||
api Built
|
||||
exit_code: 0 elapsed_seconds: 14.282
|
||||
@@ -1,14 +0,0 @@
|
||||
date: 2026-11-06T22:54:42Z commit: 74c33160ac01618f70e9e1c6a121a5e45c3c7155
|
||||
environment: {}
|
||||
$ make check validate lint
|
||||
python3 scripts/check_contract.py
|
||||
PASS: offline skeleton structure, local refs and Python syntax; application NOT tested.
|
||||
.venv/bin/python scripts/validate_openapi.py
|
||||
PASS: full OpenAPI 3.1 and JSON Schema validation; application NOT tested.
|
||||
.venv/bin/ruff check src student-tests scripts/capture_evidence.py alembic scripts/scaling.py tools scripts/probe.py scripts/limits.py scripts/lab4_scenarios.py scripts/lab4_seed.py scripts/upload_memory.py scripts/reconcile_check.py scripts/reconcile_track.py scripts/make_images.py scripts/pipeline_suite.py scripts/pipeline_evidence.py
|
||||
All checks passed!
|
||||
.venv/bin/ruff format --check src student-tests scripts/capture_evidence.py alembic scripts/scaling.py tools scripts/probe.py scripts/limits.py scripts/lab4_scenarios.py scripts/lab4_seed.py scripts/upload_memory.py scripts/reconcile_check.py scripts/reconcile_track.py scripts/make_images.py scripts/pipeline_suite.py scripts/pipeline_evidence.py
|
||||
198 files already formatted
|
||||
.venv/bin/ty check src student-tests alembic
|
||||
All checks passed!
|
||||
exit_code: 0 elapsed_seconds: 0.650
|
||||
@@ -1,11 +0,0 @@
|
||||
{
|
||||
"at": "2026-11-06T23:18:53.248018+00:00",
|
||||
"host_load": [
|
||||
6.40869140625,
|
||||
4.1806640625,
|
||||
3.1875
|
||||
],
|
||||
"running": "mtusi2026lab5-worker-1 Up About a minute (healthy)\nmtusi2026lab5-api-1 Up 6 minutes (healthy)\nmtusi2026lab5-api-2 Up 6 minutes (healthy)\nmtusi2026lab5-relay-1 Up 6 minutes (healthy)\nmtusi2026lab5-broker-1 Up 6 minutes (healthy)\nmtusi2026lab5-postgres-1 Up 6 minutes (healthy)\nmtusi2026lab5-lb-1 Up 6 minutes (healthy)\nmtusi2026lab5-s3-1 Up 6 minutes (healthy)\nmtusi2026lab5-valkey-1 Up 6 minutes (healthy)",
|
||||
"worker_limits": "448\n30\n2",
|
||||
"memory_events": "low 0\nhigh 0\nmax 0\noom 0\noom_kill 0\noom_group_kill 0"
|
||||
}
|
||||
@@ -1,166 +0,0 @@
|
||||
{
|
||||
"platform": "macOS-15.1-arm64-arm-64bit-Mach-O",
|
||||
"host_load": [
|
||||
2.62109375,
|
||||
2.6455078125,
|
||||
2.53076171875
|
||||
],
|
||||
"running": "mtusi2026lab5-api-1 Up 2 minutes (healthy)\nmtusi2026lab5-api-2 Up 2 minutes (healthy)\nmtusi2026lab5-worker-1 Up 2 minutes (healthy)\nmtusi2026lab5-relay-1 Up 2 minutes (healthy)\nmtusi2026lab5-broker-1 Up 2 minutes (healthy)\nmtusi2026lab5-postgres-1 Up 2 minutes (healthy)\nmtusi2026lab5-lb-1 Up 2 minutes (healthy)\nmtusi2026lab5-s3-1 Up 2 minutes (healthy)\nmtusi2026lab5-valkey-1 Up 2 minutes (healthy)",
|
||||
"containers": [
|
||||
{
|
||||
"name": "/mtusi2026lab5-api-1",
|
||||
"id": "d1dcbda238669764840b38a8b9cf22d889ffc356945e165f019c4814bb96553d",
|
||||
"image": "sha256:9a4299f2f673c414d67c3cc1f1debf4a56d9358f4a1ae85703152d48e8ef1608",
|
||||
"limits": {
|
||||
"Memory": 536870912,
|
||||
"NanoCpus": 1000000000,
|
||||
"PortBindings": {}
|
||||
},
|
||||
"volumes": []
|
||||
},
|
||||
{
|
||||
"name": "/mtusi2026lab5-api-2",
|
||||
"id": "1eaf0fe05de650a1c2f7ced3e360aabbf8ad59566f40beefc2d745fa5277688e",
|
||||
"image": "sha256:9a4299f2f673c414d67c3cc1f1debf4a56d9358f4a1ae85703152d48e8ef1608",
|
||||
"limits": {
|
||||
"Memory": 536870912,
|
||||
"NanoCpus": 1000000000,
|
||||
"PortBindings": {}
|
||||
},
|
||||
"volumes": []
|
||||
},
|
||||
{
|
||||
"name": "/mtusi2026lab5-worker-1",
|
||||
"id": "a9afb0e9cc245a54eb871ddd44fcf8661949789de59603ded5236b5f9e9f1d7c",
|
||||
"image": "sha256:9a4299f2f673c414d67c3cc1f1debf4a56d9358f4a1ae85703152d48e8ef1608",
|
||||
"limits": {
|
||||
"Memory": 1073741824,
|
||||
"NanoCpus": 2000000000,
|
||||
"PortBindings": {}
|
||||
},
|
||||
"volumes": []
|
||||
},
|
||||
{
|
||||
"name": "/mtusi2026lab5-relay-1",
|
||||
"id": "63225b5eff8e1eb2870376c487b8925f9dbbe9bb8a636f4e2cdc12a24becf577",
|
||||
"image": "sha256:9a4299f2f673c414d67c3cc1f1debf4a56d9358f4a1ae85703152d48e8ef1608",
|
||||
"limits": {
|
||||
"Memory": 201326592,
|
||||
"NanoCpus": 500000000,
|
||||
"PortBindings": {}
|
||||
},
|
||||
"volumes": []
|
||||
},
|
||||
{
|
||||
"name": "/mtusi2026lab5-migrate-1",
|
||||
"id": "34901a09ef7b837c6ce87116d2035d842762d2c86f8562cade96d3915a80e6f0",
|
||||
"image": "sha256:9a4299f2f673c414d67c3cc1f1debf4a56d9358f4a1ae85703152d48e8ef1608",
|
||||
"limits": {
|
||||
"Memory": 268435456,
|
||||
"NanoCpus": 500000000,
|
||||
"PortBindings": {}
|
||||
},
|
||||
"volumes": []
|
||||
},
|
||||
{
|
||||
"name": "/mtusi2026lab5-s3-init-1",
|
||||
"id": "6e80e83ed5c5470bf22c5a9cd7c835788fbdff94f1f28f8649df6b667c153f89",
|
||||
"image": "sha256:ab024bfebee49a750ce886b4c70963ccd9ddaa03f491704a90710641d7a26699",
|
||||
"limits": {
|
||||
"Memory": 67108864,
|
||||
"NanoCpus": 500000000,
|
||||
"PortBindings": {}
|
||||
},
|
||||
"volumes": []
|
||||
},
|
||||
{
|
||||
"name": "/mtusi2026lab5-broker-1",
|
||||
"id": "be1942ad69b426f8b7c9189b0209021b169c6c8d0ee633f302d6d659a4143377",
|
||||
"image": "sha256:54ef5ff505352c1beef05a97ee9bd6ab95b3559a76629ba0119b1d63d8d6e4b2",
|
||||
"limits": {
|
||||
"Memory": 536870912,
|
||||
"NanoCpus": 1000000000,
|
||||
"PortBindings": {
|
||||
"15672/tcp": [
|
||||
{
|
||||
"HostIp": "127.0.0.1",
|
||||
"HostPort": "25086"
|
||||
}
|
||||
]
|
||||
}
|
||||
},
|
||||
"volumes": [
|
||||
"mtusi2026lab5_broker-data"
|
||||
]
|
||||
},
|
||||
{
|
||||
"name": "/mtusi2026lab5-postgres-1",
|
||||
"id": "a0b9f2742b9737ac0e32423d767438cab12af55a00cc1d68515ca9f07c2758ed",
|
||||
"image": "sha256:266d3c257594e195b309ae9d1805e54c788f1d7b375f56bf6c367aac6c917e7b",
|
||||
"limits": {
|
||||
"Memory": 1073741824,
|
||||
"NanoCpus": 2000000000,
|
||||
"PortBindings": {}
|
||||
},
|
||||
"volumes": [
|
||||
"mtusi2026lab5_pgdata"
|
||||
]
|
||||
},
|
||||
{
|
||||
"name": "/mtusi2026lab5-lb-1",
|
||||
"id": "4ddcc75182e6044288c7a8c7bddca7b8c5fc6dab9b18c429e61ab1d292680111",
|
||||
"image": "sha256:5893840576071e6217cd52ebdcc14f454c6f7a631056fa6f4e0f40d3cac4215b",
|
||||
"limits": {
|
||||
"Memory": 134217728,
|
||||
"NanoCpus": 1000000000,
|
||||
"PortBindings": {
|
||||
"8080/tcp": [
|
||||
{
|
||||
"HostIp": "127.0.0.1",
|
||||
"HostPort": "18085"
|
||||
}
|
||||
],
|
||||
"8404/tcp": [
|
||||
{
|
||||
"HostIp": "127.0.0.1",
|
||||
"HostPort": "25085"
|
||||
}
|
||||
]
|
||||
}
|
||||
},
|
||||
"volumes": []
|
||||
},
|
||||
{
|
||||
"name": "/mtusi2026lab5-s3-1",
|
||||
"id": "29b3e7c3a260f035ba99f5ce5f3e8a8b7077c56377b17e25503f16fb7fbad7c3",
|
||||
"image": "sha256:ed9210d6411d77ffceb70d94b964a3cb7d225983368bc25bebe01e995293dcc2",
|
||||
"limits": {
|
||||
"Memory": 536870912,
|
||||
"NanoCpus": 1000000000,
|
||||
"PortBindings": {}
|
||||
},
|
||||
"volumes": [
|
||||
"mtusi2026lab5_s3data"
|
||||
]
|
||||
},
|
||||
{
|
||||
"name": "/mtusi2026lab5-valkey-1",
|
||||
"id": "647882797ca28a7e07453f00bd198433c80d8a8b8e7013279bc8954eafe11db6",
|
||||
"image": "sha256:2602ace2be6569bc2bbb06f873776516ab9089821525be34f4305c67eb9db02a",
|
||||
"limits": {
|
||||
"Memory": 134217728,
|
||||
"NanoCpus": 500000000,
|
||||
"PortBindings": {}
|
||||
},
|
||||
"volumes": [
|
||||
"mtusi2026lab5_valkeydata"
|
||||
]
|
||||
}
|
||||
],
|
||||
"fixture_sha256": {
|
||||
"rgb16-40mp.png": "3c4418a6f6a7676298b30b70ebbde9d12929f1345152f4fae979caf5ba1cb3f7",
|
||||
"gray4-40mp.png": "64e665928c08ac3721324af4f8e2e9d2e98230dc1be389dde7bbf365650b08cd",
|
||||
"gray2-40mp.png": "e1238de6a5be9dbce36abee904f7233f8ff7be59e405b528671940630cce11f6",
|
||||
"gray16-40mp.png": "b59784ae916d50b41b15afa4bdd474a8699f099da55efd53580d3f97180f3800"
|
||||
}
|
||||
}
|
||||
@@ -1,151 +0,0 @@
|
||||
{
|
||||
"command": [
|
||||
"docker",
|
||||
"events",
|
||||
"--since",
|
||||
"2026-11-06T23:15:45Z",
|
||||
"--until",
|
||||
"2026-11-06T23:19:06.697928+00:00",
|
||||
"--filter",
|
||||
"type=container",
|
||||
"--filter",
|
||||
"label=com.docker.compose.project=mtusi2026lab5",
|
||||
"--filter",
|
||||
"event=stop",
|
||||
"--filter",
|
||||
"event=die",
|
||||
"--filter",
|
||||
"event=start",
|
||||
"--format",
|
||||
"{{json .}}"
|
||||
],
|
||||
"events": [
|
||||
{
|
||||
"timeNano": 1794007134212820139,
|
||||
"id": "4ddcc75182e6044288c7a8c7bddca7b8c5fc6dab9b18c429e61ab1d292680111",
|
||||
"action": "stop",
|
||||
"name": "mtusi2026lab5-lb-1",
|
||||
"exitCode": null
|
||||
},
|
||||
{
|
||||
"timeNano": 1794007134214724139,
|
||||
"id": "4ddcc75182e6044288c7a8c7bddca7b8c5fc6dab9b18c429e61ab1d292680111",
|
||||
"action": "die",
|
||||
"name": "mtusi2026lab5-lb-1",
|
||||
"exitCode": "0"
|
||||
},
|
||||
{
|
||||
"timeNano": 1794007134242785764,
|
||||
"id": "63225b5eff8e1eb2870376c487b8925f9dbbe9bb8a636f4e2cdc12a24becf577",
|
||||
"action": "stop",
|
||||
"name": "mtusi2026lab5-relay-1",
|
||||
"exitCode": null
|
||||
},
|
||||
{
|
||||
"timeNano": 1794007134243810347,
|
||||
"id": "63225b5eff8e1eb2870376c487b8925f9dbbe9bb8a636f4e2cdc12a24becf577",
|
||||
"action": "die",
|
||||
"name": "mtusi2026lab5-relay-1",
|
||||
"exitCode": "0"
|
||||
},
|
||||
{
|
||||
"timeNano": 1794007134261625889,
|
||||
"id": "cb275ee9574b376bec77f26bdc24d2149568a272094f374b866d89d42b8067ce",
|
||||
"action": "stop",
|
||||
"name": "mtusi2026lab5-worker-1",
|
||||
"exitCode": null
|
||||
},
|
||||
{
|
||||
"timeNano": 1794007134263340222,
|
||||
"id": "cb275ee9574b376bec77f26bdc24d2149568a272094f374b866d89d42b8067ce",
|
||||
"action": "die",
|
||||
"name": "mtusi2026lab5-worker-1",
|
||||
"exitCode": "0"
|
||||
},
|
||||
{
|
||||
"timeNano": 1794007135530081667,
|
||||
"id": "be1942ad69b426f8b7c9189b0209021b169c6c8d0ee633f302d6d659a4143377",
|
||||
"action": "stop",
|
||||
"name": "mtusi2026lab5-broker-1",
|
||||
"exitCode": null
|
||||
},
|
||||
{
|
||||
"timeNano": 1794007135532395875,
|
||||
"id": "be1942ad69b426f8b7c9189b0209021b169c6c8d0ee633f302d6d659a4143377",
|
||||
"action": "die",
|
||||
"name": "mtusi2026lab5-broker-1",
|
||||
"exitCode": "0"
|
||||
},
|
||||
{
|
||||
"timeNano": 1794007136578760167,
|
||||
"id": "d1dcbda238669764840b38a8b9cf22d889ffc356945e165f019c4814bb96553d",
|
||||
"action": "stop",
|
||||
"name": "mtusi2026lab5-api-1",
|
||||
"exitCode": null
|
||||
},
|
||||
{
|
||||
"timeNano": 1794007136581296250,
|
||||
"id": "d1dcbda238669764840b38a8b9cf22d889ffc356945e165f019c4814bb96553d",
|
||||
"action": "die",
|
||||
"name": "mtusi2026lab5-api-1",
|
||||
"exitCode": "0"
|
||||
},
|
||||
{
|
||||
"timeNano": 1794007136606883084,
|
||||
"id": "1eaf0fe05de650a1c2f7ced3e360aabbf8ad59566f40beefc2d745fa5277688e",
|
||||
"action": "stop",
|
||||
"name": "mtusi2026lab5-api-2",
|
||||
"exitCode": null
|
||||
},
|
||||
{
|
||||
"timeNano": 1794007136610714375,
|
||||
"id": "1eaf0fe05de650a1c2f7ced3e360aabbf8ad59566f40beefc2d745fa5277688e",
|
||||
"action": "die",
|
||||
"name": "mtusi2026lab5-api-2",
|
||||
"exitCode": "0"
|
||||
},
|
||||
{
|
||||
"timeNano": 1794007136730887167,
|
||||
"id": "647882797ca28a7e07453f00bd198433c80d8a8b8e7013279bc8954eafe11db6",
|
||||
"action": "stop",
|
||||
"name": "mtusi2026lab5-valkey-1",
|
||||
"exitCode": null
|
||||
},
|
||||
{
|
||||
"timeNano": 1794007136732779084,
|
||||
"id": "647882797ca28a7e07453f00bd198433c80d8a8b8e7013279bc8954eafe11db6",
|
||||
"action": "die",
|
||||
"name": "mtusi2026lab5-valkey-1",
|
||||
"exitCode": "0"
|
||||
},
|
||||
{
|
||||
"timeNano": 1794007136795874292,
|
||||
"id": "a0b9f2742b9737ac0e32423d767438cab12af55a00cc1d68515ca9f07c2758ed",
|
||||
"action": "stop",
|
||||
"name": "mtusi2026lab5-postgres-1",
|
||||
"exitCode": null
|
||||
},
|
||||
{
|
||||
"timeNano": 1794007136796859125,
|
||||
"id": "a0b9f2742b9737ac0e32423d767438cab12af55a00cc1d68515ca9f07c2758ed",
|
||||
"action": "die",
|
||||
"name": "mtusi2026lab5-postgres-1",
|
||||
"exitCode": "0"
|
||||
},
|
||||
{
|
||||
"timeNano": 1794007136819412875,
|
||||
"id": "29b3e7c3a260f035ba99f5ce5f3e8a8b7077c56377b17e25503f16fb7fbad7c3",
|
||||
"action": "stop",
|
||||
"name": "mtusi2026lab5-s3-1",
|
||||
"exitCode": null
|
||||
},
|
||||
{
|
||||
"timeNano": 1794007136823326750,
|
||||
"id": "29b3e7c3a260f035ba99f5ce5f3e8a8b7077c56377b17e25503f16fb7fbad7c3",
|
||||
"action": "die",
|
||||
"name": "mtusi2026lab5-s3-1",
|
||||
"exitCode": "0"
|
||||
}
|
||||
],
|
||||
"limitation": "Docker retains only the last 256 events; this is a partial retrospective snapshot."
|
||||
}
|
||||
@@ -1,53 +0,0 @@
|
||||
date: 2026-11-06T23:18:53Z commit: 74c33160ac01618f70e9e1c6a121a5e45c3c7155
|
||||
environment: {"COMPOSE_PROJECT_NAME": "mtusi2026lab5", "COMPOSE_FILE": "compose.yaml", "LB_HTTP_PORT": "18085", "LB_STATS_PORT": "25085", "BASE_URL": "http://127.0.0.1:18085", "NO_PROXY": "localhost,127.0.0.1,::1", "API_IMAGE": "mtusi-messenger:lab5-memory-validation"}
|
||||
$ make down
|
||||
docker compose --profile bench --profile tools --profile reconcile down
|
||||
Container mtusi2026lab5-relay-1 Stopping
|
||||
Container mtusi2026lab5-lb-1 Stopping
|
||||
Container mtusi2026lab5-api-2 Stopping
|
||||
Container mtusi2026lab5-api-1 Stopping
|
||||
Container mtusi2026lab5-worker-1 Stopping
|
||||
Container mtusi2026lab5-lb-1 Stopped
|
||||
Container mtusi2026lab5-lb-1 Removing
|
||||
Container mtusi2026lab5-relay-1 Stopped
|
||||
Container mtusi2026lab5-relay-1 Removing
|
||||
Container mtusi2026lab5-lb-1 Removed
|
||||
Container mtusi2026lab5-worker-1 Stopped
|
||||
Container mtusi2026lab5-worker-1 Removing
|
||||
Container mtusi2026lab5-relay-1 Removed
|
||||
Container mtusi2026lab5-worker-1 Removed
|
||||
Container mtusi2026lab5-broker-1 Stopping
|
||||
Container mtusi2026lab5-broker-1 Stopped
|
||||
Container mtusi2026lab5-broker-1 Removing
|
||||
Container mtusi2026lab5-broker-1 Removed
|
||||
Container mtusi2026lab5-api-1 Stopped
|
||||
Container mtusi2026lab5-api-1 Removing
|
||||
Container mtusi2026lab5-api-2 Stopped
|
||||
Container mtusi2026lab5-api-2 Removing
|
||||
Container mtusi2026lab5-api-1 Removed
|
||||
Container mtusi2026lab5-api-2 Removed
|
||||
Container mtusi2026lab5-valkey-1 Stopping
|
||||
Container mtusi2026lab5-migrate-1 Stopping
|
||||
Container mtusi2026lab5-s3-init-1 Stopping
|
||||
Container mtusi2026lab5-migrate-1 Stopped
|
||||
Container mtusi2026lab5-migrate-1 Removing
|
||||
Container mtusi2026lab5-s3-init-1 Stopped
|
||||
Container mtusi2026lab5-s3-init-1 Removing
|
||||
Container mtusi2026lab5-migrate-1 Removed
|
||||
Container mtusi2026lab5-postgres-1 Stopping
|
||||
Container mtusi2026lab5-s3-init-1 Removed
|
||||
Container mtusi2026lab5-s3-1 Stopping
|
||||
Container mtusi2026lab5-valkey-1 Stopped
|
||||
Container mtusi2026lab5-valkey-1 Removing
|
||||
Container mtusi2026lab5-valkey-1 Removed
|
||||
Container mtusi2026lab5-postgres-1 Stopped
|
||||
Container mtusi2026lab5-postgres-1 Removing
|
||||
Container mtusi2026lab5-s3-1 Stopped
|
||||
Container mtusi2026lab5-s3-1 Removing
|
||||
Container mtusi2026lab5-postgres-1 Removed
|
||||
Container mtusi2026lab5-s3-1 Removed
|
||||
Network mtusi2026lab5_edge Removing
|
||||
Network mtusi2026lab5_backend Removing
|
||||
Network mtusi2026lab5_backend Removed
|
||||
Network mtusi2026lab5_edge Removed
|
||||
exit_code: 0 elapsed_seconds: 3.356
|
||||
@@ -1,8 +0,0 @@
|
||||
export COMPOSE_PROJECT_NAME=mtusi2026lab5
|
||||
export COMPOSE_FILE=compose.yaml
|
||||
export API_IMAGE=mtusi-messenger:lab5-memory-validation
|
||||
export LB_HTTP_PORT=18085
|
||||
export LB_STATS_PORT=25085
|
||||
export BROKER_MANAGEMENT_PORT=25086
|
||||
export BASE_URL=http://127.0.0.1:18085
|
||||
export NO_PROXY=localhost,127.0.0.1,::1
|
||||
@@ -1,100 +0,0 @@
|
||||
{
|
||||
"measured_sha": "74c33160ac01618f70e9e1c6a121a5e45c3c7155",
|
||||
"reviewed_runtime": "6096aa7948b8b666aa3892397a96d044a55f02c6",
|
||||
"runtime_equal": true,
|
||||
"normative_equal_to_upstream_main": true,
|
||||
"changed_paths": [
|
||||
"AGENTS.md",
|
||||
"REPORT.md",
|
||||
"evidence/README.md",
|
||||
"evidence/final-memory-validation-2026-11-07/RESULTS.md",
|
||||
"evidence/final-memory-validation-2026-11-07/active-changes.txt",
|
||||
"evidence/final-memory-validation-2026-11-07/audit-files.py",
|
||||
"evidence/final-memory-validation-2026-11-07/audit.json",
|
||||
"evidence/final-memory-validation-2026-11-07/build.txt",
|
||||
"evidence/final-memory-validation-2026-11-07/checks.txt",
|
||||
"evidence/final-memory-validation-2026-11-07/conditions-after.json",
|
||||
"evidence/final-memory-validation-2026-11-07/conditions.json",
|
||||
"evidence/final-memory-validation-2026-11-07/container-events.json",
|
||||
"evidence/final-memory-validation-2026-11-07/down.txt",
|
||||
"evidence/final-memory-validation-2026-11-07/env.sh",
|
||||
"evidence/final-memory-validation-2026-11-07/final-audit.json",
|
||||
"evidence/final-memory-validation-2026-11-07/final-checks.txt",
|
||||
"evidence/final-memory-validation-2026-11-07/final-containers.txt",
|
||||
"evidence/final-memory-validation-2026-11-07/findings.json",
|
||||
"evidence/final-memory-validation-2026-11-07/linux-child.py",
|
||||
"evidence/final-memory-validation-2026-11-07/linux-runner.py",
|
||||
"evidence/final-memory-validation-2026-11-07/linux.json",
|
||||
"evidence/final-memory-validation-2026-11-07/linux.txt",
|
||||
"evidence/final-memory-validation-2026-11-07/openspec.txt",
|
||||
"evidence/final-memory-validation-2026-11-07/png-boundary.json",
|
||||
"evidence/final-memory-validation-2026-11-07/png-boundary.txt",
|
||||
"evidence/final-memory-validation-2026-11-07/png-http.json",
|
||||
"evidence/final-memory-validation-2026-11-07/png-http.txt",
|
||||
"evidence/final-memory-validation-2026-11-07/reset-worker-peak.txt",
|
||||
"evidence/final-memory-validation-2026-11-07/retained-volumes.txt",
|
||||
"evidence/final-memory-validation-2026-11-07/running-containers-after.txt",
|
||||
"evidence/final-memory-validation-2026-11-07/runtime.txt",
|
||||
"evidence/final-memory-validation-2026-11-07/scan-secrets.py",
|
||||
"evidence/final-memory-validation-2026-11-07/secret-scan.json",
|
||||
"evidence/final-memory-validation-2026-11-07/sha256.json",
|
||||
"evidence/final-memory-validation-2026-11-07/smoke.txt",
|
||||
"evidence/final-memory-validation-2026-11-07/stopped-containers.txt",
|
||||
"evidence/final-memory-validation-2026-11-07/student-test.txt",
|
||||
"evidence/final-memory-validation-2026-11-07/targeted.py",
|
||||
"evidence/final-memory-validation-2026-11-07/up.txt",
|
||||
"evidence/load-validation.md"
|
||||
],
|
||||
"local_links_verified": 208,
|
||||
"tracked_json_parsed": 111,
|
||||
"previous_and_fix_hashes_verified": 81,
|
||||
"raw_diff_check_exit": 2,
|
||||
"preserved_raw_trailing_whitespace_lines": 17,
|
||||
"docs_and_helpers_diff_check": "PASS",
|
||||
"accepted_without_rerun": [
|
||||
{
|
||||
"file": "evidence/forward-final-2026-11-06/level4.json",
|
||||
"source_sha": "0e921116610d289716af0a40ec823376eb8bbcbc",
|
||||
"scenarios": 17,
|
||||
"invariants": 8
|
||||
},
|
||||
{
|
||||
"file": "evidence/forward-final-2026-11-06/track-run1.json",
|
||||
"source_sha": "0e921116610d289716af0a40ec823376eb8bbcbc",
|
||||
"scenarios": 13,
|
||||
"invariants": 8
|
||||
},
|
||||
{
|
||||
"file": "evidence/forward-final-2026-11-06/track-run2.json",
|
||||
"source_sha": "0e921116610d289716af0a40ec823376eb8bbcbc",
|
||||
"scenarios": 13,
|
||||
"invariants": 8
|
||||
},
|
||||
{
|
||||
"file": "evidence/forward-final-2026-11-06/track-run3.json",
|
||||
"source_sha": "0e921116610d289716af0a40ec823376eb8bbcbc",
|
||||
"scenarios": 13,
|
||||
"invariants": 8
|
||||
},
|
||||
{
|
||||
"file": "evidence/final-validation-2026-11-07/postgres-outage-retry.json",
|
||||
"source_sha": "b30e2f6a84419d1ca64525ffb40df92183cccaef",
|
||||
"scenarios": 1,
|
||||
"invariants": 8
|
||||
},
|
||||
{
|
||||
"file": "evidence/final-validation-2026-11-07/delivery-targeted.json",
|
||||
"source_sha": "b30e2f6a84419d1ca64525ffb40df92183cccaef",
|
||||
"scenarios": 12,
|
||||
"invariants": 8
|
||||
}
|
||||
],
|
||||
"own_containers": [],
|
||||
"retained_volumes": [
|
||||
"mtusi2026lab5_broker-data",
|
||||
"mtusi2026lab5_pgdata",
|
||||
"mtusi2026lab5_s3data",
|
||||
"mtusi2026lab5_valkeydata"
|
||||
],
|
||||
"result": "PASS"
|
||||
}
|
||||
@@ -1,14 +0,0 @@
|
||||
date: 2026-11-06T23:23:20Z commit: 74c33160ac01618f70e9e1c6a121a5e45c3c7155
|
||||
environment: {"COMPOSE_PROJECT_NAME": "mtusi2026lab5", "COMPOSE_FILE": "compose.yaml", "LB_HTTP_PORT": "18085", "LB_STATS_PORT": "25085", "BASE_URL": "http://127.0.0.1:18085", "NO_PROXY": "localhost,127.0.0.1,::1", "API_IMAGE": "mtusi-messenger:lab5-memory-validation"}
|
||||
$ make check validate lint
|
||||
python3 scripts/check_contract.py
|
||||
PASS: offline skeleton structure, local refs and Python syntax; application NOT tested.
|
||||
.venv/bin/python scripts/validate_openapi.py
|
||||
PASS: full OpenAPI 3.1 and JSON Schema validation; application NOT tested.
|
||||
.venv/bin/ruff check src student-tests scripts/capture_evidence.py alembic scripts/scaling.py tools scripts/probe.py scripts/limits.py scripts/lab4_scenarios.py scripts/lab4_seed.py scripts/upload_memory.py scripts/reconcile_check.py scripts/reconcile_track.py scripts/make_images.py scripts/pipeline_suite.py scripts/pipeline_evidence.py
|
||||
All checks passed!
|
||||
.venv/bin/ruff format --check src student-tests scripts/capture_evidence.py alembic scripts/scaling.py tools scripts/probe.py scripts/limits.py scripts/lab4_scenarios.py scripts/lab4_seed.py scripts/upload_memory.py scripts/reconcile_check.py scripts/reconcile_track.py scripts/make_images.py scripts/pipeline_suite.py scripts/pipeline_evidence.py
|
||||
198 files already formatted
|
||||
.venv/bin/ty check src student-tests alembic
|
||||
All checks passed!
|
||||
exit_code: 0 elapsed_seconds: 0.530
|
||||
@@ -1,15 +0,0 @@
|
||||
date: 2026-11-06T23:18:53Z commit: 74c33160ac01618f70e9e1c6a121a5e45c3c7155
|
||||
environment: {"COMPOSE_PROJECT_NAME": "mtusi2026lab5", "COMPOSE_FILE": "compose.yaml", "LB_HTTP_PORT": "18085", "LB_STATS_PORT": "25085", "BASE_URL": "http://127.0.0.1:18085", "NO_PROXY": "localhost,127.0.0.1,::1", "API_IMAGE": "mtusi-messenger:lab5-memory-validation"}
|
||||
$ docker compose ps -a --format '{{.Name}} {{.ID}} {{.State}} {{.Status}}'
|
||||
mtusi2026lab5-api-1 d1dcbda23866 running Up 6 minutes (healthy)
|
||||
mtusi2026lab5-api-2 1eaf0fe05de6 running Up 6 minutes (healthy)
|
||||
mtusi2026lab5-broker-1 be1942ad69b4 running Up 6 minutes (healthy)
|
||||
mtusi2026lab5-lb-1 4ddcc75182e6 running Up 6 minutes (healthy)
|
||||
mtusi2026lab5-migrate-1 34901a09ef7b exited Exited (0) 6 minutes ago
|
||||
mtusi2026lab5-postgres-1 a0b9f2742b97 running Up 6 minutes (healthy)
|
||||
mtusi2026lab5-relay-1 63225b5eff8e running Up 6 minutes (healthy)
|
||||
mtusi2026lab5-s3-1 29b3e7c3a260 running Up 6 minutes (healthy)
|
||||
mtusi2026lab5-s3-init-1 6e80e83ed5c5 exited Exited (0) 6 minutes ago
|
||||
mtusi2026lab5-valkey-1 647882797ca2 running Up 6 minutes (healthy)
|
||||
mtusi2026lab5-worker-1 cb275ee9574b running Up About a minute (healthy)
|
||||
exit_code: 0 elapsed_seconds: 0.127
|
||||
@@ -1,37 +0,0 @@
|
||||
[
|
||||
{
|
||||
"severity": "minor",
|
||||
"file": "src/messenger/attachments/application/pipeline.py:230",
|
||||
"problem": "Сохранено из ревью 544b9c78d39d0e9dd07f841894c390895896605a: after_publish_before_confirm вызывается после publish(), уже проверившего Basic.Ack. crash_publish_confirm доказывает сбой после confirm до COMMIT outbox, а не потерю подтверждения."
|
||||
},
|
||||
{
|
||||
"severity": "minor",
|
||||
"file": "scripts/limits.py:10",
|
||||
"problem": "Сохранено из первого ревью: S3_CLIENT_SECRETS не отсортирован, сравнение с sorted(secrets) даёт ложные FAIL. evidence/sqlalchemy-2026-11-06/grade3/limits.txt содержит exit_code=1; этот запуск нельзя обозначать PASS."
|
||||
},
|
||||
{
|
||||
"severity": "minor",
|
||||
"file": "scripts/reconcile_track.py:396",
|
||||
"problem": "Сохранено из первого ревью: демонстратор ожидает upload 201 и attachments/, поэтому непригоден для квалификации ЛР5 с 202 queued. Текущие pipeline evidence его не используют."
|
||||
},
|
||||
{
|
||||
"severity": "minor",
|
||||
"file": "src/messenger/attachments/application/pipeline.py:304",
|
||||
"problem": "Сохранено из первого ревью: failed upgrade v2 при опубликованной ready v1 нельзя отдельно повторить через replay/reprocess. V1 остаётся доступной; подтверждение исходного ревью — test_failed_new_version_keeps_ready_original."
|
||||
},
|
||||
{
|
||||
"severity": "minor",
|
||||
"file": "evidence/forward-final-2026-11-06/clock-observation.json",
|
||||
"problem": "Сохранено из первого ревью: в повторах 2/3 UTC-интервалы расходятся с elapsed (1161.195/186.458 с и 571.513/180.259 с). Причина не установлена; длительности исключены из выводов о производительности."
|
||||
},
|
||||
{
|
||||
"severity": "minor",
|
||||
"file": "openspec/config.yaml:130",
|
||||
"problem": "Сохранена документационная неточность: design требует upload 201 вместо нормативного 202 ЛР5; конфиг вне scope validation."
|
||||
},
|
||||
{
|
||||
"severity": "minor",
|
||||
"file": "src/messenger/attachments/entrypoints/schemas.py:67",
|
||||
"problem": "Независимое review M: attempt=\"1\", pipeline_version=true, числовой created_at и traceparent=null принимаются вне jobs.schema.json с bus/ack вместо reject. Штатный relay формирует корректные сообщения; критичного последствия не установлено. Источник: evidence/report-memory-audit-2026-11-07.md; повторные пробы в validation не выполнялись."
|
||||
}
|
||||
]
|
||||
@@ -1,58 +0,0 @@
|
||||
import hashlib
|
||||
import json
|
||||
import resource
|
||||
import signal
|
||||
import sys
|
||||
import time
|
||||
from io import BytesIO
|
||||
from pathlib import Path
|
||||
|
||||
import messenger.worker
|
||||
from PIL import Image
|
||||
from messenger.attachments.infrastructure.images import RenderLimits, render_variants
|
||||
|
||||
resource.setrlimit(resource.RLIMIT_AS, (448 << 20, 448 << 20))
|
||||
data = Path(sys.argv[1]).read_bytes()
|
||||
transparent = sys.argv[3] == "true"
|
||||
limits = RenderLimits(10485760, 40000000)
|
||||
versions = []
|
||||
for version in (1, 2):
|
||||
signal.alarm(30)
|
||||
began = time.monotonic()
|
||||
variants = render_variants(data, limits, version)
|
||||
ended = time.monotonic()
|
||||
signal.alarm(0)
|
||||
assert [(v.name, v.width, v.height) for v in variants] == [
|
||||
("thumbnail", 256, 160),
|
||||
("crop", 128, 128),
|
||||
("optimized", 1280, 800),
|
||||
]
|
||||
for variant in variants:
|
||||
with Image.open(BytesIO(variant.data)) as image:
|
||||
assert (image.getpixel((5, image.height // 2)) == (255, 255, 255)) == transparent
|
||||
assert image.getpixel((image.width - 6, image.height // 2)) != (255, 255, 255)
|
||||
versions.append(
|
||||
{
|
||||
"version": version,
|
||||
"started_monotonic": began,
|
||||
"finished_monotonic": ended,
|
||||
"render_seconds": ended - began,
|
||||
"variants": {v.name: hashlib.sha256(v.data).hexdigest() for v in variants},
|
||||
}
|
||||
)
|
||||
signal.alarm(30)
|
||||
assert len(render_variants(Path(sys.argv[2]).read_bytes(), limits)) == 3
|
||||
signal.alarm(0)
|
||||
print(
|
||||
json.dumps(
|
||||
{
|
||||
"file": Path(sys.argv[1]).name,
|
||||
"input_sha256": hashlib.sha256(data).hexdigest(),
|
||||
"versions": versions,
|
||||
"ordinary_after": True,
|
||||
"max_rss_kib": resource.getrusage(resource.RUSAGE_SELF).ru_maxrss,
|
||||
"result": "PASS",
|
||||
}
|
||||
),
|
||||
flush=True,
|
||||
)
|
||||
@@ -1,89 +0,0 @@
|
||||
import base64
|
||||
import hashlib
|
||||
import json
|
||||
import subprocess
|
||||
from pathlib import Path
|
||||
|
||||
folder = Path(__file__).parent
|
||||
fixtures = {
|
||||
p.name: p.read_bytes()
|
||||
for p in Path("evidence/final-validation-2026-11-07/fixtures").glob("*.png")
|
||||
}
|
||||
data = fixtures["gray16-40mp.png"]
|
||||
result, offset = data[:8], 8
|
||||
while offset < len(data):
|
||||
size = int.from_bytes(data[offset : offset + 4], "big") + 12
|
||||
if data[offset + 4 : offset + 8] != b"tRNS":
|
||||
result += data[offset : offset + size]
|
||||
offset += size
|
||||
fixtures["gray16-opaque-40mp.png"] = result
|
||||
fixtures["sample.png"] = Path("tests/fixtures/sample.png").read_bytes()
|
||||
bootstrap = """
|
||||
import base64,json,sys,subprocess,time
|
||||
from pathlib import Path
|
||||
p=json.load(sys.stdin)
|
||||
d=Path('/tmp/png-memory-validation')
|
||||
d.mkdir(exist_ok=True)
|
||||
for name,data in p['fixtures'].items():
|
||||
(d/name).write_bytes(base64.b64decode(data))
|
||||
def command(name):
|
||||
return [sys.executable,'-c',p['code'],str(d/name),str(d/'sample.png'),'false' if 'opaque' in name else 'true']
|
||||
results=[]
|
||||
for name in sorted(p['fixtures']):
|
||||
if name=='sample.png':
|
||||
continue
|
||||
output=subprocess.check_output(command(name),text=True,timeout=65)
|
||||
row=json.loads(output)
|
||||
results.append(row)
|
||||
print(json.dumps({'case':row}),flush=True)
|
||||
children=[subprocess.Popen(command('rgb16-40mp.png'),stdout=subprocess.PIPE,stderr=subprocess.PIPE,text=True) for _ in range(2)]
|
||||
parallel=[]
|
||||
try:
|
||||
for child in children:
|
||||
out,err=child.communicate(timeout=65)
|
||||
assert child.returncode==0,(child.returncode,err)
|
||||
parallel.append(json.loads(out))
|
||||
finally:
|
||||
for child in children:
|
||||
if child.poll() is None:
|
||||
child.kill()
|
||||
child.wait()
|
||||
overlap=any(max(a['started_monotonic'],b['started_monotonic'])<min(a['finished_monotonic'],b['finished_monotonic']) for a in parallel[0]['versions'] for b in parallel[1]['versions'])
|
||||
assert overlap
|
||||
peak=int(Path('/sys/fs/cgroup/memory.peak').read_text())
|
||||
limit=int(Path('/sys/fs/cgroup/memory.max').read_text())
|
||||
assert peak<limit
|
||||
print(json.dumps({'result':'PASS','cases':results,'concurrent':parallel,'render_overlap':overlap,'cgroup_peak':peak,'cgroup_limit':limit,'memory_events':Path('/sys/fs/cgroup/memory.events').read_text()}),flush=True)
|
||||
"""
|
||||
payload = {
|
||||
"code": (folder / "linux-child.py").read_text(),
|
||||
"fixtures": {name: base64.b64encode(data).decode() for name, data in fixtures.items()},
|
||||
}
|
||||
output = folder / "linux.json"
|
||||
if output.exists():
|
||||
raise SystemExit("Result exists; do not repeat completed evidence")
|
||||
process = subprocess.Popen(
|
||||
["docker", "compose", "exec", "-T", "worker", "python", "-c", bootstrap],
|
||||
stdin=subprocess.PIPE,
|
||||
stdout=subprocess.PIPE,
|
||||
stderr=subprocess.STDOUT,
|
||||
text=True,
|
||||
)
|
||||
process.stdin.write(json.dumps(payload))
|
||||
process.stdin.close()
|
||||
lines = []
|
||||
for line in process.stdout:
|
||||
print(line, end="", flush=True)
|
||||
lines.append(line)
|
||||
code = process.wait()
|
||||
report = {
|
||||
"source_sha": subprocess.check_output(["git", "rev-parse", "HEAD"], text=True).strip(),
|
||||
"exit_code": code,
|
||||
"input_sha256": {name: hashlib.sha256(data).hexdigest() for name, data in fixtures.items()},
|
||||
}
|
||||
if code == 0:
|
||||
report.update(json.loads(lines[-1]))
|
||||
else:
|
||||
report["result"] = "FAIL"
|
||||
output.write_text(json.dumps(report, indent=2) + "\n")
|
||||
raise SystemExit(code)
|
||||
@@ -1,238 +0,0 @@
|
||||
{
|
||||
"source_sha": "74c33160ac01618f70e9e1c6a121a5e45c3c7155",
|
||||
"exit_code": 0,
|
||||
"input_sha256": {
|
||||
"rgb16-40mp.png": "3c4418a6f6a7676298b30b70ebbde9d12929f1345152f4fae979caf5ba1cb3f7",
|
||||
"gray4-40mp.png": "64e665928c08ac3721324af4f8e2e9d2e98230dc1be389dde7bbf365650b08cd",
|
||||
"gray2-40mp.png": "e1238de6a5be9dbce36abee904f7233f8ff7be59e405b528671940630cce11f6",
|
||||
"gray16-40mp.png": "b59784ae916d50b41b15afa4bdd474a8699f099da55efd53580d3f97180f3800",
|
||||
"gray16-opaque-40mp.png": "e3f239d818da5f02cd7b5d1cc4a2c542ed4fc4a7fbc604598500e7810e246e2f",
|
||||
"sample.png": "99ea7533c441f79cd630d15ce4d58d1ec4e06f6f0efb3b77a5c088305cd1bd75"
|
||||
},
|
||||
"result": "PASS",
|
||||
"cases": [
|
||||
{
|
||||
"file": "gray16-40mp.png",
|
||||
"input_sha256": "b59784ae916d50b41b15afa4bdd474a8699f099da55efd53580d3f97180f3800",
|
||||
"versions": [
|
||||
{
|
||||
"version": 1,
|
||||
"started_monotonic": 192.032995711,
|
||||
"finished_monotonic": 193.256173795,
|
||||
"render_seconds": 1.2231780839999828,
|
||||
"variants": {
|
||||
"thumbnail": "99b591aa444566a5c425692f989a8cee8621615ec6aa7911e273e2c47f07d027",
|
||||
"crop": "8ea8ec6f95dc1d1697327cd4640e59c2adce777564d349703df9f581dde2f450",
|
||||
"optimized": "7667253d3e6bb37c83e75c2955705e4d5b97a7ee515df4aac5099c9ab3f97335"
|
||||
}
|
||||
},
|
||||
{
|
||||
"version": 2,
|
||||
"started_monotonic": 193.258607545,
|
||||
"finished_monotonic": 194.489094088,
|
||||
"render_seconds": 1.230486543000012,
|
||||
"variants": {
|
||||
"thumbnail": "a17f036f331d17eb03302ddf06741e2f22a8da3394e85e122194fe45282de352",
|
||||
"crop": "9de07bd2f684859366c50919650f159adc93f9027150de2f51cafac502794daf",
|
||||
"optimized": "e9d888a5186c3f4824ef866fe97606e2d0a486a312551bfd571e02d2f509a4b7"
|
||||
}
|
||||
}
|
||||
],
|
||||
"ordinary_after": true,
|
||||
"max_rss_kib": 365508,
|
||||
"result": "PASS"
|
||||
},
|
||||
{
|
||||
"file": "gray16-opaque-40mp.png",
|
||||
"input_sha256": "e3f239d818da5f02cd7b5d1cc4a2c542ed4fc4a7fbc604598500e7810e246e2f",
|
||||
"versions": [
|
||||
{
|
||||
"version": 1,
|
||||
"started_monotonic": 195.17374863,
|
||||
"finished_monotonic": 195.46179888,
|
||||
"render_seconds": 0.28805024999999773,
|
||||
"variants": {
|
||||
"thumbnail": "59472ec8f914eb4502ffd2591a59ac68b05cccefeedc678f5ad2919cd2c6a3a2",
|
||||
"crop": "91eed7d7e1f422bfc3827903cc6801a37387d642a1b4fcc08e23b2de4840a3d7",
|
||||
"optimized": "c5216644c9e66c732de7523bef11b7024bf0417adb1d134d8f2ce259fd8b6ed1"
|
||||
}
|
||||
},
|
||||
{
|
||||
"version": 2,
|
||||
"started_monotonic": 195.464219338,
|
||||
"finished_monotonic": 195.744785005,
|
||||
"render_seconds": 0.28056566700001895,
|
||||
"variants": {
|
||||
"thumbnail": "13ea6ae5bd526b8b0ad4e88ff72498ff48c6d50f8d12e81ad6773a1eaa9fc177",
|
||||
"crop": "2d5dbe60802e4aa1c3ff20c112df454c70a12e2c9fccc99137802a5556e270bf",
|
||||
"optimized": "38fc10be1e1f56da14304d26c52c11032900002c70de502ea1b7c1639535633e"
|
||||
}
|
||||
}
|
||||
],
|
||||
"ordinary_after": true,
|
||||
"max_rss_kib": 365492,
|
||||
"result": "PASS"
|
||||
},
|
||||
{
|
||||
"file": "gray2-40mp.png",
|
||||
"input_sha256": "e1238de6a5be9dbce36abee904f7233f8ff7be59e405b528671940630cce11f6",
|
||||
"versions": [
|
||||
{
|
||||
"version": 1,
|
||||
"started_monotonic": 196.461284589,
|
||||
"finished_monotonic": 196.747503755,
|
||||
"render_seconds": 0.2862191659999951,
|
||||
"variants": {
|
||||
"thumbnail": "ce63aabedb566aea34ad71f5a146f8dc8f0fd27c1f28f5ad1a28ffdf4630b053",
|
||||
"crop": "43956a7b626be7786964c28ae7bf0cb96b2b914335a1b8129772c7bd88ee95ed",
|
||||
"optimized": "059fb496f80d0ad3c73ea4d257f754b726f5d8dacfefd42ea7cedd6ff3368b24"
|
||||
}
|
||||
},
|
||||
{
|
||||
"version": 2,
|
||||
"started_monotonic": 196.750391839,
|
||||
"finished_monotonic": 197.01864788,
|
||||
"render_seconds": 0.2682560410000008,
|
||||
"variants": {
|
||||
"thumbnail": "efb7970658ce2e7ed86bf5f3d5d695b81cd396e717d699fd9e69ffb294d5d870",
|
||||
"crop": "cb1ce90bf86c1178ac5f0830e3d34ed54296a0e81231b422ba9f622dd22c7daa",
|
||||
"optimized": "38dc2af32b8bbc1f15fbff2fcfeb5fa0d5ac6ed75225afc575e80254d2a54d0c"
|
||||
}
|
||||
}
|
||||
],
|
||||
"ordinary_after": true,
|
||||
"max_rss_kib": 343076,
|
||||
"result": "PASS"
|
||||
},
|
||||
{
|
||||
"file": "gray4-40mp.png",
|
||||
"input_sha256": "64e665928c08ac3721324af4f8e2e9d2e98230dc1be389dde7bbf365650b08cd",
|
||||
"versions": [
|
||||
{
|
||||
"version": 1,
|
||||
"started_monotonic": 197.695555797,
|
||||
"finished_monotonic": 197.978069006,
|
||||
"render_seconds": 0.2825132090000011,
|
||||
"variants": {
|
||||
"thumbnail": "9130484055a59c8c813ea7e48b32e27a3c424b4107ca4f872c8711ad34234610",
|
||||
"crop": "c3bbbc98cc4a63ea0aab370b4e81bdc66a353a8ca7beb9c83a2c28af9f44b641",
|
||||
"optimized": "e23b8d975b6973b848ba57cb68925d6f88156f44d9dcbe52d194e006e49dcefa"
|
||||
}
|
||||
},
|
||||
{
|
||||
"version": 2,
|
||||
"started_monotonic": 197.980502798,
|
||||
"finished_monotonic": 198.257521881,
|
||||
"render_seconds": 0.277019082999999,
|
||||
"variants": {
|
||||
"thumbnail": "814c3cc7149871ae2614c4e71f9ffd35e86063bad1c8f94c2aeb5c0dacd516c3",
|
||||
"crop": "beb44557013393b7c1a85b1df2fd74ffaf8bd32606092bad48c300b7d7a676fb",
|
||||
"optimized": "b7a3cf6655e630458fb5341d7a79e742dafcf26590724a0440e3dfe82e4986f7"
|
||||
}
|
||||
}
|
||||
],
|
||||
"ordinary_after": true,
|
||||
"max_rss_kib": 342956,
|
||||
"result": "PASS"
|
||||
},
|
||||
{
|
||||
"file": "rgb16-40mp.png",
|
||||
"input_sha256": "3c4418a6f6a7676298b30b70ebbde9d12929f1345152f4fae979caf5ba1cb3f7",
|
||||
"versions": [
|
||||
{
|
||||
"version": 1,
|
||||
"started_monotonic": 198.959187048,
|
||||
"finished_monotonic": 199.736227465,
|
||||
"render_seconds": 0.7770404170000234,
|
||||
"variants": {
|
||||
"thumbnail": "be34d8832da928389bfebfc6c1f16a5f871bca150c4cfcb6480c28b9734038ec",
|
||||
"crop": "8d4a59604fea3ea6ad475b5bb12c0c9fd30a48297bd1b7bd41ac1ee82105df96",
|
||||
"optimized": "30e30ca074118f4fd00c1670bdfe93a03b083da861af109fe863f6baab4549af"
|
||||
}
|
||||
},
|
||||
{
|
||||
"version": 2,
|
||||
"started_monotonic": 199.738488423,
|
||||
"finished_monotonic": 200.507796924,
|
||||
"render_seconds": 0.7693085009999834,
|
||||
"variants": {
|
||||
"thumbnail": "ec9b5fc973ee1c36c8bbb4f11fcc376a255a8a2b52067d958b57aeb272eb7f3d",
|
||||
"crop": "6d73d731eff497a00f8535f705e4a2e79a376d08d559d9afeb8b815aa56a3bb2",
|
||||
"optimized": "a1de31c50abed6c9309af3cd7bc4fcabdfefe8d38d2b6eb946f91e52cb69e687"
|
||||
}
|
||||
}
|
||||
],
|
||||
"ordinary_after": true,
|
||||
"max_rss_kib": 406312,
|
||||
"result": "PASS"
|
||||
}
|
||||
],
|
||||
"concurrent": [
|
||||
{
|
||||
"file": "rgb16-40mp.png",
|
||||
"input_sha256": "3c4418a6f6a7676298b30b70ebbde9d12929f1345152f4fae979caf5ba1cb3f7",
|
||||
"versions": [
|
||||
{
|
||||
"version": 1,
|
||||
"started_monotonic": 201.216312716,
|
||||
"finished_monotonic": 202.037238716,
|
||||
"render_seconds": 0.8209259999999858,
|
||||
"variants": {
|
||||
"thumbnail": "be34d8832da928389bfebfc6c1f16a5f871bca150c4cfcb6480c28b9734038ec",
|
||||
"crop": "8d4a59604fea3ea6ad475b5bb12c0c9fd30a48297bd1b7bd41ac1ee82105df96",
|
||||
"optimized": "30e30ca074118f4fd00c1670bdfe93a03b083da861af109fe863f6baab4549af"
|
||||
}
|
||||
},
|
||||
{
|
||||
"version": 2,
|
||||
"started_monotonic": 202.0398138,
|
||||
"finished_monotonic": 202.834078508,
|
||||
"render_seconds": 0.7942647080000143,
|
||||
"variants": {
|
||||
"thumbnail": "ec9b5fc973ee1c36c8bbb4f11fcc376a255a8a2b52067d958b57aeb272eb7f3d",
|
||||
"crop": "6d73d731eff497a00f8535f705e4a2e79a376d08d559d9afeb8b815aa56a3bb2",
|
||||
"optimized": "a1de31c50abed6c9309af3cd7bc4fcabdfefe8d38d2b6eb946f91e52cb69e687"
|
||||
}
|
||||
}
|
||||
],
|
||||
"ordinary_after": true,
|
||||
"max_rss_kib": 404584,
|
||||
"result": "PASS"
|
||||
},
|
||||
{
|
||||
"file": "rgb16-40mp.png",
|
||||
"input_sha256": "3c4418a6f6a7676298b30b70ebbde9d12929f1345152f4fae979caf5ba1cb3f7",
|
||||
"versions": [
|
||||
{
|
||||
"version": 1,
|
||||
"started_monotonic": 201.216906382,
|
||||
"finished_monotonic": 202.031220341,
|
||||
"render_seconds": 0.8143139590000033,
|
||||
"variants": {
|
||||
"thumbnail": "be34d8832da928389bfebfc6c1f16a5f871bca150c4cfcb6480c28b9734038ec",
|
||||
"crop": "8d4a59604fea3ea6ad475b5bb12c0c9fd30a48297bd1b7bd41ac1ee82105df96",
|
||||
"optimized": "30e30ca074118f4fd00c1670bdfe93a03b083da861af109fe863f6baab4549af"
|
||||
}
|
||||
},
|
||||
{
|
||||
"version": 2,
|
||||
"started_monotonic": 202.033759216,
|
||||
"finished_monotonic": 202.824064842,
|
||||
"render_seconds": 0.7903056260000199,
|
||||
"variants": {
|
||||
"thumbnail": "ec9b5fc973ee1c36c8bbb4f11fcc376a255a8a2b52067d958b57aeb272eb7f3d",
|
||||
"crop": "6d73d731eff497a00f8535f705e4a2e79a376d08d559d9afeb8b815aa56a3bb2",
|
||||
"optimized": "a1de31c50abed6c9309af3cd7bc4fcabdfefe8d38d2b6eb946f91e52cb69e687"
|
||||
}
|
||||
}
|
||||
],
|
||||
"ordinary_after": true,
|
||||
"max_rss_kib": 404776,
|
||||
"result": "PASS"
|
||||
}
|
||||
],
|
||||
"render_overlap": true,
|
||||
"cgroup_peak": 1026285568,
|
||||
"cgroup_limit": 1073741824,
|
||||
"memory_events": "low 0\nhigh 0\nmax 0\noom 0\noom_kill 0\noom_group_kill 0\n"
|
||||
}
|
||||
File diff suppressed because one or more lines are too long
@@ -1,28 +0,0 @@
|
||||
date: 2026-11-06T22:54:43Z commit: 74c33160ac01618f70e9e1c6a121a5e45c3c7155
|
||||
environment: {}
|
||||
$ openspec validate --all --strict
|
||||
- Validating...
|
||||
✓ spec/lab1-event-publication
|
||||
✓ spec/lab1-messenger-chats
|
||||
✓ spec/lab1-messenger-history
|
||||
✓ spec/lab1-messenger-identity
|
||||
✓ spec/lab1-service-operability
|
||||
✓ spec/lab2-auth-sessions
|
||||
✓ spec/lab2-dependency-failures
|
||||
✓ spec/lab2-history-index
|
||||
✓ spec/lab2-persistent-storage
|
||||
✓ spec/lab2-session-cache
|
||||
✓ spec/lab3-failover-operations
|
||||
✓ spec/lab3-idempotent-messages
|
||||
✓ spec/lab3-load-balancing
|
||||
✓ spec/lab4-attachments
|
||||
✓ spec/lab4-object-storage
|
||||
✓ spec/lab4-storage-reconciler
|
||||
✓ spec/lab4-upload-resilience
|
||||
✓ spec/lab5-attachment-pipeline
|
||||
✓ spec/lab5-image-variants
|
||||
✓ spec/lab5-job-delivery
|
||||
✓ spec/lab5-job-recovery
|
||||
✓ spec/lab5-versioned-pipeline
|
||||
Totals: 22 passed, 0 failed (22 items)
|
||||
exit_code: 0 elapsed_seconds: 0.921
|
||||
File diff suppressed because it is too large
Load Diff
@@ -1,12 +0,0 @@
|
||||
date: 2026-11-06T23:15:49Z commit: 74c33160ac01618f70e9e1c6a121a5e45c3c7155
|
||||
environment: {"COMPOSE_PROJECT_NAME": "mtusi2026lab5", "COMPOSE_FILE": "compose.yaml", "LB_HTTP_PORT": "18085", "LB_STATS_PORT": "25085", "BASE_URL": "http://127.0.0.1:18085", "NO_PROXY": "localhost,127.0.0.1,::1", "API_IMAGE": "mtusi-messenger:lab5-memory-validation"}
|
||||
$ .venv/bin/python evidence/final-memory-validation-2026-11-07/targeted.py png-boundary
|
||||
gray2 PASS
|
||||
gray4 PASS
|
||||
gray16 PASS
|
||||
rgb16 PASS
|
||||
gray16-without-trns PASS
|
||||
concurrent-rgb16 PASS
|
||||
forced-timeout PASS
|
||||
forced-memory PASS
|
||||
exit_code: 0 elapsed_seconds: 95.742
|
||||
@@ -1,742 +0,0 @@
|
||||
{
|
||||
"mode": "png-http",
|
||||
"source_sha": "74c33160ac01618f70e9e1c6a121a5e45c3c7155",
|
||||
"started_at": "2026-11-06T23:17:43.287659Z",
|
||||
"cases": [
|
||||
{
|
||||
"name": "gray2",
|
||||
"started_at": "2026-11-06T23:17:44.380294Z",
|
||||
"observed": {
|
||||
"attachment_id": "01a1b327-5f46-7727-8fb2-3d557bcfe643",
|
||||
"input_sha256": "80754a3aa0c8a6014dc7a282b2009d49d064a5c02ed48e634d05d01c0aa3df6b",
|
||||
"input_bytes": 189,
|
||||
"versions": [
|
||||
{
|
||||
"version": 1,
|
||||
"variants": [
|
||||
{
|
||||
"name": "crop",
|
||||
"sha256": "def030bc04042aa23362c895a36b18d1d9748360df045decaf68eaeb0aa68deb",
|
||||
"bytes": 1324,
|
||||
"dimensions": [
|
||||
128,
|
||||
128
|
||||
]
|
||||
},
|
||||
{
|
||||
"name": "optimized",
|
||||
"sha256": "fd49dc2d33e7b7963cd8f8f6ef0f0b80117e2c4a7dfb4fd2ee79285e47ff789a",
|
||||
"bytes": 98,
|
||||
"dimensions": [
|
||||
64,
|
||||
64
|
||||
]
|
||||
},
|
||||
{
|
||||
"name": "thumbnail",
|
||||
"sha256": "1b6f714677aa69673da7ed9eefba73376b8df42eae70a3d91002d2aab7272d9e",
|
||||
"bytes": 332,
|
||||
"dimensions": [
|
||||
64,
|
||||
64
|
||||
]
|
||||
}
|
||||
]
|
||||
},
|
||||
{
|
||||
"version": 2,
|
||||
"variants": [
|
||||
{
|
||||
"name": "crop",
|
||||
"sha256": "d14b6cc6fe415bd8c4fef55402a4fb196bc4f39d493ee505d536594b28841697",
|
||||
"bytes": 1489,
|
||||
"dimensions": [
|
||||
128,
|
||||
128
|
||||
]
|
||||
},
|
||||
{
|
||||
"name": "optimized",
|
||||
"sha256": "c8f23e1adbf1add646f23531e270dc25d5108453d50947dec3e73700b0d6741f",
|
||||
"bytes": 96,
|
||||
"dimensions": [
|
||||
64,
|
||||
64
|
||||
]
|
||||
},
|
||||
{
|
||||
"name": "thumbnail",
|
||||
"sha256": "93107a3ba1a8aba475f8993dfb0d03658cef12a416c08a230653370921dcc00b",
|
||||
"bytes": 335,
|
||||
"dimensions": [
|
||||
64,
|
||||
64
|
||||
]
|
||||
}
|
||||
]
|
||||
}
|
||||
],
|
||||
"stale_and_duplicate_noop": true
|
||||
},
|
||||
"result": "PASS",
|
||||
"elapsed_seconds": 4.395
|
||||
},
|
||||
{
|
||||
"name": "gray4",
|
||||
"started_at": "2026-11-06T23:17:48.776246Z",
|
||||
"observed": {
|
||||
"attachment_id": "01a1b327-706a-74da-b85b-267a032e36ab",
|
||||
"input_sha256": "d0ed5b64b3b875be881dd286bedb7948fd06570f9ef1d2cfe41b665a838e426b",
|
||||
"input_bytes": 263,
|
||||
"versions": [
|
||||
{
|
||||
"version": 1,
|
||||
"variants": [
|
||||
{
|
||||
"name": "crop",
|
||||
"sha256": "43323e552e3c79e1a1688478d72c2ce370c21e55f1560958f9f6a225bc32f909",
|
||||
"bytes": 1034,
|
||||
"dimensions": [
|
||||
128,
|
||||
128
|
||||
]
|
||||
},
|
||||
{
|
||||
"name": "optimized",
|
||||
"sha256": "dbc0ec3736c18df42f26b8f396b2eb243a18c6a0f5b6bbef8bf4ff7e563032c3",
|
||||
"bytes": 90,
|
||||
"dimensions": [
|
||||
64,
|
||||
64
|
||||
]
|
||||
},
|
||||
{
|
||||
"name": "thumbnail",
|
||||
"sha256": "d594ebb80ca7939643379ba54392070444eb900ca40bec9c6beee75175fd81ab",
|
||||
"bytes": 330,
|
||||
"dimensions": [
|
||||
64,
|
||||
64
|
||||
]
|
||||
}
|
||||
]
|
||||
},
|
||||
{
|
||||
"version": 2,
|
||||
"variants": [
|
||||
{
|
||||
"name": "crop",
|
||||
"sha256": "16e27d4c1df7aac7185381a1f4c8c9cceb05647e98f941c41e38f4dfe4c5ec75",
|
||||
"bytes": 1197,
|
||||
"dimensions": [
|
||||
128,
|
||||
128
|
||||
]
|
||||
},
|
||||
{
|
||||
"name": "optimized",
|
||||
"sha256": "cd31de25056767d9050108c4475d4b72ccd1ab3c36c1c96159b104019e4e3493",
|
||||
"bytes": 92,
|
||||
"dimensions": [
|
||||
64,
|
||||
64
|
||||
]
|
||||
},
|
||||
{
|
||||
"name": "thumbnail",
|
||||
"sha256": "86afdaf8b40f77c2426ebf10c8d603535d75caa4fc720462be9acc43e39d4fbd",
|
||||
"bytes": 330,
|
||||
"dimensions": [
|
||||
64,
|
||||
64
|
||||
]
|
||||
}
|
||||
]
|
||||
}
|
||||
],
|
||||
"stale_and_duplicate_noop": true
|
||||
},
|
||||
"result": "PASS",
|
||||
"elapsed_seconds": 4.114
|
||||
},
|
||||
{
|
||||
"name": "rgb16",
|
||||
"started_at": "2026-11-06T23:17:52.890838Z",
|
||||
"observed": {
|
||||
"attachment_id": "01a1b327-807d-7398-8d62-e5d3486f1e9c",
|
||||
"input_sha256": "e8e5f64cf3a0312b17549aed29f062e3cb03d0c1bf327396c6a25c4b88dec89f",
|
||||
"input_bytes": 724,
|
||||
"versions": [
|
||||
{
|
||||
"version": 1,
|
||||
"variants": [
|
||||
{
|
||||
"name": "crop",
|
||||
"sha256": "6386114c3d0b89c4df88745eec318b5db1a779d488e1b08f34ac34138c7feb99",
|
||||
"bytes": 671,
|
||||
"dimensions": [
|
||||
128,
|
||||
128
|
||||
]
|
||||
},
|
||||
{
|
||||
"name": "optimized",
|
||||
"sha256": "fed7e1bf230e91296a5ea9a85b51d190152639bb2963b661f872029d852cc4ad",
|
||||
"bytes": 94,
|
||||
"dimensions": [
|
||||
64,
|
||||
64
|
||||
]
|
||||
},
|
||||
{
|
||||
"name": "thumbnail",
|
||||
"sha256": "af0a65a6596a0905a79403a9a6ef32a1301671a98ae3c8b5c3d6ced2d20a1009",
|
||||
"bytes": 332,
|
||||
"dimensions": [
|
||||
64,
|
||||
64
|
||||
]
|
||||
}
|
||||
]
|
||||
},
|
||||
{
|
||||
"version": 2,
|
||||
"variants": [
|
||||
{
|
||||
"name": "crop",
|
||||
"sha256": "dedcbac123226e3012a4dbd178b7aae7a7aba4f2c44c91be274c86804238b208",
|
||||
"bytes": 696,
|
||||
"dimensions": [
|
||||
128,
|
||||
128
|
||||
]
|
||||
},
|
||||
{
|
||||
"name": "optimized",
|
||||
"sha256": "bc09a1696563daae4385190d2c52afac8230e18fff4b5eba701a42f0facde043",
|
||||
"bytes": 94,
|
||||
"dimensions": [
|
||||
64,
|
||||
64
|
||||
]
|
||||
},
|
||||
{
|
||||
"name": "thumbnail",
|
||||
"sha256": "218bc7fd6fa995a3c4cf725016714408073699d13f39d0d364ffe3595856d272",
|
||||
"bytes": 333,
|
||||
"dimensions": [
|
||||
64,
|
||||
64
|
||||
]
|
||||
}
|
||||
]
|
||||
}
|
||||
],
|
||||
"stale_and_duplicate_noop": true
|
||||
},
|
||||
"result": "PASS",
|
||||
"elapsed_seconds": 4.989
|
||||
},
|
||||
{
|
||||
"name": "gray1",
|
||||
"started_at": "2026-11-06T23:17:57.880356Z",
|
||||
"observed": {
|
||||
"attachment_id": "01a1b327-93fd-7099-8ab3-600c201aa01d",
|
||||
"input_sha256": "1bf59ee41fbd12bf572ac294e0505cc00b904363dd479d643b43062199dd67e3",
|
||||
"input_bytes": 154,
|
||||
"versions": [
|
||||
{
|
||||
"version": 1,
|
||||
"variants": [
|
||||
{
|
||||
"name": "crop",
|
||||
"sha256": "1b88218fd7e3ff00d6fa3e4bb732411617126591b2b6837aecdcaef426327eda",
|
||||
"bytes": 380,
|
||||
"dimensions": [
|
||||
128,
|
||||
128
|
||||
]
|
||||
},
|
||||
{
|
||||
"name": "optimized",
|
||||
"sha256": "315ce3f53ac2012226bbeb906c7d37997a7f6fabb3d0ede23a797e66fe4b51ee",
|
||||
"bytes": 66,
|
||||
"dimensions": [
|
||||
64,
|
||||
64
|
||||
]
|
||||
},
|
||||
{
|
||||
"name": "thumbnail",
|
||||
"sha256": "c5745603d7848377a38bb5228f7817f5d4d4f5af26dadd7d3b2fb97b6a598a8e",
|
||||
"bytes": 308,
|
||||
"dimensions": [
|
||||
64,
|
||||
64
|
||||
]
|
||||
}
|
||||
]
|
||||
},
|
||||
{
|
||||
"version": 2,
|
||||
"variants": [
|
||||
{
|
||||
"name": "crop",
|
||||
"sha256": "45eac1bd54dba273142a01a3f01a1530787db5a9fe04aa2483862256dbf16132",
|
||||
"bytes": 380,
|
||||
"dimensions": [
|
||||
128,
|
||||
128
|
||||
]
|
||||
},
|
||||
{
|
||||
"name": "optimized",
|
||||
"sha256": "8c5e7cc56874d00f7d5731a6a89461b264ef4e3b450899b63f4608231180b5aa",
|
||||
"bytes": 66,
|
||||
"dimensions": [
|
||||
64,
|
||||
64
|
||||
]
|
||||
},
|
||||
{
|
||||
"name": "thumbnail",
|
||||
"sha256": "19305cfd18dc8f3e504d6ef5667ddd7be788836e16317dba5b2c6f590b6a2667",
|
||||
"bytes": 308,
|
||||
"dimensions": [
|
||||
64,
|
||||
64
|
||||
]
|
||||
}
|
||||
]
|
||||
}
|
||||
],
|
||||
"stale_and_duplicate_noop": true
|
||||
},
|
||||
"result": "PASS",
|
||||
"elapsed_seconds": 3.969
|
||||
},
|
||||
{
|
||||
"name": "gray8",
|
||||
"started_at": "2026-11-06T23:18:01.850592Z",
|
||||
"observed": {
|
||||
"attachment_id": "01a1b327-a380-7186-b76d-46a83b6ad53f",
|
||||
"input_sha256": "31cb54aacd9e1c324b14e38377f83a21d4084dc134aa3d3e1e5c40e3d9c5dd2f",
|
||||
"input_bytes": 286,
|
||||
"versions": [
|
||||
{
|
||||
"version": 1,
|
||||
"variants": [
|
||||
{
|
||||
"name": "crop",
|
||||
"sha256": "14a6e4afbe7e4cf766330007adda1c14168f16957f9409f402a8699a0e5de62f",
|
||||
"bytes": 621,
|
||||
"dimensions": [
|
||||
128,
|
||||
128
|
||||
]
|
||||
},
|
||||
{
|
||||
"name": "optimized",
|
||||
"sha256": "d35d7d59302099ea5fea9e91a405f4ebf8823aae1f53a59f88a09015619136fa",
|
||||
"bytes": 74,
|
||||
"dimensions": [
|
||||
64,
|
||||
64
|
||||
]
|
||||
},
|
||||
{
|
||||
"name": "thumbnail",
|
||||
"sha256": "d8fac3c82defab08dbb276681b1a7fb2545d883830dae5f965349474897373c7",
|
||||
"bytes": 324,
|
||||
"dimensions": [
|
||||
64,
|
||||
64
|
||||
]
|
||||
}
|
||||
]
|
||||
},
|
||||
{
|
||||
"version": 2,
|
||||
"variants": [
|
||||
{
|
||||
"name": "crop",
|
||||
"sha256": "dba34622f93edcd2d3449e217eb9605b1fac739c7c873a875af5d88d8e76bf2e",
|
||||
"bytes": 637,
|
||||
"dimensions": [
|
||||
128,
|
||||
128
|
||||
]
|
||||
},
|
||||
{
|
||||
"name": "optimized",
|
||||
"sha256": "3d4823a2da9971a444b16cf060be5f0b2b7a16bf50a26e7343283d48b562d105",
|
||||
"bytes": 76,
|
||||
"dimensions": [
|
||||
64,
|
||||
64
|
||||
]
|
||||
},
|
||||
{
|
||||
"name": "thumbnail",
|
||||
"sha256": "d9d4ed6ef383acdf227745e511acaffddf6e90c4f100d0f6ea117f5783581d29",
|
||||
"bytes": 324,
|
||||
"dimensions": [
|
||||
64,
|
||||
64
|
||||
]
|
||||
}
|
||||
]
|
||||
}
|
||||
],
|
||||
"stale_and_duplicate_noop": true
|
||||
},
|
||||
"result": "PASS",
|
||||
"elapsed_seconds": 4.033
|
||||
},
|
||||
{
|
||||
"name": "gray16",
|
||||
"started_at": "2026-11-06T23:18:05.884188Z",
|
||||
"observed": {
|
||||
"attachment_id": "01a1b327-b349-7332-b73c-db1221023da8",
|
||||
"input_sha256": "f7fbc2506997045f18891037f3cde42cf1e3b55461948f790779817317574f77",
|
||||
"input_bytes": 344,
|
||||
"versions": [
|
||||
{
|
||||
"version": 1,
|
||||
"variants": [
|
||||
{
|
||||
"name": "crop",
|
||||
"sha256": "e49a69181bafd0ebb4348db7030ad2cbf632b296a65f0ba05fe984b3d2b1ccdc",
|
||||
"bytes": 632,
|
||||
"dimensions": [
|
||||
128,
|
||||
128
|
||||
]
|
||||
},
|
||||
{
|
||||
"name": "optimized",
|
||||
"sha256": "751dc647784804af94b6cda23248840f73cab0cfe03227c4568b75195c00603a",
|
||||
"bytes": 80,
|
||||
"dimensions": [
|
||||
64,
|
||||
64
|
||||
]
|
||||
},
|
||||
{
|
||||
"name": "thumbnail",
|
||||
"sha256": "1bc87b25d02a179dc0cf5a883fb624fda094ba042ed9476c883ae1c12da6f1b6",
|
||||
"bytes": 322,
|
||||
"dimensions": [
|
||||
64,
|
||||
64
|
||||
]
|
||||
}
|
||||
]
|
||||
},
|
||||
{
|
||||
"version": 2,
|
||||
"variants": [
|
||||
{
|
||||
"name": "crop",
|
||||
"sha256": "a94faef9b08b5ab6ab239b6618c0e92b0ab92abca889acd714d6d9179dde90ef",
|
||||
"bytes": 662,
|
||||
"dimensions": [
|
||||
128,
|
||||
128
|
||||
]
|
||||
},
|
||||
{
|
||||
"name": "optimized",
|
||||
"sha256": "b22468814595a3ae63a9b326ed55fefb9a833a0e621be5f366b113ad6cf18a12",
|
||||
"bytes": 72,
|
||||
"dimensions": [
|
||||
64,
|
||||
64
|
||||
]
|
||||
},
|
||||
{
|
||||
"name": "thumbnail",
|
||||
"sha256": "d2267d9adb990db045e8c186737a4bdf66aa4e8d82d785c0bb3d8e87c34c5072",
|
||||
"bytes": 323,
|
||||
"dimensions": [
|
||||
64,
|
||||
64
|
||||
]
|
||||
}
|
||||
]
|
||||
}
|
||||
],
|
||||
"stale_and_duplicate_noop": true
|
||||
},
|
||||
"result": "PASS",
|
||||
"elapsed_seconds": 4.099
|
||||
},
|
||||
{
|
||||
"name": "rgb8",
|
||||
"started_at": "2026-11-06T23:18:09.984254Z",
|
||||
"observed": {
|
||||
"attachment_id": "01a1b327-c34a-7194-8fbd-164055cfd3ef",
|
||||
"input_sha256": "8c27c74500758b1a24ccc96261334265e304d55530780aefc7ef4a1109c11852",
|
||||
"input_bytes": 385,
|
||||
"versions": [
|
||||
{
|
||||
"version": 1,
|
||||
"variants": [
|
||||
{
|
||||
"name": "crop",
|
||||
"sha256": "c36bf54d185cfcf7abddd219a5e586e11b0c4d10007df5db55978f74ddcad2d0",
|
||||
"bytes": 1069,
|
||||
"dimensions": [
|
||||
128,
|
||||
128
|
||||
]
|
||||
},
|
||||
{
|
||||
"name": "optimized",
|
||||
"sha256": "7b78675ebd18218e82922e75072a801eea74b4d5f26cde2b5810407c86509b88",
|
||||
"bytes": 116,
|
||||
"dimensions": [
|
||||
64,
|
||||
64
|
||||
]
|
||||
},
|
||||
{
|
||||
"name": "thumbnail",
|
||||
"sha256": "f6e37a29401efe000eb8deb1490975d745f621f2ab229f4d85162945189e1791",
|
||||
"bytes": 385,
|
||||
"dimensions": [
|
||||
64,
|
||||
64
|
||||
]
|
||||
}
|
||||
]
|
||||
},
|
||||
{
|
||||
"version": 2,
|
||||
"variants": [
|
||||
{
|
||||
"name": "crop",
|
||||
"sha256": "fd82664e5924528cd7916b3b9e30b71517fa13c2763a8705e750fd4293f3027c",
|
||||
"bytes": 1184,
|
||||
"dimensions": [
|
||||
128,
|
||||
128
|
||||
]
|
||||
},
|
||||
{
|
||||
"name": "optimized",
|
||||
"sha256": "a05ef5a9f1305b2941cc99ab594eb3671bb87babe35d28ac97127791881137bb",
|
||||
"bytes": 120,
|
||||
"dimensions": [
|
||||
64,
|
||||
64
|
||||
]
|
||||
},
|
||||
{
|
||||
"name": "thumbnail",
|
||||
"sha256": "3cac9f1ca274bcac1dc05cf186cd88eb622fd947fb1a7958a1175e77623a96d6",
|
||||
"bytes": 392,
|
||||
"dimensions": [
|
||||
64,
|
||||
64
|
||||
]
|
||||
}
|
||||
]
|
||||
}
|
||||
],
|
||||
"stale_and_duplicate_noop": true
|
||||
},
|
||||
"result": "PASS",
|
||||
"elapsed_seconds": 3.994
|
||||
},
|
||||
{
|
||||
"name": "rgb16-adam7-filter4-exif6",
|
||||
"started_at": "2026-11-06T23:18:13.978929Z",
|
||||
"observed": {
|
||||
"attachment_id": "01a1b327-d2e9-72fc-9b7e-a5d8d6e2f8b7",
|
||||
"input_sha256": "b9c1cb1e309024e4578d1f17bf6bb0f0645aad4d8973e16098b65c54cfd4930a",
|
||||
"input_bytes": 1297,
|
||||
"versions": [
|
||||
{
|
||||
"version": 1,
|
||||
"variants": [
|
||||
{
|
||||
"name": "crop",
|
||||
"sha256": "f257bf8fa4f30f0e4df6672de140799375cebd2bf735a656432cf702663414a1",
|
||||
"bytes": 601,
|
||||
"dimensions": [
|
||||
128,
|
||||
128
|
||||
]
|
||||
},
|
||||
{
|
||||
"name": "optimized",
|
||||
"sha256": "cb92af5a047068048eba212d944513edb2c454f64e124339820d46c24e69ea45",
|
||||
"bytes": 112,
|
||||
"dimensions": [
|
||||
63,
|
||||
65
|
||||
]
|
||||
},
|
||||
{
|
||||
"name": "thumbnail",
|
||||
"sha256": "110cf7571f07d2db04821e8ef1861f74b5a16978851a4b0082ca60aedc1d29e4",
|
||||
"bytes": 419,
|
||||
"dimensions": [
|
||||
63,
|
||||
65
|
||||
]
|
||||
}
|
||||
]
|
||||
},
|
||||
{
|
||||
"version": 2,
|
||||
"variants": [
|
||||
{
|
||||
"name": "crop",
|
||||
"sha256": "0a7fea5640c5877026100e65e39848e7b15ee5eebb93897ebbeb95d441e8d652",
|
||||
"bytes": 675,
|
||||
"dimensions": [
|
||||
128,
|
||||
128
|
||||
]
|
||||
},
|
||||
{
|
||||
"name": "optimized",
|
||||
"sha256": "9d4b7431a72adfc10284e4443c4e56b4cd19a67c0729979041fc8b0bc2c6ca34",
|
||||
"bytes": 116,
|
||||
"dimensions": [
|
||||
63,
|
||||
65
|
||||
]
|
||||
},
|
||||
{
|
||||
"name": "thumbnail",
|
||||
"sha256": "529ceb55a8675e5ed870ed7917d7f1a5753c898b689f3e431e403b9b3682a732",
|
||||
"bytes": 440,
|
||||
"dimensions": [
|
||||
63,
|
||||
65
|
||||
]
|
||||
}
|
||||
]
|
||||
}
|
||||
],
|
||||
"stale_and_duplicate_noop": true
|
||||
},
|
||||
"result": "PASS",
|
||||
"elapsed_seconds": 4.082
|
||||
}
|
||||
],
|
||||
"conditions": {
|
||||
"host_load": [
|
||||
5.41796875,
|
||||
3.67138671875,
|
||||
2.95068359375
|
||||
],
|
||||
"containers": [
|
||||
"mtusi2026lab5-api-1 d1dcbda23866 running Up 5 minutes (healthy)",
|
||||
"mtusi2026lab5-api-2 1eaf0fe05de6 running Up 5 minutes (healthy)",
|
||||
"mtusi2026lab5-broker-1 be1942ad69b4 running Up 5 minutes (healthy)",
|
||||
"mtusi2026lab5-lb-1 4ddcc75182e6 running Up 5 minutes (healthy)",
|
||||
"mtusi2026lab5-migrate-1 34901a09ef7b exited Exited (0) 5 minutes ago",
|
||||
"mtusi2026lab5-postgres-1 a0b9f2742b97 running Up 5 minutes (healthy)",
|
||||
"mtusi2026lab5-relay-1 63225b5eff8e running Up 5 minutes (healthy)",
|
||||
"mtusi2026lab5-s3-1 29b3e7c3a260 running Up 5 minutes (healthy)",
|
||||
"mtusi2026lab5-s3-init-1 6e80e83ed5c5 exited Exited (0) 5 minutes ago",
|
||||
"mtusi2026lab5-valkey-1 647882797ca2 running Up 5 minutes (healthy)",
|
||||
"mtusi2026lab5-worker-1 cb275ee9574b running Up 41 seconds (healthy)"
|
||||
],
|
||||
"running": "mtusi2026lab5-worker-1 Up 42 seconds (healthy)\nmtusi2026lab5-api-1 Up 5 minutes (healthy)\nmtusi2026lab5-api-2 Up 5 minutes (healthy)\nmtusi2026lab5-relay-1 Up 5 minutes (healthy)\nmtusi2026lab5-broker-1 Up 5 minutes (healthy)\nmtusi2026lab5-postgres-1 Up 5 minutes (healthy)\nmtusi2026lab5-lb-1 Up 5 minutes (healthy)\nmtusi2026lab5-s3-1 Up 5 minutes (healthy)\nmtusi2026lab5-valkey-1 Up 5 minutes (healthy)\n",
|
||||
"worker_limits": "448\n30\n2\n"
|
||||
},
|
||||
"accepted_ids": [
|
||||
"01a1b327-5f46-7727-8fb2-3d557bcfe643",
|
||||
"01a1b327-706a-74da-b85b-267a032e36ab",
|
||||
"01a1b327-807d-7398-8d62-e5d3486f1e9c",
|
||||
"01a1b327-93fd-7099-8ab3-600c201aa01d",
|
||||
"01a1b327-a380-7186-b76d-46a83b6ad53f",
|
||||
"01a1b327-b349-7332-b73c-db1221023da8",
|
||||
"01a1b327-c34a-7194-8fbd-164055cfd3ef",
|
||||
"01a1b327-d2e9-72fc-9b7e-a5d8d6e2f8b7"
|
||||
],
|
||||
"invariants": [
|
||||
{
|
||||
"id": "terminal",
|
||||
"statement": "every 202 reaches its expected terminal state",
|
||||
"result": "PASS",
|
||||
"details": {
|
||||
"accepted": 8
|
||||
}
|
||||
},
|
||||
{
|
||||
"id": "single_effect",
|
||||
"statement": "one variant set per (attachment_id, pipeline_version, variant)",
|
||||
"result": "PASS",
|
||||
"details": {
|
||||
"rows": 0
|
||||
}
|
||||
},
|
||||
{
|
||||
"id": "no_ready_rollback",
|
||||
"statement": "ready never returns to queued or processing",
|
||||
"result": "PASS",
|
||||
"details": {
|
||||
"traced": 8
|
||||
}
|
||||
},
|
||||
{
|
||||
"id": "monotonic_publication",
|
||||
"statement": "published_version only moves forward",
|
||||
"result": "PASS",
|
||||
"details": {
|
||||
"sampled": 8
|
||||
}
|
||||
},
|
||||
{
|
||||
"id": "bytes_match_metadata",
|
||||
"statement": "sha256, size and real dimensions match served bytes",
|
||||
"result": "PASS",
|
||||
"details": {
|
||||
"verified": 8
|
||||
}
|
||||
},
|
||||
{
|
||||
"id": "bounded_attempts",
|
||||
"statement": "attempt <= JOB_MAX_ATTEMPTS",
|
||||
"result": "PASS",
|
||||
"details": {
|
||||
"rows": 0
|
||||
}
|
||||
},
|
||||
{
|
||||
"id": "no_orphans",
|
||||
"statement": "no pending outbox, messages, dead letters, staging, objects",
|
||||
"result": "PASS",
|
||||
"details": {
|
||||
"queues": {
|
||||
"attachments.process": [
|
||||
0,
|
||||
0
|
||||
],
|
||||
"attachments.process.dlq": [
|
||||
16,
|
||||
0
|
||||
]
|
||||
},
|
||||
"s3_objects": 56,
|
||||
"scoped_attachments": 8
|
||||
}
|
||||
},
|
||||
{
|
||||
"id": "no_lost_202",
|
||||
"statement": "every 202 is present in PostgreSQL and the API",
|
||||
"result": "PASS",
|
||||
"details": {
|
||||
"accepted": 8
|
||||
}
|
||||
}
|
||||
],
|
||||
"finished_at": "2026-11-06T23:18:30.279606Z",
|
||||
"result": "PASS"
|
||||
}
|
||||
@@ -1,12 +0,0 @@
|
||||
date: 2026-11-06T23:17:43Z commit: 74c33160ac01618f70e9e1c6a121a5e45c3c7155
|
||||
environment: {"COMPOSE_PROJECT_NAME": "mtusi2026lab5", "COMPOSE_FILE": "compose.yaml", "LB_HTTP_PORT": "18085", "LB_STATS_PORT": "25085", "BASE_URL": "http://127.0.0.1:18085", "NO_PROXY": "localhost,127.0.0.1,::1", "API_IMAGE": "mtusi-messenger:lab5-memory-validation"}
|
||||
$ .venv/bin/python evidence/final-memory-validation-2026-11-07/targeted.py png-http
|
||||
gray2 PASS
|
||||
gray4 PASS
|
||||
rgb16 PASS
|
||||
gray1 PASS
|
||||
gray8 PASS
|
||||
gray16 PASS
|
||||
rgb8 PASS
|
||||
rgb16-adam7-filter4-exif6 PASS
|
||||
exit_code: 0 elapsed_seconds: 47.160
|
||||
@@ -1,10 +0,0 @@
|
||||
date: 2026-11-06T23:15:46Z commit: 74c33160ac01618f70e9e1c6a121a5e45c3c7155
|
||||
environment: {"COMPOSE_PROJECT_NAME": "mtusi2026lab5", "COMPOSE_FILE": "compose.yaml", "LB_HTTP_PORT": "18085", "LB_STATS_PORT": "25085", "BASE_URL": "http://127.0.0.1:18085", "NO_PROXY": "localhost,127.0.0.1,::1", "API_IMAGE": "mtusi-messenger:lab5-memory-validation"}
|
||||
$ docker compose up -d --no-deps --force-recreate --wait worker
|
||||
Container mtusi2026lab5-worker-1 Recreate
|
||||
Container mtusi2026lab5-worker-1 Recreated
|
||||
Container mtusi2026lab5-worker-1 Starting
|
||||
Container mtusi2026lab5-worker-1 Started
|
||||
Container mtusi2026lab5-worker-1 Waiting
|
||||
Container mtusi2026lab5-worker-1 Healthy
|
||||
exit_code: 0 elapsed_seconds: 3.133
|
||||
@@ -1,8 +0,0 @@
|
||||
date: 2026-11-06T23:19:15Z commit: 74c33160ac01618f70e9e1c6a121a5e45c3c7155
|
||||
environment: {"COMPOSE_PROJECT_NAME": "mtusi2026lab5", "COMPOSE_FILE": "compose.yaml", "LB_HTTP_PORT": "18085", "LB_STATS_PORT": "25085", "BASE_URL": "http://127.0.0.1:18085", "NO_PROXY": "localhost,127.0.0.1,::1", "API_IMAGE": "mtusi-messenger:lab5-memory-validation"}
|
||||
$ docker volume ls --filter label=com.docker.compose.project=mtusi2026lab5 --format '{{.Name}}'
|
||||
mtusi2026lab5_broker-data
|
||||
mtusi2026lab5_pgdata
|
||||
mtusi2026lab5_s3data
|
||||
mtusi2026lab5_valkeydata
|
||||
exit_code: 0 elapsed_seconds: 0.024
|
||||
@@ -1,4 +0,0 @@
|
||||
date: 2026-11-06T23:19:15Z commit: 74c33160ac01618f70e9e1c6a121a5e45c3c7155
|
||||
environment: {"COMPOSE_PROJECT_NAME": "mtusi2026lab5", "COMPOSE_FILE": "compose.yaml", "LB_HTTP_PORT": "18085", "LB_STATS_PORT": "25085", "BASE_URL": "http://127.0.0.1:18085", "NO_PROXY": "localhost,127.0.0.1,::1", "API_IMAGE": "mtusi-messenger:lab5-memory-validation"}
|
||||
$ docker ps --format '{{.Names}} {{.Status}}'
|
||||
exit_code: 0 elapsed_seconds: 0.024
|
||||
@@ -1,7 +0,0 @@
|
||||
date: 2026-11-06T23:15:05Z commit: 74c33160ac01618f70e9e1c6a121a5e45c3c7155
|
||||
environment: {"COMPOSE_PROJECT_NAME": "mtusi2026lab5", "COMPOSE_FILE": "compose.yaml", "LB_HTTP_PORT": "18085", "LB_STATS_PORT": "25085", "BASE_URL": "http://127.0.0.1:18085", "NO_PROXY": "localhost,127.0.0.1,::1", "API_IMAGE": "mtusi-messenger:lab5-memory-validation"}
|
||||
$ docker compose exec -T worker python -c 'import hashlib,platform,importlib.metadata; from pathlib import Path; import messenger.attachments.infrastructure.images as m; print(platform.platform()); print({name:importlib.metadata.version(name) for name in ("sqlalchemy","alembic","Pillow","faststream","aio-pika")}); print("images.py sha256",hashlib.sha256(Path(m.__file__).read_bytes()).hexdigest())'
|
||||
Linux-6.10.14-linuxkit-aarch64-with-glibc2.41
|
||||
{'sqlalchemy': '2.0.45', 'alembic': '1.16.5', 'Pillow': '13.0.0', 'faststream': '0.7.8', 'aio-pika': '10.2.1'}
|
||||
images.py sha256 97c6e9c1ef13c8854be9cd2cc11e4279d1d340ba3ab360dfa3e05772923ea743
|
||||
exit_code: 0 elapsed_seconds: 0.380
|
||||
@@ -1,63 +0,0 @@
|
||||
import json
|
||||
import re
|
||||
import subprocess
|
||||
from pathlib import Path
|
||||
|
||||
ROOT = Path.cwd()
|
||||
files = set(subprocess.check_output(["git", "ls-files", "-z"]).decode().split("\0")) - {""}
|
||||
files.update(
|
||||
str(p) for p in Path("evidence/final-memory-validation-2026-11-07").rglob("*") if p.is_file()
|
||||
)
|
||||
patterns = {
|
||||
"private_key": r"-----BEGIN (?:RSA |EC |OPENSSH )?PRIVATE KEY-----",
|
||||
"github_token": r"\b(?:gh[pousr]_[A-Za-z0-9]{30,}|github_pat_[A-Za-z0-9_]{50,})\b",
|
||||
"openai_token": r"\bsk-(?:proj-)?[A-Za-z0-9_-]{35,}\b",
|
||||
"aws_key": r"\b(?:AKIA|ASIA)[A-Z0-9]{16}\b",
|
||||
"telegram_token": r"\b[0-9]{8,12}:[A-Za-z0-9_-]{35}\b",
|
||||
"bearer_literal": r"Bearer [A-Za-z0-9_-]{24,}",
|
||||
"credential_url": r"\b(?:amqps?|postgres(?:ql)?|redis|https?)://[^\s\"\'{}$<>:/]+:[^\s\"\'{}$<>@/]+@",
|
||||
"secret_literal": r"""["'](?:password|secret|token|access_token|secret_access_key)["']\s*:\s*["'][A-Za-z0-9_+/=-]{24,}["']""",
|
||||
}
|
||||
allow = {
|
||||
("contracts/examples.json", 5, "secret_literal"): "unchanged skeleton example placeholder",
|
||||
("contracts/openapi.json", 3096, "secret_literal"): "unchanged skeleton example placeholder",
|
||||
("examples/requests.http", 20, "secret_literal"): "unchanged skeleton example placeholder",
|
||||
("scripts/broker-secrets.sh", 17, "credential_url"): "printf format; no credential literal",
|
||||
(
|
||||
"student-tests/api/test_operability.py",
|
||||
131,
|
||||
"credential_url",
|
||||
): "synthetic unavailable endpoint u:p",
|
||||
(
|
||||
"student-tests/api/test_operability.py",
|
||||
143,
|
||||
"credential_url",
|
||||
): "synthetic unavailable endpoint u:p",
|
||||
("student-tests/conftest.py", 141, "credential_url"): "ephemeral test database literal",
|
||||
}
|
||||
findings = []
|
||||
for name in sorted(files):
|
||||
if re.search(r"(^|/)(?:\.env|secrets|volumes)(?:/|$)", name):
|
||||
findings.append({"file": name, "rule": "forbidden_path"})
|
||||
try:
|
||||
text = Path(name).read_text()
|
||||
except UnicodeDecodeError, OSError:
|
||||
continue
|
||||
for rule, pattern in patterns.items():
|
||||
for match in re.finditer(pattern, text):
|
||||
line = text.count("\n", 0, match.start()) + 1
|
||||
item = {"file": name, "line": line, "rule": rule}
|
||||
if (name, line, rule) in allow:
|
||||
item["reviewed_non_secret"] = allow[name, line, rule]
|
||||
findings.append(item)
|
||||
report = {
|
||||
"files_scanned": len(files),
|
||||
"patterns": list(patterns),
|
||||
"candidates": findings,
|
||||
"unresolved": sum("reviewed_non_secret" not in f for f in findings),
|
||||
}
|
||||
Path("evidence/final-memory-validation-2026-11-07/secret-scan.json").write_text(
|
||||
json.dumps(report, indent=2) + "\n"
|
||||
)
|
||||
print(json.dumps(report, indent=2))
|
||||
raise SystemExit(bool(report["unresolved"]))
|
||||
@@ -1,58 +0,0 @@
|
||||
{
|
||||
"files_scanned": 804,
|
||||
"patterns": [
|
||||
"private_key",
|
||||
"github_token",
|
||||
"openai_token",
|
||||
"aws_key",
|
||||
"telegram_token",
|
||||
"bearer_literal",
|
||||
"credential_url",
|
||||
"secret_literal"
|
||||
],
|
||||
"candidates": [
|
||||
{
|
||||
"file": "contracts/examples.json",
|
||||
"line": 5,
|
||||
"rule": "secret_literal",
|
||||
"reviewed_non_secret": "unchanged skeleton example placeholder"
|
||||
},
|
||||
{
|
||||
"file": "contracts/openapi.json",
|
||||
"line": 3096,
|
||||
"rule": "secret_literal",
|
||||
"reviewed_non_secret": "unchanged skeleton example placeholder"
|
||||
},
|
||||
{
|
||||
"file": "examples/requests.http",
|
||||
"line": 20,
|
||||
"rule": "secret_literal",
|
||||
"reviewed_non_secret": "unchanged skeleton example placeholder"
|
||||
},
|
||||
{
|
||||
"file": "scripts/broker-secrets.sh",
|
||||
"line": 17,
|
||||
"rule": "credential_url",
|
||||
"reviewed_non_secret": "printf format; no credential literal"
|
||||
},
|
||||
{
|
||||
"file": "student-tests/api/test_operability.py",
|
||||
"line": 131,
|
||||
"rule": "credential_url",
|
||||
"reviewed_non_secret": "synthetic unavailable endpoint u:p"
|
||||
},
|
||||
{
|
||||
"file": "student-tests/api/test_operability.py",
|
||||
"line": 143,
|
||||
"rule": "credential_url",
|
||||
"reviewed_non_secret": "synthetic unavailable endpoint u:p"
|
||||
},
|
||||
{
|
||||
"file": "student-tests/conftest.py",
|
||||
"line": 141,
|
||||
"rule": "credential_url",
|
||||
"reviewed_non_secret": "ephemeral test database literal"
|
||||
}
|
||||
],
|
||||
"unresolved": 0
|
||||
}
|
||||
@@ -1,37 +0,0 @@
|
||||
{
|
||||
"evidence/final-memory-validation-2026-11-07/RESULTS.md": "e4dd4dfc47ae8095458028235b1e89373b815edeeceddbd09f116f9ad9f4450b",
|
||||
"evidence/final-memory-validation-2026-11-07/active-changes.txt": "b817c4f054d652d43cc5b0059aa3808fe18d4a4582a3676c34f0d9418efa992d",
|
||||
"evidence/final-memory-validation-2026-11-07/audit-files.py": "864e3a7032755da30afeef71431649e87c955cea4dc48021c14575b5ac243ded",
|
||||
"evidence/final-memory-validation-2026-11-07/audit.json": "68e3f1a5806fe4b65f1e8e8efe0b66c5e55cccd4ce492b7a325d4cc89323ca69",
|
||||
"evidence/final-memory-validation-2026-11-07/build.txt": "62ca4051248a5ba0c1d5380456dc972572da8c08e27b840992b24f500ab57bb7",
|
||||
"evidence/final-memory-validation-2026-11-07/checks.txt": "6a1195478b3eb211d21352cb6ed00e690196ccc54e0db3a3fe3ac4e5f6b19336",
|
||||
"evidence/final-memory-validation-2026-11-07/conditions-after.json": "e72877504561b2e4ab95ffa5ad2e616ff3599ba0887fd10b378f9425cf62376c",
|
||||
"evidence/final-memory-validation-2026-11-07/conditions.json": "c970c484ad92ada00d33f4df86113928b0ef0321b1b7740441a8c1e10f4b5c30",
|
||||
"evidence/final-memory-validation-2026-11-07/container-events.json": "bfce3b6295e23ea06f4f29beb1b83b4a5b2ec5e07c4230d3ba68d1dc0c241d39",
|
||||
"evidence/final-memory-validation-2026-11-07/down.txt": "0b80c02939c9224df3e8f5f98ae6320b6ffc71a8a28c001e7b3ee9ae113a6f39",
|
||||
"evidence/final-memory-validation-2026-11-07/env.sh": "fa41c289402a362827d3edc88bd0e8301e55d279df09f658f800a94bff96b05d",
|
||||
"evidence/final-memory-validation-2026-11-07/final-audit.json": "2c6308899417e6da60875de9c262828fe7caccd30bffb223d8ce53635f5845ad",
|
||||
"evidence/final-memory-validation-2026-11-07/final-checks.txt": "7405e049b92aa01667afe431a64e3c6d5ffc1827c03a4bed480a5158802a08d8",
|
||||
"evidence/final-memory-validation-2026-11-07/final-containers.txt": "dd5432219d35baeee61392605910c2864b71b83e8972377254eff268670422c5",
|
||||
"evidence/final-memory-validation-2026-11-07/findings.json": "a2b9cc2a425aa0326fd72c6bdab9a5dc69ea4d90fef2c3ce239fbbb514e978a1",
|
||||
"evidence/final-memory-validation-2026-11-07/linux-child.py": "c293f49bd273fe7c3c6bb0ac90f2ccb28a02117a4fdae758d04e8c006d4e89ab",
|
||||
"evidence/final-memory-validation-2026-11-07/linux-runner.py": "680052df464d87d97a9717469d53d27f4f2391f740b0aaa23fa52a77a52c9a83",
|
||||
"evidence/final-memory-validation-2026-11-07/linux.json": "febd60518391e7d6f479908e48856a6c0a774fd5763f33cf02655e414d6b1fe3",
|
||||
"evidence/final-memory-validation-2026-11-07/linux.txt": "51f31e560852514bdba1777db1ceade9284ff13610d60afaf7a128f171cd7b29",
|
||||
"evidence/final-memory-validation-2026-11-07/openspec.txt": "dc82d21ab66012b5960a0f76e82eef10d7df082497119d18efb7aed5009efd3d",
|
||||
"evidence/final-memory-validation-2026-11-07/png-boundary.json": "a6452fb7b502597058641878464ee383eab334b0d77377bfe54565aeb4279df1",
|
||||
"evidence/final-memory-validation-2026-11-07/png-boundary.txt": "1aba30dc29b1bae3f7e1d8fb64a7e331effb85fa45a2f3a123ddbe7dd743c6ad",
|
||||
"evidence/final-memory-validation-2026-11-07/png-http.json": "0dab50ef2d4ed22425d27ccdefaac316ed4b8c7b0a759c2c616eb9239ebba618",
|
||||
"evidence/final-memory-validation-2026-11-07/png-http.txt": "68ae6e09e67a9df204f0346ebec3b9b185bcf2c67a0a0946aff620408ba867a2",
|
||||
"evidence/final-memory-validation-2026-11-07/reset-worker-peak.txt": "97c9b5d430649b61f83fb7904414690f50e742b0b53e39c9b4324d60c1b6b2f9",
|
||||
"evidence/final-memory-validation-2026-11-07/retained-volumes.txt": "27347d997d6f8466d94b0a5bb06350f183c5e30ef9ad2c3858cdc24a316bf5e4",
|
||||
"evidence/final-memory-validation-2026-11-07/running-containers-after.txt": "44b284098615df613f91d9bc745f236f6ede62f1ea95a9de06e10ed712ffb799",
|
||||
"evidence/final-memory-validation-2026-11-07/runtime.txt": "1f35a3f37a7e4d4689c8154384b08c9800077d4f77251d576f03921605a28b2e",
|
||||
"evidence/final-memory-validation-2026-11-07/scan-secrets.py": "27130687bae2d636d9780759559524b347ec3733aa2df722c837378f2d2f39b1",
|
||||
"evidence/final-memory-validation-2026-11-07/secret-scan.json": "27f7763fd6af6a10d3ddd0c8ae0a3f71dcad4eeb000afa5af5379bb646fb8e30",
|
||||
"evidence/final-memory-validation-2026-11-07/smoke.txt": "ba0b81113210431ecfe0a085024efd650b4963e1eaf21b2837f6163523a70afc",
|
||||
"evidence/final-memory-validation-2026-11-07/stopped-containers.txt": "f543710a6a0f639673d62148635409ecec6bea71c8987dc036017d4692505bed",
|
||||
"evidence/final-memory-validation-2026-11-07/student-test.txt": "1cf669fbca4aee91e87e74089522325f7214ad6406c031013a73c8b935593ac1",
|
||||
"evidence/final-memory-validation-2026-11-07/targeted.py": "cba7c461fded4eb88247f113a2328780fe985a3c1bdc27a26df47277a2374ffc",
|
||||
"evidence/final-memory-validation-2026-11-07/up.txt": "1fd736cd42363f734649be3011f92abee46bc9210b4fd513aa2daba9d5f4a666"
|
||||
}
|
||||
@@ -1,6 +0,0 @@
|
||||
date: 2026-11-06T23:15:03Z commit: 74c33160ac01618f70e9e1c6a121a5e45c3c7155
|
||||
environment: {"COMPOSE_PROJECT_NAME": "mtusi2026lab5", "COMPOSE_FILE": "compose.yaml", "LB_HTTP_PORT": "18085", "LB_STATS_PORT": "25085", "BASE_URL": "http://127.0.0.1:18085", "NO_PROXY": "localhost,127.0.0.1,::1", "API_IMAGE": "mtusi-messenger:lab5-memory-validation"}
|
||||
$ make test
|
||||
python3 tests/smoke.py --base-url "http://127.0.0.1:18085"
|
||||
PASS: lab5 public API scenario; infrastructure and grading evidence remain separate.
|
||||
exit_code: 0 elapsed_seconds: 1.706
|
||||
@@ -1,4 +0,0 @@
|
||||
date: 2026-11-06T23:19:15Z commit: 74c33160ac01618f70e9e1c6a121a5e45c3c7155
|
||||
environment: {"COMPOSE_PROJECT_NAME": "mtusi2026lab5", "COMPOSE_FILE": "compose.yaml", "LB_HTTP_PORT": "18085", "LB_STATS_PORT": "25085", "BASE_URL": "http://127.0.0.1:18085", "NO_PROXY": "localhost,127.0.0.1,::1", "API_IMAGE": "mtusi-messenger:lab5-memory-validation"}
|
||||
$ docker ps -a --filter label=com.docker.compose.project=mtusi2026lab5 --format '{{.Names}} {{.State}}'
|
||||
exit_code: 0 elapsed_seconds: 0.028
|
||||
@@ -1,20 +0,0 @@
|
||||
date: 2026-11-06T22:54:40Z commit: 74c33160ac01618f70e9e1c6a121a5e45c3c7155
|
||||
environment: {"COMPOSE_PROJECT_NAME": "mtusi2026lab5", "COMPOSE_FILE": "compose.yaml", "LB_HTTP_PORT": "18085", "LB_STATS_PORT": "25085", "BASE_URL": "http://127.0.0.1:18085", "NO_PROXY": "localhost,127.0.0.1,::1", "API_IMAGE": "mtusi-messenger:lab5-memory-validation"}
|
||||
$ make student-test 'PYTEST_ARGS=-q --tb=short'
|
||||
.venv/bin/pytest -q --tb=short
|
||||
........................................................................ [ 7%]
|
||||
........................................................................ [ 14%]
|
||||
........................................................................ [ 21%]
|
||||
........................................................................ [ 29%]
|
||||
........................................................................ [ 36%]
|
||||
........................................................................ [ 43%]
|
||||
........................................................................ [ 51%]
|
||||
........................................................................ [ 58%]
|
||||
........................................................................ [ 65%]
|
||||
........................................................................ [ 73%]
|
||||
........................................s............................... [ 80%]
|
||||
........................................................................ [ 87%]
|
||||
......................................................................s. [ 94%]
|
||||
.................................................. [100%]
|
||||
984 passed, 2 skipped, 19 deselected in 171.26s (0:02:51)
|
||||
exit_code: 0 elapsed_seconds: 172.902
|
||||
@@ -1,310 +0,0 @@
|
||||
import hashlib
|
||||
import json
|
||||
import os
|
||||
import struct
|
||||
import sys
|
||||
import time
|
||||
from io import BytesIO
|
||||
from pathlib import Path
|
||||
|
||||
ROOT = Path(__file__).resolve().parents[2]
|
||||
sys.path[:0] = [str(ROOT / "scripts"), str(ROOT / "student-tests")]
|
||||
import pipeline_suite as ps
|
||||
from PIL import Image
|
||||
from messenger.attachments.infrastructure.images import RenderLimits, render_variants
|
||||
from png_trns_fixtures import png_with_trns
|
||||
|
||||
MODE = sys.argv.pop(1)
|
||||
OUT = Path(__file__).parent / (MODE + ".json")
|
||||
if OUT.exists():
|
||||
raise SystemExit("Result exists; do not repeat completed evidence")
|
||||
SUITE = ps.Suite(ps.arguments())
|
||||
STACK = SUITE.stack
|
||||
REPORT = {
|
||||
"mode": MODE,
|
||||
"source_sha": ps.run(["git", "rev-parse", "HEAD"]).strip(),
|
||||
"started_at": ps.now(),
|
||||
"cases": [],
|
||||
}
|
||||
LIMITS = RenderLimits(10485760, 40000000)
|
||||
|
||||
|
||||
def save():
|
||||
REPORT["accepted_ids"] = SUITE.api.accepted if SUITE.api else []
|
||||
OUT.write_text(json.dumps(REPORT, ensure_ascii=False, indent=2) + "\n")
|
||||
|
||||
|
||||
def case(name, function):
|
||||
row = {"name": name, "started_at": ps.now()}
|
||||
REPORT["cases"].append(row)
|
||||
save()
|
||||
began = time.monotonic()
|
||||
try:
|
||||
row["observed"] = function()
|
||||
row["result"] = "PASS"
|
||||
except Exception as error:
|
||||
row.update(result="FAIL", error=str(error))
|
||||
row["elapsed_seconds"] = round(time.monotonic() - began, 3)
|
||||
save()
|
||||
print(name, row["result"], row.get("error", ""), flush=True)
|
||||
|
||||
|
||||
def containers():
|
||||
return STACK.dc("ps", "-a", "--format", "{{.Name}} {{.ID}} {{.State}} {{.Status}}").splitlines()
|
||||
|
||||
|
||||
def png(name, data, reference):
|
||||
att = SUITE.api.upload(data, name=name + ".png")
|
||||
ident = att["id"]
|
||||
results = []
|
||||
for version in (1, 2):
|
||||
if version == 2:
|
||||
STACK.admin("reprocess", "--attachment-id", ident, "--pipeline-version", "2")
|
||||
ps.poll(lambda: SUITE.record(ident)["published_version"] == 2, 90, "published v2")
|
||||
ready = SUITE.api.wait(ident)
|
||||
SUITE.verify(ready)
|
||||
assert SUITE.api.content(ident)["bytes"] == data
|
||||
expected = {r.name: r for r in render_variants(reference, LIMITS, version)}
|
||||
variants = []
|
||||
for variant in ready["variants"]:
|
||||
content = SUITE.api.content(ident, variant["name"])["bytes"]
|
||||
assert content == expected[variant["name"]].data, (
|
||||
variant["name"] + " differs from independent white reference"
|
||||
)
|
||||
with Image.open(BytesIO(content)) as image:
|
||||
assert not image.getexif()
|
||||
assert not any(key in image.info for key in ("icc_profile", "xmp", "transparency"))
|
||||
variants.append(
|
||||
{
|
||||
"name": variant["name"],
|
||||
"sha256": hashlib.sha256(content).hexdigest(),
|
||||
"bytes": len(content),
|
||||
"dimensions": [variant["width"], variant["height"]],
|
||||
}
|
||||
)
|
||||
results.append({"version": version, "variants": variants})
|
||||
before = SUITE.snapshot(ident)
|
||||
STACK.publish(SUITE.payload(ident, 1))
|
||||
STACK.publish(SUITE.payload(ident, 2))
|
||||
SUITE.drained()
|
||||
assert SUITE.snapshot(ident) == before
|
||||
assert len(STACK.sql("variants", id=ident)) == 6
|
||||
return {
|
||||
"attachment_id": ident,
|
||||
"input_sha256": hashlib.sha256(data).hexdigest(),
|
||||
"input_bytes": len(data),
|
||||
"versions": results,
|
||||
"stale_and_duplicate_noop": True,
|
||||
}
|
||||
|
||||
|
||||
FIXTURES = ROOT / "evidence/final-validation-2026-11-07/fixtures"
|
||||
ps.SQL["timed_events"] = (
|
||||
"SELECT attachment_id,job_id,kind,at FROM job_events WHERE attachment_id = ANY(:'ids'::uuid[]) AND kind IN ('claimed','done') ORDER BY id"
|
||||
)
|
||||
|
||||
|
||||
def without_trns(data):
|
||||
result, offset = data[:8], 8
|
||||
while offset < len(data):
|
||||
size = struct.unpack(">I", data[offset : offset + 4])[0] + 12
|
||||
if data[offset + 4 : offset + 8] != b"tRNS":
|
||||
result += data[offset : offset + size]
|
||||
offset += size
|
||||
return result
|
||||
|
||||
|
||||
def verify_large(ident, data, transparent):
|
||||
ready = SUITE.api.wait(ident)
|
||||
SUITE.verify(ready)
|
||||
assert SUITE.api.content(ident)["bytes"] == data
|
||||
variants = []
|
||||
for variant in ready["variants"]:
|
||||
content = SUITE.api.content(ident, variant["name"])["bytes"]
|
||||
with Image.open(BytesIO(content)) as image:
|
||||
left = image.getpixel((5, image.height // 2))
|
||||
right = image.getpixel((image.width - 6, image.height // 2))
|
||||
assert (left == (255, 255, 255)) == transparent
|
||||
assert right != (255, 255, 255)
|
||||
assert not image.getexif()
|
||||
variants.append({**variant, "left_pixel": left, "right_pixel": right})
|
||||
return variants
|
||||
|
||||
|
||||
def duplicate_check(ident):
|
||||
before = SUITE.snapshot(ident)
|
||||
STACK.publish(SUITE.payload(ident, 1))
|
||||
STACK.publish(SUITE.payload(ident, 2))
|
||||
SUITE.drained()
|
||||
assert SUITE.snapshot(ident) == before
|
||||
assert len(STACK.sql("variants", id=ident)) == 6
|
||||
|
||||
|
||||
def large(name, data, transparent=True):
|
||||
att = SUITE.api.upload(data, name=name + ".png")
|
||||
ident = att["id"]
|
||||
versions = [{"version": 1, "variants": verify_large(ident, data, transparent)}]
|
||||
STACK.admin("reprocess", "--attachment-id", ident, "--pipeline-version", "2")
|
||||
ps.poll(lambda: SUITE.record(ident)["published_version"] == 2, 90, "v2 publication")
|
||||
versions.append({"version": 2, "variants": verify_large(ident, data, transparent)})
|
||||
duplicate_check(ident)
|
||||
return {
|
||||
"attachment_id": ident,
|
||||
"input_sha256": hashlib.sha256(data).hexdigest(),
|
||||
"bytes": len(data),
|
||||
"versions": versions,
|
||||
"memory_peak": int(STACK.cgroup("worker", "memory.peak")),
|
||||
"memory_max": int(STACK.cgroup("worker", "memory.max")),
|
||||
}
|
||||
|
||||
|
||||
def concurrent():
|
||||
data = (FIXTURES / "rgb16-40mp.png").read_bytes()
|
||||
SUITE.drained()
|
||||
STACK.stop("worker")
|
||||
try:
|
||||
ids = [SUITE.api.upload(data, name="concurrent-rgb16.png")["id"] for _ in range(2)]
|
||||
SUITE.queued(2)
|
||||
finally:
|
||||
ps.run(["docker", "start", STACK.dc("ps", "-aq", "worker").strip()])
|
||||
versions = []
|
||||
for version in (1, 2):
|
||||
if version == 2:
|
||||
STACK.stop("worker")
|
||||
try:
|
||||
for ident in ids:
|
||||
STACK.admin("reprocess", "--attachment-id", ident, "--pipeline-version", "2")
|
||||
SUITE.queued(2)
|
||||
finally:
|
||||
ps.run(["docker", "start", STACK.dc("ps", "-aq", "worker").strip()])
|
||||
for ident in ids:
|
||||
ps.poll(
|
||||
lambda: SUITE.record(ident)["published_version"] == version,
|
||||
90,
|
||||
"concurrent publication",
|
||||
)
|
||||
variants = {ident: verify_large(ident, data, True) for ident in ids}
|
||||
events = STACK.sql("timed_events", ids="{" + ",".join(ids) + "}")
|
||||
job_ids = {
|
||||
row["job_id"]
|
||||
for ident in ids
|
||||
for row in STACK.sql("jobs", id=ident)
|
||||
if row["pipeline_version"] == version
|
||||
}
|
||||
selected = [e for e in events if e["job_id"] in job_ids]
|
||||
claims = [e["at"] for e in selected if e["kind"] == "claimed"]
|
||||
done = [e["at"] for e in selected if e["kind"] == "done"]
|
||||
assert len(claims) == len(done) == 2
|
||||
assert max(claims) < min(done), selected
|
||||
versions.append(
|
||||
{
|
||||
"version": version,
|
||||
"events": selected,
|
||||
"processing_overlapped": True,
|
||||
"variants": variants,
|
||||
}
|
||||
)
|
||||
for ident in ids:
|
||||
duplicate_check(ident)
|
||||
peak, limit = (int(STACK.cgroup("worker", name)) for name in ("memory.peak", "memory.max"))
|
||||
assert peak < limit
|
||||
return {
|
||||
"attachment_ids": ids,
|
||||
"versions": versions,
|
||||
"memory_peak": peak,
|
||||
"memory_max": limit,
|
||||
"memory_events": STACK.cgroup("worker", "memory.events"),
|
||||
}
|
||||
|
||||
|
||||
def forced(name, **overrides):
|
||||
data = (FIXTURES / "rgb16-40mp.png").read_bytes()
|
||||
result = SUITE.limited(data, **overrides)
|
||||
STACK.restore()
|
||||
result["next_normal"] = SUITE.smoke_pipeline()
|
||||
return result
|
||||
|
||||
|
||||
try:
|
||||
SUITE.detect_api()
|
||||
SUITE.api = ps.Api(SUITE.args)
|
||||
dead_before = STACK.queues()[ps.DLQ][0]
|
||||
REPORT["conditions"] = {
|
||||
"host_load": os.getloadavg(),
|
||||
"containers": containers(),
|
||||
"running": ps.run(["docker", "ps", "--format", "{{.Names}} {{.Status}}"]),
|
||||
"worker_limits": STACK.dc(
|
||||
"exec",
|
||||
"-T",
|
||||
"worker",
|
||||
"printenv",
|
||||
"RENDER_MEMORY_MB",
|
||||
"RENDER_TIMEOUT_SECONDS",
|
||||
"WORKER_CONCURRENCY",
|
||||
),
|
||||
}
|
||||
save()
|
||||
if MODE == "png-http":
|
||||
folder = ROOT / "evidence/review-trns-depth-2026-11-06/fixtures"
|
||||
for name in ("gray2", "gray4", "rgb16"):
|
||||
case(
|
||||
name,
|
||||
lambda name=name: png(
|
||||
name,
|
||||
(folder / (name + ".png")).read_bytes(),
|
||||
(folder / (name + "-white.png")).read_bytes(),
|
||||
),
|
||||
)
|
||||
for name, depth, color in [
|
||||
("gray1", 1, (0,)),
|
||||
("gray8", 8, (85,)),
|
||||
("gray16", 16, (12345,)),
|
||||
("rgb8", 8, (255, 0, 0)),
|
||||
]:
|
||||
case(
|
||||
name,
|
||||
lambda name=name, depth=depth, color=color: png(name, *png_with_trns(depth, color)),
|
||||
)
|
||||
case(
|
||||
"rgb16-adam7-filter4-exif6",
|
||||
lambda: png(
|
||||
"adam7",
|
||||
*png_with_trns(
|
||||
16,
|
||||
(12345, 23456, 34567),
|
||||
size=(65, 63),
|
||||
interlace=1,
|
||||
filtering=4,
|
||||
orientation=6,
|
||||
),
|
||||
),
|
||||
)
|
||||
elif MODE == "png-boundary":
|
||||
for name in ("gray2", "gray4", "gray16", "rgb16"):
|
||||
case(
|
||||
name, lambda name=name: large(name, (FIXTURES / (name + "-40mp.png")).read_bytes())
|
||||
)
|
||||
case(
|
||||
"gray16-without-trns",
|
||||
lambda: large(
|
||||
"gray16-opaque", without_trns((FIXTURES / "gray16-40mp.png").read_bytes()), False
|
||||
),
|
||||
)
|
||||
case("concurrent-rgb16", concurrent)
|
||||
case("forced-timeout", lambda: forced("timeout", FAULT_RENDER_TIMEOUT_SECONDS="0.01"))
|
||||
case("forced-memory", lambda: forced("memory", FAULT_RENDER_MEMORY_MB="200"))
|
||||
ids = "{" + ",".join(SUITE.api.accepted) + "}"
|
||||
ps.poll(lambda: not STACK.sql("staging_left", ids=ids), 45, "staging sweep")
|
||||
SUITE.drained()
|
||||
REPORT["invariants"] = SUITE.invariants(dead_before)
|
||||
finally:
|
||||
STACK.restore()
|
||||
REPORT["finished_at"] = ps.now()
|
||||
REPORT["result"] = (
|
||||
"PASS"
|
||||
if REPORT["cases"]
|
||||
and all(x.get("result") == "PASS" for x in REPORT["cases"] + REPORT.get("invariants", []))
|
||||
else "FAIL"
|
||||
)
|
||||
save()
|
||||
raise SystemExit(0 if REPORT["result"] == "PASS" else 1)
|
||||
@@ -1,94 +0,0 @@
|
||||
date: 2026-11-06T23:12:23Z commit: 74c33160ac01618f70e9e1c6a121a5e45c3c7155
|
||||
environment: {"COMPOSE_PROJECT_NAME": "mtusi2026lab5", "COMPOSE_FILE": "compose.yaml", "LB_HTTP_PORT": "18085", "LB_STATS_PORT": "25085", "BASE_URL": "http://127.0.0.1:18085", "NO_PROXY": "localhost,127.0.0.1,::1", "API_IMAGE": "mtusi-messenger:lab5-memory-validation"}
|
||||
$ docker compose up -d --wait
|
||||
Network mtusi2026lab5_backend Creating
|
||||
Network mtusi2026lab5_backend Created
|
||||
Network mtusi2026lab5_edge Creating
|
||||
Network mtusi2026lab5_edge Created
|
||||
Container mtusi2026lab5-valkey-1 Creating
|
||||
Container mtusi2026lab5-broker-1 Creating
|
||||
Container mtusi2026lab5-lb-1 Creating
|
||||
Container mtusi2026lab5-postgres-1 Creating
|
||||
Container mtusi2026lab5-s3-1 Creating
|
||||
Container mtusi2026lab5-s3-1 Created
|
||||
Container mtusi2026lab5-valkey-1 Created
|
||||
Container mtusi2026lab5-s3-init-1 Creating
|
||||
Container mtusi2026lab5-lb-1 Created
|
||||
Container mtusi2026lab5-broker-1 Created
|
||||
Container mtusi2026lab5-postgres-1 Created
|
||||
Container mtusi2026lab5-migrate-1 Creating
|
||||
Container mtusi2026lab5-s3-init-1 Created
|
||||
Container mtusi2026lab5-migrate-1 Created
|
||||
Container mtusi2026lab5-api-2 Creating
|
||||
Container mtusi2026lab5-worker-1 Creating
|
||||
Container mtusi2026lab5-api-1 Creating
|
||||
Container mtusi2026lab5-relay-1 Creating
|
||||
Container mtusi2026lab5-api-2 Created
|
||||
Container mtusi2026lab5-relay-1 Created
|
||||
Container mtusi2026lab5-api-1 Created
|
||||
Container mtusi2026lab5-worker-1 Created
|
||||
Container mtusi2026lab5-broker-1 Starting
|
||||
Container mtusi2026lab5-valkey-1 Starting
|
||||
Container mtusi2026lab5-postgres-1 Starting
|
||||
Container mtusi2026lab5-s3-1 Starting
|
||||
Container mtusi2026lab5-lb-1 Starting
|
||||
Container mtusi2026lab5-s3-1 Started
|
||||
Container mtusi2026lab5-s3-1 Waiting
|
||||
Container mtusi2026lab5-postgres-1 Started
|
||||
Container mtusi2026lab5-postgres-1 Waiting
|
||||
Container mtusi2026lab5-valkey-1 Started
|
||||
Container mtusi2026lab5-broker-1 Started
|
||||
Container mtusi2026lab5-lb-1 Started
|
||||
Container mtusi2026lab5-postgres-1 Healthy
|
||||
Container mtusi2026lab5-migrate-1 Starting
|
||||
Container mtusi2026lab5-migrate-1 Started
|
||||
Container mtusi2026lab5-s3-1 Healthy
|
||||
Container mtusi2026lab5-s3-init-1 Starting
|
||||
Container mtusi2026lab5-s3-init-1 Started
|
||||
Container mtusi2026lab5-s3-init-1 Waiting
|
||||
Container mtusi2026lab5-migrate-1 Waiting
|
||||
Container mtusi2026lab5-broker-1 Waiting
|
||||
Container mtusi2026lab5-migrate-1 Waiting
|
||||
Container mtusi2026lab5-s3-init-1 Waiting
|
||||
Container mtusi2026lab5-broker-1 Waiting
|
||||
Container mtusi2026lab5-migrate-1 Waiting
|
||||
Container mtusi2026lab5-s3-init-1 Waiting
|
||||
Container mtusi2026lab5-s3-init-1 Exited
|
||||
Container mtusi2026lab5-migrate-1 Exited
|
||||
Container mtusi2026lab5-s3-init-1 Exited
|
||||
Container mtusi2026lab5-s3-init-1 Exited
|
||||
Container mtusi2026lab5-migrate-1 Exited
|
||||
Container mtusi2026lab5-migrate-1 Exited
|
||||
Container mtusi2026lab5-api-1 Starting
|
||||
Container mtusi2026lab5-broker-1 Healthy
|
||||
Container mtusi2026lab5-relay-1 Starting
|
||||
Container mtusi2026lab5-broker-1 Healthy
|
||||
Container mtusi2026lab5-worker-1 Starting
|
||||
Container mtusi2026lab5-api-1 Started
|
||||
Container mtusi2026lab5-api-2 Starting
|
||||
Container mtusi2026lab5-worker-1 Started
|
||||
Container mtusi2026lab5-relay-1 Started
|
||||
Container mtusi2026lab5-api-2 Started
|
||||
Container mtusi2026lab5-relay-1 Waiting
|
||||
Container mtusi2026lab5-postgres-1 Waiting
|
||||
Container mtusi2026lab5-migrate-1 Waiting
|
||||
Container mtusi2026lab5-s3-1 Waiting
|
||||
Container mtusi2026lab5-lb-1 Waiting
|
||||
Container mtusi2026lab5-worker-1 Waiting
|
||||
Container mtusi2026lab5-broker-1 Waiting
|
||||
Container mtusi2026lab5-valkey-1 Waiting
|
||||
Container mtusi2026lab5-s3-init-1 Waiting
|
||||
Container mtusi2026lab5-api-1 Waiting
|
||||
Container mtusi2026lab5-api-2 Waiting
|
||||
Container mtusi2026lab5-migrate-1 Exited
|
||||
Container mtusi2026lab5-s3-1 Healthy
|
||||
Container mtusi2026lab5-s3-init-1 Exited
|
||||
Container mtusi2026lab5-broker-1 Healthy
|
||||
Container mtusi2026lab5-postgres-1 Healthy
|
||||
Container mtusi2026lab5-valkey-1 Healthy
|
||||
Container mtusi2026lab5-api-1 Healthy
|
||||
Container mtusi2026lab5-api-2 Healthy
|
||||
Container mtusi2026lab5-worker-1 Healthy
|
||||
Container mtusi2026lab5-relay-1 Healthy
|
||||
Container mtusi2026lab5-lb-1 Healthy
|
||||
exit_code: 0 elapsed_seconds: 11.284
|
||||
@@ -1,60 +0,0 @@
|
||||
# Финальная validation ЛР5
|
||||
|
||||
Измерен HEAD `b30e2f6a84419d1ca64525ffb40df92183cccaef`; runtime совпадает с прошедшим review `42575281b352d35bda17ee7601bae5548a996e91`. Изменяются только документы и evidence. Полные три повтора трека 2 не запускались заново: применимость и первичные хеши проверены в [аудите](../load-validation.md), [audit.json](audit.json) и [historical-hashes.json](historical-hashes.json).
|
||||
|
||||
## Условия
|
||||
|
||||
Дата каталога — 2026-11-07 Europe/Moscow; сырые UTC-метки начинаются 2026-11-06T21:15. Darwin arm64, Docker 28.3.2, Linux VM 16 CPU / 8 217 190 400 байт RAM. Основной project `mtusi2026lab5` изолирован собственными сетями и четырьмя сохранёнными volumes. HTTP 18085, stats 25085, broker UI 25086, только loopback. Чужие контейнеры не запускались и не останавливались.
|
||||
|
||||
Сборка и начальные функциональные проверки частично совпали по времени с собственным `make student-test` (его одноразовые контейнеры отражены в `postgres-outage*.json`). Перед HTTP PNG и проверками памяти student-test завершился, посторонних работающих Docker-контейнеров нет. Нагрузка хоста фиксируется срезами, непрерывного контроля CPU нет; RPS, p95 и новые SLO не заявляются.
|
||||
|
||||
Точные лимиты, image IDs и volumes — [runtime-containers.json](runtime-containers.json). Worker 2 CPU / 1 GiB, render 448 MiB / 30 с, concurrency=2; API ×2 по 1 CPU / 512 MiB. Реальные версии и хеш установленного images.py — [image-runtime.txt](image-runtime.txt). Конфигурация запуска — [env.sh](env.sh), без секретов. Fault-suite использует штатный `infra/compose.faults.yaml` и восстанавливает настройки.
|
||||
|
||||
## Выполнено
|
||||
|
||||
Все `.txt` содержат команду, исходный SHA, UTC и exit code. Команды выполняются из корня после `source evidence/final-validation-2026-11-07/env.sh`.
|
||||
|
||||
| Команда / файл | Наблюдение |
|
||||
| --- | --- |
|
||||
| `make check validate lint`, [checks.txt](checks.txt) | PASS |
|
||||
| `make student-test PYTEST_ARGS='-q --tb=short'`, [student-test.txt](student-test.txt) | 980 passed, 1 Linux-only skip, 19 stack deselected; real-broker тесты включены |
|
||||
| `openspec validate --all --strict`; `openspec list --json`, [openspec.txt](openspec.txt), [active-changes.txt](active-changes.txt) | 22 PASS, активных changes нет; новый change не создаётся для docs/evidence |
|
||||
| `docker compose build`; `docker compose up -d --wait`, [build.txt](build.txt), [up.txt](up.txt) | PASS; сохранённые volumes, без удаления очередей/данных |
|
||||
| `make test`, [smoke.txt](smoke.txt) | Публичный HTTP smoke PASS |
|
||||
| `rabbitmqctl list_policies/list_queues`, [policy.txt](policy.txt), [queues.txt](queues.txt) | Эффективная policy `delivery-limit=-1` на существующей quorum queue; исходная DLQ=15 |
|
||||
| `.venv/bin/python evidence/final-validation-2026-11-07/targeted.py postgres-outage-retry`, [команда](postgres-outage-retry.txt), [результат](postgres-outage-retry.json), [сырые requeue](postgres-outage-worker.log) | PASS: настоящий PostgreSQL exited, 12 `job.requeued`, затем ready без replay; job_id и attempt=1 сохранены, три варианта, DLQ=15; 8 инвариантов PASS |
|
||||
| `targeted.py png-http`, [команда](png-http.txt), [результат](png-http.json) | 8 PNG × v1/v2 × 3 варианта = 48 побайтных сравнений с независимым белым эталоном PASS; оригиналы неизменны, metadata/hash/геометрия, удаление EXIF, stale/duplicate noop; 8 инвариантов PASS |
|
||||
| `pipeline_suite.py --only …`, [команда](delivery-targeted.txt), [результат](delivery-targeted.json) | 12 адресных сценариев и 8 инвариантов PASS; 11 ID, 47 S3-объектов. DLQ 15 → 16 только от ожидаемого malformed message |
|
||||
| `targeted.py png-limits`, [команда](png-limits.txt), [результат](png-limits.json) | Четыре FAIL для 40 Мп tRNS при штатных пределах; принудительные timeout/memory и последующее обычное задание PASS. Не переименовывать весь запуск в PASS |
|
||||
|
||||
PNG HTTP включает grayscale 1/2/4/8/16, RGB8/16, точного непрозрачного соседа 12346 и RGB16 с Adam7/filter=4/EXIF=6. Новые синтетические 40 Мп fixtures сохранены в [fixtures](fixtures); генератор — `large_png` в [targeted.py](targeted.py).
|
||||
|
||||
Policy сверена через Context7 `/rabbitmq/rabbitmq-website`; точная семантика 4.1 дополнительно проверена по [RabbitMQ 4.1](https://www.rabbitmq.com/docs/4.1/quorum-queues#poison-message-handling). Динамическое доказательство относится именно к RabbitMQ 4.1.8, а не к изменённой семантике nack в 4.3.
|
||||
|
||||
## Непригодные промежуточные проверки
|
||||
|
||||
Первый [postgres-outage.txt](postgres-outage.txt) имеет exit 1: `docker compose start worker` запустил зависимости, включая PostgreSQL, поэтому 12 ошибок не возникли. Это ошибка новой проверочной обвязки, а не дефект приложения. Исходная обвязка сохранена в [targeted-initial.py](targeted-initial.py). Повторён только этот сценарий с `docker start` точного ID своего worker; никаких старых пригодных серий не повторялось.
|
||||
|
||||
В `png-limits.json` проверка `no_orphans` выполнена до очередного штатного sweep: после последнего ready ещё оставался staging. Остальные семь инвариантов PASS. Read-only [cleanup-recheck](cleanup-recheck.txt) после sweep подтвердил отсутствие pending outbox/staging/nonterminal/дублей и точное совпадение 10 объектов S3 с БД для семи ID. Тяжёлые PNG не повторялись; исходный `no_orphans FAIL` не переписан.
|
||||
|
||||
## Незавершённая квалификация
|
||||
|
||||
Четыре валидных PNG 8000×5000 с tRNS приняты с 202, но дали failed/processing_failed на первой попытке. Worker жив, последующая обычная загрузка ready. **Major: не выполнен объявленный сценарий «Изображение на пределе пикселей» [OpenSpec](../../openspec/specs/lab5-image-variants/spec.md): PNG 8000×5000 при штатных пределах должен дать ready.** Это вывод о конкретном граничном сценарии, не заявление о потере данных или падении сервиса. Полное подтверждение «5» и готовность к публикации блокируются до отдельного fix/re-review. Реализация не менялась.
|
||||
|
||||
Пять прежних minor и документационная неточность `201` в openspec/config.yaml сохраняются в REPORT. Публикация и Telegram не выполнялись.
|
||||
|
||||
|
||||
[resource-probe-worker.txt](resource-probe-worker.txt) воспроизводит `MemoryError` при 448 MiB и загруженных модулях worker: grayscale 2/4 — `flatten` при выделении белого RGB-фона, grayscale16 — преобразование `I → L`, RGB16 — маски/повторное декодирование в `apply_png_transparency`. Без tRNS gray2/gray4/RGB16 обрабатываются, gray16 всё ещё превышает предел. В облегчённом процессе без импортов worker [resource-probe-retry.txt](resource-probe-retry.txt) проходит grayscale, но падает RGB16: такой изолированный результат не заменяет HTTP-проверку реального worker. RSS пробника — наблюдение процесса, а ограничение — виртуальное адресное пространство RLIMIT_AS.
|
||||
|
||||
При штатном HTTP-прогоне peak контейнера составил 640 196 608 байт < 1 GiB; `MemoryError` возникает внутри ограниченного дочернего процесса. Увеличение лимита без учёта concurrency=2 и памяти worker не считается готовым решением. После исправления нужны ресурсная проверка новых PNG, отсутствие поломки точного tRNS и целевые регрессии. Полную принятую track2-матрицу повторять без нового основания не требуется.
|
||||
|
||||
Первая попытка скопировать диагностические fixtures через `docker compose cp` отклонена read-only rootfs (`probe-copy-*.txt`), последующий запуск отсутствующего файла завершился exit 2 (`resource-probe.txt`). Затем [invoke-probe.py](invoke-probe.py) передал только синтетические fixtures и код через stdin, записал их в разрешённый tmpfs `/tmp` и выполнил пробник. Эти ошибки обвязки не скрыты и не названы тестовыми PASS.
|
||||
|
||||
## Завершение и передача
|
||||
|
||||
Итог — **1 major, 6 сохранённых minor**, [findings.json](findings.json). Фаза validation заблокирована граничной обработкой PNG; назначенный агент должен исправить реализацию через OpenSpec и пройти review. В этой фазе новых изменений реализации/конфигурации/OpenSpec нет. Check/validate/lint, полный student-test и остальные адресные результаты сохраняются для аудита применимости, не становятся автоматически недействительными после документационного коммита.
|
||||
|
||||
`make down` без `-v` выполнен: [down.txt](down.txt), [stopped-containers.txt](stopped-containers.txt); контейнеров своего project нет. Четыре постоянных volume сохранены — [retained-volumes.txt](retained-volumes.txt). Итоговый список работающих Docker-контейнеров пуст — [running-containers-after.txt](running-containers-after.txt). Фоновых агентов и процессов этап не оставил. Push и Telegram не выполнялись.
|
||||
|
||||
|
||||
Финальные `make check validate lint` — PASS ([checks-final.txt](checks-final.txt)); новый код evidence разобран Python AST. Проверены локальные ссылки и совпадение runtime с review, нормативных файлов со skeleton ([final-doc-audit.json](final-doc-audit.json)). Проверка tracked файлов и новых evidence по восьми шаблонам секретов не обнаружила реальных credentials; семь совпадений проверены как skeleton placeholders/тестовые значения ([secret-scan.json](secret-scan.json)). Это проверка содержимого, без чтения `.env` и `secrets/`. Концевые пробелы в новых текстовых логах нормализованы; результаты/значения не изменены, историческое сырьё не редактировалось.
|
||||
@@ -1,11 +0,0 @@
|
||||
date: 2026-11-06T21:15:54Z commit: b30e2f6a84419d1ca64525ffb40df92183cccaef
|
||||
environment: {}
|
||||
$ openspec list --json
|
||||
{
|
||||
"changes": [],
|
||||
"root": {
|
||||
"path": "<repo>",
|
||||
"source": "nearest"
|
||||
}
|
||||
}
|
||||
exit_code: 0 elapsed_seconds: 0.794
|
||||
@@ -1,142 +0,0 @@
|
||||
{
|
||||
"head": "b30e2f6a84419d1ca64525ffb40df92183cccaef",
|
||||
"review_runtime_equal": true,
|
||||
"runtime_diff_from_D": [
|
||||
"infra/rabbitmq/definitions.json",
|
||||
"src/messenger/attachments/infrastructure/images.py"
|
||||
],
|
||||
"platform": "macOS-15.1-arm64-arm-64bit-Mach-O",
|
||||
"host_load": [
|
||||
3.61962890625,
|
||||
2.6328125,
|
||||
2.22509765625
|
||||
],
|
||||
"docker": "28.3.2 16 8217190400",
|
||||
"retained_volumes": [
|
||||
"mtusi2026lab5_broker-data",
|
||||
"mtusi2026lab5_pgdata",
|
||||
"mtusi2026lab5_s3data",
|
||||
"mtusi2026lab5_valkeydata"
|
||||
],
|
||||
"series": [
|
||||
{
|
||||
"name": "level4",
|
||||
"source_sha": "0e921116610d289716af0a40ec823376eb8bbcbc",
|
||||
"scenarios": 17,
|
||||
"invariants": 8,
|
||||
"accepted": 33,
|
||||
"config": {
|
||||
"base_url": "http://127.0.0.1:18085",
|
||||
"level": 4,
|
||||
"only": "",
|
||||
"expect_variants": "thumbnail,crop,optimized",
|
||||
"max_attempts": 5,
|
||||
"stall_seconds": 15.0,
|
||||
"compose": "docker compose",
|
||||
"compose_faults": "docker compose -f compose.yaml -f infra/compose.faults.yaml"
|
||||
}
|
||||
},
|
||||
{
|
||||
"name": "track-run1",
|
||||
"source_sha": "0e921116610d289716af0a40ec823376eb8bbcbc",
|
||||
"scenarios": 13,
|
||||
"invariants": 8,
|
||||
"accepted": 13,
|
||||
"config": {
|
||||
"base_url": "http://127.0.0.1:18085",
|
||||
"level": 5,
|
||||
"only": "smoke_pipeline,duplicate_after_ready,crash_commit_publish,crash_publish_confirm,crash_after_s3_before_commit,crash_after_commit_before_ack,lease_expiry_fencing,crash_before_side_effect,worker_kill_mid_task,duplicate_in_flight,reorder_attempts,reorder_versions,stale_after_new_version",
|
||||
"expect_variants": "thumbnail,crop,optimized",
|
||||
"max_attempts": 5,
|
||||
"stall_seconds": 15.0,
|
||||
"compose": "docker compose",
|
||||
"compose_faults": "docker compose -f compose.yaml -f infra/compose.faults.yaml"
|
||||
}
|
||||
},
|
||||
{
|
||||
"name": "track-run2",
|
||||
"source_sha": "0e921116610d289716af0a40ec823376eb8bbcbc",
|
||||
"scenarios": 13,
|
||||
"invariants": 8,
|
||||
"accepted": 13,
|
||||
"config": {
|
||||
"base_url": "http://127.0.0.1:18085",
|
||||
"level": 5,
|
||||
"only": "smoke_pipeline,duplicate_after_ready,crash_commit_publish,crash_publish_confirm,crash_after_s3_before_commit,crash_after_commit_before_ack,lease_expiry_fencing,crash_before_side_effect,worker_kill_mid_task,duplicate_in_flight,reorder_attempts,reorder_versions,stale_after_new_version",
|
||||
"expect_variants": "thumbnail,crop,optimized",
|
||||
"max_attempts": 5,
|
||||
"stall_seconds": 15.0,
|
||||
"compose": "docker compose",
|
||||
"compose_faults": "docker compose -f compose.yaml -f infra/compose.faults.yaml"
|
||||
}
|
||||
},
|
||||
{
|
||||
"name": "track-run3",
|
||||
"source_sha": "0e921116610d289716af0a40ec823376eb8bbcbc",
|
||||
"scenarios": 13,
|
||||
"invariants": 8,
|
||||
"accepted": 13,
|
||||
"config": {
|
||||
"base_url": "http://127.0.0.1:18085",
|
||||
"level": 5,
|
||||
"only": "smoke_pipeline,duplicate_after_ready,crash_commit_publish,crash_publish_confirm,crash_after_s3_before_commit,crash_after_commit_before_ack,lease_expiry_fencing,crash_before_side_effect,worker_kill_mid_task,duplicate_in_flight,reorder_attempts,reorder_versions,stale_after_new_version",
|
||||
"expect_variants": "thumbnail,crop,optimized",
|
||||
"max_attempts": 5,
|
||||
"stall_seconds": 15.0,
|
||||
"compose": "docker compose",
|
||||
"compose_faults": "docker compose -f compose.yaml -f infra/compose.faults.yaml"
|
||||
}
|
||||
}
|
||||
],
|
||||
"evidence_sha256": {
|
||||
"evidence/forward-final-2026-11-06/upload-negative.txt": "6cb7ad695b0715a2865e81d113bff729bf98d106a29c419e2ff16f7ee067c4b8",
|
||||
"evidence/forward-final-2026-11-06/baseline.txt": "f6520adb750693e1c7ad31cdad2d1de327a302d15a17a763a035f35ea5b759f5",
|
||||
"evidence/forward-final-2026-11-06/student-test.txt": "2976f98e550a14ee2c385f8a1b34a37626fdc602dfc6f848fbf81b0f105834fc",
|
||||
"evidence/forward-final-2026-11-06/summary.json": "406cea849c5a294a7a744e18056ed54a554cccdf3f5b1133d580ea67cdc1a57f",
|
||||
"evidence/forward-final-2026-11-06/track-run1.json": "5e90e87bcbf43115df39a37b95f50141772d92e3005f445e1a0c9b5d04050ad0",
|
||||
"evidence/forward-final-2026-11-06/baseline-regressions.txt": "b0525cea37ce47958dc95e02866c1f014239a6cc8500cf76bf448d2b4f1423c9",
|
||||
"evidence/forward-final-2026-11-06/conditions-level4-middle.json": "677c0e3499a45daf06cc5bc6f46338ceb873f4203ae137b8cb1c9606f13538eb",
|
||||
"evidence/forward-final-2026-11-06/lint-runtime.txt": "5e3c5752c468b6f747e4dbafd91954660f8b80f820b63ff34704641e7d5db970",
|
||||
"evidence/forward-final-2026-11-06/final-containers.txt": "e2ea3d831281e9cc6cc9b03ea1f00172e4eda23fb7244b8d9b60f7d211b5ec64",
|
||||
"evidence/forward-final-2026-11-06/down.txt": "9dbe77c3dc7b1a17798bd117fd1c8b4cb9ab01a6122376ca5ab38d147ac7b9ff",
|
||||
"evidence/forward-final-2026-11-06/stopped-containers.txt": "f7ac8e8c29b18a83193a089a2dd75aa0dfc103e54173e2421b853c00a0113338",
|
||||
"evidence/forward-final-2026-11-06/unit-regressions.txt": "26d5cf96bdf415c5b17fe2a596b9228834995418b1b33a83c146f59617debc5a",
|
||||
"evidence/forward-final-2026-11-06/track-run1.txt": "7966b1f45232223055f58b0031a6eeee987d42d5789798ec17df711f40c207ac",
|
||||
"evidence/forward-final-2026-11-06/track-run3.txt": "4b8254db242784c6db3a0db7a8e363269a1aa486a1b26caaee254100f1ab0a52",
|
||||
"evidence/forward-final-2026-11-06/source-inventory.json": "8977c7883b08b4a2ce7385ddf1c8da11bb4344e586dc71ba637118fcf9d8f506",
|
||||
"evidence/forward-final-2026-11-06/conditions-stopped.json": "5ed4cc9e6c6969cd16b699a24ac747c7b4ee4c8b189be2f57cd610622891f00d",
|
||||
"evidence/forward-final-2026-11-06/forward-audit.json": "675a9fcf1fb817bb043c8bcde35079617294da9c7832a529c4d7bfa2adc8f52d",
|
||||
"evidence/forward-final-2026-11-06/conditions-before.json": "4ef9320729dc38a49b7e8dc3338a862fd69946ceaf64b4aed004bc6ac23ab1cc",
|
||||
"evidence/forward-final-2026-11-06/track-run2.txt": "1ff4b753ab5627ee5393977203d5dc83f59d4c9e990e7171fc63a06061ceecb3",
|
||||
"evidence/forward-final-2026-11-06/level4-command.txt": "2b9e49afc9e9ec0e8a8f2a3c491906b72c7439b4a2e30ff6ed0a96d9be4c73ed",
|
||||
"evidence/forward-final-2026-11-06/level4.json": "904e2c40a6737947b1867c9051a36920c007f49ad59de057a168c1dcc345d87c",
|
||||
"evidence/forward-final-2026-11-06/archive.txt": "54bc70e53d69969580bd0c88f373778f2a029e2329bbccac7844ff16055deceb",
|
||||
"evidence/forward-final-2026-11-06/conditions-track-after1.json": "65e7d5a4652e102e6ad8ecbf74356b1c468e2d5ddaee492af21432d646aa4bdf",
|
||||
"evidence/forward-final-2026-11-06/up.txt": "0baaa49727722eaf24ac4d8b3e083c09bbb53e278e557e42551221d0c59e5856",
|
||||
"evidence/forward-final-2026-11-06/checks-before-commit.txt": "1b8bd42a69e070cffb07e12449ec749066ec92407fa5d94bd8ad766f40d93dff",
|
||||
"evidence/forward-final-2026-11-06/checks-final.txt": "d0d3a9f7a24914365c772eabceb4ad2238c5922e30c866a26c5274f8fb570e81",
|
||||
"evidence/forward-final-2026-11-06/failover.txt": "fcd1b67b77aa7936f9f0ae1c48982e9e4ad9f2e8b9705d2b856ff8cf360fdaa9",
|
||||
"evidence/forward-final-2026-11-06/persistence-containers.txt": "229bf4c9809cf0e6a1d9cfd162949b413d7f990f57a30fbcd5f9c5b6e3f81e92",
|
||||
"evidence/forward-final-2026-11-06/conditions-track-start.json": "64e99f2110c3ccf029fba7fe30bd1c9f01615cb5b43ffd77fe4a0f09e7030245",
|
||||
"evidence/forward-final-2026-11-06/final-smoke.txt": "eec6f2507465824cd920fe78bf876dfbf8b905e84ebcd7b9d51e80d16d4c064b",
|
||||
"evidence/forward-final-2026-11-06/findings.json": "2f0db619bebbc615dc33f78599210201e1d9441139adb33687dea7a46fc1f15b",
|
||||
"evidence/forward-final-2026-11-06/network-regressions.txt": "30f0735c6d0bd2370cf39ac6855c06750ba18b282b978dcf6dddcf293145e02b",
|
||||
"evidence/forward-final-2026-11-06/conditions-track-after2.json": "fa3a1808cc215afb3a422fe582c2d4cae5cf480411f4150977be30f9e24bf462",
|
||||
"evidence/forward-final-2026-11-06/conditions-track-after3.json": "1054464f5526ee719579fbda81b9e7605a97a660fec9bdfc52f6e68ce94cfad1",
|
||||
"evidence/forward-final-2026-11-06/specs-validation.txt": "79fe9fdb0bb258d6d7788a79d96587b748233001e97f2acd38bf9bfe0376d515",
|
||||
"evidence/forward-final-2026-11-06/cache-outage.txt": "fbe1eb591256b35a93a8fd3f4fb299caf22f57159f0b68c984f7c75e5e8be9fc",
|
||||
"evidence/forward-final-2026-11-06/failover-containers.txt": "4468a88f349073027fb07b2c81406e480e1b503b64fb828e58ecee688d7b2091",
|
||||
"evidence/forward-final-2026-11-06/clock-observation.json": "d7ae11b8c7970cc71775f46fa0a1474e113da4cae9229d8f28bf85312dd8acc4",
|
||||
"evidence/forward-final-2026-11-06/conditions-level4-start.json": "0cb8a9314b3afd4704c762b1b611f80beb9f30795475642ad2a22452f87993c0",
|
||||
"evidence/forward-final-2026-11-06/images.txt": "adb50435b1c24cc0deb913c49ed19e3fdd4287b73719d418accad013ebb7489d",
|
||||
"evidence/forward-final-2026-11-06/retained-volumes.txt": "ef4b62f79ed1cd0dc1e7313d65873c6a6ab35ff933bd8673a3431d3df5691449",
|
||||
"evidence/forward-final-2026-11-06/openspec-final.txt": "a34016edea7844300b98aaf38e713df8b4b217924b515881b33a599cd1603b24",
|
||||
"evidence/forward-final-2026-11-06/track-run3.json": "d190b7a1b4962c520d46931dc63601ed2655f1b4063bc7fea01b78b049a0bede",
|
||||
"evidence/forward-final-2026-11-06/source-name-status.txt": "81abf426ff31f0253a5ced9ae43fdbbf2a56460afe7b5d299a32c6f664196b93",
|
||||
"evidence/forward-final-2026-11-06/haproxy-errors.txt": "bf3b0b33f997fefc542860389e8a0fcc1856bbb17cd25b6103911610e87806a3",
|
||||
"evidence/forward-final-2026-11-06/persistence.txt": "06574967e1dab9742841d54cabb7b0109aa063316e08c8db5525234f084f92de",
|
||||
"evidence/forward-final-2026-11-06/smoke.txt": "709ddeeb3aa1c4e0b516d4b66038b0421929ee519665d79feccc907cc7bc89ac",
|
||||
"evidence/forward-final-2026-11-06/restore.txt": "96805ba0f8cba25cb90f385809d0a0a6c75b468a25f87006d729fedc51759c7d",
|
||||
"evidence/forward-final-2026-11-06/track-run2.json": "16fe12bd42f958a0d4962182da65bd4ee69e4b896fbce47daea724b0a1c618e8"
|
||||
}
|
||||
}
|
||||
@@ -1,90 +0,0 @@
|
||||
date: 2026-11-06T21:16:11Z commit: b30e2f6a84419d1ca64525ffb40df92183cccaef
|
||||
environment: {"COMPOSE_PROJECT_NAME": "mtusi2026lab5", "COMPOSE_FILE": "compose.yaml", "LB_HTTP_PORT": "18085", "LB_STATS_PORT": "25085", "BASE_URL": "http://127.0.0.1:18085", "NO_PROXY": "localhost,127.0.0.1,::1", "API_IMAGE": "mtusi-messenger:lab5-validation"}
|
||||
$ docker compose build
|
||||
#1 [internal] load local bake definitions
|
||||
#1 reading from stdin 434B done
|
||||
#1 DONE 0.0s
|
||||
|
||||
#2 [internal] load build definition from Dockerfile
|
||||
#2 transferring dockerfile: 1.65kB done
|
||||
#2 DONE 0.0s
|
||||
|
||||
#3 [internal] load metadata for ghcr.io/astral-sh/uv:0.9.7@sha256:ba4857bf2a068e9bc0e64eed8563b065908a4cd6bfb66b531a9c424c8e25e142
|
||||
#3 DONE 0.0s
|
||||
|
||||
#4 [internal] load metadata for docker.io/library/python:3.14-slim-trixie@sha256:51dafde81dbdb6ebde285137a295cf18a47ca95234fe388a343719cb97305b3d
|
||||
#4 DONE 1.7s
|
||||
|
||||
#5 [internal] load .dockerignore
|
||||
#5 transferring context: 453B done
|
||||
#5 DONE 0.0s
|
||||
|
||||
#6 FROM ghcr.io/astral-sh/uv:0.9.7@sha256:ba4857bf2a068e9bc0e64eed8563b065908a4cd6bfb66b531a9c424c8e25e142
|
||||
#6 resolve ghcr.io/astral-sh/uv:0.9.7@sha256:ba4857bf2a068e9bc0e64eed8563b065908a4cd6bfb66b531a9c424c8e25e142 0.0s done
|
||||
#6 DONE 0.0s
|
||||
|
||||
#7 [builder 1/7] FROM docker.io/library/python:3.14-slim-trixie@sha256:51dafde81dbdb6ebde285137a295cf18a47ca95234fe388a343719cb97305b3d
|
||||
#7 resolve docker.io/library/python:3.14-slim-trixie@sha256:51dafde81dbdb6ebde285137a295cf18a47ca95234fe388a343719cb97305b3d 0.0s done
|
||||
#7 DONE 0.0s
|
||||
|
||||
#8 [internal] load build context
|
||||
#8 transferring context: 51.62kB 0.0s done
|
||||
#8 DONE 0.0s
|
||||
|
||||
#9 [builder 2/7] COPY --from=ghcr.io/astral-sh/uv:0.9.7@sha256:ba4857bf2a068e9bc0e64eed8563b065908a4cd6bfb66b531a9c424c8e25e142 /uv /usr/local/bin/uv
|
||||
#9 CACHED
|
||||
|
||||
#10 [builder 4/7] COPY pyproject.toml uv.lock README.md ./
|
||||
#10 CACHED
|
||||
|
||||
#11 [builder 3/7] WORKDIR /build
|
||||
#11 CACHED
|
||||
|
||||
#12 [builder 5/7] RUN uv sync --locked --no-dev --no-install-project --no-editable
|
||||
#12 CACHED
|
||||
|
||||
#13 [builder 6/7] COPY src ./src
|
||||
#13 DONE 0.1s
|
||||
|
||||
#14 [builder 7/7] RUN uv sync --locked --no-dev --no-editable
|
||||
#14 0.280 Resolved 84 packages in 12ms
|
||||
#14 0.309 Building mtusi-messenger @ file:///build
|
||||
#14 1.851 Built mtusi-messenger @ file:///build
|
||||
#14 1.855 Prepared 1 package in 1.54s
|
||||
#14 1.859 Installed 1 package in 3ms
|
||||
#14 2.080 Bytecode compiled 2301 files in 221ms
|
||||
#14 2.080 + mtusi-messenger==1.5.0 (from file:///build)
|
||||
#14 DONE 2.1s
|
||||
|
||||
#15 [runtime 2/6] RUN groupadd --system --gid 10001 messenger && useradd --system --uid 10001 --gid messenger --no-create-home --shell /usr/sbin/nologin messenger
|
||||
#15 CACHED
|
||||
|
||||
#16 [runtime 3/6] COPY --from=builder --chown=root:root /opt/venv /opt/venv
|
||||
#16 DONE 0.4s
|
||||
|
||||
#17 [runtime 4/6] WORKDIR /app
|
||||
#17 DONE 0.0s
|
||||
|
||||
#18 [runtime 5/6] COPY --chown=root:root alembic.ini ./
|
||||
#18 DONE 0.0s
|
||||
|
||||
#19 [runtime 6/6] COPY --chown=root:root alembic ./alembic
|
||||
#19 DONE 0.0s
|
||||
|
||||
#20 exporting to image
|
||||
#20 exporting layers
|
||||
#20 exporting layers 3.0s done
|
||||
#20 exporting manifest sha256:5fa47645c125c166f4f83308eeda33e4679510f9548cae36141b4bcff1bec3cb
|
||||
#20 exporting manifest sha256:5fa47645c125c166f4f83308eeda33e4679510f9548cae36141b4bcff1bec3cb done
|
||||
#20 exporting config sha256:34e5f914cd69e5cff0b7745f9730b4d63d0a62480ef53de7b18914787a51c828 done
|
||||
#20 exporting attestation manifest sha256:043b67091fa616197172d98abd054f1cd803a4b540ceb0bc4a8e30232d37359d done
|
||||
#20 exporting manifest list sha256:9293b3138e99506510e947ba0cfc77ed4301f96344dd937d51d03e8c258121f2 done
|
||||
#20 naming to docker.io/library/mtusi-messenger:lab5-validation done
|
||||
#20 unpacking to docker.io/library/mtusi-messenger:lab5-validation
|
||||
#20 unpacking to docker.io/library/mtusi-messenger:lab5-validation 0.6s done
|
||||
#20 DONE 3.6s
|
||||
|
||||
#21 resolving provenance for metadata file
|
||||
#21 DONE 0.0s
|
||||
api Built
|
||||
exit_code: 0 elapsed_seconds: 9.093
|
||||
@@ -1,14 +0,0 @@
|
||||
date: 2026-11-06T21:29:59Z commit: b30e2f6a84419d1ca64525ffb40df92183cccaef
|
||||
environment: {}
|
||||
$ make check validate lint
|
||||
python3 scripts/check_contract.py
|
||||
PASS: offline skeleton structure, local refs and Python syntax; application NOT tested.
|
||||
.venv/bin/python scripts/validate_openapi.py
|
||||
PASS: full OpenAPI 3.1 and JSON Schema validation; application NOT tested.
|
||||
.venv/bin/ruff check src student-tests scripts/capture_evidence.py alembic scripts/scaling.py tools scripts/probe.py scripts/limits.py scripts/lab4_scenarios.py scripts/lab4_seed.py scripts/upload_memory.py scripts/reconcile_check.py scripts/reconcile_track.py scripts/make_images.py scripts/pipeline_suite.py scripts/pipeline_evidence.py
|
||||
All checks passed!
|
||||
.venv/bin/ruff format --check src student-tests scripts/capture_evidence.py alembic scripts/scaling.py tools scripts/probe.py scripts/limits.py scripts/lab4_scenarios.py scripts/lab4_seed.py scripts/upload_memory.py scripts/reconcile_check.py scripts/reconcile_track.py scripts/make_images.py scripts/pipeline_suite.py scripts/pipeline_evidence.py
|
||||
197 files already formatted
|
||||
.venv/bin/ty check src student-tests alembic
|
||||
All checks passed!
|
||||
exit_code: 0 elapsed_seconds: 0.535
|
||||
@@ -1,14 +0,0 @@
|
||||
date: 2026-11-06T21:15:52Z commit: b30e2f6a84419d1ca64525ffb40df92183cccaef
|
||||
environment: {}
|
||||
$ make check validate lint
|
||||
python3 scripts/check_contract.py
|
||||
PASS: offline skeleton structure, local refs and Python syntax; application NOT tested.
|
||||
.venv/bin/python scripts/validate_openapi.py
|
||||
PASS: full OpenAPI 3.1 and JSON Schema validation; application NOT tested.
|
||||
.venv/bin/ruff check src student-tests scripts/capture_evidence.py alembic scripts/scaling.py tools scripts/probe.py scripts/limits.py scripts/lab4_scenarios.py scripts/lab4_seed.py scripts/upload_memory.py scripts/reconcile_check.py scripts/reconcile_track.py scripts/make_images.py scripts/pipeline_suite.py scripts/pipeline_evidence.py
|
||||
All checks passed!
|
||||
.venv/bin/ruff format --check src student-tests scripts/capture_evidence.py alembic scripts/scaling.py tools scripts/probe.py scripts/limits.py scripts/lab4_scenarios.py scripts/lab4_seed.py scripts/upload_memory.py scripts/reconcile_check.py scripts/reconcile_track.py scripts/make_images.py scripts/pipeline_suite.py scripts/pipeline_evidence.py
|
||||
197 files already formatted
|
||||
.venv/bin/ty check src student-tests alembic
|
||||
All checks passed!
|
||||
exit_code: 0 elapsed_seconds: 0.580
|
||||
@@ -1,32 +0,0 @@
|
||||
{
|
||||
"source_sha": "b30e2f6a84419d1ca64525ffb40df92183cccaef",
|
||||
"at": "2026-11-06T21:26:03.661679Z",
|
||||
"result": "PASS",
|
||||
"accepted_ids": [
|
||||
"01a1b2bc-cdc1-7315-82e0-39f3e53d87db",
|
||||
"01a1b2bc-d211-7337-bd57-0ca1f3e33a0d",
|
||||
"01a1b2bc-d744-77c1-8352-989f80848cab",
|
||||
"01a1b2bc-dc37-7249-b7c3-f8901fb298de",
|
||||
"01a1b2bc-f161-7119-986f-bc7c8fd99bf0",
|
||||
"01a1b2bd-0192-70e7-a174-3275ca516e11",
|
||||
"01a1b2bd-13b0-712a-9275-1d3cdd2eb49a"
|
||||
],
|
||||
"rows": {
|
||||
"pending_outbox": [],
|
||||
"staging_left": [],
|
||||
"nonterminal": [],
|
||||
"duplicate_effects": []
|
||||
},
|
||||
"s3_objects": 10,
|
||||
"queues": {
|
||||
"attachments.process": [
|
||||
0,
|
||||
0
|
||||
],
|
||||
"attachments.process.dlq": [
|
||||
16,
|
||||
0
|
||||
]
|
||||
},
|
||||
"reason": "Read-only recheck after scheduled staging sweep; no scenario rerun. Initial no_orphans ran before the sweep."
|
||||
}
|
||||
@@ -1,36 +0,0 @@
|
||||
date: 2026-11-06T21:25:54Z commit: b30e2f6a84419d1ca64525ffb40df92183cccaef
|
||||
environment: {"COMPOSE_PROJECT_NAME": "mtusi2026lab5", "COMPOSE_FILE": "compose.yaml", "LB_HTTP_PORT": "18085", "LB_STATS_PORT": "25085", "BASE_URL": "http://127.0.0.1:18085", "NO_PROXY": "localhost,127.0.0.1,::1", "API_IMAGE": "mtusi-messenger:lab5-validation"}
|
||||
$ .venv/bin/python evidence/final-validation-2026-11-07/recheck-cleanup.py
|
||||
{
|
||||
"source_sha": "b30e2f6a84419d1ca64525ffb40df92183cccaef",
|
||||
"at": "2026-11-06T21:26:03.661679Z",
|
||||
"result": "PASS",
|
||||
"accepted_ids": [
|
||||
"01a1b2bc-cdc1-7315-82e0-39f3e53d87db",
|
||||
"01a1b2bc-d211-7337-bd57-0ca1f3e33a0d",
|
||||
"01a1b2bc-d744-77c1-8352-989f80848cab",
|
||||
"01a1b2bc-dc37-7249-b7c3-f8901fb298de",
|
||||
"01a1b2bc-f161-7119-986f-bc7c8fd99bf0",
|
||||
"01a1b2bd-0192-70e7-a174-3275ca516e11",
|
||||
"01a1b2bd-13b0-712a-9275-1d3cdd2eb49a"
|
||||
],
|
||||
"rows": {
|
||||
"pending_outbox": [],
|
||||
"staging_left": [],
|
||||
"nonterminal": [],
|
||||
"duplicate_effects": []
|
||||
},
|
||||
"s3_objects": 10,
|
||||
"queues": {
|
||||
"attachments.process": [
|
||||
0,
|
||||
0
|
||||
],
|
||||
"attachments.process.dlq": [
|
||||
16,
|
||||
0
|
||||
]
|
||||
},
|
||||
"reason": "Read-only recheck after scheduled staging sweep; no scenario rerun. Initial no_orphans ran before the sweep."
|
||||
}
|
||||
exit_code: 0 elapsed_seconds: 9.044
|
||||
@@ -1,896 +0,0 @@
|
||||
{
|
||||
"suite": "lab5-pipeline-idempotency",
|
||||
"started_at": "2026-11-06T21:22:22.429392Z",
|
||||
"source_sha": "b30e2f6a84419d1ca64525ffb40df92183cccaef",
|
||||
"config": {
|
||||
"base_url": "http://127.0.0.1:18085",
|
||||
"level": 5,
|
||||
"only": "duplicate_after_ready,retry_exhausted,crash_commit_publish,crash_after_s3_before_commit,crash_after_commit_before_ack,lease_expiry_fencing,replay_failed,malformed_message_dead_lettered,duplicate_in_flight,reorder_attempts,reorder_versions,stale_after_new_version",
|
||||
"expect_variants": "thumbnail,crop,optimized",
|
||||
"max_attempts": 5,
|
||||
"stall_seconds": 15.0,
|
||||
"compose": "docker compose",
|
||||
"compose_faults": "docker compose -f compose.yaml -f infra/compose.faults.yaml"
|
||||
},
|
||||
"invariants": [
|
||||
{
|
||||
"id": "terminal",
|
||||
"statement": "every 202 reaches its expected terminal state",
|
||||
"result": "PASS",
|
||||
"details": {
|
||||
"accepted": 11
|
||||
}
|
||||
},
|
||||
{
|
||||
"id": "single_effect",
|
||||
"statement": "one variant set per (attachment_id, pipeline_version, variant)",
|
||||
"result": "PASS",
|
||||
"details": {
|
||||
"rows": 0
|
||||
}
|
||||
},
|
||||
{
|
||||
"id": "no_ready_rollback",
|
||||
"statement": "ready never returns to queued or processing",
|
||||
"result": "PASS",
|
||||
"details": {
|
||||
"traced": 11
|
||||
}
|
||||
},
|
||||
{
|
||||
"id": "monotonic_publication",
|
||||
"statement": "published_version only moves forward",
|
||||
"result": "PASS",
|
||||
"details": {
|
||||
"sampled": 8
|
||||
}
|
||||
},
|
||||
{
|
||||
"id": "bytes_match_metadata",
|
||||
"statement": "sha256, size and real dimensions match served bytes",
|
||||
"result": "PASS",
|
||||
"details": {
|
||||
"verified": 10
|
||||
}
|
||||
},
|
||||
{
|
||||
"id": "bounded_attempts",
|
||||
"statement": "attempt <= JOB_MAX_ATTEMPTS",
|
||||
"result": "PASS",
|
||||
"details": {
|
||||
"rows": 0
|
||||
}
|
||||
},
|
||||
{
|
||||
"id": "no_orphans",
|
||||
"statement": "no pending outbox, messages, dead letters, staging, objects",
|
||||
"result": "PASS",
|
||||
"details": {
|
||||
"queues": {
|
||||
"attachments.process": [
|
||||
0,
|
||||
0
|
||||
],
|
||||
"attachments.process.dlq": [
|
||||
16,
|
||||
0
|
||||
]
|
||||
},
|
||||
"s3_objects": 47,
|
||||
"scoped_attachments": 11
|
||||
}
|
||||
},
|
||||
{
|
||||
"id": "no_lost_202",
|
||||
"statement": "every 202 is present in PostgreSQL and the API",
|
||||
"result": "PASS",
|
||||
"details": {
|
||||
"accepted": 11
|
||||
}
|
||||
}
|
||||
],
|
||||
"accepted_ids": [
|
||||
"01a1b2bd-dee8-7491-a9c1-90e56c2bb9e4",
|
||||
"01a1b2bd-fe45-77cf-b9ef-53b5e01c32ac",
|
||||
"01a1b2be-4b72-71c4-99f1-b93ee6662a6b",
|
||||
"01a1b2be-6f6f-7200-a261-63dd237e9ec8",
|
||||
"01a1b2be-a1dc-76f3-9861-667de097c2af",
|
||||
"01a1b2be-c7f7-7326-b272-a341993c5bf9",
|
||||
"01a1b2bf-47a0-77e8-97ed-907199a6caa7",
|
||||
"01a1b2bf-b3a8-7754-af89-7d174f4540d1",
|
||||
"01a1b2bf-ed3f-721d-ae2a-dd55e7ab970d",
|
||||
"01a1b2c0-286d-77c5-8019-58526f2e09c5",
|
||||
"01a1b2c0-5422-77cd-88f8-cd2c123fe78d"
|
||||
],
|
||||
"scenarios": [
|
||||
{
|
||||
"name": "duplicate_after_ready",
|
||||
"level": 3,
|
||||
"window": "redelivery of a finished job",
|
||||
"seconds": 4.4,
|
||||
"result": "PASS",
|
||||
"observed": {
|
||||
"attachment_id": "01a1b2bd-dee8-7491-a9c1-90e56c2bb9e4",
|
||||
"events": [
|
||||
{
|
||||
"kind": "enqueued",
|
||||
"attempt": 1
|
||||
},
|
||||
{
|
||||
"kind": "claimed",
|
||||
"attempt": 1
|
||||
},
|
||||
{
|
||||
"kind": "done",
|
||||
"attempt": 1
|
||||
},
|
||||
{
|
||||
"kind": "duplicate_noop",
|
||||
"attempt": 1
|
||||
}
|
||||
]
|
||||
}
|
||||
},
|
||||
{
|
||||
"name": "retry_exhausted",
|
||||
"level": 3,
|
||||
"window": "transient error until JOB_MAX_ATTEMPTS",
|
||||
"seconds": 19.6,
|
||||
"result": "PASS",
|
||||
"observed": {
|
||||
"attachment_id": "01a1b2bd-fe45-77cf-b9ef-53b5e01c32ac",
|
||||
"jobs": [
|
||||
{
|
||||
"job_id": "01a1b2bd-fe54-7252-944d-9d5a09b3019d",
|
||||
"pipeline_version": 1,
|
||||
"status": "failed",
|
||||
"attempt": 5
|
||||
}
|
||||
]
|
||||
}
|
||||
},
|
||||
{
|
||||
"name": "crash_commit_publish",
|
||||
"level": 4,
|
||||
"window": "after COMMIT, before publish",
|
||||
"seconds": 9.2,
|
||||
"result": "PASS",
|
||||
"observed": {
|
||||
"attachment_id": "01a1b2be-4b72-71c4-99f1-b93ee6662a6b",
|
||||
"exit_code": 137,
|
||||
"after_crash": {
|
||||
"outbox_published": false,
|
||||
"status": "queued",
|
||||
"containers": [
|
||||
"mtusi2026lab5-relay-1 ee568583263a exited Exited (137) 1 second ago"
|
||||
]
|
||||
},
|
||||
"variants": [
|
||||
{
|
||||
"pipeline_version": 1,
|
||||
"name": "crop",
|
||||
"sha256": "97bf1400b30a28c19420a30161c944f57b5e7d613533b76afe6ab2531cba0143",
|
||||
"size_bytes": 1820,
|
||||
"object_key": "variants/01a1b2be-4b72-71c4-99f1-b93ee6662a6b/1/crop-97bf1400b30a28c1.jpg"
|
||||
},
|
||||
{
|
||||
"pipeline_version": 1,
|
||||
"name": "optimized",
|
||||
"sha256": "1090d84ed8411226010ae498b08e1b9e6d81c8eee02ee77143a0dc327b894beb",
|
||||
"size_bytes": 2462,
|
||||
"object_key": "variants/01a1b2be-4b72-71c4-99f1-b93ee6662a6b/1/optimized-1090d84ed8411226.webp"
|
||||
},
|
||||
{
|
||||
"pipeline_version": 1,
|
||||
"name": "thumbnail",
|
||||
"sha256": "7bc40bf315c8e18e907889b23514d978be213a44223d64b737290188ee808594",
|
||||
"size_bytes": 4679,
|
||||
"object_key": "variants/01a1b2be-4b72-71c4-99f1-b93ee6662a6b/1/thumbnail-7bc40bf315c8e18e.jpg"
|
||||
}
|
||||
]
|
||||
}
|
||||
},
|
||||
{
|
||||
"name": "crash_after_s3_before_commit",
|
||||
"level": 4,
|
||||
"window": "after S3 write, before COMMIT",
|
||||
"seconds": 12.4,
|
||||
"result": "PASS",
|
||||
"observed": {
|
||||
"attachment_id": "01a1b2be-6f6f-7200-a261-63dd237e9ec8",
|
||||
"exit_code": 137,
|
||||
"after_crash": {
|
||||
"status": "processing",
|
||||
"variant_rows": 0,
|
||||
"containers": [
|
||||
"mtusi2026lab5-worker-1 b9de1e78db3d exited Exited (137) Less than a second ago"
|
||||
]
|
||||
},
|
||||
"variants": [
|
||||
{
|
||||
"pipeline_version": 1,
|
||||
"name": "crop",
|
||||
"sha256": "97bf1400b30a28c19420a30161c944f57b5e7d613533b76afe6ab2531cba0143",
|
||||
"size_bytes": 1820,
|
||||
"object_key": "variants/01a1b2be-6f6f-7200-a261-63dd237e9ec8/1/crop-97bf1400b30a28c1.jpg"
|
||||
},
|
||||
{
|
||||
"pipeline_version": 1,
|
||||
"name": "optimized",
|
||||
"sha256": "1090d84ed8411226010ae498b08e1b9e6d81c8eee02ee77143a0dc327b894beb",
|
||||
"size_bytes": 2462,
|
||||
"object_key": "variants/01a1b2be-6f6f-7200-a261-63dd237e9ec8/1/optimized-1090d84ed8411226.webp"
|
||||
},
|
||||
{
|
||||
"pipeline_version": 1,
|
||||
"name": "thumbnail",
|
||||
"sha256": "7bc40bf315c8e18e907889b23514d978be213a44223d64b737290188ee808594",
|
||||
"size_bytes": 4679,
|
||||
"object_key": "variants/01a1b2be-6f6f-7200-a261-63dd237e9ec8/1/thumbnail-7bc40bf315c8e18e.jpg"
|
||||
}
|
||||
]
|
||||
}
|
||||
},
|
||||
{
|
||||
"name": "crash_after_commit_before_ack",
|
||||
"level": 4,
|
||||
"window": "after COMMIT, before ack",
|
||||
"seconds": 10.3,
|
||||
"result": "PASS",
|
||||
"observed": {
|
||||
"attachment_id": "01a1b2be-a1dc-76f3-9861-667de097c2af",
|
||||
"exit_code": 137,
|
||||
"after_crash": {
|
||||
"status": "ready",
|
||||
"variants": [
|
||||
{
|
||||
"pipeline_version": 1,
|
||||
"name": "crop",
|
||||
"sha256": "97bf1400b30a28c19420a30161c944f57b5e7d613533b76afe6ab2531cba0143",
|
||||
"size_bytes": 1820,
|
||||
"object_key": "variants/01a1b2be-a1dc-76f3-9861-667de097c2af/1/crop-97bf1400b30a28c1.jpg"
|
||||
},
|
||||
{
|
||||
"pipeline_version": 1,
|
||||
"name": "optimized",
|
||||
"sha256": "1090d84ed8411226010ae498b08e1b9e6d81c8eee02ee77143a0dc327b894beb",
|
||||
"size_bytes": 2462,
|
||||
"object_key": "variants/01a1b2be-a1dc-76f3-9861-667de097c2af/1/optimized-1090d84ed8411226.webp"
|
||||
},
|
||||
{
|
||||
"pipeline_version": 1,
|
||||
"name": "thumbnail",
|
||||
"sha256": "7bc40bf315c8e18e907889b23514d978be213a44223d64b737290188ee808594",
|
||||
"size_bytes": 4679,
|
||||
"object_key": "variants/01a1b2be-a1dc-76f3-9861-667de097c2af/1/thumbnail-7bc40bf315c8e18e.jpg"
|
||||
}
|
||||
],
|
||||
"queues": {
|
||||
"attachments.process": [
|
||||
0,
|
||||
0
|
||||
],
|
||||
"attachments.process.dlq": [
|
||||
15,
|
||||
0
|
||||
]
|
||||
},
|
||||
"containers": [
|
||||
"mtusi2026lab5-worker-1 b78cddfd65c9 exited Exited (137) 1 second ago"
|
||||
]
|
||||
},
|
||||
"variants": [
|
||||
{
|
||||
"pipeline_version": 1,
|
||||
"name": "crop",
|
||||
"sha256": "97bf1400b30a28c19420a30161c944f57b5e7d613533b76afe6ab2531cba0143",
|
||||
"size_bytes": 1820,
|
||||
"object_key": "variants/01a1b2be-a1dc-76f3-9861-667de097c2af/1/crop-97bf1400b30a28c1.jpg"
|
||||
},
|
||||
{
|
||||
"pipeline_version": 1,
|
||||
"name": "optimized",
|
||||
"sha256": "1090d84ed8411226010ae498b08e1b9e6d81c8eee02ee77143a0dc327b894beb",
|
||||
"size_bytes": 2462,
|
||||
"object_key": "variants/01a1b2be-a1dc-76f3-9861-667de097c2af/1/optimized-1090d84ed8411226.webp"
|
||||
},
|
||||
{
|
||||
"pipeline_version": 1,
|
||||
"name": "thumbnail",
|
||||
"sha256": "7bc40bf315c8e18e907889b23514d978be213a44223d64b737290188ee808594",
|
||||
"size_bytes": 4679,
|
||||
"object_key": "variants/01a1b2be-a1dc-76f3-9861-667de097c2af/1/thumbnail-7bc40bf315c8e18e.jpg"
|
||||
}
|
||||
]
|
||||
}
|
||||
},
|
||||
{
|
||||
"name": "lease_expiry_fencing",
|
||||
"level": 4,
|
||||
"window": "stalled worker, lease expiry",
|
||||
"seconds": 32.7,
|
||||
"result": "PASS",
|
||||
"observed": {
|
||||
"attachment_id": "01a1b2be-c7f7-7326-b272-a341993c5bf9",
|
||||
"jobs": [
|
||||
{
|
||||
"job_id": "01a1b2be-c805-75f5-95ab-9aabfea704fb",
|
||||
"pipeline_version": 1,
|
||||
"status": "done",
|
||||
"attempt": 2
|
||||
}
|
||||
],
|
||||
"events": [
|
||||
{
|
||||
"kind": "enqueued",
|
||||
"attempt": 1
|
||||
},
|
||||
{
|
||||
"kind": "claimed",
|
||||
"attempt": 1
|
||||
},
|
||||
{
|
||||
"kind": "lease_expired",
|
||||
"attempt": 2
|
||||
},
|
||||
{
|
||||
"kind": "claimed",
|
||||
"attempt": 2
|
||||
},
|
||||
{
|
||||
"kind": "done",
|
||||
"attempt": 2
|
||||
},
|
||||
{
|
||||
"kind": "fenced",
|
||||
"attempt": 1
|
||||
}
|
||||
]
|
||||
}
|
||||
},
|
||||
{
|
||||
"name": "replay_failed",
|
||||
"level": 4,
|
||||
"window": "operator replay",
|
||||
"seconds": 24.6,
|
||||
"result": "PASS",
|
||||
"observed": {
|
||||
"attachment_id": "01a1b2bf-47a0-77e8-97ed-907199a6caa7",
|
||||
"replay": {
|
||||
"result": "replayed",
|
||||
"attachment_id": "01a1b2bf-47a0-77e8-97ed-907199a6caa7",
|
||||
"operator": "cli"
|
||||
},
|
||||
"replay_of_ready": {
|
||||
"result": "noop",
|
||||
"attachment_id": "01a1b2bf-47a0-77e8-97ed-907199a6caa7",
|
||||
"operator": "cli"
|
||||
},
|
||||
"events": [
|
||||
{
|
||||
"kind": "enqueued",
|
||||
"attempt": 1
|
||||
},
|
||||
{
|
||||
"kind": "claimed",
|
||||
"attempt": 1
|
||||
},
|
||||
{
|
||||
"kind": "retry_scheduled",
|
||||
"attempt": 2
|
||||
},
|
||||
{
|
||||
"kind": "claimed",
|
||||
"attempt": 2
|
||||
},
|
||||
{
|
||||
"kind": "retry_scheduled",
|
||||
"attempt": 3
|
||||
},
|
||||
{
|
||||
"kind": "claimed",
|
||||
"attempt": 3
|
||||
},
|
||||
{
|
||||
"kind": "retry_scheduled",
|
||||
"attempt": 4
|
||||
},
|
||||
{
|
||||
"kind": "claimed",
|
||||
"attempt": 4
|
||||
},
|
||||
{
|
||||
"kind": "retry_scheduled",
|
||||
"attempt": 5
|
||||
},
|
||||
{
|
||||
"kind": "claimed",
|
||||
"attempt": 5
|
||||
},
|
||||
{
|
||||
"kind": "failed",
|
||||
"attempt": 5
|
||||
},
|
||||
{
|
||||
"kind": "replayed",
|
||||
"attempt": 1
|
||||
},
|
||||
{
|
||||
"kind": "claimed",
|
||||
"attempt": 1
|
||||
},
|
||||
{
|
||||
"kind": "done",
|
||||
"attempt": 1
|
||||
},
|
||||
{
|
||||
"kind": "replay_noop",
|
||||
"attempt": 1
|
||||
}
|
||||
]
|
||||
}
|
||||
},
|
||||
{
|
||||
"name": "malformed_message_dead_lettered",
|
||||
"level": 4,
|
||||
"window": "message that is not a job goes to the DLQ",
|
||||
"seconds": 6.5,
|
||||
"result": "PASS",
|
||||
"observed": {
|
||||
"dead_letters": 1
|
||||
}
|
||||
},
|
||||
{
|
||||
"name": "duplicate_in_flight",
|
||||
"level": 5,
|
||||
"window": "two copies of one job in flight",
|
||||
"seconds": 14.7,
|
||||
"result": "PASS",
|
||||
"observed": {
|
||||
"attachment_id": "01a1b2bf-b3a8-7754-af89-7d174f4540d1",
|
||||
"variants": [
|
||||
{
|
||||
"pipeline_version": 1,
|
||||
"name": "crop",
|
||||
"sha256": "97bf1400b30a28c19420a30161c944f57b5e7d613533b76afe6ab2531cba0143",
|
||||
"size_bytes": 1820,
|
||||
"object_key": "variants/01a1b2bf-b3a8-7754-af89-7d174f4540d1/1/crop-97bf1400b30a28c1.jpg"
|
||||
},
|
||||
{
|
||||
"pipeline_version": 1,
|
||||
"name": "optimized",
|
||||
"sha256": "1090d84ed8411226010ae498b08e1b9e6d81c8eee02ee77143a0dc327b894beb",
|
||||
"size_bytes": 2462,
|
||||
"object_key": "variants/01a1b2bf-b3a8-7754-af89-7d174f4540d1/1/optimized-1090d84ed8411226.webp"
|
||||
},
|
||||
{
|
||||
"pipeline_version": 1,
|
||||
"name": "thumbnail",
|
||||
"sha256": "7bc40bf315c8e18e907889b23514d978be213a44223d64b737290188ee808594",
|
||||
"size_bytes": 4679,
|
||||
"object_key": "variants/01a1b2bf-b3a8-7754-af89-7d174f4540d1/1/thumbnail-7bc40bf315c8e18e.jpg"
|
||||
}
|
||||
],
|
||||
"events": [
|
||||
{
|
||||
"kind": "enqueued",
|
||||
"attempt": 1
|
||||
},
|
||||
{
|
||||
"kind": "claimed",
|
||||
"attempt": 1
|
||||
},
|
||||
{
|
||||
"kind": "duplicate_noop",
|
||||
"attempt": 1
|
||||
},
|
||||
{
|
||||
"kind": "done",
|
||||
"attempt": 1
|
||||
}
|
||||
]
|
||||
}
|
||||
},
|
||||
{
|
||||
"name": "reorder_attempts",
|
||||
"level": 5,
|
||||
"window": "attempt 2 delivered before attempt 1",
|
||||
"seconds": 15.1,
|
||||
"result": "PASS",
|
||||
"observed": {
|
||||
"attachment_id": "01a1b2bf-ed3f-721d-ae2a-dd55e7ab970d",
|
||||
"jobs": [
|
||||
{
|
||||
"job_id": "01a1b2bf-ed46-71ef-85b7-54e89e3b1eec",
|
||||
"pipeline_version": 1,
|
||||
"status": "done",
|
||||
"attempt": 1
|
||||
}
|
||||
],
|
||||
"events": [
|
||||
{
|
||||
"kind": "enqueued",
|
||||
"attempt": 1
|
||||
},
|
||||
{
|
||||
"kind": "claimed",
|
||||
"attempt": 1
|
||||
},
|
||||
{
|
||||
"kind": "duplicate_noop",
|
||||
"attempt": 2
|
||||
},
|
||||
{
|
||||
"kind": "done",
|
||||
"attempt": 1
|
||||
}
|
||||
]
|
||||
}
|
||||
},
|
||||
{
|
||||
"name": "reorder_versions",
|
||||
"level": 5,
|
||||
"window": "v2 delivered before v1",
|
||||
"seconds": 11.6,
|
||||
"result": "PASS",
|
||||
"observed": {
|
||||
"attachment_id": "01a1b2c0-286d-77c5-8019-58526f2e09c5",
|
||||
"jobs": [
|
||||
{
|
||||
"job_id": "01a1b2c0-2874-74f6-b880-6970766e70ee",
|
||||
"pipeline_version": 1,
|
||||
"status": "superseded",
|
||||
"attempt": 1
|
||||
},
|
||||
{
|
||||
"job_id": "01a1b2c0-2bd0-748f-9b84-334656652efc",
|
||||
"pipeline_version": 2,
|
||||
"status": "done",
|
||||
"attempt": 1
|
||||
}
|
||||
],
|
||||
"v2_before_v1": {
|
||||
"status": "ready",
|
||||
"public": [
|
||||
{
|
||||
"name": "crop",
|
||||
"content_type": "image/jpeg",
|
||||
"size_bytes": 2142,
|
||||
"width": 128,
|
||||
"height": 128,
|
||||
"sha256": "5b6fb2a66216f8ca038542acdd8482fca9d1ad79193d60ae74de3989048ec0a4"
|
||||
},
|
||||
{
|
||||
"name": "optimized",
|
||||
"content_type": "image/webp",
|
||||
"size_bytes": 2790,
|
||||
"width": 320,
|
||||
"height": 200,
|
||||
"sha256": "fe520c978bd45fc8f1b85863dc9dc6fc98954b45d7fe803e8e4c6b681ddc1957"
|
||||
},
|
||||
{
|
||||
"name": "thumbnail",
|
||||
"content_type": "image/jpeg",
|
||||
"size_bytes": 5628,
|
||||
"width": 256,
|
||||
"height": 160,
|
||||
"sha256": "fa0db661078d4da91b241edc8b416de7755db9c9c79ae704a620ca7ad534e308"
|
||||
}
|
||||
],
|
||||
"rows": [
|
||||
{
|
||||
"pipeline_version": 2,
|
||||
"name": "crop",
|
||||
"sha256": "5b6fb2a66216f8ca038542acdd8482fca9d1ad79193d60ae74de3989048ec0a4",
|
||||
"size_bytes": 2142,
|
||||
"object_key": "variants/01a1b2c0-286d-77c5-8019-58526f2e09c5/2/crop-5b6fb2a66216f8ca.jpg"
|
||||
},
|
||||
{
|
||||
"pipeline_version": 2,
|
||||
"name": "optimized",
|
||||
"sha256": "fe520c978bd45fc8f1b85863dc9dc6fc98954b45d7fe803e8e4c6b681ddc1957",
|
||||
"size_bytes": 2790,
|
||||
"object_key": "variants/01a1b2c0-286d-77c5-8019-58526f2e09c5/2/optimized-fe520c978bd45fc8.webp"
|
||||
},
|
||||
{
|
||||
"pipeline_version": 2,
|
||||
"name": "thumbnail",
|
||||
"sha256": "fa0db661078d4da91b241edc8b416de7755db9c9c79ae704a620ca7ad534e308",
|
||||
"size_bytes": 5628,
|
||||
"object_key": "variants/01a1b2c0-286d-77c5-8019-58526f2e09c5/2/thumbnail-fa0db661078d4da9.jpg"
|
||||
}
|
||||
],
|
||||
"published": 2
|
||||
},
|
||||
"after_v1": {
|
||||
"status": "ready",
|
||||
"public": [
|
||||
{
|
||||
"name": "crop",
|
||||
"content_type": "image/jpeg",
|
||||
"size_bytes": 2142,
|
||||
"width": 128,
|
||||
"height": 128,
|
||||
"sha256": "5b6fb2a66216f8ca038542acdd8482fca9d1ad79193d60ae74de3989048ec0a4"
|
||||
},
|
||||
{
|
||||
"name": "optimized",
|
||||
"content_type": "image/webp",
|
||||
"size_bytes": 2790,
|
||||
"width": 320,
|
||||
"height": 200,
|
||||
"sha256": "fe520c978bd45fc8f1b85863dc9dc6fc98954b45d7fe803e8e4c6b681ddc1957"
|
||||
},
|
||||
{
|
||||
"name": "thumbnail",
|
||||
"content_type": "image/jpeg",
|
||||
"size_bytes": 5628,
|
||||
"width": 256,
|
||||
"height": 160,
|
||||
"sha256": "fa0db661078d4da91b241edc8b416de7755db9c9c79ae704a620ca7ad534e308"
|
||||
}
|
||||
],
|
||||
"rows": [
|
||||
{
|
||||
"pipeline_version": 1,
|
||||
"name": "crop",
|
||||
"sha256": "97bf1400b30a28c19420a30161c944f57b5e7d613533b76afe6ab2531cba0143",
|
||||
"size_bytes": 1820,
|
||||
"object_key": "variants/01a1b2c0-286d-77c5-8019-58526f2e09c5/1/crop-97bf1400b30a28c1.jpg"
|
||||
},
|
||||
{
|
||||
"pipeline_version": 1,
|
||||
"name": "optimized",
|
||||
"sha256": "1090d84ed8411226010ae498b08e1b9e6d81c8eee02ee77143a0dc327b894beb",
|
||||
"size_bytes": 2462,
|
||||
"object_key": "variants/01a1b2c0-286d-77c5-8019-58526f2e09c5/1/optimized-1090d84ed8411226.webp"
|
||||
},
|
||||
{
|
||||
"pipeline_version": 1,
|
||||
"name": "thumbnail",
|
||||
"sha256": "7bc40bf315c8e18e907889b23514d978be213a44223d64b737290188ee808594",
|
||||
"size_bytes": 4679,
|
||||
"object_key": "variants/01a1b2c0-286d-77c5-8019-58526f2e09c5/1/thumbnail-7bc40bf315c8e18e.jpg"
|
||||
},
|
||||
{
|
||||
"pipeline_version": 2,
|
||||
"name": "crop",
|
||||
"sha256": "5b6fb2a66216f8ca038542acdd8482fca9d1ad79193d60ae74de3989048ec0a4",
|
||||
"size_bytes": 2142,
|
||||
"object_key": "variants/01a1b2c0-286d-77c5-8019-58526f2e09c5/2/crop-5b6fb2a66216f8ca.jpg"
|
||||
},
|
||||
{
|
||||
"pipeline_version": 2,
|
||||
"name": "optimized",
|
||||
"sha256": "fe520c978bd45fc8f1b85863dc9dc6fc98954b45d7fe803e8e4c6b681ddc1957",
|
||||
"size_bytes": 2790,
|
||||
"object_key": "variants/01a1b2c0-286d-77c5-8019-58526f2e09c5/2/optimized-fe520c978bd45fc8.webp"
|
||||
},
|
||||
{
|
||||
"pipeline_version": 2,
|
||||
"name": "thumbnail",
|
||||
"sha256": "fa0db661078d4da91b241edc8b416de7755db9c9c79ae704a620ca7ad534e308",
|
||||
"size_bytes": 5628,
|
||||
"object_key": "variants/01a1b2c0-286d-77c5-8019-58526f2e09c5/2/thumbnail-fa0db661078d4da9.jpg"
|
||||
}
|
||||
],
|
||||
"published": 2
|
||||
}
|
||||
}
|
||||
},
|
||||
{
|
||||
"name": "stale_after_new_version",
|
||||
"level": 5,
|
||||
"window": "v1 job after v2 is published",
|
||||
"seconds": 4.7,
|
||||
"result": "PASS",
|
||||
"observed": {
|
||||
"attachment_id": "01a1b2c0-5422-77cd-88f8-cd2c123fe78d",
|
||||
"published_version": 2,
|
||||
"v1": {
|
||||
"status": "ready",
|
||||
"public": [
|
||||
{
|
||||
"name": "crop",
|
||||
"content_type": "image/jpeg",
|
||||
"size_bytes": 1820,
|
||||
"width": 128,
|
||||
"height": 128,
|
||||
"sha256": "97bf1400b30a28c19420a30161c944f57b5e7d613533b76afe6ab2531cba0143"
|
||||
},
|
||||
{
|
||||
"name": "optimized",
|
||||
"content_type": "image/webp",
|
||||
"size_bytes": 2462,
|
||||
"width": 320,
|
||||
"height": 200,
|
||||
"sha256": "1090d84ed8411226010ae498b08e1b9e6d81c8eee02ee77143a0dc327b894beb"
|
||||
},
|
||||
{
|
||||
"name": "thumbnail",
|
||||
"content_type": "image/jpeg",
|
||||
"size_bytes": 4679,
|
||||
"width": 256,
|
||||
"height": 160,
|
||||
"sha256": "7bc40bf315c8e18e907889b23514d978be213a44223d64b737290188ee808594"
|
||||
}
|
||||
],
|
||||
"rows": [
|
||||
{
|
||||
"pipeline_version": 1,
|
||||
"name": "crop",
|
||||
"sha256": "97bf1400b30a28c19420a30161c944f57b5e7d613533b76afe6ab2531cba0143",
|
||||
"size_bytes": 1820,
|
||||
"object_key": "variants/01a1b2c0-5422-77cd-88f8-cd2c123fe78d/1/crop-97bf1400b30a28c1.jpg"
|
||||
},
|
||||
{
|
||||
"pipeline_version": 1,
|
||||
"name": "optimized",
|
||||
"sha256": "1090d84ed8411226010ae498b08e1b9e6d81c8eee02ee77143a0dc327b894beb",
|
||||
"size_bytes": 2462,
|
||||
"object_key": "variants/01a1b2c0-5422-77cd-88f8-cd2c123fe78d/1/optimized-1090d84ed8411226.webp"
|
||||
},
|
||||
{
|
||||
"pipeline_version": 1,
|
||||
"name": "thumbnail",
|
||||
"sha256": "7bc40bf315c8e18e907889b23514d978be213a44223d64b737290188ee808594",
|
||||
"size_bytes": 4679,
|
||||
"object_key": "variants/01a1b2c0-5422-77cd-88f8-cd2c123fe78d/1/thumbnail-7bc40bf315c8e18e.jpg"
|
||||
}
|
||||
],
|
||||
"published": 1
|
||||
},
|
||||
"v2_before_stale": {
|
||||
"status": "ready",
|
||||
"public": [
|
||||
{
|
||||
"name": "crop",
|
||||
"content_type": "image/jpeg",
|
||||
"size_bytes": 2142,
|
||||
"width": 128,
|
||||
"height": 128,
|
||||
"sha256": "5b6fb2a66216f8ca038542acdd8482fca9d1ad79193d60ae74de3989048ec0a4"
|
||||
},
|
||||
{
|
||||
"name": "optimized",
|
||||
"content_type": "image/webp",
|
||||
"size_bytes": 2790,
|
||||
"width": 320,
|
||||
"height": 200,
|
||||
"sha256": "fe520c978bd45fc8f1b85863dc9dc6fc98954b45d7fe803e8e4c6b681ddc1957"
|
||||
},
|
||||
{
|
||||
"name": "thumbnail",
|
||||
"content_type": "image/jpeg",
|
||||
"size_bytes": 5628,
|
||||
"width": 256,
|
||||
"height": 160,
|
||||
"sha256": "fa0db661078d4da91b241edc8b416de7755db9c9c79ae704a620ca7ad534e308"
|
||||
}
|
||||
],
|
||||
"rows": [
|
||||
{
|
||||
"pipeline_version": 1,
|
||||
"name": "crop",
|
||||
"sha256": "97bf1400b30a28c19420a30161c944f57b5e7d613533b76afe6ab2531cba0143",
|
||||
"size_bytes": 1820,
|
||||
"object_key": "variants/01a1b2c0-5422-77cd-88f8-cd2c123fe78d/1/crop-97bf1400b30a28c1.jpg"
|
||||
},
|
||||
{
|
||||
"pipeline_version": 1,
|
||||
"name": "optimized",
|
||||
"sha256": "1090d84ed8411226010ae498b08e1b9e6d81c8eee02ee77143a0dc327b894beb",
|
||||
"size_bytes": 2462,
|
||||
"object_key": "variants/01a1b2c0-5422-77cd-88f8-cd2c123fe78d/1/optimized-1090d84ed8411226.webp"
|
||||
},
|
||||
{
|
||||
"pipeline_version": 1,
|
||||
"name": "thumbnail",
|
||||
"sha256": "7bc40bf315c8e18e907889b23514d978be213a44223d64b737290188ee808594",
|
||||
"size_bytes": 4679,
|
||||
"object_key": "variants/01a1b2c0-5422-77cd-88f8-cd2c123fe78d/1/thumbnail-7bc40bf315c8e18e.jpg"
|
||||
},
|
||||
{
|
||||
"pipeline_version": 2,
|
||||
"name": "crop",
|
||||
"sha256": "5b6fb2a66216f8ca038542acdd8482fca9d1ad79193d60ae74de3989048ec0a4",
|
||||
"size_bytes": 2142,
|
||||
"object_key": "variants/01a1b2c0-5422-77cd-88f8-cd2c123fe78d/2/crop-5b6fb2a66216f8ca.jpg"
|
||||
},
|
||||
{
|
||||
"pipeline_version": 2,
|
||||
"name": "optimized",
|
||||
"sha256": "fe520c978bd45fc8f1b85863dc9dc6fc98954b45d7fe803e8e4c6b681ddc1957",
|
||||
"size_bytes": 2790,
|
||||
"object_key": "variants/01a1b2c0-5422-77cd-88f8-cd2c123fe78d/2/optimized-fe520c978bd45fc8.webp"
|
||||
},
|
||||
{
|
||||
"pipeline_version": 2,
|
||||
"name": "thumbnail",
|
||||
"sha256": "fa0db661078d4da91b241edc8b416de7755db9c9c79ae704a620ca7ad534e308",
|
||||
"size_bytes": 5628,
|
||||
"object_key": "variants/01a1b2c0-5422-77cd-88f8-cd2c123fe78d/2/thumbnail-fa0db661078d4da9.jpg"
|
||||
}
|
||||
],
|
||||
"published": 2
|
||||
},
|
||||
"v2_after_stale": {
|
||||
"status": "ready",
|
||||
"public": [
|
||||
{
|
||||
"name": "crop",
|
||||
"content_type": "image/jpeg",
|
||||
"size_bytes": 2142,
|
||||
"width": 128,
|
||||
"height": 128,
|
||||
"sha256": "5b6fb2a66216f8ca038542acdd8482fca9d1ad79193d60ae74de3989048ec0a4"
|
||||
},
|
||||
{
|
||||
"name": "optimized",
|
||||
"content_type": "image/webp",
|
||||
"size_bytes": 2790,
|
||||
"width": 320,
|
||||
"height": 200,
|
||||
"sha256": "fe520c978bd45fc8f1b85863dc9dc6fc98954b45d7fe803e8e4c6b681ddc1957"
|
||||
},
|
||||
{
|
||||
"name": "thumbnail",
|
||||
"content_type": "image/jpeg",
|
||||
"size_bytes": 5628,
|
||||
"width": 256,
|
||||
"height": 160,
|
||||
"sha256": "fa0db661078d4da91b241edc8b416de7755db9c9c79ae704a620ca7ad534e308"
|
||||
}
|
||||
],
|
||||
"rows": [
|
||||
{
|
||||
"pipeline_version": 1,
|
||||
"name": "crop",
|
||||
"sha256": "97bf1400b30a28c19420a30161c944f57b5e7d613533b76afe6ab2531cba0143",
|
||||
"size_bytes": 1820,
|
||||
"object_key": "variants/01a1b2c0-5422-77cd-88f8-cd2c123fe78d/1/crop-97bf1400b30a28c1.jpg"
|
||||
},
|
||||
{
|
||||
"pipeline_version": 1,
|
||||
"name": "optimized",
|
||||
"sha256": "1090d84ed8411226010ae498b08e1b9e6d81c8eee02ee77143a0dc327b894beb",
|
||||
"size_bytes": 2462,
|
||||
"object_key": "variants/01a1b2c0-5422-77cd-88f8-cd2c123fe78d/1/optimized-1090d84ed8411226.webp"
|
||||
},
|
||||
{
|
||||
"pipeline_version": 1,
|
||||
"name": "thumbnail",
|
||||
"sha256": "7bc40bf315c8e18e907889b23514d978be213a44223d64b737290188ee808594",
|
||||
"size_bytes": 4679,
|
||||
"object_key": "variants/01a1b2c0-5422-77cd-88f8-cd2c123fe78d/1/thumbnail-7bc40bf315c8e18e.jpg"
|
||||
},
|
||||
{
|
||||
"pipeline_version": 2,
|
||||
"name": "crop",
|
||||
"sha256": "5b6fb2a66216f8ca038542acdd8482fca9d1ad79193d60ae74de3989048ec0a4",
|
||||
"size_bytes": 2142,
|
||||
"object_key": "variants/01a1b2c0-5422-77cd-88f8-cd2c123fe78d/2/crop-5b6fb2a66216f8ca.jpg"
|
||||
},
|
||||
{
|
||||
"pipeline_version": 2,
|
||||
"name": "optimized",
|
||||
"sha256": "fe520c978bd45fc8f1b85863dc9dc6fc98954b45d7fe803e8e4c6b681ddc1957",
|
||||
"size_bytes": 2790,
|
||||
"object_key": "variants/01a1b2c0-5422-77cd-88f8-cd2c123fe78d/2/optimized-fe520c978bd45fc8.webp"
|
||||
},
|
||||
{
|
||||
"pipeline_version": 2,
|
||||
"name": "thumbnail",
|
||||
"sha256": "fa0db661078d4da91b241edc8b416de7755db9c9c79ae704a620ca7ad534e308",
|
||||
"size_bytes": 5628,
|
||||
"object_key": "variants/01a1b2c0-5422-77cd-88f8-cd2c123fe78d/2/thumbnail-fa0db661078d4da9.jpg"
|
||||
}
|
||||
],
|
||||
"published": 2
|
||||
}
|
||||
}
|
||||
}
|
||||
],
|
||||
"result": "PASS",
|
||||
"finished_at": "2026-11-06T21:25:34.062079Z"
|
||||
}
|
||||
@@ -1,29 +0,0 @@
|
||||
date: 2026-11-06T21:22:22Z commit: b30e2f6a84419d1ca64525ffb40df92183cccaef
|
||||
environment: {"COMPOSE_PROJECT_NAME": "mtusi2026lab5", "COMPOSE_FILE": "compose.yaml", "LB_HTTP_PORT": "18085", "LB_STATS_PORT": "25085", "BASE_URL": "http://127.0.0.1:18085", "NO_PROXY": "localhost,127.0.0.1,::1", "API_IMAGE": "mtusi-messenger:lab5-validation"}
|
||||
$ python3 scripts/pipeline_suite.py --only duplicate_after_ready,retry_exhausted,crash_commit_publish,crash_after_s3_before_commit,crash_after_commit_before_ack,lease_expiry_fencing,replay_failed,malformed_message_dead_lettered,duplicate_in_flight,reorder_attempts,reorder_versions,stale_after_new_version --output evidence/final-validation-2026-11-07/delivery-targeted.json
|
||||
RUN duplicate_after_ready
|
||||
PASS duplicate_after_ready
|
||||
RUN retry_exhausted
|
||||
PASS retry_exhausted
|
||||
RUN crash_commit_publish
|
||||
PASS crash_commit_publish
|
||||
RUN crash_after_s3_before_commit
|
||||
PASS crash_after_s3_before_commit
|
||||
RUN crash_after_commit_before_ack
|
||||
PASS crash_after_commit_before_ack
|
||||
RUN lease_expiry_fencing
|
||||
PASS lease_expiry_fencing
|
||||
RUN replay_failed
|
||||
PASS replay_failed
|
||||
RUN malformed_message_dead_lettered
|
||||
PASS malformed_message_dead_lettered
|
||||
RUN duplicate_in_flight
|
||||
PASS duplicate_in_flight
|
||||
RUN reorder_attempts
|
||||
PASS reorder_attempts
|
||||
RUN reorder_versions
|
||||
PASS reorder_versions
|
||||
RUN stale_after_new_version
|
||||
PASS stale_after_new_version
|
||||
PASS: lab5 pipeline suite, report evidence/final-validation-2026-11-07/delivery-targeted.json
|
||||
exit_code: 0 elapsed_seconds: 191.693
|
||||
@@ -1,53 +0,0 @@
|
||||
date: 2026-11-06T21:26:59Z commit: b30e2f6a84419d1ca64525ffb40df92183cccaef
|
||||
environment: {"COMPOSE_PROJECT_NAME": "mtusi2026lab5", "COMPOSE_FILE": "compose.yaml", "LB_HTTP_PORT": "18085", "LB_STATS_PORT": "25085", "BASE_URL": "http://127.0.0.1:18085", "NO_PROXY": "localhost,127.0.0.1,::1", "API_IMAGE": "mtusi-messenger:lab5-validation"}
|
||||
$ make down
|
||||
docker compose --profile bench --profile tools --profile reconcile down
|
||||
Container mtusi2026lab5-api-2 Stopping
|
||||
Container mtusi2026lab5-worker-1 Stopping
|
||||
Container mtusi2026lab5-lb-1 Stopping
|
||||
Container mtusi2026lab5-relay-1 Stopping
|
||||
Container mtusi2026lab5-api-1 Stopping
|
||||
Container mtusi2026lab5-worker-1 Stopped
|
||||
Container mtusi2026lab5-worker-1 Removing
|
||||
Container mtusi2026lab5-worker-1 Removed
|
||||
Container mtusi2026lab5-relay-1 Stopped
|
||||
Container mtusi2026lab5-relay-1 Removing
|
||||
Container mtusi2026lab5-lb-1 Stopped
|
||||
Container mtusi2026lab5-lb-1 Removing
|
||||
Container mtusi2026lab5-relay-1 Removed
|
||||
Container mtusi2026lab5-broker-1 Stopping
|
||||
Container mtusi2026lab5-lb-1 Removed
|
||||
Container mtusi2026lab5-broker-1 Stopped
|
||||
Container mtusi2026lab5-broker-1 Removing
|
||||
Container mtusi2026lab5-broker-1 Removed
|
||||
Container mtusi2026lab5-api-2 Stopped
|
||||
Container mtusi2026lab5-api-2 Removing
|
||||
Container mtusi2026lab5-api-1 Stopped
|
||||
Container mtusi2026lab5-api-1 Removing
|
||||
Container mtusi2026lab5-api-2 Removed
|
||||
Container mtusi2026lab5-api-1 Removed
|
||||
Container mtusi2026lab5-migrate-1 Stopping
|
||||
Container mtusi2026lab5-s3-init-1 Stopping
|
||||
Container mtusi2026lab5-valkey-1 Stopping
|
||||
Container mtusi2026lab5-migrate-1 Stopped
|
||||
Container mtusi2026lab5-migrate-1 Removing
|
||||
Container mtusi2026lab5-s3-init-1 Stopped
|
||||
Container mtusi2026lab5-s3-init-1 Removing
|
||||
Container mtusi2026lab5-migrate-1 Removed
|
||||
Container mtusi2026lab5-postgres-1 Stopping
|
||||
Container mtusi2026lab5-s3-init-1 Removed
|
||||
Container mtusi2026lab5-s3-1 Stopping
|
||||
Container mtusi2026lab5-postgres-1 Stopped
|
||||
Container mtusi2026lab5-postgres-1 Removing
|
||||
Container mtusi2026lab5-postgres-1 Removed
|
||||
Container mtusi2026lab5-valkey-1 Stopped
|
||||
Container mtusi2026lab5-valkey-1 Removing
|
||||
Container mtusi2026lab5-s3-1 Stopped
|
||||
Container mtusi2026lab5-s3-1 Removing
|
||||
Container mtusi2026lab5-valkey-1 Removed
|
||||
Container mtusi2026lab5-s3-1 Removed
|
||||
Network mtusi2026lab5_backend Removing
|
||||
Network mtusi2026lab5_edge Removing
|
||||
Network mtusi2026lab5_backend Removed
|
||||
Network mtusi2026lab5_edge Removed
|
||||
exit_code: 0 elapsed_seconds: 3.346
|
||||
@@ -1,8 +0,0 @@
|
||||
export COMPOSE_PROJECT_NAME=mtusi2026lab5
|
||||
export COMPOSE_FILE=compose.yaml
|
||||
export API_IMAGE=mtusi-messenger:lab5-validation
|
||||
export LB_HTTP_PORT=18085
|
||||
export LB_STATS_PORT=25085
|
||||
export BROKER_MANAGEMENT_PORT=25086
|
||||
export BASE_URL=http://127.0.0.1:18085
|
||||
export NO_PROXY=localhost,127.0.0.1,::1
|
||||
@@ -1,15 +0,0 @@
|
||||
date: 2026-11-06T21:26:59Z commit: b30e2f6a84419d1ca64525ffb40df92183cccaef
|
||||
environment: {"COMPOSE_PROJECT_NAME": "mtusi2026lab5", "COMPOSE_FILE": "compose.yaml", "LB_HTTP_PORT": "18085", "LB_STATS_PORT": "25085", "BASE_URL": "http://127.0.0.1:18085", "NO_PROXY": "localhost,127.0.0.1,::1", "API_IMAGE": "mtusi-messenger:lab5-validation"}
|
||||
$ docker compose ps -a --format '{{.Name}} {{.ID}} {{.State}} {{.Status}} {{.Ports}}'
|
||||
mtusi2026lab5-api-1 fc7d65385119 running Up 10 minutes (healthy)
|
||||
mtusi2026lab5-api-2 a5411e55f06d running Up 10 minutes (healthy)
|
||||
mtusi2026lab5-broker-1 a38bbcf03870 running Up 10 minutes (healthy) 127.0.0.1:25086->15672/tcp
|
||||
mtusi2026lab5-lb-1 f0d01200b1f8 running Up 10 minutes (healthy) 127.0.0.1:18085->8080/tcp, 127.0.0.1:25085->8404/tcp
|
||||
mtusi2026lab5-migrate-1 feca425ac0ae exited Exited (0) 8 minutes ago
|
||||
mtusi2026lab5-postgres-1 9f62ea9d176b running Up 6 minutes (healthy)
|
||||
mtusi2026lab5-relay-1 297a45d2724b running Up About a minute (healthy)
|
||||
mtusi2026lab5-s3-1 9a7684ef147a running Up 10 minutes (healthy)
|
||||
mtusi2026lab5-s3-init-1 e5825f3eeafb exited Exited (0) 8 minutes ago
|
||||
mtusi2026lab5-valkey-1 e37f783f9d50 running Up 10 minutes (healthy)
|
||||
mtusi2026lab5-worker-1 c708d0d22a5e running Up About a minute (healthy)
|
||||
exit_code: 0 elapsed_seconds: 0.136
|
||||
@@ -1,702 +0,0 @@
|
||||
{
|
||||
"runtime_review_equal": true,
|
||||
"normative_files_equal_skeleton": true,
|
||||
"new_python_syntax": "PASS",
|
||||
"allowed_changed_files": 58,
|
||||
"local_markdown_links": 173,
|
||||
"links": [
|
||||
{
|
||||
"from": "REPORT.md",
|
||||
"target": "evidence/README.md"
|
||||
},
|
||||
{
|
||||
"from": "REPORT.md",
|
||||
"target": "evidence/forward-port.md"
|
||||
},
|
||||
{
|
||||
"from": "REPORT.md",
|
||||
"target": "uv.lock"
|
||||
},
|
||||
{
|
||||
"from": "REPORT.md",
|
||||
"target": "evidence/sqlalchemy-2026-11-06/track2/qualified/runtime.txt"
|
||||
},
|
||||
{
|
||||
"from": "REPORT.md",
|
||||
"target": "compose.yaml"
|
||||
},
|
||||
{
|
||||
"from": "REPORT.md",
|
||||
"target": "src/messenger/shared/infrastructure/postgres.py"
|
||||
},
|
||||
{
|
||||
"from": "REPORT.md",
|
||||
"target": "alembic/env.py"
|
||||
},
|
||||
{
|
||||
"from": "REPORT.md",
|
||||
"target": "alembic/versions"
|
||||
},
|
||||
{
|
||||
"from": "REPORT.md",
|
||||
"target": "evidence/final-validation-2026-11-07/postgres-outage-retry.json"
|
||||
},
|
||||
{
|
||||
"from": "REPORT.md",
|
||||
"target": "evidence/report-audit-2026-11-07.md"
|
||||
},
|
||||
{
|
||||
"from": "REPORT.md",
|
||||
"target": "evidence/final-validation-2026-11-07/student-test.txt"
|
||||
},
|
||||
{
|
||||
"from": "REPORT.md",
|
||||
"target": "evidence/review-trns-depth-2026-11-06/RESULTS.md"
|
||||
},
|
||||
{
|
||||
"from": "REPORT.md",
|
||||
"target": "evidence/report-audit-2026-11-07.md"
|
||||
},
|
||||
{
|
||||
"from": "REPORT.md",
|
||||
"target": "evidence/forward-final-2026-11-06/final-smoke.txt"
|
||||
},
|
||||
{
|
||||
"from": "REPORT.md",
|
||||
"target": "evidence/forward-final-2026-11-06/persistence.txt"
|
||||
},
|
||||
{
|
||||
"from": "REPORT.md",
|
||||
"target": "evidence/forward-final-2026-11-06/persistence-containers.txt"
|
||||
},
|
||||
{
|
||||
"from": "REPORT.md",
|
||||
"target": "evidence/forward-final-2026-11-06/failover.txt"
|
||||
},
|
||||
{
|
||||
"from": "REPORT.md",
|
||||
"target": "evidence/forward-final-2026-11-06/failover-containers.txt"
|
||||
},
|
||||
{
|
||||
"from": "REPORT.md",
|
||||
"target": "evidence/forward-final-2026-11-06/restore.txt"
|
||||
},
|
||||
{
|
||||
"from": "REPORT.md",
|
||||
"target": "evidence/sqlalchemy-2026-11-06/grade3/queues.txt"
|
||||
},
|
||||
{
|
||||
"from": "REPORT.md",
|
||||
"target": "evidence/sqlalchemy-2026-11-06/grade3/consumers.txt"
|
||||
},
|
||||
{
|
||||
"from": "REPORT.md",
|
||||
"target": "evidence/sqlalchemy-2026-11-06/grade3/permissions.txt"
|
||||
},
|
||||
{
|
||||
"from": "REPORT.md",
|
||||
"target": "evidence/forward-final-2026-11-06/level4.json"
|
||||
},
|
||||
{
|
||||
"from": "REPORT.md",
|
||||
"target": "evidence/forward-final-2026-11-06/level4.json"
|
||||
},
|
||||
{
|
||||
"from": "REPORT.md",
|
||||
"target": "evidence/forward-final-2026-11-06/level4.json"
|
||||
},
|
||||
{
|
||||
"from": "REPORT.md",
|
||||
"target": "evidence/forward-final-2026-11-06/level4.json"
|
||||
},
|
||||
{
|
||||
"from": "REPORT.md",
|
||||
"target": "evidence/forward-final-2026-11-06/level4.json"
|
||||
},
|
||||
{
|
||||
"from": "REPORT.md",
|
||||
"target": "evidence/forward-final-2026-11-06/level4.json"
|
||||
},
|
||||
{
|
||||
"from": "REPORT.md",
|
||||
"target": "evidence/forward-final-2026-11-06/level4.json"
|
||||
},
|
||||
{
|
||||
"from": "REPORT.md",
|
||||
"target": "evidence/forward-final-2026-11-06/level4-command.txt"
|
||||
},
|
||||
{
|
||||
"from": "REPORT.md",
|
||||
"target": "evidence/forward-final-2026-11-06/level4.json"
|
||||
},
|
||||
{
|
||||
"from": "REPORT.md",
|
||||
"target": "evidence/forward-final-2026-11-06/track-run1.json"
|
||||
},
|
||||
{
|
||||
"from": "REPORT.md",
|
||||
"target": "evidence/forward-final-2026-11-06/track-run2.json"
|
||||
},
|
||||
{
|
||||
"from": "REPORT.md",
|
||||
"target": "evidence/forward-final-2026-11-06/track-run3.json"
|
||||
},
|
||||
{
|
||||
"from": "REPORT.md",
|
||||
"target": "evidence/forward-final-2026-11-06/network-regressions.txt"
|
||||
},
|
||||
{
|
||||
"from": "REPORT.md",
|
||||
"target": "evidence/forward-final-2026-11-06/upload-negative.txt"
|
||||
},
|
||||
{
|
||||
"from": "REPORT.md",
|
||||
"target": "evidence/forward-final-2026-11-06/cache-outage.txt"
|
||||
},
|
||||
{
|
||||
"from": "REPORT.md",
|
||||
"target": "evidence/forward-final-2026-11-06/haproxy-errors.txt"
|
||||
},
|
||||
{
|
||||
"from": "REPORT.md",
|
||||
"target": "evidence/forward-final-2026-11-06/level4.json"
|
||||
},
|
||||
{
|
||||
"from": "REPORT.md",
|
||||
"target": "evidence/forward-final-2026-11-06/down.txt"
|
||||
},
|
||||
{
|
||||
"from": "REPORT.md",
|
||||
"target": "evidence/forward-final-2026-11-06/stopped-containers.txt"
|
||||
},
|
||||
{
|
||||
"from": "REPORT.md",
|
||||
"target": "evidence/forward-final-2026-11-06/retained-volumes.txt"
|
||||
},
|
||||
{
|
||||
"from": "REPORT.md",
|
||||
"target": "evidence/final-validation-2026-11-07/down.txt"
|
||||
},
|
||||
{
|
||||
"from": "REPORT.md",
|
||||
"target": "evidence/final-validation-2026-11-07/stopped-containers.txt"
|
||||
},
|
||||
{
|
||||
"from": "REPORT.md",
|
||||
"target": "evidence/final-validation-2026-11-07/retained-volumes.txt"
|
||||
},
|
||||
{
|
||||
"from": "REPORT.md",
|
||||
"target": "evidence/forward-final-2026-11-06/track-run1.txt"
|
||||
},
|
||||
{
|
||||
"from": "REPORT.md",
|
||||
"target": "evidence/forward-final-2026-11-06/track-run1.json"
|
||||
},
|
||||
{
|
||||
"from": "REPORT.md",
|
||||
"target": "evidence/forward-final-2026-11-06/track-run2.txt"
|
||||
},
|
||||
{
|
||||
"from": "REPORT.md",
|
||||
"target": "evidence/forward-final-2026-11-06/track-run2.json"
|
||||
},
|
||||
{
|
||||
"from": "REPORT.md",
|
||||
"target": "evidence/forward-final-2026-11-06/track-run3.txt"
|
||||
},
|
||||
{
|
||||
"from": "REPORT.md",
|
||||
"target": "evidence/forward-final-2026-11-06/track-run3.json"
|
||||
},
|
||||
{
|
||||
"from": "REPORT.md",
|
||||
"target": "evidence/forward-final-2026-11-06/summary.json"
|
||||
},
|
||||
{
|
||||
"from": "REPORT.md",
|
||||
"target": "evidence/forward-final-2026-11-06/conditions-before.json"
|
||||
},
|
||||
{
|
||||
"from": "REPORT.md",
|
||||
"target": "evidence/forward-final-2026-11-06/conditions-track-start.json"
|
||||
},
|
||||
{
|
||||
"from": "REPORT.md",
|
||||
"target": "evidence/forward-final-2026-11-06/clock-observation.json"
|
||||
},
|
||||
{
|
||||
"from": "REPORT.md",
|
||||
"target": "evidence/sqlalchemy-2026-11-06/track2/qualified/RESULTS.md"
|
||||
},
|
||||
{
|
||||
"from": "REPORT.md",
|
||||
"target": "evidence/review-trns-depth-2026-11-06/findings.json"
|
||||
},
|
||||
{
|
||||
"from": "REPORT.md",
|
||||
"target": "evidence/sqlalchemy-2026-11-06/grade3/limits.txt"
|
||||
},
|
||||
{
|
||||
"from": "REPORT.md",
|
||||
"target": "evidence/forward-final-2026-11-06/findings.json"
|
||||
},
|
||||
{
|
||||
"from": "REPORT.md",
|
||||
"target": "evidence/forward-final-2026-11-06/student-test.txt"
|
||||
},
|
||||
{
|
||||
"from": "REPORT.md",
|
||||
"target": "evidence/load-validation.md"
|
||||
},
|
||||
{
|
||||
"from": "REPORT.md",
|
||||
"target": "evidence/final-validation-2026-11-07/checks.txt"
|
||||
},
|
||||
{
|
||||
"from": "REPORT.md",
|
||||
"target": "evidence/final-validation-2026-11-07/openspec.txt"
|
||||
},
|
||||
{
|
||||
"from": "REPORT.md",
|
||||
"target": "evidence/final-validation-2026-11-07/build.txt"
|
||||
},
|
||||
{
|
||||
"from": "REPORT.md",
|
||||
"target": "evidence/final-validation-2026-11-07/image-runtime.txt"
|
||||
},
|
||||
{
|
||||
"from": "REPORT.md",
|
||||
"target": "evidence/final-validation-2026-11-07/smoke.txt"
|
||||
},
|
||||
{
|
||||
"from": "REPORT.md",
|
||||
"target": "evidence/final-validation-2026-11-07/postgres-outage-retry.txt"
|
||||
},
|
||||
{
|
||||
"from": "REPORT.md",
|
||||
"target": "evidence/final-validation-2026-11-07/postgres-outage-retry.json"
|
||||
},
|
||||
{
|
||||
"from": "REPORT.md",
|
||||
"target": "evidence/final-validation-2026-11-07/png-http.txt"
|
||||
},
|
||||
{
|
||||
"from": "REPORT.md",
|
||||
"target": "evidence/final-validation-2026-11-07/png-http.json"
|
||||
},
|
||||
{
|
||||
"from": "REPORT.md",
|
||||
"target": "evidence/final-validation-2026-11-07/delivery-targeted.txt"
|
||||
},
|
||||
{
|
||||
"from": "REPORT.md",
|
||||
"target": "evidence/final-validation-2026-11-07/delivery-targeted.json"
|
||||
},
|
||||
{
|
||||
"from": "REPORT.md",
|
||||
"target": "evidence/final-validation-2026-11-07/png-limits.txt"
|
||||
},
|
||||
{
|
||||
"from": "REPORT.md",
|
||||
"target": "evidence/final-validation-2026-11-07/png-limits.json"
|
||||
},
|
||||
{
|
||||
"from": "REPORT.md",
|
||||
"target": "evidence/final-validation-2026-11-07/fixtures"
|
||||
},
|
||||
{
|
||||
"from": "REPORT.md",
|
||||
"target": "evidence/final-validation-2026-11-07/png-limits.json"
|
||||
},
|
||||
{
|
||||
"from": "REPORT.md",
|
||||
"target": "evidence/final-validation-2026-11-07/cleanup-recheck.json"
|
||||
},
|
||||
{
|
||||
"from": "REPORT.md",
|
||||
"target": "openspec/specs/lab5-image-variants/spec.md"
|
||||
},
|
||||
{
|
||||
"from": "REPORT.md",
|
||||
"target": "evidence/final-validation-2026-11-07/resource-probe-worker.txt"
|
||||
},
|
||||
{
|
||||
"from": "REPORT.md",
|
||||
"target": "evidence/final-validation-2026-11-07/findings.json"
|
||||
},
|
||||
{
|
||||
"from": "REPORT.md",
|
||||
"target": "evidence/final-validation-2026-11-07/RESULTS.md"
|
||||
},
|
||||
{
|
||||
"from": "AGENTS.md",
|
||||
"target": "evidence/README.md"
|
||||
},
|
||||
{
|
||||
"from": "AGENTS.md",
|
||||
"target": "REPORT.md"
|
||||
},
|
||||
{
|
||||
"from": "AGENTS.md",
|
||||
"target": "evidence/load-validation.md"
|
||||
},
|
||||
{
|
||||
"from": "AGENTS.md",
|
||||
"target": "evidence/final-validation-2026-11-07/RESULTS.md"
|
||||
},
|
||||
{
|
||||
"from": "evidence/README.md",
|
||||
"target": "../REPORT.md"
|
||||
},
|
||||
{
|
||||
"from": "evidence/README.md",
|
||||
"target": "load-validation.md"
|
||||
},
|
||||
{
|
||||
"from": "evidence/README.md",
|
||||
"target": "final-validation-2026-11-07/RESULTS.md"
|
||||
},
|
||||
{
|
||||
"from": "evidence/README.md",
|
||||
"target": "final-validation-2026-11-07/RESULTS.md"
|
||||
},
|
||||
{
|
||||
"from": "evidence/README.md",
|
||||
"target": "load-validation.md"
|
||||
},
|
||||
{
|
||||
"from": "evidence/README.md",
|
||||
"target": "report-audit-2026-11-07.md"
|
||||
},
|
||||
{
|
||||
"from": "evidence/README.md",
|
||||
"target": "forward-final-2026-11-06/RESULTS.md"
|
||||
},
|
||||
{
|
||||
"from": "evidence/README.md",
|
||||
"target": "review-trns-depth-2026-11-06/RESULTS.md"
|
||||
},
|
||||
{
|
||||
"from": "evidence/README.md",
|
||||
"target": "review-fixes-2026-11-06/RESULTS.md"
|
||||
},
|
||||
{
|
||||
"from": "evidence/README.md",
|
||||
"target": "forward-port.md"
|
||||
},
|
||||
{
|
||||
"from": "evidence/README.md",
|
||||
"target": "forward-final-2026-11-06/source-inventory.json"
|
||||
},
|
||||
{
|
||||
"from": "evidence/README.md",
|
||||
"target": "forward-final-2026-11-06/forward-audit.json"
|
||||
},
|
||||
{
|
||||
"from": "evidence/README.md",
|
||||
"target": "sqlalchemy-2026-11-06/grade3/NOTES.md"
|
||||
},
|
||||
{
|
||||
"from": "evidence/README.md",
|
||||
"target": "sqlalchemy-2026-11-06/grade4/NOTES.md"
|
||||
},
|
||||
{
|
||||
"from": "evidence/README.md",
|
||||
"target": "sqlalchemy-2026-11-06/track2/NOTES.md"
|
||||
},
|
||||
{
|
||||
"from": "evidence/README.md",
|
||||
"target": "sqlalchemy-2026-11-06/track2/qualified/RESULTS.md"
|
||||
},
|
||||
{
|
||||
"from": "evidence/README.md",
|
||||
"target": "forward-final-2026-11-06/level4-command.txt"
|
||||
},
|
||||
{
|
||||
"from": "evidence/README.md",
|
||||
"target": "forward-final-2026-11-06/level4.json"
|
||||
},
|
||||
{
|
||||
"from": "evidence/README.md",
|
||||
"target": "forward-final-2026-11-06/track-run1.txt"
|
||||
},
|
||||
{
|
||||
"from": "evidence/README.md",
|
||||
"target": "forward-final-2026-11-06/track-run1.json"
|
||||
},
|
||||
{
|
||||
"from": "evidence/README.md",
|
||||
"target": "forward-final-2026-11-06/track-run2.txt"
|
||||
},
|
||||
{
|
||||
"from": "evidence/README.md",
|
||||
"target": "forward-final-2026-11-06/track-run2.json"
|
||||
},
|
||||
{
|
||||
"from": "evidence/README.md",
|
||||
"target": "forward-final-2026-11-06/track-run3.txt"
|
||||
},
|
||||
{
|
||||
"from": "evidence/README.md",
|
||||
"target": "forward-final-2026-11-06/track-run3.json"
|
||||
},
|
||||
{
|
||||
"from": "evidence/README.md",
|
||||
"target": "forward-final-2026-11-06/summary.json"
|
||||
},
|
||||
{
|
||||
"from": "evidence/README.md",
|
||||
"target": "forward-final-2026-11-06/final-smoke.txt"
|
||||
},
|
||||
{
|
||||
"from": "evidence/README.md",
|
||||
"target": "forward-final-2026-11-06/persistence.txt"
|
||||
},
|
||||
{
|
||||
"from": "evidence/README.md",
|
||||
"target": "forward-final-2026-11-06/failover.txt"
|
||||
},
|
||||
{
|
||||
"from": "evidence/README.md",
|
||||
"target": "forward-final-2026-11-06/persistence-containers.txt"
|
||||
},
|
||||
{
|
||||
"from": "evidence/README.md",
|
||||
"target": "forward-final-2026-11-06/failover-containers.txt"
|
||||
},
|
||||
{
|
||||
"from": "evidence/README.md",
|
||||
"target": "forward-final-2026-11-06/restore.txt"
|
||||
},
|
||||
{
|
||||
"from": "evidence/README.md",
|
||||
"target": "forward-final-2026-11-06/student-test.txt"
|
||||
},
|
||||
{
|
||||
"from": "evidence/README.md",
|
||||
"target": "review-trns-depth-2026-11-06/offline-tests.txt"
|
||||
},
|
||||
{
|
||||
"from": "evidence/README.md",
|
||||
"target": "review-trns-depth-2026-11-06/boundaries.txt"
|
||||
},
|
||||
{
|
||||
"from": "evidence/README.md",
|
||||
"target": "forward-final-2026-11-06/conditions-before.json"
|
||||
},
|
||||
{
|
||||
"from": "evidence/README.md",
|
||||
"target": "forward-final-2026-11-06/conditions-track-start.json"
|
||||
},
|
||||
{
|
||||
"from": "evidence/README.md",
|
||||
"target": "forward-final-2026-11-06/down.txt"
|
||||
},
|
||||
{
|
||||
"from": "evidence/README.md",
|
||||
"target": "forward-final-2026-11-06/stopped-containers.txt"
|
||||
},
|
||||
{
|
||||
"from": "evidence/README.md",
|
||||
"target": "forward-final-2026-11-06/retained-volumes.txt"
|
||||
},
|
||||
{
|
||||
"from": "evidence/README.md",
|
||||
"target": "sqlalchemy-2026-11-06/grade3/limits.txt"
|
||||
},
|
||||
{
|
||||
"from": "evidence/README.md",
|
||||
"target": "forward-final-2026-11-06/clock-observation.json"
|
||||
},
|
||||
{
|
||||
"from": "evidence/README.md",
|
||||
"target": "review-trns-depth-2026-11-06/findings.json"
|
||||
},
|
||||
{
|
||||
"from": "evidence/README.md",
|
||||
"target": "review-trns-depth-2026-11-06/RESULTS.md"
|
||||
},
|
||||
{
|
||||
"from": "evidence/README.md",
|
||||
"target": "review-fixes-2026-11-06/RESULTS.md"
|
||||
},
|
||||
{
|
||||
"from": "evidence/load-validation.md",
|
||||
"target": "forward-final-2026-11-06/RESULTS.md"
|
||||
},
|
||||
{
|
||||
"from": "evidence/load-validation.md",
|
||||
"target": "final-validation-2026-11-07/RESULTS.md"
|
||||
},
|
||||
{
|
||||
"from": "evidence/load-validation.md",
|
||||
"target": "final-validation-2026-11-07/findings.json"
|
||||
},
|
||||
{
|
||||
"from": "evidence/final-validation-2026-11-07/RESULTS.md",
|
||||
"target": "../load-validation.md"
|
||||
},
|
||||
{
|
||||
"from": "evidence/final-validation-2026-11-07/RESULTS.md",
|
||||
"target": "audit.json"
|
||||
},
|
||||
{
|
||||
"from": "evidence/final-validation-2026-11-07/RESULTS.md",
|
||||
"target": "historical-hashes.json"
|
||||
},
|
||||
{
|
||||
"from": "evidence/final-validation-2026-11-07/RESULTS.md",
|
||||
"target": "runtime-containers.json"
|
||||
},
|
||||
{
|
||||
"from": "evidence/final-validation-2026-11-07/RESULTS.md",
|
||||
"target": "image-runtime.txt"
|
||||
},
|
||||
{
|
||||
"from": "evidence/final-validation-2026-11-07/RESULTS.md",
|
||||
"target": "env.sh"
|
||||
},
|
||||
{
|
||||
"from": "evidence/final-validation-2026-11-07/RESULTS.md",
|
||||
"target": "checks.txt"
|
||||
},
|
||||
{
|
||||
"from": "evidence/final-validation-2026-11-07/RESULTS.md",
|
||||
"target": "student-test.txt"
|
||||
},
|
||||
{
|
||||
"from": "evidence/final-validation-2026-11-07/RESULTS.md",
|
||||
"target": "openspec.txt"
|
||||
},
|
||||
{
|
||||
"from": "evidence/final-validation-2026-11-07/RESULTS.md",
|
||||
"target": "active-changes.txt"
|
||||
},
|
||||
{
|
||||
"from": "evidence/final-validation-2026-11-07/RESULTS.md",
|
||||
"target": "build.txt"
|
||||
},
|
||||
{
|
||||
"from": "evidence/final-validation-2026-11-07/RESULTS.md",
|
||||
"target": "up.txt"
|
||||
},
|
||||
{
|
||||
"from": "evidence/final-validation-2026-11-07/RESULTS.md",
|
||||
"target": "smoke.txt"
|
||||
},
|
||||
{
|
||||
"from": "evidence/final-validation-2026-11-07/RESULTS.md",
|
||||
"target": "policy.txt"
|
||||
},
|
||||
{
|
||||
"from": "evidence/final-validation-2026-11-07/RESULTS.md",
|
||||
"target": "queues.txt"
|
||||
},
|
||||
{
|
||||
"from": "evidence/final-validation-2026-11-07/RESULTS.md",
|
||||
"target": "postgres-outage-retry.txt"
|
||||
},
|
||||
{
|
||||
"from": "evidence/final-validation-2026-11-07/RESULTS.md",
|
||||
"target": "postgres-outage-retry.json"
|
||||
},
|
||||
{
|
||||
"from": "evidence/final-validation-2026-11-07/RESULTS.md",
|
||||
"target": "postgres-outage-worker.log"
|
||||
},
|
||||
{
|
||||
"from": "evidence/final-validation-2026-11-07/RESULTS.md",
|
||||
"target": "png-http.txt"
|
||||
},
|
||||
{
|
||||
"from": "evidence/final-validation-2026-11-07/RESULTS.md",
|
||||
"target": "png-http.json"
|
||||
},
|
||||
{
|
||||
"from": "evidence/final-validation-2026-11-07/RESULTS.md",
|
||||
"target": "delivery-targeted.txt"
|
||||
},
|
||||
{
|
||||
"from": "evidence/final-validation-2026-11-07/RESULTS.md",
|
||||
"target": "delivery-targeted.json"
|
||||
},
|
||||
{
|
||||
"from": "evidence/final-validation-2026-11-07/RESULTS.md",
|
||||
"target": "png-limits.txt"
|
||||
},
|
||||
{
|
||||
"from": "evidence/final-validation-2026-11-07/RESULTS.md",
|
||||
"target": "png-limits.json"
|
||||
},
|
||||
{
|
||||
"from": "evidence/final-validation-2026-11-07/RESULTS.md",
|
||||
"target": "fixtures"
|
||||
},
|
||||
{
|
||||
"from": "evidence/final-validation-2026-11-07/RESULTS.md",
|
||||
"target": "targeted.py"
|
||||
},
|
||||
{
|
||||
"from": "evidence/final-validation-2026-11-07/RESULTS.md",
|
||||
"target": "postgres-outage.txt"
|
||||
},
|
||||
{
|
||||
"from": "evidence/final-validation-2026-11-07/RESULTS.md",
|
||||
"target": "targeted-initial.py"
|
||||
},
|
||||
{
|
||||
"from": "evidence/final-validation-2026-11-07/RESULTS.md",
|
||||
"target": "cleanup-recheck.txt"
|
||||
},
|
||||
{
|
||||
"from": "evidence/final-validation-2026-11-07/RESULTS.md",
|
||||
"target": "../../openspec/specs/lab5-image-variants/spec.md"
|
||||
},
|
||||
{
|
||||
"from": "evidence/final-validation-2026-11-07/RESULTS.md",
|
||||
"target": "resource-probe-worker.txt"
|
||||
},
|
||||
{
|
||||
"from": "evidence/final-validation-2026-11-07/RESULTS.md",
|
||||
"target": "resource-probe-retry.txt"
|
||||
},
|
||||
{
|
||||
"from": "evidence/final-validation-2026-11-07/RESULTS.md",
|
||||
"target": "invoke-probe.py"
|
||||
},
|
||||
{
|
||||
"from": "evidence/final-validation-2026-11-07/RESULTS.md",
|
||||
"target": "findings.json"
|
||||
},
|
||||
{
|
||||
"from": "evidence/final-validation-2026-11-07/RESULTS.md",
|
||||
"target": "down.txt"
|
||||
},
|
||||
{
|
||||
"from": "evidence/final-validation-2026-11-07/RESULTS.md",
|
||||
"target": "stopped-containers.txt"
|
||||
},
|
||||
{
|
||||
"from": "evidence/final-validation-2026-11-07/RESULTS.md",
|
||||
"target": "retained-volumes.txt"
|
||||
},
|
||||
{
|
||||
"from": "evidence/final-validation-2026-11-07/RESULTS.md",
|
||||
"target": "running-containers-after.txt"
|
||||
},
|
||||
{
|
||||
"from": "evidence/final-validation-2026-11-07/RESULTS.md",
|
||||
"target": "checks-final.txt"
|
||||
},
|
||||
{
|
||||
"from": "evidence/final-validation-2026-11-07/RESULTS.md",
|
||||
"target": "final-doc-audit.json"
|
||||
},
|
||||
{
|
||||
"from": "evidence/final-validation-2026-11-07/RESULTS.md",
|
||||
"target": "secret-scan.json"
|
||||
}
|
||||
],
|
||||
"all_link_targets_tracked": true
|
||||
}
|
||||
@@ -1,37 +0,0 @@
|
||||
[
|
||||
{
|
||||
"severity": "major",
|
||||
"file": "src/messenger/attachments/infrastructure/images.py:95",
|
||||
"problem": "Не проходит объявленный обязательный сценарий openspec/specs/lab5-image-variants/spec.md:48: PNG 8000×5000 со штатными пределами должен стать ready. Через LB четыре валидных tRNS PNG (grayscale 2/4/16 и RGB16, 35 759–385 445 байт) получают 202, затем failed/processing_failed на attempt=1 при RENDER_MEMORY_MB=448 и timeout=30. Linux-пробник с импортами worker воспроизводит MemoryError в rgb_mask/apply_png_transparency и flatten; без tRNS gray2/gray4/RGB16 проходят, gray16 требует памяти и без tRNS. Worker остаётся жив; потери данных/падение сервиса не заявляются. Доказательства: evidence/final-validation-2026-11-07/png-limits.json, resource-probe-worker.txt, fixtures/*.png. Нужен отдельный fix, review и повтор только затронутых PNG/ресурсных проверок."
|
||||
},
|
||||
{
|
||||
"severity": "minor",
|
||||
"file": "src/messenger/attachments/application/pipeline.py:230",
|
||||
"problem": "Сохранено из ревью 544b9c78d39d0e9dd07f841894c390895896605a: after_publish_before_confirm вызывается после publish(), уже проверившего Basic.Ack. crash_publish_confirm доказывает сбой после confirm до COMMIT outbox, а не потерю подтверждения."
|
||||
},
|
||||
{
|
||||
"severity": "minor",
|
||||
"file": "scripts/limits.py:10",
|
||||
"problem": "Сохранено из первого ревью: S3_CLIENT_SECRETS не отсортирован, сравнение с sorted(secrets) даёт ложные FAIL. evidence/sqlalchemy-2026-11-06/grade3/limits.txt содержит exit_code=1; этот запуск нельзя обозначать PASS."
|
||||
},
|
||||
{
|
||||
"severity": "minor",
|
||||
"file": "scripts/reconcile_track.py:396",
|
||||
"problem": "Сохранено из первого ревью: демонстратор ожидает upload 201 и attachments/, поэтому непригоден для квалификации ЛР5 с 202 queued. Текущие pipeline evidence его не используют."
|
||||
},
|
||||
{
|
||||
"severity": "minor",
|
||||
"file": "src/messenger/attachments/application/pipeline.py:333",
|
||||
"problem": "Сохранено из первого ревью: failed upgrade v2 при опубликованной ready v1 нельзя отдельно повторить через replay/reprocess. V1 остаётся доступной; подтверждение исходного ревью — test_failed_new_version_keeps_ready_original."
|
||||
},
|
||||
{
|
||||
"severity": "minor",
|
||||
"file": "evidence/forward-final-2026-11-06/clock-observation.json",
|
||||
"problem": "Сохранено из первого ревью: в повторах 2/3 UTC-интервалы расходятся с elapsed (1161.195/186.458 с и 571.513/180.259 с). Причина не установлена; длительности исключены из выводов о производительности."
|
||||
},
|
||||
{
|
||||
"severity": "minor",
|
||||
"file": "openspec/config.yaml:130",
|
||||
"problem": "Сохранена документационная неточность: design требует upload 201 вместо нормативного 202 ЛР5; конфиг вне scope validation."
|
||||
}
|
||||
]
|
||||
Binary file not shown.
|
Before Width: | Height: | Size: 101 KiB |
Binary file not shown.
|
Before Width: | Height: | Size: 35 KiB |
Binary file not shown.
|
Before Width: | Height: | Size: 45 KiB |
Binary file not shown.
|
Before Width: | Height: | Size: 376 KiB |
@@ -1,17 +0,0 @@
|
||||
[
|
||||
{
|
||||
"manifest": "evidence/review-trns-depth-2026-11-06/checks.json",
|
||||
"sha": "42575281b352d35bda17ee7601bae5548a996e91",
|
||||
"verified": 34
|
||||
},
|
||||
{
|
||||
"manifest": "evidence/review-fixes-2026-11-06/checks.json",
|
||||
"sha": "6e97bdbe9638c5a53951337fce639a1a0db7f92e",
|
||||
"verified": 5
|
||||
},
|
||||
{
|
||||
"manifest": "evidence/forward-final-2026-11-06/forward-audit.json",
|
||||
"sha": "0e921116610d289716af0a40ec823376eb8bbcbc",
|
||||
"verified": 25
|
||||
}
|
||||
]
|
||||
@@ -1,7 +0,0 @@
|
||||
date: 2026-11-06T21:18:41Z commit: b30e2f6a84419d1ca64525ffb40df92183cccaef
|
||||
environment: {"COMPOSE_PROJECT_NAME": "mtusi2026lab5", "COMPOSE_FILE": "compose.yaml", "LB_HTTP_PORT": "18085", "LB_STATS_PORT": "25085", "BASE_URL": "http://127.0.0.1:18085", "NO_PROXY": "localhost,127.0.0.1,::1", "API_IMAGE": "mtusi-messenger:lab5-validation"}
|
||||
$ docker compose exec -T worker python -c 'import hashlib,platform,importlib.metadata; from pathlib import Path; import messenger.attachments.infrastructure.images as m; print(platform.platform()); print({name:importlib.metadata.version(name) for name in ("sqlalchemy","alembic","Pillow","faststream","aio-pika")}); print("images.py sha256",hashlib.sha256(Path(m.__file__).read_bytes()).hexdigest())'
|
||||
Linux-6.10.14-linuxkit-aarch64-with-glibc2.41
|
||||
{'sqlalchemy': '2.0.45', 'alembic': '1.16.5', 'Pillow': '13.0.0', 'faststream': '0.7.8', 'aio-pika': '10.2.1'}
|
||||
images.py sha256 537359101ad6266cc74f8373364ae492675aef984844a07950681cf5032f7de9
|
||||
exit_code: 0 elapsed_seconds: 0.377
|
||||
@@ -1,11 +0,0 @@
|
||||
import base64
|
||||
import json
|
||||
import subprocess
|
||||
import sys
|
||||
from pathlib import Path
|
||||
|
||||
folder = Path(__file__).parent
|
||||
bootstrap = "import sys,json,base64; from pathlib import Path; p=json.load(sys.stdin); d=Path('/tmp/validation-fixtures'); d.mkdir(exist_ok=True); [(d/name).write_bytes(base64.b64decode(data)) for name,data in p['fixtures'].items()]; exec(compile(p['code'],'resource-probe.py','exec'))"
|
||||
payload = {'code': (folder / (sys.argv[1] if len(sys.argv) > 1 else 'resource-probe.py')).read_text(), 'fixtures': {p.name: base64.b64encode(p.read_bytes()).decode() for p in (folder / 'fixtures').glob('*.png')}}
|
||||
result = subprocess.run(['docker', 'compose', 'exec', '-T', 'worker', 'python', '-c', bootstrap], input=json.dumps(payload), text=True, check=False)
|
||||
raise SystemExit(result.returncode)
|
||||
@@ -1,28 +0,0 @@
|
||||
date: 2026-11-06T21:15:53Z commit: b30e2f6a84419d1ca64525ffb40df92183cccaef
|
||||
environment: {}
|
||||
$ openspec validate --all --strict
|
||||
- Validating...
|
||||
✓ spec/lab1-event-publication
|
||||
✓ spec/lab1-messenger-chats
|
||||
✓ spec/lab1-messenger-history
|
||||
✓ spec/lab1-messenger-identity
|
||||
✓ spec/lab1-service-operability
|
||||
✓ spec/lab2-auth-sessions
|
||||
✓ spec/lab2-dependency-failures
|
||||
✓ spec/lab2-history-index
|
||||
✓ spec/lab2-persistent-storage
|
||||
✓ spec/lab2-session-cache
|
||||
✓ spec/lab3-failover-operations
|
||||
✓ spec/lab3-idempotent-messages
|
||||
✓ spec/lab3-load-balancing
|
||||
✓ spec/lab4-attachments
|
||||
✓ spec/lab4-object-storage
|
||||
✓ spec/lab4-storage-reconciler
|
||||
✓ spec/lab4-upload-resilience
|
||||
✓ spec/lab5-attachment-pipeline
|
||||
✓ spec/lab5-image-variants
|
||||
✓ spec/lab5-job-delivery
|
||||
✓ spec/lab5-job-recovery
|
||||
✓ spec/lab5-versioned-pipeline
|
||||
Totals: 22 passed, 0 failed (22 items)
|
||||
exit_code: 0 elapsed_seconds: 0.889
|
||||
@@ -1,742 +0,0 @@
|
||||
{
|
||||
"mode": "png-http",
|
||||
"source_sha": "b30e2f6a84419d1ca64525ffb40df92183cccaef",
|
||||
"started_at": "2026-11-06T21:20:30.802260Z",
|
||||
"cases": [
|
||||
{
|
||||
"name": "gray2",
|
||||
"started_at": "2026-11-06T21:20:31.867669Z",
|
||||
"observed": {
|
||||
"attachment_id": "01a1b2bc-107e-76d1-b857-f8a847a893d8",
|
||||
"input_sha256": "80754a3aa0c8a6014dc7a282b2009d49d064a5c02ed48e634d05d01c0aa3df6b",
|
||||
"input_bytes": 189,
|
||||
"versions": [
|
||||
{
|
||||
"version": 1,
|
||||
"variants": [
|
||||
{
|
||||
"name": "crop",
|
||||
"sha256": "def030bc04042aa23362c895a36b18d1d9748360df045decaf68eaeb0aa68deb",
|
||||
"bytes": 1324,
|
||||
"dimensions": [
|
||||
128,
|
||||
128
|
||||
]
|
||||
},
|
||||
{
|
||||
"name": "optimized",
|
||||
"sha256": "fd49dc2d33e7b7963cd8f8f6ef0f0b80117e2c4a7dfb4fd2ee79285e47ff789a",
|
||||
"bytes": 98,
|
||||
"dimensions": [
|
||||
64,
|
||||
64
|
||||
]
|
||||
},
|
||||
{
|
||||
"name": "thumbnail",
|
||||
"sha256": "1b6f714677aa69673da7ed9eefba73376b8df42eae70a3d91002d2aab7272d9e",
|
||||
"bytes": 332,
|
||||
"dimensions": [
|
||||
64,
|
||||
64
|
||||
]
|
||||
}
|
||||
]
|
||||
},
|
||||
{
|
||||
"version": 2,
|
||||
"variants": [
|
||||
{
|
||||
"name": "crop",
|
||||
"sha256": "d14b6cc6fe415bd8c4fef55402a4fb196bc4f39d493ee505d536594b28841697",
|
||||
"bytes": 1489,
|
||||
"dimensions": [
|
||||
128,
|
||||
128
|
||||
]
|
||||
},
|
||||
{
|
||||
"name": "optimized",
|
||||
"sha256": "c8f23e1adbf1add646f23531e270dc25d5108453d50947dec3e73700b0d6741f",
|
||||
"bytes": 96,
|
||||
"dimensions": [
|
||||
64,
|
||||
64
|
||||
]
|
||||
},
|
||||
{
|
||||
"name": "thumbnail",
|
||||
"sha256": "93107a3ba1a8aba475f8993dfb0d03658cef12a416c08a230653370921dcc00b",
|
||||
"bytes": 335,
|
||||
"dimensions": [
|
||||
64,
|
||||
64
|
||||
]
|
||||
}
|
||||
]
|
||||
}
|
||||
],
|
||||
"stale_and_duplicate_noop": true
|
||||
},
|
||||
"result": "PASS",
|
||||
"elapsed_seconds": 4.952
|
||||
},
|
||||
{
|
||||
"name": "gray4",
|
||||
"started_at": "2026-11-06T21:20:36.820264Z",
|
||||
"observed": {
|
||||
"attachment_id": "01a1b2bc-23d7-7757-bd08-e78831dce1a6",
|
||||
"input_sha256": "d0ed5b64b3b875be881dd286bedb7948fd06570f9ef1d2cfe41b665a838e426b",
|
||||
"input_bytes": 263,
|
||||
"versions": [
|
||||
{
|
||||
"version": 1,
|
||||
"variants": [
|
||||
{
|
||||
"name": "crop",
|
||||
"sha256": "43323e552e3c79e1a1688478d72c2ce370c21e55f1560958f9f6a225bc32f909",
|
||||
"bytes": 1034,
|
||||
"dimensions": [
|
||||
128,
|
||||
128
|
||||
]
|
||||
},
|
||||
{
|
||||
"name": "optimized",
|
||||
"sha256": "dbc0ec3736c18df42f26b8f396b2eb243a18c6a0f5b6bbef8bf4ff7e563032c3",
|
||||
"bytes": 90,
|
||||
"dimensions": [
|
||||
64,
|
||||
64
|
||||
]
|
||||
},
|
||||
{
|
||||
"name": "thumbnail",
|
||||
"sha256": "d594ebb80ca7939643379ba54392070444eb900ca40bec9c6beee75175fd81ab",
|
||||
"bytes": 330,
|
||||
"dimensions": [
|
||||
64,
|
||||
64
|
||||
]
|
||||
}
|
||||
]
|
||||
},
|
||||
{
|
||||
"version": 2,
|
||||
"variants": [
|
||||
{
|
||||
"name": "crop",
|
||||
"sha256": "16e27d4c1df7aac7185381a1f4c8c9cceb05647e98f941c41e38f4dfe4c5ec75",
|
||||
"bytes": 1197,
|
||||
"dimensions": [
|
||||
128,
|
||||
128
|
||||
]
|
||||
},
|
||||
{
|
||||
"name": "optimized",
|
||||
"sha256": "cd31de25056767d9050108c4475d4b72ccd1ab3c36c1c96159b104019e4e3493",
|
||||
"bytes": 92,
|
||||
"dimensions": [
|
||||
64,
|
||||
64
|
||||
]
|
||||
},
|
||||
{
|
||||
"name": "thumbnail",
|
||||
"sha256": "86afdaf8b40f77c2426ebf10c8d603535d75caa4fc720462be9acc43e39d4fbd",
|
||||
"bytes": 330,
|
||||
"dimensions": [
|
||||
64,
|
||||
64
|
||||
]
|
||||
}
|
||||
]
|
||||
}
|
||||
],
|
||||
"stale_and_duplicate_noop": true
|
||||
},
|
||||
"result": "PASS",
|
||||
"elapsed_seconds": 4.607
|
||||
},
|
||||
{
|
||||
"name": "rgb16",
|
||||
"started_at": "2026-11-06T21:20:41.427922Z",
|
||||
"observed": {
|
||||
"attachment_id": "01a1b2bc-35d8-7442-a3b7-1cd166d552cc",
|
||||
"input_sha256": "e8e5f64cf3a0312b17549aed29f062e3cb03d0c1bf327396c6a25c4b88dec89f",
|
||||
"input_bytes": 724,
|
||||
"versions": [
|
||||
{
|
||||
"version": 1,
|
||||
"variants": [
|
||||
{
|
||||
"name": "crop",
|
||||
"sha256": "6386114c3d0b89c4df88745eec318b5db1a779d488e1b08f34ac34138c7feb99",
|
||||
"bytes": 671,
|
||||
"dimensions": [
|
||||
128,
|
||||
128
|
||||
]
|
||||
},
|
||||
{
|
||||
"name": "optimized",
|
||||
"sha256": "fed7e1bf230e91296a5ea9a85b51d190152639bb2963b661f872029d852cc4ad",
|
||||
"bytes": 94,
|
||||
"dimensions": [
|
||||
64,
|
||||
64
|
||||
]
|
||||
},
|
||||
{
|
||||
"name": "thumbnail",
|
||||
"sha256": "af0a65a6596a0905a79403a9a6ef32a1301671a98ae3c8b5c3d6ced2d20a1009",
|
||||
"bytes": 332,
|
||||
"dimensions": [
|
||||
64,
|
||||
64
|
||||
]
|
||||
}
|
||||
]
|
||||
},
|
||||
{
|
||||
"version": 2,
|
||||
"variants": [
|
||||
{
|
||||
"name": "crop",
|
||||
"sha256": "dedcbac123226e3012a4dbd178b7aae7a7aba4f2c44c91be274c86804238b208",
|
||||
"bytes": 696,
|
||||
"dimensions": [
|
||||
128,
|
||||
128
|
||||
]
|
||||
},
|
||||
{
|
||||
"name": "optimized",
|
||||
"sha256": "bc09a1696563daae4385190d2c52afac8230e18fff4b5eba701a42f0facde043",
|
||||
"bytes": 94,
|
||||
"dimensions": [
|
||||
64,
|
||||
64
|
||||
]
|
||||
},
|
||||
{
|
||||
"name": "thumbnail",
|
||||
"sha256": "218bc7fd6fa995a3c4cf725016714408073699d13f39d0d364ffe3595856d272",
|
||||
"bytes": 333,
|
||||
"dimensions": [
|
||||
64,
|
||||
64
|
||||
]
|
||||
}
|
||||
]
|
||||
}
|
||||
],
|
||||
"stale_and_duplicate_noop": true
|
||||
},
|
||||
"result": "PASS",
|
||||
"elapsed_seconds": 4.02
|
||||
},
|
||||
{
|
||||
"name": "gray1",
|
||||
"started_at": "2026-11-06T21:20:45.448396Z",
|
||||
"observed": {
|
||||
"attachment_id": "01a1b2bc-458d-73f1-9c76-b2f5f360400e",
|
||||
"input_sha256": "1bf59ee41fbd12bf572ac294e0505cc00b904363dd479d643b43062199dd67e3",
|
||||
"input_bytes": 154,
|
||||
"versions": [
|
||||
{
|
||||
"version": 1,
|
||||
"variants": [
|
||||
{
|
||||
"name": "crop",
|
||||
"sha256": "1b88218fd7e3ff00d6fa3e4bb732411617126591b2b6837aecdcaef426327eda",
|
||||
"bytes": 380,
|
||||
"dimensions": [
|
||||
128,
|
||||
128
|
||||
]
|
||||
},
|
||||
{
|
||||
"name": "optimized",
|
||||
"sha256": "315ce3f53ac2012226bbeb906c7d37997a7f6fabb3d0ede23a797e66fe4b51ee",
|
||||
"bytes": 66,
|
||||
"dimensions": [
|
||||
64,
|
||||
64
|
||||
]
|
||||
},
|
||||
{
|
||||
"name": "thumbnail",
|
||||
"sha256": "c5745603d7848377a38bb5228f7817f5d4d4f5af26dadd7d3b2fb97b6a598a8e",
|
||||
"bytes": 308,
|
||||
"dimensions": [
|
||||
64,
|
||||
64
|
||||
]
|
||||
}
|
||||
]
|
||||
},
|
||||
{
|
||||
"version": 2,
|
||||
"variants": [
|
||||
{
|
||||
"name": "crop",
|
||||
"sha256": "45eac1bd54dba273142a01a3f01a1530787db5a9fe04aa2483862256dbf16132",
|
||||
"bytes": 380,
|
||||
"dimensions": [
|
||||
128,
|
||||
128
|
||||
]
|
||||
},
|
||||
{
|
||||
"name": "optimized",
|
||||
"sha256": "8c5e7cc56874d00f7d5731a6a89461b264ef4e3b450899b63f4608231180b5aa",
|
||||
"bytes": 66,
|
||||
"dimensions": [
|
||||
64,
|
||||
64
|
||||
]
|
||||
},
|
||||
{
|
||||
"name": "thumbnail",
|
||||
"sha256": "19305cfd18dc8f3e504d6ef5667ddd7be788836e16317dba5b2c6f590b6a2667",
|
||||
"bytes": 308,
|
||||
"dimensions": [
|
||||
64,
|
||||
64
|
||||
]
|
||||
}
|
||||
]
|
||||
}
|
||||
],
|
||||
"stale_and_duplicate_noop": true
|
||||
},
|
||||
"result": "PASS",
|
||||
"elapsed_seconds": 3.992
|
||||
},
|
||||
{
|
||||
"name": "gray8",
|
||||
"started_at": "2026-11-06T21:20:49.441526Z",
|
||||
"observed": {
|
||||
"attachment_id": "01a1b2bc-5527-75fa-ace8-6f2de9678922",
|
||||
"input_sha256": "31cb54aacd9e1c324b14e38377f83a21d4084dc134aa3d3e1e5c40e3d9c5dd2f",
|
||||
"input_bytes": 286,
|
||||
"versions": [
|
||||
{
|
||||
"version": 1,
|
||||
"variants": [
|
||||
{
|
||||
"name": "crop",
|
||||
"sha256": "14a6e4afbe7e4cf766330007adda1c14168f16957f9409f402a8699a0e5de62f",
|
||||
"bytes": 621,
|
||||
"dimensions": [
|
||||
128,
|
||||
128
|
||||
]
|
||||
},
|
||||
{
|
||||
"name": "optimized",
|
||||
"sha256": "d35d7d59302099ea5fea9e91a405f4ebf8823aae1f53a59f88a09015619136fa",
|
||||
"bytes": 74,
|
||||
"dimensions": [
|
||||
64,
|
||||
64
|
||||
]
|
||||
},
|
||||
{
|
||||
"name": "thumbnail",
|
||||
"sha256": "d8fac3c82defab08dbb276681b1a7fb2545d883830dae5f965349474897373c7",
|
||||
"bytes": 324,
|
||||
"dimensions": [
|
||||
64,
|
||||
64
|
||||
]
|
||||
}
|
||||
]
|
||||
},
|
||||
{
|
||||
"version": 2,
|
||||
"variants": [
|
||||
{
|
||||
"name": "crop",
|
||||
"sha256": "dba34622f93edcd2d3449e217eb9605b1fac739c7c873a875af5d88d8e76bf2e",
|
||||
"bytes": 637,
|
||||
"dimensions": [
|
||||
128,
|
||||
128
|
||||
]
|
||||
},
|
||||
{
|
||||
"name": "optimized",
|
||||
"sha256": "3d4823a2da9971a444b16cf060be5f0b2b7a16bf50a26e7343283d48b562d105",
|
||||
"bytes": 76,
|
||||
"dimensions": [
|
||||
64,
|
||||
64
|
||||
]
|
||||
},
|
||||
{
|
||||
"name": "thumbnail",
|
||||
"sha256": "d9d4ed6ef383acdf227745e511acaffddf6e90c4f100d0f6ea117f5783581d29",
|
||||
"bytes": 324,
|
||||
"dimensions": [
|
||||
64,
|
||||
64
|
||||
]
|
||||
}
|
||||
]
|
||||
}
|
||||
],
|
||||
"stale_and_duplicate_noop": true
|
||||
},
|
||||
"result": "PASS",
|
||||
"elapsed_seconds": 4.022
|
||||
},
|
||||
{
|
||||
"name": "gray16",
|
||||
"started_at": "2026-11-06T21:20:53.463983Z",
|
||||
"observed": {
|
||||
"attachment_id": "01a1b2bc-64df-7694-8365-6ba2803fa169",
|
||||
"input_sha256": "f7fbc2506997045f18891037f3cde42cf1e3b55461948f790779817317574f77",
|
||||
"input_bytes": 344,
|
||||
"versions": [
|
||||
{
|
||||
"version": 1,
|
||||
"variants": [
|
||||
{
|
||||
"name": "crop",
|
||||
"sha256": "e49a69181bafd0ebb4348db7030ad2cbf632b296a65f0ba05fe984b3d2b1ccdc",
|
||||
"bytes": 632,
|
||||
"dimensions": [
|
||||
128,
|
||||
128
|
||||
]
|
||||
},
|
||||
{
|
||||
"name": "optimized",
|
||||
"sha256": "751dc647784804af94b6cda23248840f73cab0cfe03227c4568b75195c00603a",
|
||||
"bytes": 80,
|
||||
"dimensions": [
|
||||
64,
|
||||
64
|
||||
]
|
||||
},
|
||||
{
|
||||
"name": "thumbnail",
|
||||
"sha256": "1bc87b25d02a179dc0cf5a883fb624fda094ba042ed9476c883ae1c12da6f1b6",
|
||||
"bytes": 322,
|
||||
"dimensions": [
|
||||
64,
|
||||
64
|
||||
]
|
||||
}
|
||||
]
|
||||
},
|
||||
{
|
||||
"version": 2,
|
||||
"variants": [
|
||||
{
|
||||
"name": "crop",
|
||||
"sha256": "a94faef9b08b5ab6ab239b6618c0e92b0ab92abca889acd714d6d9179dde90ef",
|
||||
"bytes": 662,
|
||||
"dimensions": [
|
||||
128,
|
||||
128
|
||||
]
|
||||
},
|
||||
{
|
||||
"name": "optimized",
|
||||
"sha256": "b22468814595a3ae63a9b326ed55fefb9a833a0e621be5f366b113ad6cf18a12",
|
||||
"bytes": 72,
|
||||
"dimensions": [
|
||||
64,
|
||||
64
|
||||
]
|
||||
},
|
||||
{
|
||||
"name": "thumbnail",
|
||||
"sha256": "d2267d9adb990db045e8c186737a4bdf66aa4e8d82d785c0bb3d8e87c34c5072",
|
||||
"bytes": 323,
|
||||
"dimensions": [
|
||||
64,
|
||||
64
|
||||
]
|
||||
}
|
||||
]
|
||||
}
|
||||
],
|
||||
"stale_and_duplicate_noop": true
|
||||
},
|
||||
"result": "PASS",
|
||||
"elapsed_seconds": 3.952
|
||||
},
|
||||
{
|
||||
"name": "rgb8",
|
||||
"started_at": "2026-11-06T21:20:57.416228Z",
|
||||
"observed": {
|
||||
"attachment_id": "01a1b2bc-7451-70a2-83ed-869d99c81f3f",
|
||||
"input_sha256": "8c27c74500758b1a24ccc96261334265e304d55530780aefc7ef4a1109c11852",
|
||||
"input_bytes": 385,
|
||||
"versions": [
|
||||
{
|
||||
"version": 1,
|
||||
"variants": [
|
||||
{
|
||||
"name": "crop",
|
||||
"sha256": "c36bf54d185cfcf7abddd219a5e586e11b0c4d10007df5db55978f74ddcad2d0",
|
||||
"bytes": 1069,
|
||||
"dimensions": [
|
||||
128,
|
||||
128
|
||||
]
|
||||
},
|
||||
{
|
||||
"name": "optimized",
|
||||
"sha256": "7b78675ebd18218e82922e75072a801eea74b4d5f26cde2b5810407c86509b88",
|
||||
"bytes": 116,
|
||||
"dimensions": [
|
||||
64,
|
||||
64
|
||||
]
|
||||
},
|
||||
{
|
||||
"name": "thumbnail",
|
||||
"sha256": "f6e37a29401efe000eb8deb1490975d745f621f2ab229f4d85162945189e1791",
|
||||
"bytes": 385,
|
||||
"dimensions": [
|
||||
64,
|
||||
64
|
||||
]
|
||||
}
|
||||
]
|
||||
},
|
||||
{
|
||||
"version": 2,
|
||||
"variants": [
|
||||
{
|
||||
"name": "crop",
|
||||
"sha256": "fd82664e5924528cd7916b3b9e30b71517fa13c2763a8705e750fd4293f3027c",
|
||||
"bytes": 1184,
|
||||
"dimensions": [
|
||||
128,
|
||||
128
|
||||
]
|
||||
},
|
||||
{
|
||||
"name": "optimized",
|
||||
"sha256": "a05ef5a9f1305b2941cc99ab594eb3671bb87babe35d28ac97127791881137bb",
|
||||
"bytes": 120,
|
||||
"dimensions": [
|
||||
64,
|
||||
64
|
||||
]
|
||||
},
|
||||
{
|
||||
"name": "thumbnail",
|
||||
"sha256": "3cac9f1ca274bcac1dc05cf186cd88eb622fd947fb1a7958a1175e77623a96d6",
|
||||
"bytes": 392,
|
||||
"dimensions": [
|
||||
64,
|
||||
64
|
||||
]
|
||||
}
|
||||
]
|
||||
}
|
||||
],
|
||||
"stale_and_duplicate_noop": true
|
||||
},
|
||||
"result": "PASS",
|
||||
"elapsed_seconds": 4.545
|
||||
},
|
||||
{
|
||||
"name": "rgb16-adam7-filter4-exif6",
|
||||
"started_at": "2026-11-06T21:21:01.962099Z",
|
||||
"observed": {
|
||||
"attachment_id": "01a1b2bc-8615-7763-b117-c00aacaebeb6",
|
||||
"input_sha256": "b9c1cb1e309024e4578d1f17bf6bb0f0645aad4d8973e16098b65c54cfd4930a",
|
||||
"input_bytes": 1297,
|
||||
"versions": [
|
||||
{
|
||||
"version": 1,
|
||||
"variants": [
|
||||
{
|
||||
"name": "crop",
|
||||
"sha256": "f257bf8fa4f30f0e4df6672de140799375cebd2bf735a656432cf702663414a1",
|
||||
"bytes": 601,
|
||||
"dimensions": [
|
||||
128,
|
||||
128
|
||||
]
|
||||
},
|
||||
{
|
||||
"name": "optimized",
|
||||
"sha256": "cb92af5a047068048eba212d944513edb2c454f64e124339820d46c24e69ea45",
|
||||
"bytes": 112,
|
||||
"dimensions": [
|
||||
63,
|
||||
65
|
||||
]
|
||||
},
|
||||
{
|
||||
"name": "thumbnail",
|
||||
"sha256": "110cf7571f07d2db04821e8ef1861f74b5a16978851a4b0082ca60aedc1d29e4",
|
||||
"bytes": 419,
|
||||
"dimensions": [
|
||||
63,
|
||||
65
|
||||
]
|
||||
}
|
||||
]
|
||||
},
|
||||
{
|
||||
"version": 2,
|
||||
"variants": [
|
||||
{
|
||||
"name": "crop",
|
||||
"sha256": "0a7fea5640c5877026100e65e39848e7b15ee5eebb93897ebbeb95d441e8d652",
|
||||
"bytes": 675,
|
||||
"dimensions": [
|
||||
128,
|
||||
128
|
||||
]
|
||||
},
|
||||
{
|
||||
"name": "optimized",
|
||||
"sha256": "9d4b7431a72adfc10284e4443c4e56b4cd19a67c0729979041fc8b0bc2c6ca34",
|
||||
"bytes": 116,
|
||||
"dimensions": [
|
||||
63,
|
||||
65
|
||||
]
|
||||
},
|
||||
{
|
||||
"name": "thumbnail",
|
||||
"sha256": "529ceb55a8675e5ed870ed7917d7f1a5753c898b689f3e431e403b9b3682a732",
|
||||
"bytes": 440,
|
||||
"dimensions": [
|
||||
63,
|
||||
65
|
||||
]
|
||||
}
|
||||
]
|
||||
}
|
||||
],
|
||||
"stale_and_duplicate_noop": true
|
||||
},
|
||||
"result": "PASS",
|
||||
"elapsed_seconds": 4.577
|
||||
}
|
||||
],
|
||||
"conditions": {
|
||||
"host_load": [
|
||||
5.10693359375,
|
||||
3.61181640625,
|
||||
2.75048828125
|
||||
],
|
||||
"containers": [
|
||||
"mtusi2026lab5-api-1 fc7d65385119 running Up 3 minutes (healthy)",
|
||||
"mtusi2026lab5-api-2 a5411e55f06d running Up 3 minutes (healthy)",
|
||||
"mtusi2026lab5-broker-1 a38bbcf03870 running Up 3 minutes (healthy)",
|
||||
"mtusi2026lab5-lb-1 f0d01200b1f8 running Up 3 minutes (healthy)",
|
||||
"mtusi2026lab5-migrate-1 feca425ac0ae exited Exited (0) 2 minutes ago",
|
||||
"mtusi2026lab5-postgres-1 9f62ea9d176b running Up 11 seconds (healthy)",
|
||||
"mtusi2026lab5-relay-1 4153c8488753 running Up 3 minutes (healthy)",
|
||||
"mtusi2026lab5-s3-1 9a7684ef147a running Up 3 minutes (healthy)",
|
||||
"mtusi2026lab5-s3-init-1 e5825f3eeafb exited Exited (0) 2 minutes ago",
|
||||
"mtusi2026lab5-valkey-1 e37f783f9d50 running Up 3 minutes (healthy)",
|
||||
"mtusi2026lab5-worker-1 ee8f9d678c2c running Up 24 seconds (healthy)"
|
||||
],
|
||||
"running": "mtusi2026lab5-api-1 Up 3 minutes (healthy)\nmtusi2026lab5-relay-1 Up 3 minutes (healthy)\nmtusi2026lab5-api-2 Up 3 minutes (healthy)\nmtusi2026lab5-worker-1 Up 24 seconds (healthy)\nmtusi2026lab5-broker-1 Up 3 minutes (healthy)\nmtusi2026lab5-postgres-1 Up 11 seconds (healthy)\nmtusi2026lab5-lb-1 Up 3 minutes (healthy)\nmtusi2026lab5-s3-1 Up 3 minutes (healthy)\nmtusi2026lab5-valkey-1 Up 3 minutes (healthy)\n",
|
||||
"worker_limits": "448\n30\n2\n"
|
||||
},
|
||||
"invariants": [
|
||||
{
|
||||
"id": "terminal",
|
||||
"statement": "every 202 reaches its expected terminal state",
|
||||
"result": "PASS",
|
||||
"details": {
|
||||
"accepted": 8
|
||||
}
|
||||
},
|
||||
{
|
||||
"id": "single_effect",
|
||||
"statement": "one variant set per (attachment_id, pipeline_version, variant)",
|
||||
"result": "PASS",
|
||||
"details": {
|
||||
"rows": 0
|
||||
}
|
||||
},
|
||||
{
|
||||
"id": "no_ready_rollback",
|
||||
"statement": "ready never returns to queued or processing",
|
||||
"result": "PASS",
|
||||
"details": {
|
||||
"traced": 8
|
||||
}
|
||||
},
|
||||
{
|
||||
"id": "monotonic_publication",
|
||||
"statement": "published_version only moves forward",
|
||||
"result": "PASS",
|
||||
"details": {
|
||||
"sampled": 8
|
||||
}
|
||||
},
|
||||
{
|
||||
"id": "bytes_match_metadata",
|
||||
"statement": "sha256, size and real dimensions match served bytes",
|
||||
"result": "PASS",
|
||||
"details": {
|
||||
"verified": 8
|
||||
}
|
||||
},
|
||||
{
|
||||
"id": "bounded_attempts",
|
||||
"statement": "attempt <= JOB_MAX_ATTEMPTS",
|
||||
"result": "PASS",
|
||||
"details": {
|
||||
"rows": 0
|
||||
}
|
||||
},
|
||||
{
|
||||
"id": "no_orphans",
|
||||
"statement": "no pending outbox, messages, dead letters, staging, objects",
|
||||
"result": "PASS",
|
||||
"details": {
|
||||
"queues": {
|
||||
"attachments.process": [
|
||||
0,
|
||||
0
|
||||
],
|
||||
"attachments.process.dlq": [
|
||||
15,
|
||||
0
|
||||
]
|
||||
},
|
||||
"s3_objects": 56,
|
||||
"scoped_attachments": 8
|
||||
}
|
||||
},
|
||||
{
|
||||
"id": "no_lost_202",
|
||||
"statement": "every 202 is present in PostgreSQL and the API",
|
||||
"result": "PASS",
|
||||
"details": {
|
||||
"accepted": 8
|
||||
}
|
||||
}
|
||||
],
|
||||
"accepted_ids": [
|
||||
"01a1b2bc-107e-76d1-b857-f8a847a893d8",
|
||||
"01a1b2bc-23d7-7757-bd08-e78831dce1a6",
|
||||
"01a1b2bc-35d8-7442-a3b7-1cd166d552cc",
|
||||
"01a1b2bc-458d-73f1-9c76-b2f5f360400e",
|
||||
"01a1b2bc-5527-75fa-ace8-6f2de9678922",
|
||||
"01a1b2bc-64df-7694-8365-6ba2803fa169",
|
||||
"01a1b2bc-7451-70a2-83ed-869d99c81f3f",
|
||||
"01a1b2bc-8615-7763-b117-c00aacaebeb6"
|
||||
],
|
||||
"finished_at": "2026-11-06T21:21:18.474212Z",
|
||||
"result": "PASS"
|
||||
}
|
||||
@@ -1,12 +0,0 @@
|
||||
date: 2026-11-06T21:20:30Z commit: b30e2f6a84419d1ca64525ffb40df92183cccaef
|
||||
environment: {"COMPOSE_PROJECT_NAME": "mtusi2026lab5", "COMPOSE_FILE": "compose.yaml", "LB_HTTP_PORT": "18085", "LB_STATS_PORT": "25085", "BASE_URL": "http://127.0.0.1:18085", "NO_PROXY": "localhost,127.0.0.1,::1", "API_IMAGE": "mtusi-messenger:lab5-validation"}
|
||||
$ .venv/bin/python evidence/final-validation-2026-11-07/targeted.py png-http
|
||||
gray2 PASS
|
||||
gray4 PASS
|
||||
rgb16 PASS
|
||||
gray1 PASS
|
||||
gray8 PASS
|
||||
gray16 PASS
|
||||
rgb8 PASS
|
||||
rgb16-adam7-filter4-exif6 PASS
|
||||
exit_code: 0 elapsed_seconds: 47.846
|
||||
@@ -1,242 +0,0 @@
|
||||
{
|
||||
"mode": "png-limits",
|
||||
"source_sha": "b30e2f6a84419d1ca64525ffb40df92183cccaef",
|
||||
"started_at": "2026-11-06T21:21:18.724252Z",
|
||||
"cases": [
|
||||
{
|
||||
"name": "gray2-40mp",
|
||||
"started_at": "2026-11-06T21:21:20.277013Z",
|
||||
"result": "FAIL",
|
||||
"error": "{\"attachment_id\": \"01a1b2bc-cdc1-7315-82e0-39f3e53d87db\", \"input_bytes\": 35759, \"input_sha256\": \"e1238de6a5be9dbce36abee904f7233f8ff7be59e405b528671940630cce11f6\", \"pixels\": 40000000, \"status\": \"failed\", \"error_code\": \"processing_failed\", \"jobs\": [{\"job_id\": \"01a1b2bc-cdc9-7157-b245-f357f81b4d6c\", \"pipeline_version\": 1, \"status\": \"failed\", \"attempt\": 1}], \"memory_peak\": \"541655040\", \"memory_max\": \"1073741824\"}",
|
||||
"elapsed_seconds": 1.066
|
||||
},
|
||||
{
|
||||
"name": "gray4-40mp",
|
||||
"started_at": "2026-11-06T21:21:21.343296Z",
|
||||
"result": "FAIL",
|
||||
"error": "{\"attachment_id\": \"01a1b2bc-d211-7337-bd57-0ca1f3e33a0d\", \"input_bytes\": 46441, \"input_sha256\": \"64e665928c08ac3721324af4f8e2e9d2e98230dc1be389dde7bbf365650b08cd\", \"pixels\": 40000000, \"status\": \"failed\", \"error_code\": \"processing_failed\", \"jobs\": [{\"job_id\": \"01a1b2bc-d21b-72a6-b463-0fa58bd353a2\", \"pipeline_version\": 1, \"status\": \"failed\", \"attempt\": 1}], \"memory_peak\": \"541655040\", \"memory_max\": \"1073741824\"}",
|
||||
"elapsed_seconds": 1.168
|
||||
},
|
||||
{
|
||||
"name": "gray16-40mp",
|
||||
"started_at": "2026-11-06T21:21:22.511903Z",
|
||||
"result": "FAIL",
|
||||
"error": "{\"attachment_id\": \"01a1b2bc-d744-77c1-8352-989f80848cab\", \"input_bytes\": 103565, \"input_sha256\": \"b59784ae916d50b41b15afa4bdd474a8699f099da55efd53580d3f97180f3800\", \"pixels\": 40000000, \"status\": \"failed\", \"error_code\": \"processing_failed\", \"jobs\": [{\"job_id\": \"01a1b2bc-d74e-7582-a9f8-fa827d36c9fe\", \"pipeline_version\": 1, \"status\": \"failed\", \"attempt\": 1}], \"memory_peak\": \"638119936\", \"memory_max\": \"1073741824\"}",
|
||||
"elapsed_seconds": 0.955
|
||||
},
|
||||
{
|
||||
"name": "rgb16-40mp",
|
||||
"started_at": "2026-11-06T21:21:23.467422Z",
|
||||
"result": "FAIL",
|
||||
"error": "{\"attachment_id\": \"01a1b2bc-dc37-7249-b7c3-f8901fb298de\", \"input_bytes\": 385445, \"input_sha256\": \"3c4418a6f6a7676298b30b70ebbde9d12929f1345152f4fae979caf5ba1cb3f7\", \"pixels\": 40000000, \"status\": \"failed\", \"error_code\": \"processing_failed\", \"jobs\": [{\"job_id\": \"01a1b2bc-dc3f-7724-a737-43ad5584c8c7\", \"pipeline_version\": 1, \"status\": \"failed\", \"attempt\": 1}], \"memory_peak\": \"640196608\", \"memory_max\": \"1073741824\"}",
|
||||
"elapsed_seconds": 2.242
|
||||
},
|
||||
{
|
||||
"name": "forced-timeout",
|
||||
"started_at": "2026-11-06T21:21:26.091820Z",
|
||||
"observed": {
|
||||
"attachment_id": "01a1b2bc-f161-7119-986f-bc7c8fd99bf0",
|
||||
"error_code": "processing_failed",
|
||||
"worker": "running"
|
||||
},
|
||||
"result": "PASS",
|
||||
"elapsed_seconds": 4.233
|
||||
},
|
||||
{
|
||||
"name": "forced-memory",
|
||||
"started_at": "2026-11-06T21:21:30.325405Z",
|
||||
"observed": {
|
||||
"attachment_id": "01a1b2bd-0192-70e7-a174-3275ca516e11",
|
||||
"error_code": "processing_failed",
|
||||
"worker": "running"
|
||||
},
|
||||
"result": "PASS",
|
||||
"elapsed_seconds": 4.766
|
||||
},
|
||||
{
|
||||
"name": "normal-after-limits",
|
||||
"started_at": "2026-11-06T21:21:38.218266Z",
|
||||
"observed": {
|
||||
"attachment_id": "01a1b2bd-13b0-712a-9275-1d3cdd2eb49a",
|
||||
"variants": [
|
||||
"crop",
|
||||
"optimized",
|
||||
"thumbnail"
|
||||
]
|
||||
},
|
||||
"result": "PASS",
|
||||
"elapsed_seconds": 1.618
|
||||
}
|
||||
],
|
||||
"conditions": {
|
||||
"host_load": [
|
||||
4.66455078125,
|
||||
3.70458984375,
|
||||
2.83203125
|
||||
],
|
||||
"containers": [
|
||||
"mtusi2026lab5-api-1 fc7d65385119 running Up 4 minutes (healthy)",
|
||||
"mtusi2026lab5-api-2 a5411e55f06d running Up 4 minutes (healthy)",
|
||||
"mtusi2026lab5-broker-1 a38bbcf03870 running Up 4 minutes (healthy)",
|
||||
"mtusi2026lab5-lb-1 f0d01200b1f8 running Up 4 minutes (healthy)",
|
||||
"mtusi2026lab5-migrate-1 feca425ac0ae exited Exited (0) 3 minutes ago",
|
||||
"mtusi2026lab5-postgres-1 9f62ea9d176b running Up 59 seconds (healthy)",
|
||||
"mtusi2026lab5-relay-1 4153c8488753 running Up 4 minutes (healthy)",
|
||||
"mtusi2026lab5-s3-1 9a7684ef147a running Up 4 minutes (healthy)",
|
||||
"mtusi2026lab5-s3-init-1 e5825f3eeafb exited Exited (0) 3 minutes ago",
|
||||
"mtusi2026lab5-valkey-1 e37f783f9d50 running Up 4 minutes (healthy)",
|
||||
"mtusi2026lab5-worker-1 ee8f9d678c2c running Up About a minute (healthy)"
|
||||
],
|
||||
"running": "mtusi2026lab5-api-1 Up 4 minutes (healthy)\nmtusi2026lab5-relay-1 Up 4 minutes (healthy)\nmtusi2026lab5-api-2 Up 4 minutes (healthy)\nmtusi2026lab5-worker-1 Up About a minute (healthy)\nmtusi2026lab5-broker-1 Up 4 minutes (healthy)\nmtusi2026lab5-postgres-1 Up 59 seconds (healthy)\nmtusi2026lab5-lb-1 Up 4 minutes (healthy)\nmtusi2026lab5-s3-1 Up 4 minutes (healthy)\nmtusi2026lab5-valkey-1 Up 4 minutes (healthy)\n",
|
||||
"worker_limits": "448\n30\n2\n"
|
||||
},
|
||||
"large_observations": [
|
||||
{
|
||||
"attachment_id": "01a1b2bc-cdc1-7315-82e0-39f3e53d87db",
|
||||
"input_bytes": 35759,
|
||||
"input_sha256": "e1238de6a5be9dbce36abee904f7233f8ff7be59e405b528671940630cce11f6",
|
||||
"pixels": 40000000,
|
||||
"status": "failed",
|
||||
"error_code": "processing_failed",
|
||||
"jobs": [
|
||||
{
|
||||
"job_id": "01a1b2bc-cdc9-7157-b245-f357f81b4d6c",
|
||||
"pipeline_version": 1,
|
||||
"status": "failed",
|
||||
"attempt": 1
|
||||
}
|
||||
],
|
||||
"memory_peak": "541655040",
|
||||
"memory_max": "1073741824"
|
||||
},
|
||||
{
|
||||
"attachment_id": "01a1b2bc-d211-7337-bd57-0ca1f3e33a0d",
|
||||
"input_bytes": 46441,
|
||||
"input_sha256": "64e665928c08ac3721324af4f8e2e9d2e98230dc1be389dde7bbf365650b08cd",
|
||||
"pixels": 40000000,
|
||||
"status": "failed",
|
||||
"error_code": "processing_failed",
|
||||
"jobs": [
|
||||
{
|
||||
"job_id": "01a1b2bc-d21b-72a6-b463-0fa58bd353a2",
|
||||
"pipeline_version": 1,
|
||||
"status": "failed",
|
||||
"attempt": 1
|
||||
}
|
||||
],
|
||||
"memory_peak": "541655040",
|
||||
"memory_max": "1073741824"
|
||||
},
|
||||
{
|
||||
"attachment_id": "01a1b2bc-d744-77c1-8352-989f80848cab",
|
||||
"input_bytes": 103565,
|
||||
"input_sha256": "b59784ae916d50b41b15afa4bdd474a8699f099da55efd53580d3f97180f3800",
|
||||
"pixels": 40000000,
|
||||
"status": "failed",
|
||||
"error_code": "processing_failed",
|
||||
"jobs": [
|
||||
{
|
||||
"job_id": "01a1b2bc-d74e-7582-a9f8-fa827d36c9fe",
|
||||
"pipeline_version": 1,
|
||||
"status": "failed",
|
||||
"attempt": 1
|
||||
}
|
||||
],
|
||||
"memory_peak": "638119936",
|
||||
"memory_max": "1073741824"
|
||||
},
|
||||
{
|
||||
"attachment_id": "01a1b2bc-dc37-7249-b7c3-f8901fb298de",
|
||||
"input_bytes": 385445,
|
||||
"input_sha256": "3c4418a6f6a7676298b30b70ebbde9d12929f1345152f4fae979caf5ba1cb3f7",
|
||||
"pixels": 40000000,
|
||||
"status": "failed",
|
||||
"error_code": "processing_failed",
|
||||
"jobs": [
|
||||
{
|
||||
"job_id": "01a1b2bc-dc3f-7724-a737-43ad5584c8c7",
|
||||
"pipeline_version": 1,
|
||||
"status": "failed",
|
||||
"attempt": 1
|
||||
}
|
||||
],
|
||||
"memory_peak": "640196608",
|
||||
"memory_max": "1073741824"
|
||||
}
|
||||
],
|
||||
"invariants": [
|
||||
{
|
||||
"id": "terminal",
|
||||
"statement": "every 202 reaches its expected terminal state",
|
||||
"result": "PASS",
|
||||
"details": {
|
||||
"accepted": 7
|
||||
}
|
||||
},
|
||||
{
|
||||
"id": "single_effect",
|
||||
"statement": "one variant set per (attachment_id, pipeline_version, variant)",
|
||||
"result": "PASS",
|
||||
"details": {
|
||||
"rows": 0
|
||||
}
|
||||
},
|
||||
{
|
||||
"id": "no_ready_rollback",
|
||||
"statement": "ready never returns to queued or processing",
|
||||
"result": "PASS",
|
||||
"details": {
|
||||
"traced": 7
|
||||
}
|
||||
},
|
||||
{
|
||||
"id": "monotonic_publication",
|
||||
"statement": "published_version only moves forward",
|
||||
"result": "PASS",
|
||||
"details": {
|
||||
"sampled": 0
|
||||
}
|
||||
},
|
||||
{
|
||||
"id": "bytes_match_metadata",
|
||||
"statement": "sha256, size and real dimensions match served bytes",
|
||||
"result": "PASS",
|
||||
"details": {
|
||||
"verified": 1
|
||||
}
|
||||
},
|
||||
{
|
||||
"id": "bounded_attempts",
|
||||
"statement": "attempt <= JOB_MAX_ATTEMPTS",
|
||||
"result": "PASS",
|
||||
"details": {
|
||||
"rows": 0
|
||||
}
|
||||
},
|
||||
{
|
||||
"id": "no_orphans",
|
||||
"statement": "no pending outbox, messages, dead letters, staging, objects",
|
||||
"result": "FAIL",
|
||||
"details": "staging kept after ready: [{'id': '01a1b2bd-13b0-712a-9275-1d3cdd2eb49a'}]"
|
||||
},
|
||||
{
|
||||
"id": "no_lost_202",
|
||||
"statement": "every 202 is present in PostgreSQL and the API",
|
||||
"result": "PASS",
|
||||
"details": {
|
||||
"accepted": 7
|
||||
}
|
||||
}
|
||||
],
|
||||
"accepted_ids": [
|
||||
"01a1b2bc-cdc1-7315-82e0-39f3e53d87db",
|
||||
"01a1b2bc-d211-7337-bd57-0ca1f3e33a0d",
|
||||
"01a1b2bc-d744-77c1-8352-989f80848cab",
|
||||
"01a1b2bc-dc37-7249-b7c3-f8901fb298de",
|
||||
"01a1b2bc-f161-7119-986f-bc7c8fd99bf0",
|
||||
"01a1b2bd-0192-70e7-a174-3275ca516e11",
|
||||
"01a1b2bd-13b0-712a-9275-1d3cdd2eb49a"
|
||||
],
|
||||
"finished_at": "2026-11-06T21:21:42.105495Z",
|
||||
"result": "FAIL"
|
||||
}
|
||||
@@ -1,11 +0,0 @@
|
||||
date: 2026-11-06T21:21:18Z commit: b30e2f6a84419d1ca64525ffb40df92183cccaef
|
||||
environment: {"COMPOSE_PROJECT_NAME": "mtusi2026lab5", "COMPOSE_FILE": "compose.yaml", "LB_HTTP_PORT": "18085", "LB_STATS_PORT": "25085", "BASE_URL": "http://127.0.0.1:18085", "NO_PROXY": "localhost,127.0.0.1,::1", "API_IMAGE": "mtusi-messenger:lab5-validation"}
|
||||
$ .venv/bin/python evidence/final-validation-2026-11-07/targeted.py png-limits
|
||||
gray2-40mp FAIL {"attachment_id": "01a1b2bc-cdc1-7315-82e0-39f3e53d87db", "input_bytes": 35759, "input_sha256": "e1238de6a5be9dbce36abee904f7233f8ff7be59e405b528671940630cce11f6", "pixels": 40000000, "status": "failed", "error_code": "processing_failed", "jobs": [{"job_id": "01a1b2bc-cdc9-7157-b245-f357f81b4d6c", "pipeline_version": 1, "status": "failed", "attempt": 1}], "memory_peak": "541655040", "memory_max": "1073741824"}
|
||||
gray4-40mp FAIL {"attachment_id": "01a1b2bc-d211-7337-bd57-0ca1f3e33a0d", "input_bytes": 46441, "input_sha256": "64e665928c08ac3721324af4f8e2e9d2e98230dc1be389dde7bbf365650b08cd", "pixels": 40000000, "status": "failed", "error_code": "processing_failed", "jobs": [{"job_id": "01a1b2bc-d21b-72a6-b463-0fa58bd353a2", "pipeline_version": 1, "status": "failed", "attempt": 1}], "memory_peak": "541655040", "memory_max": "1073741824"}
|
||||
gray16-40mp FAIL {"attachment_id": "01a1b2bc-d744-77c1-8352-989f80848cab", "input_bytes": 103565, "input_sha256": "b59784ae916d50b41b15afa4bdd474a8699f099da55efd53580d3f97180f3800", "pixels": 40000000, "status": "failed", "error_code": "processing_failed", "jobs": [{"job_id": "01a1b2bc-d74e-7582-a9f8-fa827d36c9fe", "pipeline_version": 1, "status": "failed", "attempt": 1}], "memory_peak": "638119936", "memory_max": "1073741824"}
|
||||
rgb16-40mp FAIL {"attachment_id": "01a1b2bc-dc37-7249-b7c3-f8901fb298de", "input_bytes": 385445, "input_sha256": "3c4418a6f6a7676298b30b70ebbde9d12929f1345152f4fae979caf5ba1cb3f7", "pixels": 40000000, "status": "failed", "error_code": "processing_failed", "jobs": [{"job_id": "01a1b2bc-dc3f-7724-a737-43ad5584c8c7", "pipeline_version": 1, "status": "failed", "attempt": 1}], "memory_peak": "640196608", "memory_max": "1073741824"}
|
||||
forced-timeout PASS
|
||||
forced-memory PASS
|
||||
normal-after-limits PASS
|
||||
exit_code: 1 elapsed_seconds: 23.549
|
||||
Some files were not shown because too many files have changed in this diff Show More
Reference in New Issue
Block a user