forked from mtusi2026/mtusi2026lab2
Compare commits
| Author | SHA1 | Date | |
|---|---|---|---|
|
|
c67dd11029 | ||
|
|
4ed889c1e4 | ||
|
|
5e49502ae7 | ||
|
|
7a0ebac2aa | ||
|
|
7c8a1a6489 | ||
|
|
bcbd4ebc02 | ||
|
|
7342d5d97a | ||
|
|
9387c3d82a | ||
|
|
f0521fa1e0 | ||
|
|
8bc2da2c09 | ||
|
|
75b93bbba5 | ||
|
|
f0fc084fbb | ||
|
|
d7478726a8 | ||
|
|
504f77cb7c | ||
|
|
3402fd69d4 | ||
|
|
827b783be3 | ||
|
|
751aaed4b1 | ||
|
|
57caeb6b5a | ||
|
|
cf41f7c64d | ||
|
|
6c706a727e | ||
|
|
c7e7a86627 | ||
|
|
02f385866f | ||
|
|
763b025557 | ||
|
|
1aec062aba | ||
|
|
5596ca935c | ||
|
|
41700c27e5 | ||
|
|
8e4532f6f5 | ||
|
|
dd4021b678 | ||
|
|
568ff6643e | ||
|
|
d2e684f0cf | ||
|
|
6ffb90d1d1 | ||
|
|
61dcb6bf13 | ||
|
|
21937f920f | ||
|
|
f1ee385a1b | ||
|
|
3de1dcdc84 | ||
|
|
b6c04f2296 | ||
|
|
adca7c6edc | ||
|
|
2891b37e75 | ||
|
|
54099e1da3 | ||
|
|
96e934ed8f | ||
|
|
c8cb263c77 | ||
|
|
81dd816df2 | ||
|
|
58cae16ef8 | ||
|
|
8cb5a664c6 | ||
|
|
df345b32e1 | ||
|
|
b1916236f4 | ||
|
|
5c3c238d17 | ||
|
|
3b3cb5bd7f | ||
|
|
8cd30488d2 | ||
|
|
e927afdb09 | ||
|
|
7ac1a4a11b | ||
|
|
5ca2cdc9af | ||
|
|
7dca40c55e | ||
|
|
de9dc61ebc | ||
|
|
a335f654ed | ||
|
|
51fa19a8ee | ||
|
|
91731fd317 | ||
|
|
62986245a2 | ||
|
|
148868bdfb | ||
|
|
d2744bc1ac | ||
|
|
2b19277b1e | ||
|
|
a774a2fbbd | ||
|
|
98df351235 | ||
|
|
28055a8551 | ||
|
|
0e4eb1738c | ||
|
|
70a0c6065e | ||
|
|
a41580aceb | ||
|
|
e4253eb076 | ||
|
|
db901d6401 | ||
|
|
24f9d6195b | ||
|
|
5aa766acff | ||
|
|
f9760fc098 | ||
|
|
00826a40d3 | ||
|
|
76c9673ab3 | ||
|
|
3794df20d4 | ||
|
|
d7fb96bb70 | ||
|
|
bf8e4e3cd1 | ||
|
|
b0f463ac5c | ||
|
|
ec540a1a72 |
+2
-23
@@ -18,17 +18,12 @@ S3_ACCESS_KEY_ID_FILE=/run/secrets/s3_access_key_id
|
||||
S3_SECRET_ACCESS_KEY_FILE=/run/secrets/s3_secret_access_key
|
||||
MAX_UPLOAD_BYTES=10485760
|
||||
MAX_IMAGE_PIXELS=40000000
|
||||
BROKER_URL_FILE=/run/secrets/broker_url
|
||||
WORKER_CONCURRENCY=2
|
||||
JOB_MAX_ATTEMPTS=5
|
||||
JOB_TIMEOUT_SECONDS=60
|
||||
STAGING_RETENTION_SECONDS=86400
|
||||
# Solution-specific: published LB ports, replica limits, workers and pool per replica,
|
||||
# LB queue per replica, drain window before closing the listener on SIGTERM, PostgreSQL
|
||||
# limits, load generator limits (profile bench), cursor key file. API_PORT/SHORTTTL_PORT of lab2 are gone:
|
||||
# only the load balancer is published.
|
||||
LB_HTTP_PORT=18085
|
||||
LB_STATS_PORT=25085
|
||||
LB_HTTP_PORT=8080
|
||||
LB_STATS_PORT=8404
|
||||
API_CPUS=1
|
||||
API_MEMORY=512m
|
||||
WEB_CONCURRENCY=2
|
||||
@@ -55,22 +50,6 @@ UPLOAD_SWEEP_INTERVAL_SECONDS=30
|
||||
UPLOAD_SWEEP_BATCH=100
|
||||
# Fixed glibc mmap threshold for the API: buffers above 128 KiB are returned to the system on free.
|
||||
MALLOC_MMAP_THRESHOLD_=131072
|
||||
# Solution-specific for lab5: RabbitMQ management UI on 127.0.0.1, backoff base of a transient
|
||||
# retry (doubles per attempt up to 60 s), relay poll and sweep intervals, worker limits and the
|
||||
# PostgreSQL pool of relay and worker. FAULT_POINT is set only by infra/compose.faults.yaml.
|
||||
BROKER_MANAGEMENT_PORT=25086
|
||||
JOB_BACKOFF_BASE_SECONDS=2
|
||||
OUTBOX_POLL_SECONDS=1
|
||||
SWEEP_INTERVAL_SECONDS=5
|
||||
WORKER_CPUS=2
|
||||
WORKER_MEMORY=1g
|
||||
PIPELINE_DB_POOL_MAX_SIZE=4
|
||||
# Solution-specific for lab5 grade 4: render time per job (the render process is killed after it),
|
||||
# address space of one render process (WORKER_MEMORY >= WORKER_CONCURRENCY * RENDER_MEMORY_MB plus
|
||||
# ~120 MiB of the worker itself), jobs per render process before it is replaced.
|
||||
RENDER_TIMEOUT_SECONDS=30
|
||||
RENDER_MEMORY_MB=448
|
||||
RENDER_TASKS_PER_CHILD=100
|
||||
# Minimal client transfer rate, bytes/s: every body byte moved in either direction extends the
|
||||
# request deadline by 1/rate, so slow but steady uploads and downloads outlive REQUEST_TIMEOUT_SECONDS.
|
||||
MIN_TRANSFER_RATE_BYTES=131072
|
||||
|
||||
@@ -1,4 +1,4 @@
|
||||
## Лабораторная 5
|
||||
## Лабораторная 4
|
||||
|
||||
Автор / группа: TODO
|
||||
Целевая оценка (3/4/5): TODO
|
||||
|
||||
@@ -19,7 +19,7 @@ jobs:
|
||||
- run: make student-test VENV=.venv
|
||||
|
||||
acceptance:
|
||||
name: Стенд Compose с RabbitMQ, relay и worker за HAProxy, smoke, pipeline, отказ реплики, рестарт и отказы зависимостей
|
||||
name: Стенд Compose с RustFS за HAProxy, smoke, вложения, отказ реплики, рестарт и отказы зависимостей
|
||||
runs-on: ubuntu-latest
|
||||
steps:
|
||||
- uses: actions/checkout@v4
|
||||
@@ -34,17 +34,6 @@ jobs:
|
||||
- name: Публичный smoke через балансировщик
|
||||
run: make test
|
||||
|
||||
- name: Топология брокера, consumer с prefetch и права клиентов
|
||||
run: make topology
|
||||
|
||||
- name: Уровни «3» и «4» pipeline — worker остановлен, рестарт брокера, дубль, S3, попытки, варианты и пределы, падения в окнах 2–5, аренда, replay, DLQ, jitter, retention
|
||||
run: |
|
||||
make suite-preflight
|
||||
make level4
|
||||
|
||||
- name: Сообщение задания в очереди, 409 до ready и SIGTERM relay и worker
|
||||
run: make pipeline-evidence
|
||||
|
||||
- name: Вложение после остановки принявшей его реплики и при недоступном S3
|
||||
run: |
|
||||
make scenario SCENARIO=failover-upload
|
||||
@@ -82,8 +71,7 @@ jobs:
|
||||
|
||||
- name: Наружу опубликован только балансировщик
|
||||
run: |
|
||||
docker compose ps --format '{{.Service}} {{.Ports}}' | awk '$2 != "" && $1 != "lb" && $1 != "broker" {print; bad=1} END {exit bad}'
|
||||
docker compose ps --format '{{.Service}} {{.Ports}}' | awk '$1 == "broker" && $2 !~ /^127\.0\.0\.1:/ {print; bad=1} END {exit bad}'
|
||||
docker compose ps --format '{{.Service}} {{.Ports}}' | awk '$2 != "" && $1 != "lb" {print; bad=1} END {exit bad}'
|
||||
|
||||
- name: Процессы работают не от root
|
||||
run: |
|
||||
@@ -99,15 +87,6 @@ jobs:
|
||||
case "${user%%:*}" in ""|0|root) exit 1 ;; esac
|
||||
done
|
||||
|
||||
- name: Корректная остановка relay и worker по SIGTERM
|
||||
run: |
|
||||
start=$(date +%s)
|
||||
docker compose stop -t 10 relay worker
|
||||
elapsed=$(( $(date +%s) - start ))
|
||||
codes=$(docker inspect -f '{{.State.ExitCode}}' $(docker compose ps -aq relay worker) | sort -u)
|
||||
echo "остановка за ${elapsed} с, коды завершения ${codes}"
|
||||
test "$elapsed" -le 10 && test "$codes" = "0"
|
||||
|
||||
- name: Корректная остановка реплик API по SIGTERM
|
||||
run: |
|
||||
start=$(date +%s)
|
||||
|
||||
@@ -1,90 +1,82 @@
|
||||
## Что это за репозиторий
|
||||
|
||||
Skeleton лабораторной 5 курса «Мессенджер под нагрузкой» (МТУСИ, 7 независимых лаб) и решение в ветке `solution/bpi2303-kostylev`. Skeleton даёт задание (`README.md`), нормативный контракт (`contracts/`) и публичные black-box проверки (`tests/`). Реализация API, worker, relay, Dockerfile, compose-стенд, конфигурация балансировщика, S3 и брокера, миграции, хуки отказов и собственные тесты — студенческие; решение лабы 5 построено переносом решения лабы 4.
|
||||
Skeleton лабораторной 4 курса «Мессенджер под нагрузкой» (МТУСИ, 7 независимых лаб) и решение в ветке `solution/bpi2303-kostylev`. Skeleton даёт задание (`README.md`), нормативный контракт (`contracts/`) и публичные black-box проверки (`tests/`). Реализация API, Dockerfile, compose-стенд, конфигурация балансировщика и S3, миграции, хуки отказов и собственные тесты — студенческие; решение лабы 4 построено переносом решения лабы 3.
|
||||
|
||||
Лаба 5: приём вложения отделён от тяжёлой обработки. `POST /api/v1/chats/{chat_id}/attachments` проверяет файл как в лабе 4, кладёт оригинал в приватный префикс `staging/` bucket **RustFS** и одной транзакцией PostgreSQL фиксирует вложение `queued`, задание (`jobs`) и строку **transactional outbox**; только после этого отвечает `202` со снимком `queued`. Отдельный сервис `relay` публикует outbox в **RabbitMQ 4.1** (quorum queue, DLX, publisher confirms, `mandatory`, persistent), отдельный сервис `worker` (тот же образ, свой entrypoint) потребляет очередь через **FastStream** поверх aio-pika с ручным `ack` строго после `COMMIT` результата, захватывает задание арендой (`lease_token`), публикует оригинал в `originals/` и строит варианты Pillow. Источник истины состояний — PostgreSQL, брокер — транспорт и будильник. Остаётся всё из лаб 1–4: HAProxy перед ≥2 репликами, `X-Instance-Id`, `Idempotency-Key`, Basic → Bearer, хуки остановки реплики и рестарта стенда.
|
||||
|
||||
Текущий доступ к PostgreSQL — **SQLAlchemy 2.0.45 async**, `postgresql+asyncpg`, `async_sessionmaker`, ORM/Core и `DeclarativeBase`; миграции — **Alembic 1.16.5**, каталог `alembic/versions/`, async `alembic/env.py`. Compose-service `migrate` выполняет `alembic upgrade head` под advisory lock с проверкой legacy-схемы. Сырой asyncpg и прежние SQL-миграции не являются текущей архитектурой.
|
||||
Лаба 4: вложения-изображения в сообщениях. Метаданные вложений живут в PostgreSQL, байты — в приватном bucket S3-совместимого хранилища **RustFS** внутри стенда, а не в БД и не на диске реплики. `POST /api/v1/chats/{chat_id}/attachments` принимает сырые байты одного PNG/JPEG (≤10 MiB, ≤40 млн пикселей, тип по содержимому) и отвечает `201 ready` только после записи объекта и фиксации метаданных; скачивание идёт только через API участникам чата. Сообщение несёт `attachment_ids`. Остаётся всё из лабы 3: HAProxy перед ≥2 репликами, `X-Instance-Id`, обязательный `Idempotency-Key`, хуки остановки реплики и рестарта стенда.
|
||||
|
||||
## Команды
|
||||
|
||||
```sh
|
||||
make check # offline: структура skeleton, JSON, локальные $ref, синтаксис Python, версия 1.5.0
|
||||
make validate PYTHON=.venv/bin/python # полная валидация OpenAPI 3.1 и jobs.schema.json (venv с requirements-dev.txt)
|
||||
make check # offline: структура skeleton, JSON, локальные $ref, синтаксис Python, версия 1.4.0
|
||||
make validate # полная валидация OpenAPI 3.1: openapi-spec-validator из .venv (make install); PYTHON= — свой интерпретатор
|
||||
make install # uv sync --group dev
|
||||
make lint # ruff check + ruff format --check + ty check; обязательно перед commit
|
||||
make student-test # собственные тесты (одноразовые PostgreSQL, Valkey, RustFS и RabbitMQ в Docker)
|
||||
make student-test # собственные тесты (поднимают одноразовые PostgreSQL, Valkey и RustFS в Docker)
|
||||
make student-test PYTEST_ARGS='-v -k drain' # выборка тестов с именами
|
||||
|
||||
make secrets # локальные secrets/* (PostgreSQL, Valkey, S3 root/API/worker, RabbitMQ) и .env
|
||||
make up # docker compose build, затем up -d --wait (relay и worker пересоздаются на новом образе): хранилища и broker → migrate, s3-init → api ×2, relay, worker → lb
|
||||
make test # публичный smoke через LB (BASE_URL=http://127.0.0.1:18085)
|
||||
make test-persistence ACTION_SCRIPT=scripts/restart.sh # рестарт lb, api, relay, worker и postgres, valkey, s3, broker с volumes
|
||||
make secrets # локальные secrets/* (включая root и API-ключи S3) и .env из .env.example
|
||||
make up # docker compose up -d --build --wait: postgres, valkey, s3 → migrate, s3-init → api ×2 → lb; затем ждёт все реплики UP в LB
|
||||
make test # публичный smoke через LB (BASE_URL по умолчанию — docker compose port lb 8080, без стенда http://localhost:8080)
|
||||
make test-persistence ACTION_SCRIPT=scripts/restart.sh # рестарт lb, api, postgres, valkey, s3 с сохранением volumes
|
||||
make test-failover ACTION_SCRIPT=scripts/stop-one.sh # остановка реплики TARGET_INSTANCE_ID под запросами
|
||||
make test-faults # тесты стенда через LB (make faults-evidence → evidence/faults.txt)
|
||||
make restore # вернуть остановленные реплики и дождаться их в ротации LB
|
||||
make worker-stop / worker-start # демонстрация «worker недоступен»
|
||||
make queues # очереди брокера: ready, unacked, consumers
|
||||
make level3 # сценарии уровня «3» suite (scripts/pipeline_suite.py) → evidence/level3.json
|
||||
make level4 # сценарии уровней «3» и «4» suite и инварианты → evidence/level4.json
|
||||
make track2 TRACK2_OUTPUT=evidence/local-track2.json # 13 сценариев и 8 инвариантов трека 2
|
||||
make reprocess ID=… PIPELINE_VERSION=2 # новая версия обработки доступного исходника
|
||||
make failed / make replay ID=… / make dlq # реестр failed, явный replay, просмотр DLQ (python -m messenger.admin, rabbitmqadmin)
|
||||
make down # остановка своего project без удаления постоянных volumes
|
||||
make limits # лимиты, порты, секреты, volumes и сети всех сервисов против политики → evidence/limits.txt
|
||||
make lb-check # один токен на обеих репликах и 20 гонок одного Idempotency-Key через LB
|
||||
make retry-check # потерянный ответ (запись ждёт блокировку чата) на живой и на убитой реплике, повтор тем же ключом
|
||||
make scenario SCENARIO=failover-upload # upload → стоп обслужившей реплики → download через другую, SHA-256
|
||||
make scenario SCENARIO=s3-outage # S3 остановлен: upload/download 503, тексты работают
|
||||
make s3-check # приватный bucket вне API, ограниченные ключи API и сверки, консоль, повторный bootstrap
|
||||
make upload-faults # «4»: негативный suite через LB, компенсация, уборка после grace, обрыв и зависание тела
|
||||
make upload-memory ARGS='--out evidence/upload-memory/run1' # «4»: пик памяти реплик и LB при 10/20/40 загрузках 1 и 10 MiB
|
||||
make load-evidence # tests/load.py ×3 клиентом-контейнером в сети edge → evidence/load.txt, evidence/load/
|
||||
make overload-leftovers # после upload-memory: намерения от 503, сверка и уборка после grace → evidence/overload-leftovers.txt
|
||||
make clean-clone-evidence # блок «Запуск из чистого clone» REPORT.md в свежем клоне рядом → evidence/clean-clone.txt
|
||||
make reconcile ARGS="--apply" # трек 2: сверка PostgreSQL ↔ S3 (без ARGS — dry-run), one-off сервис reconciler
|
||||
make reconcile-demo # трек 2: внедрение ошибок, dry-run/apply/повтор, безопасность, нагрузка → evidence/reconcile/
|
||||
make reconcile-cost # трек 2: стоимость обхода 1k/10k/30k/100k × 3 (чистый стенд) → evidence/reconcile/cost/
|
||||
make down # остановка без удаления данных (с профилями bench, tools, reconcile)
|
||||
```
|
||||
|
||||
`tests/*.py` и `scripts/*.py` — только stdlib, синтаксис Python 3.9 (`make check` разбирает их системным `python3`). Проверки сами не поднимают стенд. Хуки `scripts/stop-one.sh` и `scripts/restart.sh` запускаются тестом без shell, поэтому исполняемые и с shebang. Данные не удаляются автоматически: каждый прогон smoke создаёт новых синтетических пользователей и вложения.
|
||||
|
||||
## Архитектура skeleton
|
||||
|
||||
- `lab.json` — единственный источник номера лабы (5). От него зависят `scripts/check_contract.py` (`info.version == 1.5.0`) и `tests/client.py` (ветки `LAB>=5`: upload отвечает `202 queued`, сообщение с вложением сразу, ожидание `ready` до 60 с от второго участника, ровно один вариант `thumbnail` 256×160 настоящим JPEG).
|
||||
- `tests/` байт в байт как в лабе 4; поведение переключает только `lab.json`. `tests/resilience.py` после хука рестарта запрашивает метаданные и оригинал один раз с таймаутом 2 с.
|
||||
- `contracts/jobs.schema.json` — формат сообщения брокера (7 обязательных полей, без bytes, URL, ключей S3 и filename); `contracts/attachment-states.md` — машина состояний и окна отказа.
|
||||
- `contracts/infrastructure.json` — роли `api`, `postgres`, `load_balancer`, `s3`, `broker` (persistent volume, at-least-once), `worker` (отдельный процесс). `compose.example.yaml` — только worksheet ролей.
|
||||
- `lab.json` — единственный источник номера лабы (4). От него зависят `scripts/check_contract.py` (`info.version == 1.4.0`, путь `/api/v1/attachments/{attachment_id}`, `X-Instance-Id` во всех ответах) и `tests/client.py` (ветки `LAB>=4`: upload `tests/fixtures/sample.png`, сообщение с `attachment_ids`, скачивание вторым участником, `404` постороннему).
|
||||
- `tests/client.py` шлёт `Accept: application/json` на каждый запрос, включая скачивание картинки, и считает любой `30x` ошибкой: content negotiation и redirect на S3 не делаются.
|
||||
- `tests/resilience.py`: перед хуком загружается `sample.png`; после `persistence` метаданные и `/content` запрашиваются **один раз** без повторов с таймаутом 2 с, поэтому хук рестарта ждёт здоровья S3. В `failover` `TARGET_INSTANCE_ID` — реплика, обслужившая первое **сообщение**, а не upload; остановку реплики, принявшей upload, доказывает `scripts/lab4_scenarios.py failover-upload`.
|
||||
- `contracts/infrastructure.json` — роли `api` (≥2, без локального состояния), `postgres` (метаданные, persistent volume), `load_balancer`, `s3` (приватный bucket, persistent volume), опциональный `redis_or_valkey`. `compose.example.yaml` — только worksheet ролей.
|
||||
|
||||
## Ключевые правила контракта (lab5)
|
||||
## Ключевые правила контракта (lab4)
|
||||
|
||||
- Upload: те же лимиты и коды, что в лабе 4 (`413`, `415`, `400`, `404`), но успех — `202 Attachment` со снимком `status=queued`, `variants=[]`, `error_code=null`; снимок берётся из записанного объекта, а не перечитывается после публикации. `202` — только после записи оригинала в `staging/` и `COMMIT` вложения, задания и outbox.
|
||||
- Состояния: `queued → processing → ready | failed`; `processing → queued` при временной ошибке или истёкшей аренде; `failed → queued` только явным replay. `ready` не откатывается. `ready` выставляется, только когда записаны оригинал и все обещанные уровнем варианты.
|
||||
- `/content` для `queued`, `processing`, `failed` — `409 conflict` для любого `variant`, включая `original`; неизвестный `variant` — `400`; отсутствующий вариант `ready`-вложения — `404`; посторонний — `404`. Варианты: `thumbnail` JPEG вписан в 256×256 без увеличения, EXIF orientation применяется, alpha на белом, размеры вниз, минимум 1 px.
|
||||
- Сообщение: вложение `queued`/`processing` прикрепляется (`201`), `failed` — `409`, вложение другого чата или неизвестное — `404`.
|
||||
- Сообщение брокера — ровно поля `jobs.schema.json`; `job_id` не меняется при redelivery, `attempt` растёт только при управляемом повторе через outbox. Ключ эффекта — `(attachment_id, pipeline_version, variant)`.
|
||||
- Сохраняются правила lab4 (сырые байты, тип по содержимому, скачивание только через API без redirect), lab3 (`X-Instance-Id`, `Idempotency-Key`, LB не повторяет upload), lab2 (`Basic` только на входе, `Bearer` дальше, `WWW-Authenticate` по пути) и lab1 (формат ошибки, посторонний → `404`, keyset `(created_at, id)`, время RFC 3339 с `Z`).
|
||||
- Upload: `POST /api/v1/chats/{chat_id}/attachments?filename=…`, тело — сырые байты (не multipart), `Content-Type: image/png|image/jpeg`. Сначала `401`, затем объявленный `Content-Length` (`413`). Дедлайн запроса продлевается переданными байтами тела по `MIN_TRANSFER_RATE_BYTES` (128 KiB/s): медленный, но идущий upload и скачивание не обрываются. `>10485760` байт или `>40 000 000` пикселей — `413`; тип по содержимому не совпал, битый файл, иной `Content-Type` — `415`; `filename` пустой, пробельный, длиннее 255 code points или с `/`, `\`, NUL, управляющими символами — `400`. Object key назначает сервер. `201 Attachment` (`status=ready`, `variants=[]`, `error_code=null`, lowercase `sha256`, `size_bytes` оригинала) — только после записи в S3 и `COMMIT` метаданных. Кода `409` у upload нет.
|
||||
- `GET /api/v1/attachments/{id}` и `/content?variant=original` — только участникам чата вложения, посторонний и неизвестный id — `404`. Скачивание отдаёт исходные байты с истинным `Content-Type`, без redirect, с `X-Request-Id` и `X-Instance-Id`.
|
||||
- `Message.attachment_ids` обязателен в каждом ответе (`[]` у текстовых, в том числе в replay и истории). `CreateMessage.attachment_ids` — 0–10 уникальных UUID (иначе `400`), только вложения этого чата (иначе `404`); `text=""` допустим только с вложением. Отсутствующий `attachment_ids` и `[]` — одно тело для `Idempotency-Key`.
|
||||
- Сохраняются правила lab3 (`X-Instance-Id`, `Idempotency-Key`, LB не повторяет `POST /users`, `/chats`, upload), lab2 (`Basic` только на входе, `Bearer` дальше, `WWW-Authenticate` по пути, logout `204`, TTL) и lab1 (формат ошибки, посторонний → `404`, keyset `(created_at, id)`, время RFC 3339 с `Z`).
|
||||
|
||||
## Правила работы с репозиторием
|
||||
|
||||
- Поздние исправления ЛР3 перенесены из immutable snapshot `ba78cf6da439a4ec60fd59389583b38285b0b2b1`; диапазон от `f591fa64e525679a31c9db7f942d36c789e1a12f` и применимость evidence описаны в `evidence/forward-port.md`.
|
||||
- Только свой Compose project `mtusi2026lab4` либо `hlpipe-lab4-*` под разрешённым working_dir; HTTP 18084, остальные host-порты 24000–24999. `NO_PROXY` и `no_proxy`: localhost,127.0.0.1,::1. Чужие контейнеры не останавливать, WIP и volumes сохранять. Совместный Docker допустим; эксклюзивность только в финальном release.
|
||||
- Runner назначает одного агента переноса и реализации 3→4→5 с evidence, затем review → отдельный fix при major → re-review, отдельный report и одного агента нагрузки/публикации. Грейды одной лабы последовательны; review/report предыдущей могут идти параллельно реализации следующей. Самостоятельных агентов, push и Telegram нет; runner/state не менять. Публикация только в назначенной фазе PUBLICATION в private MTUCI-Labs.
|
||||
- Исправлять критичное: major — доказанная угроза безопасности, данным, доступности или неработающий обязательный сценарий. Прочие minor остаются в findings и ограничениях REPORT и не блокируют этап. Пригодные измерения сохраняются; повторяется только затронутая или признанная непригодной серия с указанной причиной и фоном нагрузки.
|
||||
- Не менять и не ослаблять `contracts/`, `tests/`, `README.md`, `COURSE.md`, рубрику. Расхождение оформляется вопросом преподавателю.
|
||||
- Код — `src/messenger/`, миграции — `alembic/versions/`, конфигурация LB, нагрузки, S3 и брокера — `infra/`, хуки и обвязка стенда — `scripts/`, собственные тесты — `student-tests/`, обезличенные доказательства — `evidence/`.
|
||||
- Код — `src/messenger/`, миграции — `alembic/versions/NNNN_*.py`, конфигурация LB, нагрузки и S3 — `infra/`, хуки и обвязка стенда — `scripts/`, собственные тесты — `student-tests/`, обезличенные доказательства — `evidence/`.
|
||||
- PostgreSQL — SQLAlchemy 2 async с asyncpg как драйвером; ORM-модели внутри зон, Alembic принимает legacy-схему только после сверки журнала и каталога.
|
||||
- Без комментариев в коде; отступы — пробелы (`[tool.ruff.format]`); Python 3.14 без `from __future__ import annotations` и `TYPE_CHECKING`.
|
||||
- Порты реплик API, S3, AMQP наружу не публикуются: только LB и UI брокера на `127.0.0.1`. API к брокеру не подключается. Клиенты брокера не объявляют очереди: топология — в `infra/rabbitmq/definitions.json`, права configure есть только у оператора.
|
||||
- Порты реплик API и S3 наружу не публикуются: только LB. Нет `container_name`, `hostname` и общего `INSTANCE_ID` у сервиса `api`. Root-ключи S3 есть только у `s3`, `s3-init` и `s3-cli`; API получает отдельный ключ только на объекты bucket (`Get/Put/DeleteObject`), сверка — свой ключ (`ListBucket`, `Get/DeleteObject`). `s3-init` и `s3-cli` работают от uid 65534, `migrate` и `reconciler` — с `init: true`.
|
||||
- `REPORT.md`: команды из чистого clone, архитектура, таблица «критерий → команда → наблюдение → файл», таблица отказов. PASS без команды не доказательство; для отказов — какой контейнер реально остановлен (`docker ps -a`).
|
||||
- Ветка `solution/bpi2303-kostylev`, коммиты на английском, перед каждым — `make lint`. Никогда не коммитить `.env`, `secrets/`, токены, ключи S3, пароли брокера, volumes, дампы.
|
||||
- Проверять документацию используемых библиотек через Context7. Изменения реализации проходят OpenSpec propose/apply/archive. `openspec/config.yaml` уже описывает SQLAlchemy/Alembic и ЛР5; оставшееся в design правило `201` относится к прежней загрузке ЛР4, нормативный успех ЛР5 — `202`.
|
||||
- Автор работы — Костылев Артём, БПИ2303. Не приписывать авторство Claude. Публикация только в private MTUCI-Labs и только назначенным агентом фазы PUBLICATION; вне неё не делать push и не отправлять Telegram.
|
||||
|
||||
## Порядок этапов и Docker
|
||||
|
||||
- Только runner управляет агентами: один переносит основу и последовательно реализует 3 → 4 → 5 с evidence, затем отдельные review → fix только major → re-review, отчёт, один агент нагрузки и публикации. Review/отчёт предыдущей лабы могут идти параллельно реализации следующей. Самостоятельно фоновых агентов не запускать, runner/state не менять.
|
||||
- Major — доказанная угроза безопасности, потеря/повреждение данных, недоступность сервиса или провал обязательного сценария. Остальное — minor: сохранять в findings и ограничениях REPORT, не исправлять без назначения и не блокировать этапы. Обязательный FAIL нельзя объявлять PASS.
|
||||
- Менять только назначенную лабу; другую читать лишь через предоставленный snapshot. Перед итоговым review переносить применимые поздние исправления. Сохранять WIP; `reset/clean` и удаление пользовательских данных запрещены.
|
||||
- Разрешены основной project `mtusi2026lab5` в основном репозитории или `hlpipe-lab5-*` с working_dir под ним либо `/Users/artemkostylev/projects/learning/HL/labs/.pipeline/.runs/labs`. API — 18085, остальные порты — 25000–25999; текущие значения stats/UI — 25085/25086. Учитывать Compose env, не печатать секреты.
|
||||
- Обычные Docker-этапы работают совместно на отдельных project/портах/volumes; финальная нагрузка получает эксклюзивный доступ через runner. Останавливать только свой стенд, в конце — без `-v`. Фон и условия замеров фиксировать; пригодные серии сохранять, повторять только отсутствующие, затронутые или непригодные.
|
||||
- Отчётная фаза меняет только `REPORT.md`, `AGENTS.md`, `evidence/**/*.md`; не меняет код, конфиги, OpenSpec и сырые измерения. Docker, динамические/нагрузочные прогоны и полный `make student-test` в этой фазе запрещены; лёгкие check/validate/lint и OpenSpec validation допустимы.
|
||||
|
||||
## Состояние доказательств после ревью
|
||||
|
||||
Индекс — [evidence/README.md](evidence/README.md), отчёт — [REPORT.md](REPORT.md). Текущий код после исправления памяти и независимого re-review — `6096aa7948b8b666aa3892397a96d044a55f02c6` (M). Последняя полная динамическая квалификация — `0e921116610d289716af0a40ec823376eb8bbcbc` (D); предыдущее review — `42575281b352d35bda17ee7601bae5548a996e91` (R). От D к R менялись renderer PNG и policy RabbitMQ; от R к M из runtime изменён только renderer. Старые PASS не обозначать прогоном M.
|
||||
|
||||
Validation на `b30e2f6a84419d1ca64525ffb40df92183cccaef` (V, runtime = R) завершила реальный PostgreSQL outage: 12 requeue → ready без replay, policy `delivery-limit=-1` на сохранённом volume, DLQ не выросла. HTTP PNG: 8 fixtures / 48 сравнений вариантов v1/v2 PASS. Delivery subset: 12 сценариев / 8 инвариантов PASS. Student-test: 980 passed / 1 Linux-only skip. Исторический аудит — [evidence/load-validation.md](evidence/load-validation.md), результаты V — [evidence/final-validation-2026-11-07/RESULTS.md](evidence/final-validation-2026-11-07/RESULTS.md).
|
||||
|
||||
**Прежний major закрыт динамически на F `74c33160ac01618f70e9e1c6a121a5e45c3c7155` (runtime = M).** Четыре исходных PNG 8000×5000 и grayscale16 без tRNS прошли Linux с импортами worker при 448 MiB/30 с и HTTP 202 → ready в v1/v2. Два одновременных HTTP jobs: peak 844.41 MiB / 1 GiB, OOM=0. Boundary: 8 сценариев / 8 инвариантов, 11 ID / 59 объектов; малая HTTP-матрица: 8 fixtures / 48 сравнений / 8 инвариантов, 8 ID / 56 объектов. Принудительные лимиты, обычное задание после каждого отказа и cleanup после sweep — PASS. Student-test: 984 passed / 2 Linux-only skipped / 19 deselected; Linux-эквивалент выполнен отдельно. Исходные FAIL V сохранены, лимиты не увеличивались.
|
||||
|
||||
Актуальные команды и сырьё — [evidence/final-memory-validation-2026-11-07/RESULTS.md](evidence/final-memory-validation-2026-11-07/RESULTS.md), аудит применимости — [evidence/load-validation.md](evidence/load-validation.md). Полные track2, PostgreSQL outage и delivery subset приняты без повторения: соответствующий runtime не менялся. Стенд F остановлен, четыре volumes сохранены. Validation завершена; push/Telegram не выполнялись, публикация требует отдельного сообщения координатора с точным SHA. Документационные коммиты после F не меняют измеренный runtime.
|
||||
|
||||
Семь minor последнего review сохраняются в REPORT: crash_publish_confirm фактически после confirm до COMMIT outbox; limits.py имеет ложный FAIL порядка secrets; reconcile_track.py ожидает upload 201 ЛР4; failed upgrade v2 нельзя отдельно повторить при ready v1; UTC/elapsed run2/3 расходятся; design-правило config сохранило 201; JobMessage допускает преобразования типов и null вне jobs.schema.json. Последний minor воспроизведён reviewer в четырёх offline-пробах (bus/ack вместо reject); штатный relay формирует корректные сообщения, критичного последствия не установлено. Происхождение — [аудит обновления отчёта](evidence/report-memory-audit-2026-11-07.md). Корневые старые evidence до SQLAlchemy остаются историей.
|
||||
- Отчётный этап меняет только `REPORT.md`, `AGENTS.md` и `evidence/**/*.md`; код, конфиги, OpenSpec и сырые измерения не меняет. Docker и нагрузку не запускает. `make student-test` поднимает зависимости: сохранённый результат или collection не выдаётся за новый полный прогон.
|
||||
- Ветка `solution/bpi2303-kostylev`, коммиты на английском, перед каждым — `make lint`. Никогда не коммитить `.env`, `secrets/`, токены, ключи S3, volumes, дампы.
|
||||
|
||||
## Уровни оценки
|
||||
|
||||
Цель — **«5»**, трек 2 «Доказанная идемпотентность pipeline». Критерии подтверждены совокупностью сохранённых серий D/V и адресной validation F; прежний major закрыт, семь minor сохранены. Таблица доказательств и границы применимости — в `REPORT.md`.
|
||||
Цель — **«5»**, трек 2 «Согласованность двух хранилищ (reconciler)». На snapshot `7a0ebac2aa9e1d8602054ca4c7c1b0c23d3bfad4` ревью прошло без открытых major. Финальная validation на `5e49502ae78fa48b992c97418e490666c699726d` с идентичным runtime закрыла динамический долг обоих PNG-фиксов: `evidence/load-validation.md`. Сохранён minor Unicode-surrogate → HTTP 500 (`src/messenger/messaging/entrypoints/schemas.py:35`, `evidence/forward-final-2026-11-06/known-minor-http.txt`).
|
||||
|
||||
- **3** — `202 queued` после staging и `COMMIT` задания с outbox; отдельные `broker`, `relay`, `worker` в стенде; durable quorum queue, publisher confirm, ручной `ack` после `COMMIT`; состояния `queued/processing/ready/failed`, оригинал в `originals/` и thumbnail; ограниченный retry (`JOB_MAX_ATTEMPTS=5`) и `failed` с `error_code`; повтор job без второго набора вариантов; worker остановлен → upload → сообщение → рестарт API и broker → worker → `ready`; минимум lab4 сохранён.
|
||||
- **4** — crop и optimized WebP, лимиты worker по байтам, пикселям, времени и памяти, crash между `COMMIT` и publish, backoff с jitter и классификация ошибок, DLQ и replay, crash после записи объекта до `ack`, lease и fencing для зависшего `processing`, prefetch, очистка staging.
|
||||
- **5** — трек 2: `pipeline_version` 1 и 2, монотонная публикация, автоматический fault-injection (дубль, reorder, crash до и после side effect, устаревшая job) и проверка инвариантов одной командой.
|
||||
Таблица критериев — в `REPORT.md`, команды и SHA — в `evidence/README.md`. Новая серия использует отдельный разрешённый project со свежими volumes; `reset-data`, `down -v`, reset/clean и удаление пользовательских данных запрещены. После Docker-этапа остановить только свои стенды, сохранив volumes. При изменениях проверять применимость по diff: повторять лишь затронутые/непригодные серии с причиной и фоном. Документационный коммит измерений не обесценивает.
|
||||
|
||||
Исторические upload-memory и конкурентные upload до PNG-фиксов не доказывают RAM/производительность нового инспектора. Финальная validation выполнена: 721 собственная проверка (719 + адресный повтор 2 setup errors RustFS), 7 stack, PNG/JPEG через LB/RustFS; матрица 3 слота × 1/10 MiB × 10/20/40 клиентов ×3: 840/840×201, API ≤440 MiB, OOM 0; 10 PNG 40 MP RGBA16: 10×201, API ≤270,828 MiB; upload при сверке: 3341×201, 67 проходов, lost_ready=0. Сырьё — `evidence/png-final-2026-11-06/`. Эти пригодные серии повторять без нового изменения/обоснованной непригодности запрещено. Контроль 64/3 оставлен историческим. 27 пригодных cost-замеров reconciler на `3402fd69d4922e500035a204d957be2cccaeb85a` сохраняются: измеряемый путь не менялся. Отрицательный вывод о линейности времени и разброс deep 100k не скрываются.
|
||||
|
||||
- **3** — RustFS и приватный bucket в общем стенде, метаданные в PostgreSQL; upload `201 ready` после записи и `COMMIT`, побайтное скачивание вторым участником, `404` постороннему, `403` анонимному GET в S3; лимиты 10 MiB / 40 MP, тип по содержимому, опасные `filename`; upload → стоп обслужившей реплики → download через другую; restart с volumes; недоступный S3 → `503` при работающих текстах; минимум lab3 сохранён.
|
||||
- **4** — негативные тесты файлов без `500`; компенсация сбоя между S3 и БД под блокировкой строки и фоновая уборка намерений `pending` старше `UPLOAD_GRACE_SECONDS` (`SKIP LOCKED`, объект раньше строки); слоты загрузки на воркер, ограниченные буферы сокетов LB и API, фиксированный порог `mmap` glibc и замер ≥10 одновременных загрузок; идемпотентный bootstrap, ограниченные ключи API, закрытая консоль, проверка приватности вне API.
|
||||
- **5** — трек 2: one-off `reconciler` (`python -m messenger.attachments.entrypoints.reconcile`, по умолчанию `--dry-run`) сливает отсортированный листинг bucket и keyset-страницы `attachments` по `object_key` (O(N) сравнений, O(страница) памяти; линейность времени в замерах не подтвердилась); объект без строки старше grace + skew удаляется после повторной проверки строки, готовые строки без объекта или с другими байтами уходят в карантин (миграция `0004`, `/content` → `404`) и не удаляются, `pending` старше grace удаляется (объект, затем строка), карантин снимается только после совпавшего SHA-256 объекта (и без `--deep`); удаление намерения — `audit.attachment_discarded reason=reconcile`; SQL-страниц `⌈N/страница⌉`; один проход за раз (`pg_try_advisory_lock`); повторный `--apply` — 0 действий; стоимость обхода 1k/10k/30k/100k объектов с закреплёнными CPU и отбраковкой прогонов с чужой нагрузкой (`evidence/reconcile/`).
|
||||
|
||||
+1
-1
@@ -1,4 +1,4 @@
|
||||
# Памятка преподавателю — лабораторная 5
|
||||
# Памятка преподавателю — лабораторная 4
|
||||
|
||||
## Что подготовлено
|
||||
|
||||
|
||||
@@ -11,25 +11,18 @@ RATE ?= 100
|
||||
FROM_REV ?=
|
||||
SHIFT ?= 0
|
||||
SCRIPTS_PY = scripts/capture_evidence.py alembic scripts/scaling.py tools scripts/probe.py scripts/limits.py scripts/lab4_scenarios.py scripts/lab4_seed.py \
|
||||
scripts/upload_memory.py scripts/reconcile_check.py scripts/reconcile_track.py \
|
||||
scripts/make_images.py scripts/pipeline_suite.py scripts/pipeline_evidence.py
|
||||
scripts/upload_memory.py scripts/reconcile_check.py scripts/reconcile_track.py
|
||||
SCENARIO ?= failover-upload
|
||||
PSQL = $(COMPOSE) exec -T postgres psql -U messenger -d messenger -X -q
|
||||
TRACK2_OUTPUT ?= evidence/track2.json
|
||||
TRACK2_SCENARIOS = smoke_pipeline,duplicate_after_ready,crash_commit_publish,crash_publish_confirm,crash_after_s3_before_commit,crash_after_commit_before_ack,lease_expiry_fencing,crash_before_side_effect,worker_kill_mid_task,duplicate_in_flight,reorder_attempts,reorder_versions,stale_after_new_version
|
||||
PIPELINE_VERSION ?= 2
|
||||
PYTEST_ARGS ?=
|
||||
|
||||
.PHONY: help check validate test load test-persistence test-failover \
|
||||
install lint format typecheck student-test \
|
||||
secrets up down reset-data migrate ps logs restore lb-check failover-evidence stack-evidence \
|
||||
persistence-evidence storage-evidence cache-evidence test-faults seed explain \
|
||||
limits detection failover-each rolling-update lab4-level4 \
|
||||
persistence-evidence storage-evidence cache-evidence test-faults faults-evidence seed explain retry-check \
|
||||
limits detection failover-each rolling-update level4 \
|
||||
scenario s3-check attachments-evidence upload-faults upload-memory \
|
||||
images queues topology worker-stop worker-start broker-restart suite-preflight level3 \
|
||||
pipeline-evidence level4 replay failed dlq \
|
||||
faults-evidence retry-check reconcile reconcile-demo reconcile-cost load-evidence \
|
||||
clean-clone-evidence overload-leftovers
|
||||
reconcile reconcile-demo reconcile-cost load-evidence clean-clone-evidence overload-leftovers
|
||||
|
||||
.NOTPARALLEL:
|
||||
|
||||
@@ -38,14 +31,8 @@ help:
|
||||
@echo "install/lint/typecheck/student-test: студенческий тулчейн"
|
||||
@echo "secrets/up/down/migrate/ps/logs: стенд Docker Compose; reset-data: намеренное удаление volumes"
|
||||
@echo "restore: вернуть остановленные реплики; lb-check: реплики на одном токене и 20 гонок одного ключа"
|
||||
@echo "lab4-level4 = limits, lb-check, detection, failover-each, rolling-update [FROM_REV=<коммит>]; RATE=$(RATE) rps"
|
||||
@echo "scenario SCENARIO=failover-upload|s3-outage → evidence/<сценарий>.json; s3-check; attachments-evidence"
|
||||
@echo "upload-faults: негативный suite, компенсация, уборка, обрыв и зависание загрузки против стенда"
|
||||
@echo "upload-memory: пик памяти реплик при 10/20/40 одновременных загрузках 1 и 10 MiB → evidence/upload-memory/"
|
||||
@echo "lab5: queues, topology, worker-stop/worker-start, broker-restart, images, suite-preflight, level3, level4"
|
||||
@echo "lab5 оператор: failed (реестр), replay ID=<attachment_id>, dlq (просмотр DLQ без извлечения)"
|
||||
@echo "retry-check: потерянный ответ на живой и на убитой реплике, повтор тем же ключом"
|
||||
@echo "lab4-level4 = limits, lb-check, detection, failover-each, rolling-update [FROM_REV=<коммит>]; RATE=$(RATE) rps"
|
||||
@echo "level4 = limits, lb-check, detection, failover-each, rolling-update [FROM_REV=<коммит>]; RATE=$(RATE) rps"
|
||||
@echo "scenario SCENARIO=failover-upload|s3-outage → evidence/<сценарий>.json; s3-check; attachments-evidence"
|
||||
@echo "upload-faults: негативный suite, компенсация, уборка, обрыв и зависание загрузки против стенда"
|
||||
@echo "upload-memory ARGS='--out evidence/upload-memory/runN': пик памяти реплик при 10/20/40 загрузках 1 и 10 MiB"
|
||||
@@ -98,11 +85,9 @@ student-test:
|
||||
|
||||
secrets:
|
||||
sh scripts/secrets.sh
|
||||
sh scripts/broker-secrets.sh
|
||||
|
||||
up: secrets
|
||||
$(COMPOSE) build
|
||||
$(COMPOSE) up -d --wait
|
||||
$(COMPOSE) up -d --build --wait
|
||||
scripts/lb-wait.sh
|
||||
|
||||
down:
|
||||
@@ -151,7 +136,7 @@ endif
|
||||
--out evidence/rolling$(if $(FROM_REV),-from-$(FROM_REV)) \
|
||||
-- scripts/rolling-update.sh
|
||||
|
||||
lab4-level4: limits lb-check detection failover-each rolling-update
|
||||
level4: limits lb-check detection failover-each rolling-update
|
||||
|
||||
scenario:
|
||||
$(PYTHON) scripts/lab4_scenarios.py $(SCENARIO) --base-url "$(BASE_URL)" --restore --output evidence/$(SCENARIO).json
|
||||
@@ -224,64 +209,3 @@ explain: seed
|
||||
echo "\$$ make explain # scripts/sql/explain-history.sql"; \
|
||||
$(PSQL) -f - < scripts/sql/explain-history.sql; } > evidence/explain-history.txt
|
||||
cat evidence/explain-history.txt
|
||||
|
||||
images:
|
||||
$(PYTHON) scripts/make_images.py
|
||||
|
||||
queues:
|
||||
sh scripts/broker.sh queues
|
||||
|
||||
topology:
|
||||
{ echo "date: $$(date -u +%FT%TZ) commit: $$(git rev-parse --short HEAD)"; \
|
||||
echo "$$ rabbitmqctl list_queues -p messenger name type durable policy messages"; \
|
||||
$(COMPOSE) exec -T broker rabbitmqctl -q list_queues -p messenger name type durable policy messages; \
|
||||
echo "$$ rabbitmqctl list_consumers -p messenger"; \
|
||||
$(COMPOSE) exec -T broker rabbitmqctl -q list_consumers -p messenger queue_name ack_required prefetch_count; \
|
||||
echo "$$ rabbitmqctl list_permissions -p messenger"; \
|
||||
$(COMPOSE) exec -T broker rabbitmqctl -q list_permissions -p messenger; \
|
||||
echo "$$ rabbitmqctl list_users"; \
|
||||
$(COMPOSE) exec -T broker rabbitmqctl -q list_users; \
|
||||
echo "$$ docker compose ps"; \
|
||||
$(COMPOSE) ps --format '{{.Service}}\t{{.Status}}\t{{.Ports}}'; } > evidence/topology.txt
|
||||
cat evidence/topology.txt
|
||||
|
||||
worker-stop:
|
||||
sh scripts/worker.sh stop
|
||||
|
||||
worker-start:
|
||||
sh scripts/worker.sh start
|
||||
|
||||
broker-restart:
|
||||
sh scripts/broker.sh restart
|
||||
|
||||
suite-preflight:
|
||||
BASE_URL="$(BASE_URL)" $(PYTHON) scripts/pipeline_suite.py --preflight
|
||||
|
||||
level3:
|
||||
BASE_URL="$(BASE_URL)" $(PYTHON) scripts/pipeline_suite.py --level 3 --output evidence/level3.json
|
||||
|
||||
level4:
|
||||
BASE_URL="$(BASE_URL)" $(PYTHON) scripts/pipeline_suite.py --level 4 --output evidence/level4.json
|
||||
|
||||
failed:
|
||||
$(COMPOSE) run --rm --no-deps -T worker python -m messenger.admin failed
|
||||
|
||||
replay:
|
||||
@test -n "$(ID)" || (echo "Set ID=<attachment_id>"; exit 2)
|
||||
$(COMPOSE) run --rm --no-deps -T worker python -m messenger.admin replay --attachment-id "$(ID)"
|
||||
|
||||
dlq:
|
||||
sh scripts/broker.sh dlq
|
||||
|
||||
pipeline-evidence:
|
||||
$(PYTHON) scripts/pipeline_evidence.py --base-url "$(BASE_URL)" > evidence/pipeline-stand.txt; \
|
||||
status=$$?; cat evidence/pipeline-stand.txt; exit $$status
|
||||
|
||||
.PHONY: track2 reprocess
|
||||
|
||||
track2:
|
||||
BASE_URL="$(BASE_URL)" $(PYTHON) scripts/pipeline_suite.py --level 5 --only "$(TRACK2_SCENARIOS)" --output "$(TRACK2_OUTPUT)"
|
||||
|
||||
reprocess:
|
||||
@test -n "$(ID)" || (echo "Set ID=<attachment_id>"; exit 2)
|
||||
$(COMPOSE) run --rm --no-deps -T worker python -m messenger.admin reprocess --attachment-id "$(ID)" --pipeline-version "$(PIPELINE_VERSION)"
|
||||
|
||||
@@ -1,6 +1,6 @@
|
||||
# Лабораторная 5. Очереди и асинхронная обработка изображений
|
||||
# Лабораторная 4. S3-хранилище и вложения
|
||||
|
||||
Отделить приём файла от тяжёлой обработки, корректно переживать повторную доставку и остановку worker.
|
||||
Разделить метаданные и бинарное содержимое, добавить изображения в сообщения и сохранить доступ к ним при переключении API-реплики.
|
||||
|
||||
Это **skeleton**, а не готовый сервер. Здесь есть задание, контракт и публичные проверки. Реализацию приложения, Dockerfile и требуемую инфраструктуру пишет студент. Язык и framework свободные; UI не обязателен.
|
||||
|
||||
@@ -8,42 +8,41 @@
|
||||
|
||||
## Откуда начинаем
|
||||
|
||||
Нужен минимум lab4. POST upload теперь возвращает 202 queued, а готовность выясняется через метаданные. В HTTP upload клиент по-прежнему передаёт все байты.
|
||||
Перенесите минимум lab3. Дополняются поля сообщения и endpoint вложений; прежние текстовые POST остаются валидными.
|
||||
|
||||
**Архитектура:** API → устойчивый staging + запись задания → брокер → worker → конечный S3 + PostgreSQL. Клиент опрашивает статус.
|
||||
**Архитектура:** Клиент → LB → API × 2+ → PostgreSQL (метаданные) + приватное S3-хранилище (байты).
|
||||
|
||||
## Что сделать
|
||||
|
||||
1. Выберите RabbitMQ, Redis/Valkey Streams, NATS JetStream или другой брокер с persistence и подтверждениями. Обычный Pub/Sub без хранения не подходит.
|
||||
2. Разделите приём, durable staging, публикацию задания, обработку и фиксацию результата. Прочитайте contracts/attachment-states.md.
|
||||
3. Реализуйте worker отдельно от API: публикация оригинала в конечный S3-prefix и thumbnail 256×256 по правилам контракта.
|
||||
4. Добавьте конечные состояния, ограниченные повторы и идемпотентную запись результатов. Не помещайте bytes или credentials в сообщения брокера.
|
||||
5. Остановите worker, загрузите файл, перезапустите API/worker, убедитесь в завершении принятой задачи. Затем проверьте повторную доставку.
|
||||
1. Выберите один S3-совместимый сервер: MinIO, SeaweedFS или RustFS. Закрепите проверенную версию образа и опишите создание приватного bucket.
|
||||
2. Спроектируйте Attachment и связь с чатом/сообщением. S3 object key назначает сервер, filename используется только для отображения.
|
||||
3. Реализуйте синхронный binary upload PNG/JPEG с ограничениями, сохранение метаданных и авторизованный download через API.
|
||||
4. Включите S3 и persistent volumes в общий Compose/Swarm. Проверьте, что другая API-реплика скачивает файл после остановки загрузившей.
|
||||
5. Проверьте недоступность S3, чужой чат и restart всего стенда.
|
||||
|
||||
## Оценка «3»: работающий минимум
|
||||
|
||||
- Весь минимум lab4 сохранён с переходом upload 201 → 202. API возвращает 202 только после устойчивого приёма оригинала и сохранения задания; остановка API после ответа не теряет работу.
|
||||
- В общем Compose/Swarm есть отдельные broker и worker. Сообщения durable, доставка at least once, подтверждение только после устойчивого эффекта. Недоступность worker не заставляет API выполнять resize синхронно.
|
||||
- Состояния queued/processing/ready/failed доступны в API. Worker сохраняет оригинал и один thumbnail; original неизменен, thumbnail соответствует контракту. Публичный smoke проходит.
|
||||
- Есть ограниченный retry (конкретное число попыток в конфигурации, например 5), финальное failed с безопасным error_code. Повтор одной job не создаёт второго набора вариантов.
|
||||
- Демонстрация: worker остановлен → upload 202 → сообщение с вложением создано → API перезапущен → worker запущен → ready и доступный thumbnail. Принятое задание не исчезает при рестарте broker с volume.
|
||||
- Все обязательные возможности lab3 сохранены. S3-сервер находится в общем стенде; метаданные вложений живут в PostgreSQL, байты — в приватном bucket, не в БД или локальном каталоге API.
|
||||
- POST вложения возвращает 201 ready после сохранения; оригинал скачивается побайтно. Message с attachment_ids читается участниками чата. Публичный smoke проверяет checksum и отсутствие доступа у постороннего.
|
||||
- Принимаются реальные PNG/JPEG ≤10 MiB и ≤40 млн пикселей; MIME проверяется по содержимому, опасные filename отклоняются, лимиты применяются до неограниченного чтения/декодирования.
|
||||
- Upload → остановка обслужившей API-реплики → download через другую возвращает тот же файл. Restart с сохранением volumes сохраняет метаданные и оригинал.
|
||||
|
||||
## Оценка «4»: уровень стажёра/джуна
|
||||
|
||||
Весь уровень 3 **и все** пункты ниже:
|
||||
|
||||
- Добавлены crop 128×128 и optimized WebP по контракту, параметры качества/удаления метаданных описаны. Невалидные/огромные изображения ограничены по bytes, пикселям, времени и памяти worker.
|
||||
- Разрыв между PostgreSQL и broker закрыт transactional outbox или другой доказанной схемой восстановления намерения. Внедрён crash между COMMIT и publish; после восстановления задача доходит до ready без ручного создания нового задания.
|
||||
- Retry использует backoff с jitter, различает постоянные/временные ошибки; есть DLQ/реестр failed и безопасный явный replay. «Повторить» не означает безусловно исполнить дубль уже успешной job.
|
||||
- Проверена остановка worker после записи объекта, но до ack; повтор завершает тот же результат. Есть timeout/lease для зависшего processing, ограниченная конкуренция/prefetch и очистка staging после безопасной фиксации.
|
||||
- Тесты покрывают слишком большой файл, повреждённое изображение, подмену MIME, чужое attachment_id и привязку файла другого чата. Пользовательская ошибка не превращается в 500.
|
||||
- Прерывание загрузки и отказ между записью S3/БД не оставляют вечных неучтённых объектов: есть документированный механизм компенсации/сверки/очистки с безопасным grace period.
|
||||
- Лимиты/таймауты и потоковая обработка не позволяют одной загрузке занять неограниченную RAM. Проведён эксперимент ≥10 одновременных загрузок с измерением пика памяти.
|
||||
- Bucket bootstrap идемпотентен; API использует отдельные S3 credentials с ограниченными правами. Административная консоль не открыта в общей сети. Есть проверка private bucket вне API.
|
||||
|
||||
## Оценка «5»: исследование и доказанный результат
|
||||
|
||||
Весь уровень 4 **и один законченный трек на выбор**. Приведите гипотезу, повторяемую методику, результаты и ограничения.
|
||||
|
||||
**Трек 1. Очередь под перегрузкой.** Сравните ≥3 настройки concurrency/prefetch на разных размерах изображений. Измерьте throughput, queue lag, p95 времени до ready и RSS; покажите backpressure и ограничение количества принятой работы. Докажите восстановление после перегрузки, объясните компромисс latency/ресурсы.
|
||||
**Трек 1. Прямой upload.** Добавьте отдельный безопасный presigned-upload flow: короткая подпись, уникальный ключ, проверка принадлежности, размера/checksum при complete, обработка незавершённой загрузки. Сохраните обязательный proxy endpoint. Сравните трафик и RAM API при ≥2 размерах файлов, покажите негативные сценарии.
|
||||
|
||||
**Трек 2. Доказанная идемпотентность pipeline.** Постройте versioned pipeline и автоматический fault-injection для дубля, reorder, crash до/после side effect и устаревшей job после новой версии. Зафиксируйте инварианты, покажите отсутствие потери подтверждённых задач и перезаписи нового результата старым. Обсудите почему это не exactly-once доставка.
|
||||
**Трек 2. Согласованность двух хранилищ.** Разработайте повторяемый reconciler для orphan/missing объектов и метаданных. Внедрите ошибки на обеих сторонах, покажите обнаружение и безопасное исправление с dry-run/повторным запуском. Докажите, что свежие и используемые вложения не удаляются; измерьте стоимость обхода.
|
||||
|
||||
## Как начать и проверить
|
||||
|
||||
@@ -79,27 +78,28 @@ Smoke не выставляет оценку автоматически. Про
|
||||
|
||||
## Сценарий защиты
|
||||
|
||||
1. Запустить make test: API возвращает 202, GET доходит до ready, оригинал и настоящий JPEG thumbnail проверяются.
|
||||
2. Остановить worker своим скриптом, загрузить файл, убедиться, что content отвечает 409, а другие сообщения продолжают работать.
|
||||
3. Перезапустить API/broker с сохранением volumes, запустить worker; та же запись должна стать ready. Зафиксировать порядок действий и ID без токенов.
|
||||
4. Для 4: воспроизвести crash после side effect до ack, разрыв COMMIT/publish и replay failed; для 5 — выбранный эксперимент.
|
||||
1. Загрузить fixture, отправить message с attachment_ids, скачать как второй участник и сравнить SHA-256.
|
||||
2. С третьим пользователем получить 404 для метаданных и bytes; direct unauthenticated S3 GET не отдаёт объект.
|
||||
3. Выполнить persistence и failover: общий тест начиная с lab4 сохраняет и повторно читает оригинал через API.
|
||||
4. Показать, что на API нет обязательного локального файла оригинала. Для 4/5 — отказы и эксперименты.
|
||||
|
||||
## Что должно быть в PR
|
||||
|
||||
Worker, брокер в общем стенде, схема jobs, migrations/outbox по уровню, конфигурация retry, тесты сбоев и отчёт.
|
||||
Дополненный стенд, настройка bucket/политики, миграции Attachment, тесты файлов, описание согласованности БД/S3 и результаты.
|
||||
|
||||
Заполните `REPORT.md` и [шаблон PR](.github/pull_request_template.md), укажите целевую оценку/трек. Не меняйте обязательный контракт и публичные tests ради зелёного результата. Сохраняйте возможности предыдущих лабораторных в пределах [объявленных переходов](COURSE.md).
|
||||
|
||||
## Вопросы на защите
|
||||
|
||||
- Чем publisher confirm отличается от consumer ack?
|
||||
- Что именно уже сохранено в момент 202?
|
||||
- Почему повторная доставка нормальна и где находится ключ идемпотентности job?
|
||||
- Как отличить зависший worker от долго работающего и не запустить два неконтролируемых дубля?
|
||||
- Почему файл в Docker volume одной API-реплики не равен объектному хранилищу?
|
||||
- Когда можно честно вернуть 201?
|
||||
- Что произойдёт, если S3 PUT прошёл, а COMMIT в PostgreSQL — нет?
|
||||
- Почему случайный object key и приватный bucket не заменяют ACL приложения?
|
||||
|
||||
## Первичные материалы
|
||||
|
||||
- [RabbitMQ reliability](https://www.rabbitmq.com/docs/reliability)
|
||||
- [Publisher confirms and acknowledgements](https://www.rabbitmq.com/docs/confirms)
|
||||
- [Redis Streams](https://redis.io/docs/latest/develop/data-types/streams/)
|
||||
- [NATS JetStream](https://docs.nats.io/nats-concepts/jetstream)
|
||||
- [S3 object uploads](https://docs.aws.amazon.com/AmazonS3/latest/userguide/upload-objects.html)
|
||||
- [Presigned URLs](https://docs.aws.amazon.com/AmazonS3/latest/userguide/using-presigned-url.html)
|
||||
- [MinIO](https://github.com/minio/minio)
|
||||
- [SeaweedFS](https://github.com/seaweedfs/seaweedfs)
|
||||
- [RustFS](https://docs.rustfs.com/)
|
||||
|
||||
@@ -1,242 +1,450 @@
|
||||
# Отчёт — лабораторная работа 5
|
||||
# Отчёт — лабораторная 4 «S3-хранилище и вложения»
|
||||
|
||||
Автор: **Костылев Артём, БПИ2303**. Тема: «Очереди и асинхронная обработка изображений».
|
||||
Цель — **«5», трек 2 «Доказанная идемпотентность pipeline»**. Критичный дефект памяти PNG закрыт после отдельного fix/re-review и адресной Linux/HTTP validation. Совокупность сохранённых серий D/V и новых проверок M подтверждает критерии выбранного трека в описанных условиях. Семь minor сохранены; исходные четыре FAIL остаются историей. Validation завершена, публикация требует отдельного разрешения координатора.
|
||||
Автор: **Костылев Артём, БПИ2303**. Ветка: `solution/bpi2303-kostylev`.
|
||||
Цель — **«5», трек 2 «Согласованность двух хранилищ (reconciler)»**.
|
||||
|
||||
Ветка: `solution/bpi2303-kostylev`. Предыдущее ревью: `42575281b352d35bda17ee7601bae5548a996e91` (далее **R**). Последняя полная динамическая квалификация: `0e921116610d289716af0a40ec823376eb8bbcbc` (далее **D**). Между D и R из runtime изменены только `infra/rabbitmq/definitions.json` и `src/messenger/attachments/infrastructure/images.py`; SQLAlchemy, Alembic, outbox, lease/fencing и публикация версий не изменились. Финальные проверки выполнены на `b30e2f6a84419d1ca64525ffb40df92183cccaef` (V), runtime которого побайтно совпадает с R. Текущий код после исправления памяти и повторного ревью — **`6096aa7948b8b666aa3892397a96d044a55f02c6` (M)**; реализация исправления — `1a8020524909ebc5e2e43303436c9d1ce3c1a87b`. От V из runtime изменён только `images.py`, настройки 448 MiB/30 с/concurrency=2 сохранены. Новая validation выполнена на **`74c33160ac01618f70e9e1c6a121a5e45c3c7155` (F, runtime = M)**: 984 passed / 2 Linux-only skipped, Linux-пробник с импортами worker, граничные HTTP и 8 PNG / 48 сравнений PASS. Результаты V не являются прогоном M; новые результаты F сохранены отдельно. Документационные коммиты отчёта и evidence не меняют runtime. Публикация — отдельная фаза, только в private MTUCI-Labs; этот этап ничего не публикует.
|
||||
Финальная validation завершена 2026-11-06 на
|
||||
`5e49502ae78fa48b992c97418e490666c699726d`: runtime совпадает с прошедшим независимое
|
||||
ревью `7a0ebac2aa9e1d8602054ca4c7c1b0c23d3bfad4`. Динамический долг обоих PNG-фиксов
|
||||
закрыт, открытых major не выявлено; известный minor сохранён в ограничениях.
|
||||
**Заявлена «5», трек 2**, с отрицательным результатом гипотезы о линейном времени.
|
||||
[Аудит применимости](evidence/load-validation.md) объясняет, какие старые серии приняты
|
||||
без повторения и какие проверки выполнены заново. Публикация ещё не разрешена.
|
||||
|
||||
Индекс происхождения всех доказательств — [evidence/README.md](evidence/README.md). Источники решения: skeleton и контракт курса, собственная ЛР4 с поздними исправлениями до `4ed889c1e4008e3f6040ae2534bef99262d3b8ce`, документация библиотек; при подготовке использован Codex. Перенос 253 файлов разобран в [forward-port.md](evidence/forward-port.md). Нормативные `contracts/`, `tests/`, `README.md`, `COURSE.md` не изменены.
|
||||
## Происхождение и применимость доказательств
|
||||
|
||||
## Воспроизведение из чистого clone
|
||||
| Состояние кода | SHA | Что подтверждено и что сохраняется |
|
||||
| --- | --- | --- |
|
||||
| Перенос основы ЛР3 на SQLAlchemy/Alembic | `8e4532f6f5c05d902b6e2c310f54320d95585904`, источник `f591fa64e525679a31c9db7f942d36c789e1a12f` | Полная серия уровней 3/4; историческая относительно поздних исправлений |
|
||||
| Стоимость reconciler | `3402fd69d4922e500035a204d957be2cccaeb85a` | 27 пригодных замеров: измеряемый обход, SQL/S3-адаптеры, зависимости и стенд не менялись; сохраняются с исходным SHA |
|
||||
| Поздние исправления ЛР3 | `75b93bbba5f29575d3fca1d013cc7e0770d88082`, источник `ba78cf6da439a4ec60fd59389583b38285b0b2b1` | Сессии, NUL/Basic, JSON ошибок LB; 492 теста, 19 stack-тестов, отказы и новые серии. Все 214 путей диапазона учтены в [манифесте переноса](evidence/forward-port.md) |
|
||||
| Декодируемость PNG | `9387c3d82ab77ea376eecce19a36a22803d35efb` | Битый IDAT с корректными CRC отклоняется; [offline-доказательства](evidence/png-validation-fix/NOTES.md) |
|
||||
| Единый IHDR | `7c8a1a64899dc0a1b5fa0949c0992ef40722eacf`, архив/ревью `7a0ebac2aa9e1d8602054ca4c7c1b0c23d3bfad4` | Повторный IHDR отклоняется; 407 offline-тестов. [Манифест](evidence/png-header-fix/manifest.json) совпадает с текущими семью файлами |
|
||||
|
||||
Нужны доступ к приватному репозиторию, Git, Docker с Compose v2, make, системный Python 3.9+, uv и OpenSpec CLI для проверки спецификаций. Приложение использует Python 3.14. Команды ниже — инструкция, а не заявление о новом прогоне из clone: отчётные этапы Docker не запускали; validation V и F использовали существующие volumes, а не чистый clone. Для воспроизведения выбран M.
|
||||
После `75b93bb…` в runtime изменились только `images.py` и новый `png.py` зоны attachments.
|
||||
Поэтому старые upload-memory и загрузки во время сверки **не доказывают** память и скорость
|
||||
нового инспектора. Результаты текстового пути, скачивания, persistence/failover, IAM/bootstrap
|
||||
сохраняются для неизменённых механизмов; это не повторные прогоны на текущем HEAD.
|
||||
Серия asyncpg 29–30 октября вынесена из основных таблиц в
|
||||
[исторический индекс](evidence/README.md#историческая-реализация-asyncpg).
|
||||
|
||||
Вместо `<PRIVATE_REPOSITORY_URL>` подставляется URL репозитория ЛР5 в MTUCI-Labs, доступный после публикации. На общей машине запуск разрешён только в выделенной фазе и своём project; занятые порты не освобождают остановкой чужих контейнеров.
|
||||
[Индекс evidence](evidence/README.md) связывает команды, SHA и файлы.
|
||||
[Аудит отчётного этапа](evidence/report-audit-2026-11-06.md) содержит проверки исходных чисел,
|
||||
ссылок и границ изменений. Сырые результаты не редактировались.
|
||||
|
||||
## Запуск из чистого clone
|
||||
|
||||
Нужны Git, Docker Compose v2, make, uv и Python 3.14 для приложения/собственных тестов;
|
||||
публичным проверкам достаточно системного Python 3.9+. Из основного репозитория можно
|
||||
создать свежий clone под разрешённым каталогом `.verification/`:
|
||||
|
||||
```sh
|
||||
git clone <PRIVATE_REPOSITORY_URL> mtusi2026lab5
|
||||
cd mtusi2026lab5
|
||||
git checkout 6096aa7948b8b666aa3892397a96d044a55f02c6
|
||||
export COMPOSE_PROJECT_NAME=mtusi2026lab5
|
||||
git clone --no-hardlinks --branch solution/bpi2303-kostylev . .verification/hlpipe-lab4-defense
|
||||
cd .verification/hlpipe-lab4-defense
|
||||
export COMPOSE_PROJECT_NAME=hlpipe-lab4-defense
|
||||
export COMPOSE_FILE=compose.yaml
|
||||
export API_IMAGE=mtusi-messenger:lab5-reviewed
|
||||
export LB_HTTP_PORT=18085
|
||||
export LB_STATS_PORT=25085
|
||||
export BROKER_MANAGEMENT_PORT=25086
|
||||
export BASE_URL=http://127.0.0.1:18085
|
||||
export LB_HTTP_PORT=18084 LB_STATS_PORT=24845
|
||||
export BASE_URL=http://127.0.0.1:18084
|
||||
export NO_PROXY=localhost,127.0.0.1,::1
|
||||
uv sync --frozen --group dev
|
||||
make check validate lint
|
||||
openspec validate --all --strict
|
||||
export no_proxy=localhost,127.0.0.1,::1
|
||||
make secrets
|
||||
docker compose --env-file .env config --quiet
|
||||
make up
|
||||
make test
|
||||
make test-persistence ACTION_SCRIPT=scripts/restart.sh
|
||||
make test-failover ACTION_SCRIPT=scripts/stop-one.sh
|
||||
docker compose ps -a
|
||||
make restore
|
||||
make student-test
|
||||
make images
|
||||
make suite-preflight
|
||||
python3 scripts/pipeline_suite.py --level 4 --output evidence/local-level4.json
|
||||
make track2 TRACK2_OUTPUT=evidence/local-track2-run1.json
|
||||
make track2 TRACK2_OUTPUT=evidence/local-track2-run2.json
|
||||
make track2 TRACK2_OUTPUT=evidence/local-track2-run3.json
|
||||
make scenario SCENARIO=failover-upload
|
||||
make restore
|
||||
make scenario SCENARIO=s3-outage
|
||||
make s3-check
|
||||
make reconcile
|
||||
make migrate
|
||||
make down
|
||||
```
|
||||
|
||||
`make up` собирает образ и ждёт готовности хранилищ, успешных одноразовых `migrate` и `s3-init`, затем API ×2, relay, worker и LB. `migrate` выполняет **`alembic upgrade head`**. `make secrets` создаёт локальные секреты и `.env`, не предназначенные для Git; их содержимое не входит в evidence. Порты реплик, PostgreSQL, S3 и AMQP наружу не опубликованы. HTTP, статистика LB и UI RabbitMQ слушают только `127.0.0.1`. Экспорты выше имеют приоритет над Compose `.env` и предотвращают случайный выбор старых портов.
|
||||
Имя clone/project должно быть новым; порт 18084 должен быть свободен. Занявший его чужой
|
||||
стенд не останавливается. `make secrets` создаёт локальные файлы и не перезаписывает
|
||||
существующие; содержимое секретов выводить не нужно. `make up` ждёт PostgreSQL/Valkey/RustFS,
|
||||
`alembic upgrade head`, bootstrap bucket и обе API-реплики в ротации LB. Повторный `make migrate`
|
||||
не меняет актуальную схему. `make down` сохраняет постоянные volumes; `reset-data`, `down -v`
|
||||
и удаление пользовательских данных в этом процессе не используются.
|
||||
|
||||
`make student-test` поднимает одноразовые Docker-зависимости; его нельзя считать offline-проверкой. Suite сам использует `infra/compose.faults.yaml`, временно меняет параметры своих relay/worker и восстанавливает их. Level 4 включает все шесть сценариев уровня 3. Новые JSON сохраняются отдельно от квалификационных файлов. Стенд останавливают `make down` без удаления постоянных volumes; `reset-data`, `down -v`, `reset/clean` в процедуру не входят.
|
||||
Сохранённое воспроизведение из свежего clone: **76,866 с, exit 0**, SHA
|
||||
`cf41f7c64dcf1dea6da0643f5793bd2e5dd1f03e`, проект `hlpipe-lab4-clean-20261105231220`.
|
||||
Smoke, persistence, failover, upload→stop→download, S3-outage, 31 проверка S3, dry-run и
|
||||
повторная миграция прошли; после down остались три volumes.
|
||||
[Полная команда и вывод](evidence/sqlalchemy-2026-11-06/grade4/clean-clone-command.txt).
|
||||
Это запуск **до позднего переноса и PNG-фиксов**, а не доказательство запуска нынешнего SHA.
|
||||
|
||||
Для защиты и оператора: `make worker-stop`, `make worker-start`, `make queues`, `make topology`, `make failed`, `make dlq`; `make replay ID=<attachment_id>` возвращает failed в queued с audit, повтор для ready — noop. `make reprocess ID=<attachment_id> PIPELINE_VERSION=2` создаёт новую версию при доступном исходнике. Результаты завершённой адресной validation приведены ниже; полный повтор пригодных серий не требуется.
|
||||
Проверки исходников выполняются отдельно:
|
||||
|
||||
```sh
|
||||
make install
|
||||
make check
|
||||
make validate
|
||||
make lint
|
||||
make student-test
|
||||
openspec validate --all --strict --no-interactive
|
||||
```
|
||||
|
||||
`make student-test` использует одноразовые Docker-зависимости. На отчётном этапе выполнены
|
||||
только check/validate/lint/OpenSpec и чтение сохранённых доказательств; тесты с Docker и
|
||||
нагрузки не запускались. Сохранённые полные 492 теста относятся к `75b93bb…`, а 407 unit-тестов
|
||||
после PNG-фиксов — к `7c8a1a6…`; складывать эти числа в число тестов одного прогона нельзя.
|
||||
|
||||
## Архитектура и решения
|
||||
|
||||
```text
|
||||
Клиент → HAProxy :18085 → API ×2 → проверка → PUT staging в RustFS
|
||||
→ COMMIT queued + jobs + outbox → 202
|
||||
PostgreSQL outbox → relay → RabbitMQ quorum queue → отдельный worker
|
||||
confirm manual ack ↑ после COMMIT
|
||||
worker → lease → рендер → originals/ и variants/ в S3 → fenced COMMIT
|
||||
клиент → HAProxy :18084 → API ×2, по 2 UvicornWorker
|
||||
├→ PostgreSQL: метаданные, сессии, сообщения
|
||||
├→ Valkey: кэш сессий
|
||||
└→ RustFS: байты оригиналов
|
||||
migrate → PostgreSQL; s3-init → private bucket и IAM
|
||||
reconciler → PostgreSQL + RustFS, одноразовый сервис
|
||||
```
|
||||
|
||||
Python 3.14, FastAPI, gunicorn/uvicorn-worker, dishka и dishka-faststream, pydantic, structlog; **SQLAlchemy 2.0.45 async**, драйвер asyncpg 0.32.0, **Alembic 1.16.5**; FastStream 0.7.8 поверх aio-pika 10.2.1, Pillow 13.0.0, aiobotocore, redis-py, argon2-cffi. Версии закреплены в [uv.lock](uv.lock); сохранённая проверка runtime — [runtime.txt](evidence/sqlalchemy-2026-11-06/track2/qualified/runtime.txt). Образы PostgreSQL 17.11, Valkey 8.1.11, RustFS 1.0.4, RabbitMQ 4.1.8, HAProxy 3.2.26 закреплены digest в [compose.yaml](compose.yaml).
|
||||
Python 3.14, FastAPI, gunicorn/uvicorn-worker, dishka, Pydantic v2, structlog,
|
||||
**SQLAlchemy 2.0.45 async, asyncpg как драйвер, Alembic 1.16.5**, aiobotocore и Pillow 13.0.0.
|
||||
Версии зависимостей закреплены в [uv.lock](uv.lock), правила форматирования — пробелы в
|
||||
[pyproject.toml](pyproject.toml). Образы закреплены digest в [compose.yaml](compose.yaml):
|
||||
HAProxy 3.2.26, PostgreSQL 17.11, Valkey 8.1.11, RustFS 1.0.4, rc 0.1.36.
|
||||
|
||||
Три зоны `identity`, `messaging`, `attachments` имеют домен, application-порты, инфраструктурные адаптеры и entrypoints. `shared` содержит платформу, а сборка — `main.py`, `relay.py`, `worker.py`, `admin.py`. PostgreSQL хранит состояния, версии, сессии и идемпотентность; S3 — байты; Valkey — ускорение проверки сессий; брокер — транспорт. API не подключается к RabbitMQ. Порты зон связаны через DI, а зависимости проверяет `test_bounded_contexts.py`.
|
||||
Зоны `identity`, `messaging`, `attachments` содержат домен, прикладные порты и адаптеры;
|
||||
`shared` — платформу, `main.py` — сборку. Межзонная проверка членства идёт через порт
|
||||
`ChatMembership`, не через импорт инфраструктуры соседней зоны. Pydantic остаётся на HTTP-границе,
|
||||
ORM-модели `DeclarativeBase` — внутри зон. Сессии создаёт `async_sessionmaker`; UoW получает
|
||||
свою `AsyncSession` на транзакцию и явно делает COMMIT. Незавершённая транзакция откатывается
|
||||
при закрытии сессии. SQL строится ORM/Core с параметрами; `asyncpg` не используется как
|
||||
отдельный прикладной слой запросов. Отправка сообщения — Core CTE под блокировкой строки чата:
|
||||
квитанция `Idempotency-Key`, сообщение и ссылки на вложения фиксируются вместе.
|
||||
|
||||
**SQLAlchemy и миграции.** [Database/UoW](src/messenger/shared/infrastructure/postgres.py) используют `create_async_engine`, `postgresql+asyncpg`, `async_sessionmaker`, `AsyncSession` и явный `commit()`; ORM-модели основаны на `DeclarativeBase`. Репозитории строят параметризованные ORM/Core-запросы, граница API остаётся pydantic. [alembic/env.py](alembic/env.py) запускает миграции через async engine и `run_sync`, сериализует их advisory lock и проверяет legacy-схему перед принятием. Последовательность [alembic/versions](alembic/versions): `0001_init` → `0002_idempotency_keys` → `0003_attachments` → `0004_jobs` → `0005_failed_registry` → `0006_attachment_quarantine`. Старый каталог SQL-миграций и самописный мигратор не являются текущим способом развёртывания.
|
||||
Alembic [env.py](alembic/env.py) использует async engine и `run_sync`, advisory lock и
|
||||
транзакции миграций. Ревизии: `0001` — базовая схема, `0002` — ключи идемпотентности,
|
||||
`0003` — вложения/связи, `0004` — карантин. Legacy-схема принимается только после сверки
|
||||
журнала и каталога в [legacy.py](alembic/legacy.py); произвольный stamp вместо миграции не применяется.
|
||||
При подготовке отчёта через Context7 сверены закреплённые версии:
|
||||
[SQLAlchemy, сессии](https://github.com/sqlalchemy/sqlalchemy/blob/rel_2_0_45/doc/build/orm/session_basics.rst),
|
||||
[Alembic, async migrations](https://github.com/sqlalchemy/alembic/blob/rel_1_16_5/docs/build/cookbook.rst).
|
||||
|
||||
**Граница 202.** Сначала фиксируется внутреннее намерение pending, затем проверенные bytes записываются в приватный `staging/`. Одной транзакцией вложение переводится в queued, создаются job, outbox и audit. Только после COMMIT отдаётся сохранённый снимок `queued`, `variants=[]`, `error_code=null`. Отказ до COMMIT не подтверждён клиенту; оставшееся намерение убирается по grace period. API не ждёт resize. Очередь или worker могут быть недоступны при успешном upload.
|
||||
**Источники истины.** PostgreSQL хранит владельца/чат, имя, MIME, размер, SHA-256, размеры
|
||||
изображения, статус, object key и ссылки сообщений. Байты — только в приватном RustFS,
|
||||
ключ `attachments/<uuid>` назначает сервер. API read-only, без data volumes; `/tmp` — tmpfs.
|
||||
`attachments.object_key` имеет UNIQUE и `COLLATE "C"`; частичный индекс pending обслуживает
|
||||
уборку; FK `message_attachments (attachment_id, chat_id)` не даёт привязать чужой чат или
|
||||
удалить используемое вложение. История использует keyset `(created_at, id)`.
|
||||
|
||||
**Outbox.** Relay выбирает доступные строки по частичному `outbox_pending_idx (available_at, id) WHERE published_at IS NULL` с `FOR UPDATE SKIP LOCKED`. Публикация persistent/mandatory с publisher confirms предшествует отметке `published_at` в той же транзакции. Ошибка публикации оставляет намерение для повтора; сбой после confirm до COMMIT может создать дубль. Цена решения — транзакция остаётся открытой на время сетевой публикации пачки и outbox растёт при недоступном брокере. Нет общей транзакции PostgreSQL/RabbitMQ.
|
||||
**Upload.** Сначала аутентификация (`401`), объявленный размер (`413`), членство (`404`),
|
||||
filename (`400`), MIME (`415`). Поток ограничен 10 485 760 байтами и считается также без
|
||||
Content-Length; SHA-256 вычисляется при чтении. Тело собирается в ограниченный буфер под
|
||||
`UPLOAD_CONCURRENCY=3` на worker; две проверки изображений на worker работают в потоках.
|
||||
Лимит 40 млн пикселей проверяется до распаковки. PNG требует единственный первый IHDR,
|
||||
проверку CRC и потоковую проверку zlib/Adler-32, длины строк и фильтров, включая Adam7.
|
||||
Дополнительные блоки распаковки — по 64 KiB, полного массива пикселей нет. JPEG проверяется
|
||||
через `draft` 1/8 и `load`. Ошибка изображения → `415` до намерения в БД/S3.
|
||||
Оба PNG из ревью отклоняются с 415 в ASGI-регрессиях и через настоящий LB/RustFS.
|
||||
После двух запросов число строк/объектов осталось 7/7; корректные PNG/JPEG скачаны
|
||||
вторым участником побайтно: [финальная сверка](evidence/png-final-2026-11-06/png-roundtrip.json).
|
||||
|
||||
**Worker и эффект.** FastStream использует `AckPolicy.MANUAL`, `RabbitMessage`, prefetch=2 при `WORKER_CONCURRENCY=2`. Worker берёт доверенные ключи S3 из БД, захватывает job арендой `lease_token`, продлевает её при работе и рендерит в отдельном процессе. После записи оригинала и всех трёх вариантов условный COMMIT проверяет актуальность аренды. Ключ эффекта — `(attachment_id, pipeline_version, name)`; уникальные ограничения, versioned S3-ключи с хешем и условие `published_version < new_version` предотвращают второй набор и откат новой публикации. `ack()` вызывается после завершения обработчика с COMMIT, включая фиксацию результата/noop. Ошибка БД приводит к задержке 1 с и `nack(requeue=True)`.
|
||||
Порядок публикации: `INSERT pending + COMMIT → PUT → UPDATE ready + COMMIT → 201`.
|
||||
Метаданные и скачивание доступны только участникам чата; чужой и неизвестный id дают `404`.
|
||||
Скачивание идёт через API кусками 64 KiB, с исходными байтами и истинным MIME, без redirect.
|
||||
`attachment_ids` присутствует во всех ответах сообщений, отсутствие и `[]` дают один fingerprint.
|
||||
|
||||
**Повторы.** После claim временная ошибка назначает новую outbox-попытку с equal jitter: половина экспоненциальной задержки плюс случайная половина; штатная база 2 с, максимум 5 попыток. Постоянные ошибки дают `invalid_image`/`processing_failed`, исчерпание — `retry_exhausted`. Просроченный processing возвращает relay через `jobs_lease_idx`; старый держатель не проходит fencing. Ready не откатывается при upgrade, ошибка v2 оставляет v1 доступной. Сообщение, отвергнутое моделью `JobMessage`, отправляется в DLQ; модель не полностью эквивалентна `jobs.schema.json` из-за преобразования типов и nullable-поля (minor ниже). Реестр failed и replay доступны через CLI.
|
||||
**Компенсация.** После отказа фиксации ready новая транзакция блокирует строку `FOR UPDATE`:
|
||||
ready не трогается; у pending удаляется объект, затем строка. При отмене/неизвестном исходе
|
||||
PUT намерение остаётся для уборки. Sweeper раз в 30 с выбирает до 100 pending старше 900 с
|
||||
через `FOR UPDATE SKIP LOCKED`, удаляет объект раньше строки и публикует
|
||||
`audit.attachment_discarded`. Готовые и используемые вложения не выбираются.
|
||||
|
||||
В R policy `delivery-limit=-1` сохраняет инфраструктурные redelivery при длительном отказе БД; прикладной предел `JOB_MAX_ATTEMPTS=5` остаётся. Это исправляет прежний путь queued → DLQ после 10 nack без автоматического восстановления. На V policy подтверждена на существующем volume: 12 requeue после реальной остановки PostgreSQL, затем ready без replay и без роста DLQ — [evidence](evidence/final-validation-2026-11-07/postgres-outage-retry.json); уже лежащие в DLQ сообщения смена policy не возвращает. Произвольное удаление сообщения при уже опубликованном outbox также не исправляется автоматически: outbox/lease не равны универсальной сверке очереди.
|
||||
**Ресурсы и отказы.** У API 1 CPU/512 MiB на реплику, у LB 1 CPU/128 MiB,
|
||||
PostgreSQL 2 CPU/1 GiB, RustFS 1 CPU/512 MiB, Valkey 0,5 CPU/128 MiB;
|
||||
reconciler 1 CPU/256 MiB. Условия cost-эксперимента отличаются и указаны отдельно.
|
||||
Слоты дополнены буферами HAProxy 64 KiB, максимумом TCP-буфера API 256 KiB и
|
||||
`MALLOC_MMAP_THRESHOLD_=131072`. S3 connect/read = 1/2 с, две попытки; запрос — 8 с,
|
||||
LB — 10 с простоя. Дедлайн продлевается переданными байтами при пороге 128 KiB/s,
|
||||
поэтому идущая передача может длиться дольше 8 с. LB не повторяет upload.
|
||||
Readiness проверяет PostgreSQL, но не S3: отказ хранилища изображений сохраняет текстовый путь.
|
||||
|
||||
**Изображения и ресурсы.** Оригинал неизменен. EXIF orientation применяется, прозрачность накладывается на белый фон, EXIF/ICC/XMP не копируются в варианты. Thumbnail — JPEG в 256×256 без увеличения, округление вниз, минимум 1 px; crop — центральный JPEG 128×128; optimized — WebP в 1280×1280 без увеличения. JPEG quality v1/v2 = 85/90, optimize=True; WebP = 80/85, method=4; Lanczos, reducing_gap=3.0. R исправляет tRNS, включая grayscale 2/4/16 и сравнение полных RGB16 samples до потери младших битов.
|
||||
**Доступ к S3.** Только LB публикует host-порты на loopback. RustFS в internal-сети,
|
||||
консоль выключена. `s3-init` повторяемо создаёт private bucket, политики/пользователей и
|
||||
lifecycle очистки незавершённых multipart. API получает только Get/Put/DeleteObject своего
|
||||
bucket, reconciler — отдельный ключ ListBucket/Get/DeleteObject; root-ключи есть лишь у
|
||||
`s3`, `s3-init`, `s3-cli`. `s3-init`/`s3-cli` — uid 65534, migrate/reconciler — `init: true`.
|
||||
|
||||
Предел входа — 10 485 760 байт и 40 млн пикселей; renderer — 30 с, Linux `RLIMIT_AS=448 MiB` на процесс, до 100 задач на дочерний процесс. Контейнер worker ограничен 2 CPU / 1 GiB, API — 1 CPU / 512 MiB на реплику, relay — 0.5 CPU / 192 MiB, broker — 1 CPU / 512 MiB, PostgreSQL — 2 CPU / 1 GiB, S3 — 1 CPU / 512 MiB. Старое измерение 423 MiB относится к обычному PNG. На V четыре 40 Мп PNG tRNS дали `processing_failed` на первой попытке; Linux-пробник подтверждает `MemoryError` внутри RLIMIT_AS, несмотря на peak контейнера 640 196 608 байт < 1 GiB. Это исходное доказательство major на V; исправление M ещё не подтверждено на той же Linux/HTTP-границе.
|
||||
## Критерий → команда → наблюдение → файл
|
||||
|
||||
**Исправление памяти M.** Преобразования цвета и RGB-маски вычисляются плитками 256×256; глобальные resize/fit остаются после сборки изображения, чтобы не создавать границы плиток. Low-byte core закрывается перед high-byte decode, маски — до EXIF/resize, grayscale-исходник — после сборки RGB. `Image.close()` уничтожает pixel core; обычный выход из контекста изображения закрывает файл, но сохраняет core — [Pillow 13.0.0](https://github.com/python-pillow/Pillow/blob/13.0.0/docs/reference/open_files.rst). Сохранённое сравнение 132 вариантов побайтно совпало с V, но новые затраты Linux-процесса этим не измерены.
|
||||
Номера ниже — строки этого отчёта, а не дополнительная рубрика. **F** означает SHA
|
||||
`75b93bbba5f29575d3fca1d013cc7e0770d88082` до PNG-фиксов; **S** — исходную SQLAlchemy-серию,
|
||||
точный SHA команды находится в её raw. **V** — финальная validation на
|
||||
`5e49502ae78fa48b992c97418e490666c699726d`, runtime идентичен прошедшему review `7a0ebac…`.
|
||||
[Новые команды и результаты](evidence/load-validation.md) дополняют сохранённые проверки.
|
||||
|
||||
**Очистка.** Staging удаляется после безопасной публикации и завершения активных версий; у failed хранится 86400 с, затем replay возвращает expired. Проверка активных jobs и сериализация cleanup/reprocess защищают используемый исходник. Удаление выполняет relay; worker не получает право DeleteObject. Quarantine-миграция поддерживает унаследованную сверку S3, но демонстратор `reconcile_track.py` для квалификации ЛР5 непригоден.
|
||||
|
||||
## Проверки и таблица критериев
|
||||
|
||||
Исторические динамические PASS относятся к **D**, 2026-11-06 UTC; более ранняя топология и новые проверки V помечены явно. Это аудит сохранённых прогонов, не новый запуск на M. Новые tRNS и policy дополнительно проверены динамически на V в отдельном блоке ниже; эти результаты не смешиваются с D. Полные команды, environment, exit codes и SHA находятся в связанных файлах.
|
||||
|
||||
| Критерий | Команда / сценарий | Наблюдение | Файл |
|
||||
| Критерий | Команда | Наблюдение и применимость | Файл |
|
||||
| --- | --- | --- | --- |
|
||||
| Контракт, синтаксис, типы | `make check validate lint` | PASS на F; приложение этим не проверяется | [checks](evidence/final-memory-validation-2026-11-07/checks.txt) |
|
||||
| Собственные интеграционные тесты | `make student-test PYTEST_ARGS='-q --tb=short'` | F: 984 passed, 2 Linux-only skips, 19 stack deselected; real-broker, Linux-эквивалент пропусков выполнен отдельно | [student-test.txt](evidence/final-memory-validation-2026-11-07/student-test.txt), [Linux](evidence/final-memory-validation-2026-11-07/linux.json) |
|
||||
| Предыдущее исправление tRNS | Offline-команда с `--confcutdir`, шесть unit-модулей; отдельно `--noconftest` для границ | R: сохранённые 430 + 20 passed; 114 прежних вариантов побайтно совпали; Docker не участвовал | [Команды и результаты](evidence/review-trns-depth-2026-11-06/RESULTS.md) |
|
||||
| Исправление памяти M | `make student-test` с `--confcutdir` и восемью unit-модулями; отдельно `--noconftest` для границ | Сохранённые 440 passed / 2 Linux-only skipped + 20 passed; 22 изображения / 132 идентичных варианта. Это offline-результат исправления; новые Linux/HTTP на F приведены ниже | [Команды](evidence/review-png-memory-2026-11-07/RESULTS.md), [offline](evidence/review-png-memory-2026-11-07/offline-tests.txt), [границы](evidence/review-png-memory-2026-11-07/boundaries.txt) |
|
||||
| OpenSpec | `openspec validate --all --strict`; `openspec list --json` | F: 22 спецификации PASS, активных changes нет; цикл исправления памяти архивирован | [OpenSpec](evidence/final-memory-validation-2026-11-07/openspec.txt) |
|
||||
| 3: минимум lab1–4, 202 и thumbnail | `make test` | Публичный smoke PASS через LB на F | [smoke.txt](evidence/final-memory-validation-2026-11-07/smoke.txt) |
|
||||
| 3: сессия, исходник и данные после рестарта | `make test-persistence ACTION_SCRIPT=scripts/restart.sh` | PASS; рестарты своих хранилищ и процессов подтверждены событиями | [persistence.txt](evidence/forward-final-2026-11-06/persistence.txt), [контейнеры](evidence/forward-final-2026-11-06/persistence-containers.txt) |
|
||||
| 3: отказ реплики | `make test-failover ACTION_SCRIPT=scripts/stop-one.sh`; `make restore` | 131 успешная запись, 0 ошибок, первая после отказа через 2.791 с; api-2 остановлен и восстановлен | [failover.txt](evidence/forward-final-2026-11-06/failover.txt), [контейнеры](evidence/forward-final-2026-11-06/failover-containers.txt), [restore.txt](evidence/forward-final-2026-11-06/restore.txt) |
|
||||
| 3: отдельный broker/worker, quorum, confirm, manual ack, prefetch | `rabbitmqctl list_queues/list_consumers/list_permissions`; проверки падений suite | Топология и prefetch=2 зафиксированы до forward; COMMIT/ack повторно проверен на D. Старый delivery-limit не доказывает policy R | [queues.txt](evidence/sqlalchemy-2026-11-06/grade3/queues.txt), [consumers.txt](evidence/sqlalchemy-2026-11-06/grade3/consumers.txt), [permissions.txt](evidence/sqlalchemy-2026-11-06/grade3/permissions.txt), [level4.json](evidence/forward-final-2026-11-06/level4.json) |
|
||||
| 3: worker down, рестарт API/broker, затем ready | `pipeline_suite.py --level 4`, `worker_down_broker_restart` | 202 queued, content 409, сообщение 201; очередь [1,0] переживает рестарт; тот же ID становится ready | [level4.json](evidence/forward-final-2026-11-06/level4.json) |
|
||||
| 3: конечные состояния и повторы | `s3_outage_recovers`, `retry_exhausted`, `duplicate_after_ready` в suite | S3 восстановлен → done на попытке 2; failed на попытке 5; дубль ready → duplicate_noop | [level4.json](evidence/forward-final-2026-11-06/level4.json) |
|
||||
| 4: варианты и Linux-лимиты | `image_matrix`, `worker_limits` в suite | 26 fixtures: 17 ready и 9 отклонённых; 40 Мп, 0.5 с / 200 MiB → контролируемый failed, worker жив; штатно ready, peak 423/1024 MiB. Новые tRNS на V не прошли границу; после исправления M адресная validation F проходит, см. ниже | [level4.json](evidence/forward-final-2026-11-06/level4.json) |
|
||||
| 4: outbox, crash COMMIT→publish | `crash_commit_publish` | Relay exit 137; outbox не опубликован; после восстановления ready без новой job | [level4.json](evidence/forward-final-2026-11-06/level4.json) |
|
||||
| 4: backoff, DLQ, replay | `retry_backoff_jitter`, `malformed_message_dead_lettered`, `replay_failed`, `failed_retention` | Задержки 0.722422/1.010937/2.240832/4.845013 с; DLQ +1; replay failed→ready, ready→noop, после retention→expired | [level4.json](evidence/forward-final-2026-11-06/level4.json) |
|
||||
| 4: S3→COMMIT→ack, lease/fencing, cleanup | `crash_after_s3_before_commit`, `crash_after_commit_before_ack`, `lease_expiry_fencing` | Exit 137 в заданных окнах; один набор вариантов; старая аренда fenced; staging ready очищен | [level4.json](evidence/forward-final-2026-11-06/level4.json) |
|
||||
| Все уровни 3/4 в suite | `python3 scripts/pipeline_suite.py --level 4 --output evidence/forward-final-2026-11-06/level4.json` | 17 сценариев / 8 инвариантов PASS; 33 ID, 28 ready, 5 ожидаемых failed, 116 объектов | [Команда](evidence/forward-final-2026-11-06/level4-command.txt), [JSON](evidence/forward-final-2026-11-06/level4.json) |
|
||||
| 5: трек 2 | `make track2 TRACK2_OUTPUT=evidence/forward-final-2026-11-06/track-runN.json`, N=1,2,3 | 39 сценариев / 24 инварианта PASS; 39 ID / 174 объекта, см. методику | [run1](evidence/forward-final-2026-11-06/track-run1.json), [run2](evidence/forward-final-2026-11-06/track-run2.json), [run3](evidence/forward-final-2026-11-06/track-run3.json) |
|
||||
| Поздние исправления ЛР4 | `forward_network.py`, целевые stack-тесты и fixture HAProxy | Basic/NUL/logout; битые PNG до storage; обход Valkey с безопасным logout; 12 корректных JSON для 502/503/504 | [network](evidence/forward-final-2026-11-06/network-regressions.txt), [upload](evidence/forward-final-2026-11-06/upload-negative.txt), [cache](evidence/forward-final-2026-11-06/cache-outage.txt), [HAProxy](evidence/forward-final-2026-11-06/haproxy-errors.txt) |
|
||||
| 3.1 Минимум ЛР3 | `make test`; `student-tests/tools/forward_network.py`; `make lb-check`; `make retry-check` | F: smoke, отзыв сессий на двух репликах, NUL/Basic PASS; S: 20×8 запросов с одним ключом, одна копия; потерянный ответ и kill без дублей | [smoke](evidence/forward-final-2026-11-06/smoke.txt), [сеть](evidence/forward-final-2026-11-06/network-regressions.txt), [LB](evidence/sqlalchemy-2026-11-06/grade3/lb-check-rerun.txt), [retry](evidence/sqlalchemy-2026-11-06/grade3/retry.txt) |
|
||||
| 3.2 Метаданные отдельно от байтов, приватность, stateless API | `make attachments-evidence`; `make limits` | S: внешняя сверка размера/SHA, изображения не в БД/API; F: лимиты, сети, mounts и порты PASS | [размещение](evidence/sqlalchemy-2026-11-06/grade3/storage-layout.txt), [лимиты](evidence/forward-final-2026-11-06/limits.txt) |
|
||||
| 3.3 `201 ready`, сообщения, checksum, чужому `404` | `make test`; `make student-test` | F: PASS, включая реальные PostgreSQL/RustFS-тесты; V: smoke и 721 собственная проверка прошла (719 + адресный повтор 2 setup errors) | [smoke](evidence/forward-final-2026-11-06/smoke.txt), [492 теста](evidence/forward-final-2026-11-06/offline-checks-rerun.txt), [V smoke](evidence/png-final-2026-11-06/smoke.txt) |
|
||||
| 3.4 PNG/JPEG, 10 MiB/40 MP, MIME/filename | `make test-faults`; `make student-test PYTEST_ARGS='-q --tb=short student-tests/unit'` | F: граничные файлы, MIME/имена → 4xx; текущие offline-регрессии: оба PNG из ревью → 415, без записи. V: оба файла → 415 через LB, число строк/объектов неизменно; PNG/JPEG скачаны побайтно | [старый suite](evidence/forward-final-2026-11-06/stack-faults.txt), [407 unit](evidence/png-header-fix/unit.txt), [регрессии](evidence/png-header-fix/targeted.txt), [V PNG/JPEG](evidence/png-final-2026-11-06/png-roundtrip.json) |
|
||||
| 3.5 Upload → остановка принявшей реплики → download | `make scenario SCENARIO=failover-upload` | F: target exited, сосед running, SHA совпал, download через 2,762 с | [JSON](evidence/forward-final-2026-11-06/failover-upload.json) |
|
||||
| 3.6 Restart с volumes и failover | `make persistence-evidence`; `make test-failover ACTION_SCRIPT=scripts/stop-one.sh` | F: данные/сессия сохранены; 130 записей, 0 ошибок, первая запись через 2,883 с | [persistence](evidence/forward-final-2026-11-06/persistence-rerun.txt), [failover](evidence/forward-final-2026-11-06/failover-d4c8d53d7433.txt) |
|
||||
| Отказ S3 | `make scenario SCENARIO=s3-outage` | F: upload/download 503 за 4,990/5,329 с; текст 201, метаданные/readiness 200; после возврата checksum равен | [JSON](evidence/forward-final-2026-11-06/s3-outage.json) |
|
||||
| 4.1 Пользовательские ошибки файлов не дают 500 | `make test-faults`; PNG ASGI-регрессии | F: 112 ответов в журнале негативного suite, 0×5xx; битый zlib и повторный IHDR добавлены позднее. V: 7 stack PASS, включая оба PNG; 54 ответа негативного теста, 0×5xx | [stack](evidence/forward-final-2026-11-06/stack-faults.txt), [PNG](evidence/png-header-fix/NOTES.md), [V suite](evidence/png-final-2026-11-06/upload-faults.txt) |
|
||||
| 4.2 Компенсация, crash и безопасная уборка | `make test-faults`; `make overload-leftovers` | F: COMMIT fault → 503, строка/объект удалены; обе реплики убиты между PUT/COMMIT, свежие/ready сохранены. S: 30 pending убраны после реальных 900 с, 1669 ready/объектов совпали | [отказы](evidence/forward-final-2026-11-06/stack-faults.txt), [grace без сдвига времени](evidence/sqlalchemy-2026-11-06/grade4/overload-leftovers.txt) |
|
||||
| 4.3 Ограниченная RAM, ≥10 загрузок | `make upload-memory ARGS='--slots 3 --out <новая-серия>'` | S: 36 точек; F: 3 точки, максимум 456,2 MiB, OOM 0, 238×201/2×503. V: 18 точек, 840/840×201, API ≤440 MiB, LB ≤31,1 MiB, OOM 0; 10×40 MP RGBA16 → 201, API ≤270,8 MiB | [S](evidence/sqlalchemy-2026-11-06/grade4/NOTES.md), [F](evidence/forward-port.md#повтор-затронутых-измерений), [V RAM](evidence/png-final-2026-11-06/memory-summary.json) |
|
||||
| 4.4 Bootstrap/IAM/закрытая консоль/private вне API | `make s3-check` | S: 31 PASS, anonymous GET 403, API ListBucket запрещён, повтор bootstrap ×2 неизменен; конфигурация не менялась | [сырой вывод](evidence/sqlalchemy-2026-11-06/grade3/s3-security.txt) |
|
||||
| 5.1 Внедрение, dry-run/apply/повтор, защита свежих и ссылок | F: `make reconcile-demo`; V: `python3 evidence/png-final-2026-11-06/concurrent-reconcile.py` | F: 13 PASS; 18 исправлений, повтор 0, ссылки сохранены; алгоритм не менялся. V: 3341×201 при 67 проходах, lost_ready=0, независимый SHA-аудит PASS | [demo](evidence/forward-final-2026-11-06/reconcile-demo/demo.json), [V load](evidence/png-final-2026-11-06/concurrent-reconcile/under-load.json) |
|
||||
| 5.2 Стоимость обхода | `make reconcile-cost ARGS='--out <новая-серия>'` | 27 замеров на `3402fd6…`, 1k/10k/30k/100k; страницы и память подтверждены, линейное время отвергнуто | [методика](evidence/sqlalchemy-2026-11-06/track5/NOTES.md), [сырьё](evidence/sqlalchemy-2026-11-06/track5/measurements/cost/) |
|
||||
|
||||
## Отказы: время и сохранность
|
||||
## Отказы: наблюдаемое время и потери
|
||||
|
||||
Источник — D: [level4.json](evidence/forward-final-2026-11-06/level4.json) и публичные логи выше. Времена suite — **длительности всего сценария**, включая управление контейнерами и assertions; это не время недоступности API и не p95. «Потерь 0» означает отсутствие потерь принятых ID в выборке, а не доказательство для любых отказов диска/сети.
|
||||
Основная таблица — **F**, проект `hlpipe-lab4-forward-final-20261106`.
|
||||
Времена — отдельные наблюдения, не SLA. Потерями считаются подтверждённые клиенту данные;
|
||||
намеренно повреждённые байты в demo отдельно отмечены. Состояния контейнеров сохранены
|
||||
в JSON/inspect и выводе хуков; неизвестные длительности не заменены нулём.
|
||||
|
||||
| Воздействие / команда suite | Фактически остановленный контейнер | Наблюдение | Время / потери |
|
||||
| Воздействие / команда | Реально затронутый контейнер или объект | Наблюдение, время | Потери / файл |
|
||||
| --- | --- | --- | --- |
|
||||
| `worker_down_broker_restart` | `mtusi2026lab5-worker-1`, `3924574b030d`, exited 0 | 19:36:04.231533Z upload; рестарт API/relay, broker с volume; worker started 19:36:20.143149Z, ready 19:36:20.313903Z | 0.171 с от отметки старта до ready; сценарий 16.6 с; потерь 0 |
|
||||
| Persistence, `scripts/restart.sh` | `mtusi2026lab5-{postgres,valkey,s3,broker,lb,api-1,api-2,relay,worker}`; точные ID в events | Данные, сессия и оригинал сохранены | Команда 12.835 с; потерь подтверждённых данных не обнаружено |
|
||||
| Failover, `scripts/stop-one.sh` | `mtusi2026lab5-api-2`, exited 0 | 131 запись, 0 ошибок | Первая запись 2.791 с; потерь 0 |
|
||||
| `crash_commit_publish` | `mtusi2026lab5-relay-1`, `57ef736182d7`, exited 137 | Неопубликованный outbox → ready с прежней job | Сценарий 9.5 с; потерь 0 |
|
||||
| `crash_publish_confirm` | `mtusi2026lab5-relay-1`, `9f63b40078d5`, exited 137 | **После confirm**, до COMMIT отметки outbox; повтор публикации без второго эффекта | Сценарий 9.6 с; потерь 0; потеря confirm не проверялась |
|
||||
| `crash_after_s3_before_commit` | `mtusi2026lab5-worker-1`, `c74820bbdab3`, exited 137 | Processing, 0 строк вариантов; повтор → ready | Сценарий 12.6 с; потерь 0 |
|
||||
| `crash_after_commit_before_ack` | `mtusi2026lab5-worker-1`, `5accc3314905`, exited 137 | Ready до падения; redelivery без нового набора | Сценарий 10.3 с; потерь 0 |
|
||||
| `lease_expiry_fencing` | Worker задержан, не остановлен | claimed(1) → lease_expired(2) → done(2) → fenced(1) | Сценарий 33.2 с при аренде 5 с и stall 15 с; перезаписи нет |
|
||||
| `s3_outage_recovers` | S3 остановлен сценарием; отдельного ps с ID в этом JSON нет | После восстановления done на попытке 2 | Сценарий 12.0 с; потерь 0; полнота свидетельства остановки ограничена |
|
||||
| `retry_exhausted` / `replay_failed` | Fault-injection, контейнеры не требуется останавливать | 5 попыток → failed; явный replay → ready, повтор → noop | Сценарии 17.6 / 28.4 с; failed — ожидаемый исход, не потерянная job |
|
||||
| `worker_limits` | Worker остаётся running | 40 Мп: принудительные время/память → failed; штатный режим → ready | 15.4 с на сценарий; ошибок процесса worker не зафиксировано |
|
||||
| `scenario failover-upload` | API `d4c8d53d7433` exited; `da922ab2ea09` running | Хук 2,734 с; download через 2,762 с от старта | Байты совпали; [JSON](evidence/forward-final-2026-11-06/failover-upload.json) |
|
||||
| `test-failover` | API `d4c8d53d7433`, подтверждён exited | 130 успешных записей, 0 failed_attempts; первая через 2,883 с | Дубликатов/потерь не обнаружено; [inspect и тест](evidence/forward-final-2026-11-06/failover-d4c8d53d7433.txt) |
|
||||
| `persistence-evidence` | API ×2, LB `ea6930f64089`, PG `3f3a870d89c0`, Valkey `07ea16e2fcfe`, S3 `5921e788f03d`; StartedAt изменились | Вся команда 13,179 с; это не точный интервал недоступности | Однократное чтение после hook сохранило данные/сессию; [до/после](evidence/forward-final-2026-11-06/persistence-rerun.txt) |
|
||||
| `scenario s3-outage` | S3 `5921e788f03d` exited | 503: upload 4,990 с, download 5,329 с; healthy через 5,760 с после старта | Готовый файл сохранился; текст 201; [JSON](evidence/forward-final-2026-11-06/s3-outage.json) |
|
||||
| `make test-faults`, PostgreSQL stop | Сервис postgres своего project; отдельного inspect в suite нет | 503 за 0,002–0,015 с; готовность через 2,1 с после старта | Прежний токен работает, 40 регистраций через 2 реплики без рестарта API; [stack](evidence/forward-final-2026-11-06/stack-faults.txt) |
|
||||
| `make test-faults`, Valkey stop | Сервис valkey своего project; отдельного inspect в suite нет | Живой токен 200 за 0,005 с; неизвестный 401 за 0,003 с; logout 503, после старта 204 | Отзыв не потерян; время восстановления не измерено; [stack](evidence/forward-final-2026-11-06/stack-faults.txt) |
|
||||
| COMMIT fault после PUT | Триггер в синтетическом сценарии | 503; сразу строка отсутствует и HEAD 404; audit compensation | Готовые не затронуты; [stack](evidence/forward-final-2026-11-06/stack-faults.txt) |
|
||||
| SIGKILL между PUT/COMMIT | По очереди API `da922ab2ea09`, `d4c8d53d7433` | Клиент 502; pending + объект. После сдвига за grace удаление через 26,1/1,5 с | Свежий остаток сохранён; ready в сообщении скачан с тем же SHA; [stack](evidence/forward-final-2026-11-06/stack-faults.txt) |
|
||||
| Обрыв / зависание тела | 256 KiB из 5 MiB / 1 KiB | Обрыв: 400 в журнале, нет intent; stall: 503 через 8,02 с | Новых видимых вложений нет; [stack](evidence/forward-final-2026-11-06/stack-faults.txt) |
|
||||
| Реальное ожидание grace, серия S | 30 pending: 27 после перегрузки, 3 после S3-outage | Наблюдение 847,812 с уже существовавших остатков; возраст не меняли, grace 900 с | 30 audit abandoned, затем 1669 ready = 1669 объектов; [вывод](evidence/sqlalchemy-2026-11-06/grade4/overload-leftovers.txt) |
|
||||
| Reconciler demo, порча обеих сторон | 3 orphan, 9 ready с потерянными/изменёнными байтами, 6 pending | Apply: 18 действий; повтор 0; полный demo 256,6 с | 9 ready и 6 ссылок сохранены, байты сами не восстанавливаются; [demo](evidence/forward-final-2026-11-06/reconcile-demo/demo.json) |
|
||||
| SIGTERM / S3 outage сверки | Одноразовый reconciler; S3 paused / остановлен | SIGTERM: 0,1 с, exit 143, lock освобождён; S3 outage: exit 1 за 2,32 с | Состояние не изменилось при outage; [demo](evidence/forward-final-2026-11-06/reconcile-demo/demo.json) |
|
||||
|
||||
Историческая остановка стенда D: `make down` без `-v`, затем пустой список контейнеров project и четыре сохранённых volume — [down.txt](evidence/forward-final-2026-11-06/down.txt), [stopped-containers.txt](evidence/forward-final-2026-11-06/stopped-containers.txt), [retained-volumes.txt](evidence/forward-final-2026-11-06/retained-volumes.txt). В финальной validation стенд снова остановлен без `-v`; контейнеров project нет, четыре volume сохранены — [down](evidence/final-validation-2026-11-07/down.txt), [проверка](evidence/final-validation-2026-11-07/stopped-containers.txt), [volumes](evidence/final-validation-2026-11-07/retained-volumes.txt).
|
||||
`failover-upload.json` содержит `restored=false`: сценарий сам не возвращал target;
|
||||
[отдельный restore](evidence/forward-final-2026-11-06/restore.txt) возвращает обе реплики.
|
||||
В конце фазы F все три её project остановлены, шесть постоянных volumes сохранены:
|
||||
[shutdown-state](evidence/forward-final-2026-11-06/shutdown-state.txt).
|
||||
Отчётный этап Docker не использовал. Состояние финальной validation-фазы и сохранённые
|
||||
volumes зафиксированы отдельно в [аудите](evidence/load-validation.md).
|
||||
|
||||
## Трек 2: гипотеза, методика и числа
|
||||
## Память и запись сообщений
|
||||
|
||||
**Гипотеза.** At-least-once доставка вместе с lease/fencing, уникальностью эффекта и монотонной публикацией сохраняет принятые задания при проверенных сбоях; старая job не заменяет результат новой версии.
|
||||
**Память S, до позднего переноса и PNG-фиксов.** Два API по 1 CPU/512 MiB, два worker,
|
||||
LB 128 MiB, RustFS 1 CPU/512 MiB; 3/64 слота × PNG около 1/10 MiB × 10/20/40 клиентов,
|
||||
три повтора каждой точки. Клиент с macOS, keep-alive, по два upload; перед точкой API/LB
|
||||
пересоздаются для нового cgroup `memory.peak`. Пик включает процессы, page cache и сокеты;
|
||||
p95 учитывает только 201. На сохранённом снимке фона — только свой project.
|
||||
[Методика и 36 raw-точек](evidence/sqlalchemy-2026-11-06/grade4/NOTES.md).
|
||||
|
||||
**Методика.** На D выполнены три последовательных `make track2`. Каждый повтор создаёт 13 новых вложений и включает контроль `smoke_pipeline`, дубль готовой job, две копии в работе, перестановку attempts и версий, crash до side effect, после S3 и после COMMIT до ack, SIGKILL worker, истечение аренды и позднюю v1 после v2. В `reorder_attempts` меняется порядок транспортных копий, а управляемый номер попытки остаётся фактом БД. Отдельно проверяется outbox до publish и после confirm до COMMIT. Потеря самого confirm не моделируется, несмотря на историческое название сценария.
|
||||
| Конфигурация | Ответы в 18 точках | Максимум API | OOM API/LB |
|
||||
| --- | --- | ---: | ---: |
|
||||
| 3 слота | 840/840 ×201 | 448,0 MiB | 0 |
|
||||
| 64 слота, исторический контроль | 813×201, 27×503 | 513,7 MiB | 0 |
|
||||
|
||||
После сценариев suite сверяет SQL и фактический S3 inventory для принятых ID, опрашивает API, скачивает bytes и сравнивает SHA-256, длину и геометрию. Восемь инвариантов: `terminal`, `single_effect`, `no_ready_rollback`, `monotonic_publication`, `bytes_match_metadata`, `bounded_attempts`, `no_orphans`, `no_lost_202`. Наблюдение состояний дискретное, дополнено журналом переходов и SQL-ограничениями. `no_orphans` относится к выборке: исторические failed/DLQ сохранены, глобальная DLQ не обязана быть пустой.
|
||||
**Память F, тоже до PNG-фиксов.** 40 клиентов, по два PNG 10 485 256 байт, 3 слота;
|
||||
три повтора дали 80/80/78 успешных ответов и 0/0/2 ответа 503. Пики API:
|
||||
456,2/438,1/450,4 MiB, LB: 31,8/28,5/29,1 MiB, OOM 0; p95 3641,3/4755,0/8091,8 мс.
|
||||
Причина двух 503 отдельно не локализована; уборка их возможных остатков в этой серии не
|
||||
измерялась. [Команды, фон и сырьё](evidence/forward-port.md#повтор-затронутых-измерений).
|
||||
Контроль 64/3 остаётся историческим; новый инспектор измерен отдельно в серии V ниже.
|
||||
|
||||
| Повтор на D | Сценарии PASS | Инварианты PASS | Уникальные 202 | Объекты S3 | Команда и первичные данные |
|
||||
| --- | --- | --- | --- | --- | --- |
|
||||
| 1 | 13 | 8 | 13 | 58 | [txt](evidence/forward-final-2026-11-06/track-run1.txt), [json](evidence/forward-final-2026-11-06/track-run1.json) |
|
||||
| 2 | 13 | 8 | 13 | 58 | [txt](evidence/forward-final-2026-11-06/track-run2.txt), [json](evidence/forward-final-2026-11-06/track-run2.json) |
|
||||
| 3 | 13 | 8 | 13 | 58 | [txt](evidence/forward-final-2026-11-06/track-run3.txt), [json](evidence/forward-final-2026-11-06/track-run3.json) |
|
||||
| Всего | 39 | 24 | 39 | 174 | [summary.json](evidence/forward-final-2026-11-06/summary.json) |
|
||||
**Память V, после обоих PNG-фиксов.** На том же распределении ресурсов проведены
|
||||
ровно три новые серии штатных 3 слотов: ~1/10 MiB × 10/20/40 клиентов, два upload на
|
||||
клиента. Всего **18 точек, 840/840×201**, ошибок/таймаутов/OOM-kill нет.
|
||||
Максимум API **440,0 MiB / 512 MiB**, LB **31,1 MiB / 128 MiB**.
|
||||
[Команды, сырьё и фон](evidence/load-validation.md#новая-матрица-памяти),
|
||||
[пересчёт](evidence/png-final-2026-11-06/memory-summary.json).
|
||||
|
||||
Во всех трёх повторах `stale_after_new_version` сохраняет одинаковый публичный снимок v2 до/после поздней v1. В `reorder_versions` v2 достигает done первой, v1 получает superseded. Для fixture 320×200 версии различимы; размеры и первые 16 hex SHA-256 ниже повторяются во всех трёх JSON:
|
||||
| PNG / клиенты | Максимум API из 3 повторов, MiB | p95 успешных: медиана [min–max], мс |
|
||||
| --- | ---: | ---: |
|
||||
| ~1 MiB / 10 | 279,8 | 241,0 [134,3–257,7] |
|
||||
| ~1 MiB / 20 | 284,5 | 243,8 [226,6–310,2] |
|
||||
| ~1 MiB / 40 | 290,4 | 373,4 [367,6–417,6] |
|
||||
| ~10 MiB / 10 | 394,8 | 1520,3 [1236,1–3287,8] |
|
||||
| ~10 MiB / 20 | 440,0 | 2632,8 [2514,0–3632,6] |
|
||||
| ~10 MiB / 40 | 439,2 | 5971,4 [4256,0–6534,9] |
|
||||
|
||||
| Вариант | Геометрия | v1, байт | v2, байт | SHA v1 / v2 |
|
||||
| --- | --- | --- | --- | --- |
|
||||
| crop | 128×128 | 1820 | 2142 | `97bf1400b30a28c1` / `5b6fb2a66216f8ca` |
|
||||
| optimized | 320×200 | 2462 | 2790 | `1090d84ed8411226` / `fe520c978bd45fc8` |
|
||||
| thumbnail | 256×160 | 4679 | 5628 | `7bc40bf315c8e18e` / `fa0db661078d4da9` |
|
||||
Дополнительный PNG 8000×5000 RGBA16: 311 100 байт на проводе, 320 005 000 байт
|
||||
распакованных строк. Перед нагрузкой файл независимо декодирован Pillow. 10 клиентов
|
||||
стартовали через barrier: **10×201**, 10 побайтных скачиваний вторым участником,
|
||||
API ≤270,828 MiB, LB ≤24,2 MiB, OOM 0. [Драйвер и raw](evidence/png-final-2026-11-06/high-depth.json).
|
||||
Это один сильно сжатый паттерн; он не представляет все PNG и не является SLO.
|
||||
|
||||
Разница вызвана quality JPEG/WebP, не изменением геометрии; больший файл не является измерением визуального качества. На D в этой матрице не обнаружены потеря 202, второй эффект, откат ready или замена v2 старой job. Это ограниченное подтверждение гипотезы, не exactly-once доставка: commit и подтверждение брокеру не атомарны, поэтому повторная доставка остаётся нормальным исходом сбоя.
|
||||
После нагрузок shallow-проверка: 859 ready = 859 объектов, ни pending, ни orphan,
|
||||
ни missing/size mismatch. SHA всех крупных объектов повторно не вычислялся.
|
||||
[Сверка](evidence/png-final-2026-11-06/post-memory-invariants.json). На снимках фона —
|
||||
только свой project; macOS, частоты, диск и кэш физического хоста не контролировались.
|
||||
|
||||
**Условия.** Darwin arm64, 16 CPU; Docker 28.3.2, VM 16 CPU / 8 217 190 400 байт RAM. Project `mtusi2026lab5`, образ `mtusi-messenger:lab5-forward`, ports 18085/25085/25086; volumes между повторами сохранены. Fault override: lease 5 с, backoff 1 с, outbox poll 0.5 с, sweep 1 с, stall 15 с. [conditions-before.json](evidence/forward-final-2026-11-06/conditions-before.json) и [conditions-track-start.json](evidence/forward-final-2026-11-06/conditions-track-start.json) не показывают других Docker projects в моменты снимков; непрерывного мониторинга CPU хоста нет. Фоновая нагрузка этого этапа не запускалась, ресурсная изоляция производительности не доказана.
|
||||
**Запись сообщений F.** `make load-evidence`: публичный `tests/load.py`, закрытый контур,
|
||||
64 клиента, 8 с, новый горячий чат на прогон, три повтора с паузой 15 с. Клиент-контейнер
|
||||
в edge-сети, 2 CPU/512 MiB; API ×2 по 1 CPU/512 MiB. На снимках до/после — только свой
|
||||
project, host load average 3,42→4,69. Физический хост не был выделен эксклюзивно.
|
||||
|
||||
У run2/3 UTC-интервалы и монотонные elapsed расходятся: 1161.195/186.458 с и 571.513/180.259 с; у run1 — 181.175/181.089 с. Причина не установлена. Эти длительности исключены из SLO, RPS, сравнений производительности и оценок разброса — [clock-observation.json](evidence/forward-final-2026-11-06/clock-observation.json). Трек 2 проверяет идемпотентность, а не throughput; пригодные функциональные серии не требуется повторять из-за спорного времени.
|
||||
| Повтор | RPS | p95 успешных, мс | Ошибок |
|
||||
| --- | ---: | ---: | ---: |
|
||||
| 1 | 1428,577 | 100,062 | 0 |
|
||||
| 2 | 1456,338 | 98,948 | 0 |
|
||||
| 3 | 1529,320 | 98,475 | 0 |
|
||||
|
||||
Предыдущие 39/174 на `9ba3076fa8ba707de932e053fc22f455d83b3210` — историческое сравнение сохранности инвариантов до позднего forward, не ускорения: [старые результаты](evidence/sqlalchemy-2026-11-06/track2/qualified/RESULTS.md). Прерванный старый run3 исключён и заменён только третьим повтором; 10 принятых до прерывания ID восстановились. Корневые `evidence/level3.json`, `level4.json` и старые логи относятся к коду до SQLAlchemy и не подтверждают R.
|
||||
Медиана **1456,338 RPS**, ошибок 0. [Команда](evidence/forward-final-2026-11-06/load-command.txt),
|
||||
[сырые JSON](evidence/forward-final-2026-11-06/load/), [фон](evidence/forward-final-2026-11-06/performance-before.txt).
|
||||
Это характеристика данного распределения ресурсов и одного чата, не SLO или предел архитектуры.
|
||||
Относительно ранней SQLAlchemy-серии 1529,186 RPS разница −4,8%; причинное влияние
|
||||
исправления из непарных серий не следует. PNG-изменения не вызываются текстовым запросом.
|
||||
|
||||
## Трек 2: согласованность двух хранилищ
|
||||
|
||||
`make reconcile` запускает `python -m messenger.attachments.entrypoints.reconcile`,
|
||||
по умолчанию dry-run; `ARGS='--apply --deep'` включает исправления и хеширование.
|
||||
Один проход сливает листинг S3 и keyset-страницы по `object_key` с индексом UNIQUE/COLLATE C.
|
||||
Алгоритм делает O(N) сравнений и хранит O(страница); это не обещание линейного времени RustFS.
|
||||
По умолчанию страница 1000, grace 3600 с + skew 60 с. Advisory lock разрешает один проход;
|
||||
второй возвращает skipped. Deep хеширует потоками 64 KiB, по умолчанию до восьми объектов.
|
||||
|
||||
| Расхождение | Безопасное действие `--apply` |
|
||||
| --- | --- |
|
||||
| Старый orphan | Повторная проверка строки по ключу, затем удаление объекта; свежий не трогается |
|
||||
| Старый pending | Повторная проверка под `FOR UPDATE SKIP LOCKED`, объект раньше строки, audit reason=reconcile |
|
||||
| Ready без объекта / другой размер / SHA | Повторная проверка; карантин, без удаления ready и ссылок сообщений; `/content` → 404 |
|
||||
| Объект карантина восстановлен | Снять карантин только после совпадения SHA-256, даже без `--deep` |
|
||||
|
||||
**Гипотезы до замеров** — [design на этапе SQLAlchemy](openspec/changes/archive/2026-11-06-verify-lab4-reconciler-sqlalchemy/design.md),
|
||||
proposal `751aaed4b1baaa957c74bb8874adeb0eac4b0480`:
|
||||
H1 — точное обнаружение/исправление, повтор 0 и сохранность свежих/используемых;
|
||||
H2 — shallow t(100k)/t(10k) в [7,13], страницы ceil(N/page), RSS растёт менее чем на 10%,
|
||||
deep на порядок дороже; H3 — после SQLAlchemy сохраняются страничность и ограниченная память.
|
||||
Отрицательный результат H2 не меняет исходную гипотезу.
|
||||
|
||||
**Корректность F.** На свежем отдельном project, grace 60/skew 0 внедрены ошибки обеих сторон.
|
||||
Dry-run не изменил 24 объекта/27 строк. Apply удалил 3 старых orphan и 6 pending, перевёл
|
||||
9 ready в карантин; шесть audit-событий, все шесть ссылок сохранены. Повтор — 0 действий.
|
||||
Возврат исходных байтов снял один карантин без deep, подмена той же длины — не сняла.
|
||||
Всего 13 PASS; [первичный demo](evidence/forward-final-2026-11-06/reconcile-demo/demo.json).
|
||||
При 75 с параллельных upload: 3364×201, 59 проходов, lost_ready=0, независимая проверка SHA
|
||||
в [check-under-load](evidence/forward-final-2026-11-06/reconcile-demo/check-under-load.json).
|
||||
**Конкурентная загрузка V после PNG-фиксов:** отдельный fresh project, 75 с / 3 потока,
|
||||
3341/3341×201, 67 проходов, errors=0/skipped=0, lost_ready=0. Независимый deep-аудит
|
||||
проверил SHA всех 3341 ready; каждый десятый upload привязан к сообщению. Удалены только
|
||||
3 внедрённых orphan. [Команда](evidence/png-final-2026-11-06/concurrent-reconcile.txt),
|
||||
[raw](evidence/png-final-2026-11-06/concurrent-reconcile/under-load.json),
|
||||
[SHA-аудит](evidence/png-final-2026-11-06/concurrent-reconcile/check-under-load.json).
|
||||
На пустом dataset инъекция pending создала 0 строк (ей нужна существующая строка-владелец);
|
||||
этот сценарий повторно не доказан серией V и сохраняется из полного demo F.
|
||||
Затронутый PNG-путь и сохранность всех 201 проверены; остальной алгоритм не менялся.
|
||||
Повторную проверку строки перед удалением дополнительно покрывает
|
||||
`test_row_written_after_listing_keeps_the_object`: наблюдение fresh не подменяет этот барьер.
|
||||
|
||||
**Стоимость на `3402fd69d4922e500035a204d957be2cccaeb85a`.** Свежий project
|
||||
`hlpipe-lab4-cost-20261106`; 1k/10k/30k/100k объектов и столько же ready-строк, PNG 8×8 по 264 B
|
||||
и один smoke-объект 111 817 B. Наполнение — четыре параллельных PUT и SQLAlchemy batch INSERT;
|
||||
измерение начинается после COMMIT и тихого окна, время наполнения исключено.
|
||||
API/LB/Valkey остановлены. RustFS 2 CPU/3 GiB, cpuset 11–12; PG 2 CPU/1 GiB, 13–14;
|
||||
CLI 1 CPU/256 MiB, 15. Это отдельная конфигурация, не штатные лимиты API-стенда.
|
||||
|
||||
Перед каждым повтором фильтр чужого CPU: ≤2 ядра VM и ≤0,25 на закреплённых,
|
||||
запас запуска 1,5/0,5 ядро·с; quiet 15 с, deadline 900 с, до трёх повторов отклонённой точки.
|
||||
Приняты 27, отклонённых 0; максимум чужого CPU 0,25 ядра, pinned 0. По три shallow/deep
|
||||
на каждом N и три page100 на 10k. Все raw с исходным SHA сохранены и пересчитаны при отчёте.
|
||||
[Команда](evidence/sqlalchemy-2026-11-06/track5/cost-command.txt),
|
||||
[полный протокол](evidence/sqlalchemy-2026-11-06/track5/NOTES.md),
|
||||
[план/фон/сырьё](evidence/sqlalchemy-2026-11-06/track5/measurements/cost/).
|
||||
|
||||
| N | Режим | Медиана прохода [min–max], с | LIST / SQL-страниц / GET | RSS, MiB, медиана |
|
||||
| ---: | --- | --- | --- | ---: |
|
||||
| 1000 | shallow | 0,107 [0,105–0,113] | 1 / 1 / 0 | 109,8 |
|
||||
| 1000 | deep | 0,499 [0,498–0,536] | 1 / 1 / 1000 | 110,2 |
|
||||
| 10000 | shallow | 0,999 [0,996–1,077] | 10 / 10 / 0 | 110,9 |
|
||||
| 10000 | deep | 4,998 [4,972–5,041] | 10 / 10 / 10000 | 111,3 |
|
||||
| 10000 | page100 | 2,037 [2,035–2,113] | 100 / 100 / 0 | 107,9 |
|
||||
| 30000 | shallow | 3,601 [3,567–3,633] | 30 / 30 / 0 | 110,9 |
|
||||
| 30000 | deep | 15,665 [15,630–15,779] | 30 / 30 / 30000 | 111,6 |
|
||||
| 100000 | shallow | 20,215 [20,206–21,335] | 100 / 100 / 0 | 111,1 |
|
||||
| 100000 | deep | 110,910 [58,661–147,215] | 100 / 100 / 100000 | 111,4 |
|
||||
|
||||
SQL здесь считает запросы страниц, без служебных BEGIN/COMMIT/pre-ping/advisory lock;
|
||||
HEAD/DELETE=0 во всех точках. `cost.seconds` — сам проход, CPU/wall в raw включают старт CLI.
|
||||
**H2 о времени отвергнута:** t100k/t10k=20,235. На 100k листинг занимает медиану 19,538 с;
|
||||
внутренняя причина его удорожания не установлена. Deep дороже в 4,35–5,49 раза, не на порядок.
|
||||
Страницы точно ceil(N/page), shallow RSS 109,8→111,1 MiB (+1,18%): эти части H2 и H3
|
||||
подтверждены в измеренной области. H1 подтверждена перечисленными сценариями на F.
|
||||
|
||||
Deep 100k: 147,215/110,910/58,661 с, разброс 79,84% медианы. Все повторы прошли заранее
|
||||
заданный фильтр; лучший не выбран вместо остальных. Один хост/VM, тёплые данные, частоты,
|
||||
диск и нагрузка macOS не контролировались. PNG 264 B не прогнозируют deep для 10 MiB,
|
||||
выше 100k измерений нет. Сравнение с историческим asyncpg — не причинный A/B-эксперимент.
|
||||
Сверка не восстанавливает утраченные байты и требует отдельного ручного/планового запуска.
|
||||
|
||||
## Завершение финальной validation
|
||||
|
||||
[Общий долг двух PNG-фиксов](evidence/png-header-fix/NOTES.md#обязательные-проверки-финального-этапа)
|
||||
закрыт на V: API-тесты с PostgreSQL, upload faults через LB/RustFS, 18 точек штатной
|
||||
матрицы RAM, десять одновременных 40 MP RGBA16 и upload при сверке с независимым SHA-аудитом.
|
||||
Команды и сырые результаты — в [аудите](evidence/load-validation.md).
|
||||
|
||||
`make student-test` дал 719 PASS и 2 setup errors из-за неготового временного RustFS;
|
||||
адресный повтор только этих двух тестов прошёл. Таким образом, все 721 выбранная
|
||||
проверка исполнена успешно, первый полный запуск не объявляется зелёным. Отдельно
|
||||
7 stack-тестов PASS. `make check`, `make validate`, `make lint` и OpenSpec strict (18)
|
||||
прошли. Реализация, конфиги, нормативные файлы и OpenSpec не менялись.
|
||||
|
||||
Принятые 27 cost-замеров и 3 повтора текстовой нагрузки сохранены с исходными SHA: повтор
|
||||
не требовался. Старые 64/3 и upload-memory до PNG-фиксов не используются для вывода о
|
||||
новом инспекторе. После Docker-этапа оба собственных project остановлены, шесть постоянных
|
||||
volumes сохранены; [инвентаризация](evidence/png-final-2026-11-06/shutdown-state.txt).
|
||||
Публикация — только после отдельной команды координатора PUBLICATION; push не выполнялся.
|
||||
|
||||
## Ограничения
|
||||
|
||||
Семь minor последнего независимого ревью M сохранены без исправления; они не блокируют отчёт или передачу следующей фазе. Новый minor JobMessage передан координатором в результате `lab5-release-load0-round1`; в отчётном этапе его offline-пробы не повторялись:
|
||||
- **Minor, сохранён ревью:** непарные Unicode-суррогаты U+D800/U+DFFF в `text` вызывают
|
||||
`PydanticSerializationError` в `fingerprint()` и HTTP 500. Файл
|
||||
[schemas.py:35](src/messenger/messaging/entrypoints/schemas.py#L35),
|
||||
[HTTP-доказательство](evidence/forward-final-2026-11-06/known-minor-http.txt).
|
||||
Это дефект, не PASS; по правилу пользователя minor не требует fix и не блокирует этап.
|
||||
- Один Docker-host, по одному PostgreSQL/RustFS/LB — точки отказа; репликация и резервные
|
||||
копии байтов здесь не исследуются. При остановке всех API sweeper ждёт их возврата.
|
||||
- Тело upload ограничено, но хранится целиком; слоты защищают память ценой очереди.
|
||||
Два 503 в F сохранены без объяснения недоказанной причиной. В V все 840 запросов
|
||||
успешны при пике ≤440 MiB; это измеренная область 10–40 клиентов, не общий предел RAM
|
||||
и не обещание 100% успеха при любой нагрузке.
|
||||
- При неизвестном результате PUT/COMMIT остаток ждёт grace; потерянный ответ upload
|
||||
допускает повторное вложение, поскольку у этого endpoint нет Idempotency-Key.
|
||||
- После отправки заголовков сбой S3 при download может оборвать поток; слишком медленная
|
||||
передача и SIGTERM также ограничены таймаутами. Ранний отказ во время отправки большого
|
||||
тела клиент иногда увидит как reset. Сессия проверяется раньше объявленного размера.
|
||||
- В demo grace 60/skew 0, смещение часов не моделировалось; реальный grace API 900 с
|
||||
отдельно подтверждён старой серией S. Reconciler не восстанавливает повреждённые байты.
|
||||
- Нагрузка записи — закрытый контур и один чат, успешные latency имеют coordinated omission.
|
||||
Причинный эффект SQLAlchemy/исправлений и предел системы из этих чисел не выводятся.
|
||||
- Секреты — локальные файлы Compose вместо менеджера секретов; статические S3-ключи без
|
||||
исследованной ротации. TLS, presigned flow, брокер и варианты изображений вне этой лабы.
|
||||
- Исторические proposal `add-lab4-image-attachments` и `add-lab4-upload-resilience`
|
||||
превышают рекомендацию 400 слов; история не переписана. `openspec/config.yaml` сверён
|
||||
с текущим стеком, но в документационном этапе не редактировался по ограничению области работ.
|
||||
|
||||
| Файл | Ограничение / доказательство |
|
||||
| --- | --- |
|
||||
| `src/messenger/attachments/application/pipeline.py:230` | `after_publish_before_confirm` вызывается после `publish()`, уже получившего Basic.Ack. `crash_publish_confirm` проверяет окно после confirm до COMMIT outbox, а не потерю confirm. См. [findings.json](evidence/review-trns-depth-2026-11-06/findings.json). |
|
||||
| `scripts/limits.py:10` | Несортированный список secrets сравнивается с отсортированным и даёт два ложных FAIL. [Сохранённый запуск](evidence/sqlalchemy-2026-11-06/grade3/limits.txt) имеет exit_code=1; PASS ему не присваивается. |
|
||||
| `scripts/reconcile_track.py:396` | Демонстратор ждёт upload 201 и `attachments/` из ЛР4; для ЛР5 с 202 непригоден и в квалификации не используется. См. [findings.json](evidence/forward-final-2026-11-06/findings.json). |
|
||||
| `src/messenger/attachments/application/pipeline.py:304` | Failed upgrade v2 при ready v1 нельзя отдельно повторить replay/reprocess; v1 остаётся доступной. Проверка `test_failed_new_version_keeps_ready_original` — [student-test.txt](evidence/forward-final-2026-11-06/student-test.txt). |
|
||||
| `evidence/forward-final-2026-11-06/clock-observation.json` | Расхождение часов в run2/3; время не используется для performance-выводов. |
|
||||
| `openspec/config.yaml:130` | Унаследованное design-правило указывает upload 201 вместо нормативного 202. Конфиг вне scope отчётной фазы. |
|
||||
| `src/messenger/attachments/entrypoints/schemas.py:67` | Модель допускает `attempt="1"`, `pipeline_version=true`, числовой `created_at` и `traceparent=null` вне `jobs.schema.json`. В четырёх offline-пробах ревью вызваны bus/ack, reject=0. Штатный relay формирует корректные сообщения; критичного последствия не установлено. [Источник и границы проверки](evidence/report-memory-audit-2026-11-07.md). |
|
||||
## Ответы на вопросы защиты
|
||||
|
||||
Один host, один PostgreSQL, S3 и узел quorum RabbitMQ не обеспечивают HA. Инфраструктурные redelivery теперь не ограничены числом доставок и при долгом отказе создают повторные обращения/логи; прикладные ошибки после claim ограничены. SIGTERM во время обработки может задержать повтор до истечения аренды. Replay сбрасывает attempt с audit и не ограничивает число ручных запусков. Три повтора не покрывают все чередования событий. Уже опубликованные ready-объекты автоматически новым renderer не переписываются; RGB16+tRNS зависит от tile rawmode Pillow и требует регрессий при обновлении.
|
||||
**Почему volume одной API-реплики не равен объектному хранилищу?** Другая реплика не обязана
|
||||
видеть её локальный volume. RustFS даёт всем репликам одно адресуемое ключами хранилище
|
||||
с политиками доступа; остановка принявшей API не удаляет оригинал. В F это показали
|
||||
разные `X-Instance-Id` и совпавший SHA-256 после остановки target.
|
||||
|
||||
`openspec/config.yaml` проверен, но не изменён: разрешённый scope отчётной фазы исключает конфиги и OpenSpec. Он уже содержит SQLAlchemy/Alembic и контекст ЛР5; в унаследованном правиле design осталось `201` для PostgreSQL+S3. Для upload ЛР5 нормативен `202` после staging и COMMIT, как в `contracts/`. Эта документационная неточность не меняет HTTP-реализацию.
|
||||
**Когда можно вернуть 201?** После успешного PUT и COMMIT статуса ready. Pending уже
|
||||
зафиксирован до PUT, но не виден пользователям. Потерянный ответ после COMMIT возможен;
|
||||
это не позволяет заранее отвечать 201.
|
||||
|
||||
## Историческая validation V: завершённые проверки и исходный major
|
||||
**Что если S3 PUT прошёл, а COMMIT — нет?** При известном отказе компенсация под блокировкой
|
||||
удаляет объект, затем pending. При падении процесса/неизвестном исходе это делает sweeper
|
||||
после grace. Уже ready не удаляется; независимые orphan и расхождения ищет reconciler.
|
||||
|
||||
Аудит по README, измеренному SHA, diff, конфигурации, ресурсам, dataset, повторам и сырью — [load-validation.md](evidence/load-validation.md). Три пригодных функциональных track2-повтора приняты, вся матрица повторно не запускалась. Изменение только документации не аннулирует эти свидетельства. Новых SLO/throughput-обещаний нет: выбран трек 2.
|
||||
**Почему случайный key/private bucket не заменяют ACL?** S3-ключ API разрешает доступ
|
||||
ко всему bucket и не знает членства пользователей в чатах. Поэтому каждый запрос
|
||||
метаданных/байтов проверяет членство; постороннему 404. Private bucket дополнительно
|
||||
закрывает прямой анонимный GET, но не принимает решение за приложение.
|
||||
|
||||
| Проверка на V | Реальный результат | Доказательство |
|
||||
| --- | --- | --- |
|
||||
| `make check validate lint`, OpenSpec | PASS; 22 спецификации, changes=[] | [checks](evidence/final-validation-2026-11-07/checks.txt), [OpenSpec](evidence/final-validation-2026-11-07/openspec.txt) |
|
||||
| Сборка и публичный `make test` | PASS; образ содержит reviewed images.py, версии закреплены | [build](evidence/final-validation-2026-11-07/build.txt), [runtime](evidence/final-validation-2026-11-07/image-runtime.txt), [smoke](evidence/final-validation-2026-11-07/smoke.txt) |
|
||||
| Policy на существующем volume и реальная остановка PostgreSQL | PostgreSQL `9f62ea9d176b` exited; 12 `job.requeued`; без replay ready с той же job и attempt=1; DLQ осталась 15; 8 инвариантов PASS. Сценарий 21.815 с, вся команда 27.330 с; принятое вложение сохранено | [команда](evidence/final-validation-2026-11-07/postgres-outage-retry.txt), [JSON](evidence/final-validation-2026-11-07/postgres-outage-retry.json) |
|
||||
| tRNS HTTP v1/v2, exact neighbor, Adam7/filter/EXIF | 8 изображений, 48 побайтных сравнений вариантов с независимым белым эталоном; исходник, metadata/hash/размеры, stale/duplicate noop; 8 инвариантов PASS | [команда](evidence/final-validation-2026-11-07/png-http.txt), [JSON](evidence/final-validation-2026-11-07/png-http.json) |
|
||||
| Адресные duplicate/reorder/fencing, COMMIT/ack, malformed/DLQ, exhaustion/replay | 12 сценариев, 8 инвариантов PASS, 11 ID / 47 объектов; одна ожидаемая новая DLQ от malformed | [команда](evidence/final-validation-2026-11-07/delivery-targeted.txt), [JSON](evidence/final-validation-2026-11-07/delivery-targeted.json) |
|
||||
| PNG tRNS 8000×5000 при 448 MiB / 30 с | **4 FAIL**: grayscale 2/4/16 и RGB16 получили 202 → failed/processing_failed, attempt=1. Штатный ready-сценарий не пройден | [команда](evidence/final-validation-2026-11-07/png-limits.txt), [JSON](evidence/final-validation-2026-11-07/png-limits.json), [fixtures](evidence/final-validation-2026-11-07/fixtures) |
|
||||
| Принудительные timeout/memory и последующее обычное задание | PASS; worker остаётся жив, обычное задание ready. Это не отменяет четыре FAIL выше | [png-limits.json](evidence/final-validation-2026-11-07/png-limits.json) |
|
||||
| Повторная read-only сверка после staging sweep | PASS; нет pending outbox/staging/nonterminal/дублей, 10 объектов совпали с БД для 7 ID. Исходный ранний no_orphans FAIL сохранён | [cleanup-recheck](evidence/final-validation-2026-11-07/cleanup-recheck.json) |
|
||||
Для защиты: `make test` показывает upload→message→download и чужому 404;
|
||||
`make s3-check` — private вне API; persistence/failover — сохранность;
|
||||
`make attachments-evidence` — отсутствие локальных файлов API; сценарии уровней 4/5 —
|
||||
компенсацию, ограничения памяти и безопасную сверку. Следует показать исходный SHA каждого
|
||||
результата и новые доказательства PNG-инспектора из серии V.
|
||||
|
||||
**Исходный major на V:** объявленный [OpenSpec-сценарий PNG на пределе пикселей](openspec/specs/lab5-image-variants/spec.md) требует ready при штатных пределах. Новые 40 Мп tRNS fixtures размером 35 759–385 445 байт его не проходят. [Linux-пробник с импортами worker](evidence/final-validation-2026-11-07/resource-probe-worker.txt) воспроизводит MemoryError в `images.py`: grayscale 2/4 — белый RGB-фон, grayscale16 — `I → L`, RGB16 — маски/повторное декодирование. Без tRNS gray2/gray4/RGB16 проходят; gray16 превышает память и без tRNS. Это провал конкретного граничного сценария; потери данных или падение сервиса не обнаружены.
|
||||
|
||||
Этот вывод относится к V. Причина исправлена отдельным агентом в M через OpenSpec, выполнено независимое re-review. Старый [findings.json](evidence/final-validation-2026-11-07/findings.json) сохраняет исходный major и шесть minor как историю; он не перезаписывается. Динамическое закрытие major подтверждено новым прогоном F ниже; исходные FAIL V сохранены.
|
||||
|
||||
Первый outage-прогон невалиден: `docker compose start worker` автоматически запустил БД; повторён только этот сценарий с точным container ID. Первая передача пробника через docker cp отклонена read-only rootfs, затем использован stdin/tmpfs. Эти ошибки обвязки и ранний cleanup FAIL сохранены отдельно и не объявлены успехом. Все команды, условия, ограничения и остановка — [RESULTS](evidence/final-validation-2026-11-07/RESULTS.md).
|
||||
|
||||
Запуск из чистого clone и отдельная throughput-матрица на V не выполнялись. Полный student-test, HTTP и реальный брокер выполнены именно на V. Runtime M дополнительно проверен динамически на F ниже; публикация остаётся отдельной фазой. Push и Telegram не выполнялись.
|
||||
|
||||
## Исправление M и завершённая адресная validation F
|
||||
|
||||
[Результаты исправления](evidence/review-png-memory-2026-11-07/RESULTS.md) сохраняют четыре ожидаемых FAIL регрессии на исходном renderer и PASS после изменения. Счётчик одновременно живущих pixel buffers на 1025×769 дал:
|
||||
|
||||
| PNG tRNS | До, байт | После, байт |
|
||||
| --- | ---: | ---: |
|
||||
| grayscale 2 | 7 882 250 | 4 596 485 |
|
||||
| grayscale 4 | 7 882 250 | 4 596 485 |
|
||||
| grayscale 16 | 7 882 250 | 5 384 710 |
|
||||
| RGB16 | 9 458 700 | 5 517 575 |
|
||||
|
||||
Это модель pixel buffers, не RSS, виртуальная память процесса или проверка 40 Мп под Linux. До — [regression-before.txt](evidence/review-png-memory-2026-11-07/regression-before.txt), после — [offline-tests.txt](evidence/review-png-memory-2026-11-07/offline-tests.txt). Сохранённые 440 + 20 passed и 132 идентичных варианта подтверждают offline-часть. Независимое ревью M по данным координатора повторило 460 проверок с двумя Linux-only skips и не обнаружило major в доступной области. Его семь minor перечислены выше.
|
||||
|
||||
Адресная validation F выполнена после независимого review M. Runtime совпадает с M; от V изменён только renderer, поэтому PostgreSQL outage, delivery subset и три полных track2-повтора приняты без повторения. Аудит применимости — [load-validation](evidence/load-validation.md), команды и методика — [RESULTS](evidence/final-memory-validation-2026-11-07/RESULTS.md).
|
||||
|
||||
| Критерий / команда | Результат F | Доказательство |
|
||||
| --- | --- | --- |
|
||||
| `linux-runner.py`: импорты worker, RLIMIT_AS=448 MiB, 30 с | Четыре прежних 40 Мп tRNS и grayscale16 без tRNS, v1/v2, обычный render после каждого — PASS; два параллельных RGB16 render — PASS | [команда](evidence/final-memory-validation-2026-11-07/linux.txt), [JSON](evidence/final-memory-validation-2026-11-07/linux.json) |
|
||||
| `targeted.py png-boundary`: LB/API/relay/broker/worker | 8 сценариев / 8 инвариантов PASS; 202 → ready, original/bytes/hash/геометрия/tRNS, v2, stale/duplicate noop; 11 ID / 59 объектов | [команда](evidence/final-memory-validation-2026-11-07/png-boundary.txt), [JSON](evidence/final-memory-validation-2026-11-07/png-boundary.json) |
|
||||
| Два одновременных HTTP jobs, v1/v2 | Перекрытие claimed→done; peak worker 885 428 224 байт (844.41 MiB) / 1 GiB; OOM=0 | [concurrent-rgb16](evidence/final-memory-validation-2026-11-07/png-boundary.json) |
|
||||
| Принудительные 0.01 с / 200 MiB и следующие обычные задания | Два ожидаемых failed/processing_failed, worker жив; после каждого обычная загрузка ready; штатные 448 MiB/30 с/concurrency=2 восстановлены | [JSON](evidence/final-memory-validation-2026-11-07/png-boundary.json), [условия после](evidence/final-memory-validation-2026-11-07/conditions-after.json) |
|
||||
| `targeted.py png-http`: точный tRNS, Adam7/filter=4/EXIF=6 | 8 fixtures / 48 сравнений v1/v2 с независимым эталоном, 8 инвариантов PASS; 8 ID / 56 объектов | [команда](evidence/final-memory-validation-2026-11-07/png-http.txt), [JSON](evidence/final-memory-validation-2026-11-07/png-http.json) |
|
||||
| Sweep и SQL/S3 inventory обеих серий | Нет pending outbox/staging/дублей для новых ID; 19 ID / 115 объектов согласованы. Историческая DLQ=16 не выросла | Инварианты в двух JSON выше |
|
||||
|
||||
Все 30 SHA пяти файлов × двух версий × трёх вариантов совпали между Linux и HTTP. Peak RSS Linux-процесса — 342 956–406 312 KiB; это не cgroup memory и не виртуальный адресный предел. Диагностический параллельный пробник с дополнительным управляющим процессом дал cgroup peak 1 026 285 568 байт; он отделён от штатных HTTP jobs. Все memory.events=0. Исходные четыре FAIL V закрыты новым динамическим PASS F при неизменных лимитах.
|
||||
|
||||
Условия F: тот же project и сохранённые volumes, Docker VM 16 CPU / 8 217 190 400 байт, worker 2 CPU / 1 GiB. В снимках нет чужих контейнеров; специальный фон не запускался, непрерывного контроля хоста нет. Throughput/SLO не заявляются. [Начальные условия](evidence/final-memory-validation-2026-11-07/conditions.json), [итоговые](evidence/final-memory-validation-2026-11-07/conditions-after.json). Стенд F остановлен через `make down` без `-v`: [команда](evidence/final-memory-validation-2026-11-07/down.txt), [пустой project](evidence/final-memory-validation-2026-11-07/stopped-containers.txt), [четыре volumes](evidence/final-memory-validation-2026-11-07/retained-volumes.txt). Push и Telegram не выполнялись.
|
||||
|
||||
## Вопросы защиты
|
||||
|
||||
- **Что сохранено к 202?** Проверенный оригинал staging, вложение queued, job и outbox после COMMIT. Быстрота worker не меняет снимок ответа.
|
||||
- **Confirm и ack — в чём разница?** Confirm подтверждает приём брокером; ack подтверждает устойчивый результат обработки. Между ними возможны дубли.
|
||||
- **Почему дубль безопасен?** Job/версия идентифицируются в БД, lease сериализует работу, fencing отвергает старого держателя, уникальный ключ эффекта защищает варианты.
|
||||
- **Как отличить долгую работу от смерти?** Живая работа продлевает lease; истёкшую восстанавливает relay. Поздняя фиксация не проходит lease_token.
|
||||
- **Почему v1 не затирает v2?** Versioned ключи и условие монотонного published_version; ready v1 остаётся доступной до успешной публикации v2.
|
||||
- **Что ещё не доказано?** Потеря confirm, все сбои диска/сети, производительность под изолированной нагрузкой. Граничные 40 Мп tRNS не прошли на V; исправление M подтверждено Linux/HTTP на F. Validation завершена; публикация требует отдельной фазы.
|
||||
|
||||
Документация сверена через Context7: [SQLAlchemy 2.0.45 async](https://github.com/sqlalchemy/sqlalchemy/blob/rel_2_0_45/doc/build/orm/extensions/asyncio.rst), [Alembic 1.16.5 async migrations](https://github.com/sqlalchemy/alembic/blob/rel_1_16_5/docs/build/cookbook.rst), [FastStream 0.7.2 manual ack](https://github.com/ag2ai/faststream/blob/0.7.2/docs/docs/en/getting-started/acknowledgement.md). API 0.7.2 сопоставлен с используемым FastStream 0.7.8; прикладной порядок COMMIT/ack проверяется кодом и evidence, а не одной документацией.
|
||||
Решение перенесено из собственной ЛР3. При реализации и подготовке отчёта использован Codex;
|
||||
автор работы — Костылев Артём. Нормативные README/COURSE/contracts/tests сохранены.
|
||||
|
||||
+1
-11
@@ -6,13 +6,7 @@ from legacy import adopt_legacy
|
||||
from sqlalchemy import Connection, func, make_url, pool, select
|
||||
from sqlalchemy.ext.asyncio import create_async_engine
|
||||
|
||||
from messenger.attachments.infrastructure.postgres import (
|
||||
AttachmentRow,
|
||||
JobEventRow,
|
||||
JobRow,
|
||||
OutboxRow,
|
||||
VariantRow,
|
||||
)
|
||||
from messenger.attachments.infrastructure.postgres import AttachmentRow
|
||||
from messenger.identity.infrastructure.postgres import SessionRow, UserRow
|
||||
from messenger.messaging.infrastructure.postgres import (
|
||||
ChatMemberRow,
|
||||
@@ -32,10 +26,6 @@ MODELS = (
|
||||
MessageRow,
|
||||
IdempotencyKeyRow,
|
||||
AttachmentRow,
|
||||
JobRow,
|
||||
OutboxRow,
|
||||
JobEventRow,
|
||||
VariantRow,
|
||||
MessageAttachmentRow,
|
||||
)
|
||||
target_metadata = UserRow.metadata
|
||||
|
||||
+1
-3
@@ -10,9 +10,7 @@ LEGACY = {
|
||||
"0001_init": "9a13618f078ae9056431391e2e5197a31b981ae1fff047a9b3421ac750d3fd0d",
|
||||
"0002_idempotency_keys": "d9159a35553249a1e51af5f2e4e7c39b014e97593c49748e13f3799839063dd0",
|
||||
"0003_attachments": "c4417f560538a083efba1c67f660147dc94532fcbb2fa91f3f3e8258a0f01f2e",
|
||||
"0004_jobs": "c3887fa7a886ae8153a216aa43fd4c3c6190a2074e8ce20c3e77f29bfb01550e",
|
||||
"0005_failed_registry": "02b80061a08a6929feb092148c453ad970e3d001901c651b5a73b90b1e40f145",
|
||||
"0006_attachment_quarantine": (
|
||||
"0004_attachment_quarantine": (
|
||||
"541f5399d87fac3584c4102b4e0bf92c23cd372cc20a7d56dad03e771773202c"
|
||||
),
|
||||
}
|
||||
|
||||
+2
-2
@@ -1,8 +1,8 @@
|
||||
import sqlalchemy as sa
|
||||
from alembic import op
|
||||
|
||||
revision = "0006_attachment_quarantine"
|
||||
down_revision = "0005_failed_registry"
|
||||
revision = "0004_attachment_quarantine"
|
||||
down_revision = "0003_attachments"
|
||||
branch_labels = None
|
||||
depends_on = None
|
||||
|
||||
@@ -1,146 +0,0 @@
|
||||
import sqlalchemy as sa
|
||||
from alembic import op
|
||||
from sqlalchemy.dialects import postgresql
|
||||
|
||||
revision = "0004_jobs"
|
||||
down_revision = "0003_attachments"
|
||||
branch_labels = None
|
||||
depends_on = None
|
||||
|
||||
|
||||
def upgrade() -> None:
|
||||
op.drop_constraint("attachments_status_check", "attachments", type_="check")
|
||||
op.create_check_constraint(
|
||||
"attachments_status_check",
|
||||
"attachments",
|
||||
"status IN ('pending', 'queued', 'processing', 'ready', 'failed')",
|
||||
)
|
||||
for name in ("staging_key", "original_key"):
|
||||
op.add_column("attachments", sa.Column(name, sa.Text(collation="C"), nullable=True))
|
||||
op.create_unique_constraint(f"attachments_{name}_key", "attachments", [name])
|
||||
op.add_column(
|
||||
"attachments",
|
||||
sa.Column("published_version", sa.Integer(), nullable=False, server_default="0"),
|
||||
)
|
||||
op.create_check_constraint(
|
||||
"attachments_published_version_check", "attachments", "published_version >= 0"
|
||||
)
|
||||
op.add_column("attachments", sa.Column("error_code", sa.Text(), nullable=True))
|
||||
op.create_check_constraint(
|
||||
"attachments_error_code_check",
|
||||
"attachments",
|
||||
"error_code IN ('invalid_image', 'processing_failed', 'retry_exhausted')",
|
||||
)
|
||||
op.alter_column("attachments", "object_key", nullable=True)
|
||||
attachments = sa.table(
|
||||
"attachments",
|
||||
sa.column("status"),
|
||||
sa.column("object_key"),
|
||||
sa.column("original_key"),
|
||||
sa.column("staging_key"),
|
||||
sa.column("published_version"),
|
||||
)
|
||||
op.execute(
|
||||
attachments.update()
|
||||
.where(attachments.c.status == "ready")
|
||||
.values(original_key=attachments.c.object_key, published_version=1)
|
||||
)
|
||||
op.execute(
|
||||
attachments.update()
|
||||
.where(attachments.c.status == "pending")
|
||||
.values(staging_key=attachments.c.object_key)
|
||||
)
|
||||
op.create_index(
|
||||
"attachments_staged_idx",
|
||||
"attachments",
|
||||
["updated_at"],
|
||||
postgresql_where=sa.column("staging_key").is_not(None),
|
||||
)
|
||||
op.create_table(
|
||||
"attachment_variants",
|
||||
sa.Column("attachment_id", sa.Uuid(), sa.ForeignKey("attachments.id"), nullable=False),
|
||||
sa.Column("pipeline_version", sa.Integer(), nullable=False),
|
||||
sa.Column("name", sa.Text(), nullable=False),
|
||||
sa.Column("object_key", sa.Text(collation="C"), nullable=False),
|
||||
sa.Column("content_type", sa.Text(), nullable=False),
|
||||
sa.Column("size_bytes", sa.BigInteger(), nullable=False),
|
||||
sa.Column("width", sa.Integer(), nullable=False),
|
||||
sa.Column("height", sa.Integer(), nullable=False),
|
||||
sa.Column("sha256", sa.Text(), nullable=False),
|
||||
sa.Column("created_at", sa.DateTime(timezone=True), nullable=False),
|
||||
sa.PrimaryKeyConstraint("attachment_id", "pipeline_version", "name"),
|
||||
sa.UniqueConstraint("object_key", name="attachment_variants_object_key_key"),
|
||||
sa.CheckConstraint(
|
||||
"pipeline_version >= 1", name="attachment_variants_pipeline_version_check"
|
||||
),
|
||||
sa.CheckConstraint(
|
||||
"name IN ('thumbnail', 'crop', 'optimized')", name="attachment_variants_name_check"
|
||||
),
|
||||
sa.CheckConstraint(
|
||||
"content_type IN ('image/jpeg', 'image/png', 'image/webp')",
|
||||
name="attachment_variants_content_type_check",
|
||||
),
|
||||
sa.CheckConstraint("size_bytes >= 1", name="attachment_variants_size_bytes_check"),
|
||||
sa.CheckConstraint("width >= 1", name="attachment_variants_width_check"),
|
||||
sa.CheckConstraint("height >= 1", name="attachment_variants_height_check"),
|
||||
sa.CheckConstraint("sha256 ~ '^[0-9a-f]{64}$'", name="attachment_variants_sha256_check"),
|
||||
)
|
||||
op.create_table(
|
||||
"jobs",
|
||||
sa.Column("job_id", sa.Uuid(), primary_key=True),
|
||||
sa.Column("attachment_id", sa.Uuid(), sa.ForeignKey("attachments.id"), nullable=False),
|
||||
sa.Column("pipeline_version", sa.Integer(), nullable=False),
|
||||
sa.Column("status", sa.Text(), nullable=False),
|
||||
sa.Column("attempt", sa.Integer(), nullable=False),
|
||||
sa.Column("claims", sa.Integer(), nullable=False, server_default="0"),
|
||||
sa.Column("lease_token", sa.Uuid(), nullable=True),
|
||||
sa.Column("lease_until", sa.DateTime(timezone=True), nullable=True),
|
||||
sa.Column("next_attempt_at", sa.DateTime(timezone=True), nullable=True),
|
||||
sa.Column("last_error", sa.Text(), nullable=True),
|
||||
sa.Column("created_at", sa.DateTime(timezone=True), nullable=False),
|
||||
sa.Column("updated_at", sa.DateTime(timezone=True), nullable=False),
|
||||
sa.UniqueConstraint("attachment_id", "pipeline_version", name="jobs_effect_key"),
|
||||
sa.CheckConstraint("pipeline_version >= 1", name="jobs_pipeline_version_check"),
|
||||
sa.CheckConstraint(
|
||||
"status IN ('queued', 'processing', 'done', 'failed', 'superseded')",
|
||||
name="jobs_status_check",
|
||||
),
|
||||
sa.CheckConstraint("attempt >= 1", name="jobs_attempt_check"),
|
||||
sa.CheckConstraint("claims >= 0", name="jobs_claims_check"),
|
||||
)
|
||||
op.create_index(
|
||||
"jobs_lease_idx",
|
||||
"jobs",
|
||||
["lease_until"],
|
||||
postgresql_where=sa.column("status") == "processing",
|
||||
)
|
||||
op.create_table(
|
||||
"outbox",
|
||||
sa.Column("id", sa.BigInteger(), sa.Identity(always=True), primary_key=True),
|
||||
sa.Column("job_id", sa.Uuid(), sa.ForeignKey("jobs.job_id"), nullable=False),
|
||||
sa.Column("payload", postgresql.JSONB(), nullable=False),
|
||||
sa.Column("available_at", sa.DateTime(timezone=True), nullable=False),
|
||||
sa.Column("published_at", sa.DateTime(timezone=True), nullable=True),
|
||||
)
|
||||
op.create_index(
|
||||
"outbox_pending_idx",
|
||||
"outbox",
|
||||
["available_at", "id"],
|
||||
postgresql_where=sa.column("published_at").is_(None),
|
||||
)
|
||||
op.create_index("outbox_job_idx", "outbox", ["job_id"])
|
||||
op.create_table(
|
||||
"job_events",
|
||||
sa.Column("id", sa.BigInteger(), sa.Identity(always=True), primary_key=True),
|
||||
sa.Column("job_id", sa.Uuid(), nullable=False),
|
||||
sa.Column("attachment_id", sa.Uuid(), nullable=False),
|
||||
sa.Column("kind", sa.Text(), nullable=False),
|
||||
sa.Column("attempt", sa.Integer(), nullable=True),
|
||||
sa.Column("detail", postgresql.JSONB(), nullable=False, server_default="{}"),
|
||||
sa.Column("at", sa.DateTime(timezone=True), nullable=False, server_default=sa.func.now()),
|
||||
)
|
||||
op.create_index("job_events_attachment_idx", "job_events", ["attachment_id", "id"])
|
||||
|
||||
|
||||
def downgrade() -> None:
|
||||
raise RuntimeError("Downgrade would delete pipeline data")
|
||||
@@ -1,20 +0,0 @@
|
||||
import sqlalchemy as sa
|
||||
from alembic import op
|
||||
|
||||
revision = "0005_failed_registry"
|
||||
down_revision = "0004_jobs"
|
||||
branch_labels = None
|
||||
depends_on = None
|
||||
|
||||
|
||||
def upgrade() -> None:
|
||||
op.create_index(
|
||||
"jobs_failed_idx",
|
||||
"jobs",
|
||||
[sa.column("updated_at").desc()],
|
||||
postgresql_where=sa.column("status") == "failed",
|
||||
)
|
||||
|
||||
|
||||
def downgrade() -> None:
|
||||
op.drop_index("jobs_failed_idx", table_name="jobs")
|
||||
@@ -1,14 +1,12 @@
|
||||
# Topology worksheet, deliberately NOT a runnable stack (no application supplied).
|
||||
# Implement compose.yaml or stack.yaml; do not submit this empty file as deployment.
|
||||
# Service names below are logical roles, not imposed container names.
|
||||
x-lab-number: 5
|
||||
x-lab-number: 4
|
||||
x-required-roles:
|
||||
- api
|
||||
- postgres
|
||||
- load_balancer
|
||||
- s3
|
||||
- broker
|
||||
- worker
|
||||
# TODO: implement real images/builds, network wiring, volumes, healthchecks,
|
||||
# credentials and bootstrap. Details: contracts/infrastructure.json and README.md.
|
||||
services: {}
|
||||
|
||||
+2
-126
@@ -18,44 +18,6 @@ x-s3-env: &s3-env
|
||||
UPLOAD_SWEEP_INTERVAL_SECONDS: ${UPLOAD_SWEEP_INTERVAL_SECONDS:-30}
|
||||
UPLOAD_SWEEP_BATCH: ${UPLOAD_SWEEP_BATCH:-100}
|
||||
|
||||
x-pipeline: &pipeline
|
||||
image: ${API_IMAGE:-mtusi-messenger:${COMPOSE_PROJECT_NAME}}
|
||||
pull_policy: never
|
||||
restart: unless-stopped
|
||||
init: true
|
||||
read_only: true
|
||||
tmpfs: [/tmp]
|
||||
security_opt: ["no-new-privileges:true"]
|
||||
cap_drop: [ALL]
|
||||
stop_grace_period: 10s
|
||||
networks: [backend]
|
||||
healthcheck:
|
||||
test: ["CMD", "python", "-c", "import os,sys,time;sys.exit(time.time()-os.stat('/tmp/heartbeat').st_mtime>30)"]
|
||||
interval: 10s
|
||||
timeout: 5s
|
||||
retries: 3
|
||||
start_period: 30s
|
||||
start_interval: 2s
|
||||
depends_on:
|
||||
migrate:
|
||||
condition: service_completed_successfully
|
||||
s3-init:
|
||||
condition: service_completed_successfully
|
||||
broker:
|
||||
condition: service_healthy
|
||||
|
||||
x-pipeline-env: &pipeline-env
|
||||
<<: *s3-env
|
||||
DATABASE_URL_FILE: /run/secrets/database_url
|
||||
BROKER_URL_FILE: /run/secrets/broker_url
|
||||
DB_POOL_MAX_SIZE: ${PIPELINE_DB_POOL_MAX_SIZE:-4}
|
||||
LOG_LEVEL: ${LOG_LEVEL:-INFO}
|
||||
HEARTBEAT_FILE: /tmp/heartbeat
|
||||
JOB_MAX_ATTEMPTS: ${JOB_MAX_ATTEMPTS:-5}
|
||||
JOB_TIMEOUT_SECONDS: ${JOB_TIMEOUT_SECONDS:-60}
|
||||
JOB_BACKOFF_BASE_SECONDS: ${JOB_BACKOFF_BASE_SECONDS:-2}
|
||||
STAGING_RETENTION_SECONDS: ${STAGING_RETENTION_SECONDS:-86400}
|
||||
|
||||
x-s3-client: &s3-client
|
||||
image: rustfs/rc:v0.1.36@sha256:ab024bfebee49a750ce886b4c70963ccd9ddaa03f491704a90710641d7a26699
|
||||
read_only: true
|
||||
@@ -73,8 +35,6 @@ x-s3-client: &s3-client
|
||||
- s3_secret_access_key
|
||||
- s3_reconciler_access_key_id
|
||||
- s3_reconciler_secret_access_key
|
||||
- s3_worker_access_key_id
|
||||
- s3_worker_secret_access_key
|
||||
cap_drop: [ALL]
|
||||
security_opt: ["no-new-privileges:true"]
|
||||
restart: "no"
|
||||
@@ -90,8 +50,8 @@ services:
|
||||
API_SERVER_MAXCONN: ${API_SERVER_MAXCONN:-64}
|
||||
volumes: [./infra/haproxy/haproxy.cfg:/usr/local/etc/haproxy/haproxy.cfg:ro]
|
||||
ports:
|
||||
- "127.0.0.1:${LB_HTTP_PORT:-18085}:8080"
|
||||
- "127.0.0.1:${LB_STATS_PORT:-25085}:8404"
|
||||
- "127.0.0.1:${LB_HTTP_PORT:-8080}:8080"
|
||||
- "127.0.0.1:${LB_STATS_PORT:-8404}:8404"
|
||||
networks: [edge, backend]
|
||||
healthcheck:
|
||||
test: ["CMD", "wget", "-q", "-O", "/dev/null", "http://127.0.0.1:8404/healthz"]
|
||||
@@ -316,77 +276,6 @@ services:
|
||||
profiles: [tools]
|
||||
entrypoint: ["/bin/sh", "/s3/cli.sh"]
|
||||
|
||||
broker:
|
||||
image: rabbitmq:4.1.8-management-alpine@sha256:54ef5ff505352c1beef05a97ee9bd6ab95b3559a76629ba0119b1d63d8d6e4b2
|
||||
hostname: broker
|
||||
user: "100:101"
|
||||
restart: unless-stopped
|
||||
read_only: true
|
||||
tmpfs: [/tmp]
|
||||
security_opt: ["no-new-privileges:true"]
|
||||
cap_drop: [ALL]
|
||||
ports:
|
||||
- "127.0.0.1:${BROKER_MANAGEMENT_PORT:-25086}:15672"
|
||||
networks: [backend, edge]
|
||||
volumes:
|
||||
- broker-data:/var/lib/rabbitmq
|
||||
- ./infra/rabbitmq/rabbitmq.conf:/etc/rabbitmq/conf.d/20-messenger.conf:ro
|
||||
- ./infra/rabbitmq/enabled_plugins:/etc/rabbitmq/enabled_plugins:ro
|
||||
- ./infra/rabbitmq/definitions.json:/etc/rabbitmq/definitions.d/10-topology.json:ro
|
||||
secrets:
|
||||
- source: rabbitmq_users
|
||||
target: /etc/rabbitmq/definitions.d/20-users.json
|
||||
- rabbitmq_ops_password
|
||||
healthcheck:
|
||||
test: ["CMD", "rabbitmq-diagnostics", "-q", "check_port_connectivity"]
|
||||
interval: 10s
|
||||
timeout: 10s
|
||||
retries: 5
|
||||
start_period: 60s
|
||||
start_interval: 2s
|
||||
stop_grace_period: 10s
|
||||
deploy:
|
||||
resources:
|
||||
limits: {cpus: "1", memory: 512m}
|
||||
|
||||
relay:
|
||||
<<: *pipeline
|
||||
command: ["python", "-m", "messenger.relay"]
|
||||
environment:
|
||||
<<: *pipeline-env
|
||||
OUTBOX_POLL_SECONDS: ${OUTBOX_POLL_SECONDS:-1}
|
||||
SWEEP_INTERVAL_SECONDS: ${SWEEP_INTERVAL_SECONDS:-5}
|
||||
secrets:
|
||||
- database_url
|
||||
- source: broker_url_api
|
||||
target: broker_url
|
||||
- s3_access_key_id
|
||||
- s3_secret_access_key
|
||||
deploy:
|
||||
resources:
|
||||
limits: {cpus: "0.5", memory: 192m}
|
||||
|
||||
worker:
|
||||
<<: *pipeline
|
||||
command: ["python", "-m", "messenger.worker"]
|
||||
environment:
|
||||
<<: *pipeline-env
|
||||
WORKER_CONCURRENCY: ${WORKER_CONCURRENCY:-2}
|
||||
RENDER_TIMEOUT_SECONDS: ${RENDER_TIMEOUT_SECONDS:-30}
|
||||
RENDER_MEMORY_MB: ${RENDER_MEMORY_MB:-448}
|
||||
RENDER_TASKS_PER_CHILD: ${RENDER_TASKS_PER_CHILD:-100}
|
||||
secrets:
|
||||
- database_url
|
||||
- source: broker_url_worker
|
||||
target: broker_url
|
||||
- source: s3_worker_access_key_id
|
||||
target: s3_access_key_id
|
||||
- source: s3_worker_secret_access_key
|
||||
target: s3_secret_access_key
|
||||
deploy:
|
||||
resources:
|
||||
limits: {cpus: "${WORKER_CPUS:-2}", memory: "${WORKER_MEMORY:-1g}"}
|
||||
|
||||
k6:
|
||||
image: grafana/k6:2.3.0@sha256:2dd4756ec6e14e62778916e1eb850108e4b499304c02df56760fa0bdb0fba0b8
|
||||
profiles: [bench]
|
||||
@@ -417,18 +306,6 @@ secrets:
|
||||
file: ./secrets/s3_access_key_id
|
||||
s3_secret_access_key:
|
||||
file: ./secrets/s3_secret_access_key
|
||||
s3_worker_access_key_id:
|
||||
file: ./secrets/s3_worker_access_key_id
|
||||
s3_worker_secret_access_key:
|
||||
file: ./secrets/s3_worker_secret_access_key
|
||||
rabbitmq_users:
|
||||
file: ./secrets/rabbitmq_users.json
|
||||
rabbitmq_ops_password:
|
||||
file: ./secrets/rabbitmq_ops_password
|
||||
broker_url_api:
|
||||
file: ./secrets/broker_url_api
|
||||
broker_url_worker:
|
||||
file: ./secrets/broker_url_worker
|
||||
s3_reconciler_access_key_id:
|
||||
file: ./secrets/s3_reconciler_access_key_id
|
||||
s3_reconciler_secret_access_key:
|
||||
@@ -438,7 +315,6 @@ volumes:
|
||||
pgdata:
|
||||
valkeydata:
|
||||
s3data:
|
||||
broker-data:
|
||||
|
||||
networks:
|
||||
edge:
|
||||
|
||||
@@ -1,21 +0,0 @@
|
||||
# Состояния вложения и договор между producer/worker
|
||||
|
||||
Сообщение broker соответствует [jobs.schema.json](jobs.schema.json). Можно применять native headers брокера для trace context, но семантика carrier сохраняется; для проверки покажите отображение полей. `job_id` идентифицирует одну логическую работу и не меняется при redelivery; `attempt` начинается с 1 и отражает управляемую попытку обработки (broker redelivery сам по себе не создаёт новый job_id). Ключ эффекта — `(attachment_id, pipeline_version, variant)`.
|
||||
|
||||
| Переход | Условие | Что устойчиво сохранено |
|
||||
| --- | --- | --- |
|
||||
| нет → queued | Принимаем upload; только после durable handoff отвечаем 202 | Полный проверенный оригинал в staging, метаданные, намерение обработки |
|
||||
| queued → processing | Worker захватил/арендовал работу | Попытка, lease/deadline или эквивалентная защита |
|
||||
| processing → queued | Временная ошибка и остались попытки | Причина без секретов, время следующей попытки |
|
||||
| processing → ready | Все обязательные объекты записаны и результат атомарно опубликован | Оригинал, thumbnail (на 4 ещё crop/optimized), метаданные/checksums |
|
||||
| processing → failed | Ошибка постоянная или попытки исчерпаны | error_code и запись, доступная оператору |
|
||||
| processing → queued | Истёк lease после смерти worker | Восстановленная работа, без дублирования эффектов |
|
||||
| failed → queued | Явный операторский replay, доступен на 4 | Audit, новая попытка, прежний логический эффект защищён от дубля |
|
||||
|
||||
Повторная доставка уже ready-задачи — no-op с ack после проверки завершённого эффекта. Конкурентные попытки не перезаписывают более новый pipeline_version. Основной курс использует pipeline_version=1; версионирование нескольких pipeline — трек 5. Заявляйте готовность только когда все обещанные уровнем варианты доступны. Нельзя откатывать ready в processing из-за старого дубля.
|
||||
|
||||
**Окна отказа для защиты:** после staging до записи задания; после COMMIT до publish; после publish до confirm; после записи S3 до COMMIT результата; после COMMIT результата до ack. На 3 покажите сохранность успешно принятой работы и повторную доставку; на 4 автоматическое восстановление разрыва DB/broker (outbox/эквивалент) и зависшего processing.
|
||||
|
||||
Staging не удаляется до безопасной публикации результатов. Неуспешные/непривязанные исходники имеют документированный retention и cleanup; он не удаляет текущую работу. Broker принимает только ID/служебные данные, не произвольный URL для скачивания и не путь из клиентского filename. Worker берёт доверенные storage metadata из БД.
|
||||
|
||||
Ack подтверждает устойчивую обработку, publisher confirm — приём брокером; это разные границы. См. [RabbitMQ reliability](https://www.rabbitmq.com/docs/reliability). At-least-once + идемпотентный эффект не означает exactly-once доставку.
|
||||
@@ -1,5 +1,5 @@
|
||||
{
|
||||
"lab": 5,
|
||||
"lab": 4,
|
||||
"kind": "requirements, not runnable deployment",
|
||||
"required_for_grade_3": [
|
||||
{
|
||||
@@ -27,22 +27,6 @@
|
||||
],
|
||||
"private_bucket": true,
|
||||
"persistent_volume": true
|
||||
},
|
||||
{
|
||||
"role": "broker",
|
||||
"choose_one": [
|
||||
"RabbitMQ",
|
||||
"Redis Streams",
|
||||
"Valkey Streams",
|
||||
"NATS JetStream",
|
||||
"documented durable equivalent"
|
||||
],
|
||||
"persistent_volume": true,
|
||||
"delivery": "at-least-once"
|
||||
},
|
||||
{
|
||||
"role": "worker",
|
||||
"separate_process": true
|
||||
}
|
||||
],
|
||||
"optional_components": [
|
||||
|
||||
@@ -1,63 +0,0 @@
|
||||
{
|
||||
"$schema": "https://json-schema.org/draft/2020-12/schema",
|
||||
"$id": "urn:mtusi:messenger:attachment-job:v1",
|
||||
"title": "Durable attachment processing job v1",
|
||||
"type": "object",
|
||||
"additionalProperties": false,
|
||||
"required": [
|
||||
"schema_version",
|
||||
"job_id",
|
||||
"type",
|
||||
"attachment_id",
|
||||
"pipeline_version",
|
||||
"attempt",
|
||||
"created_at"
|
||||
],
|
||||
"properties": {
|
||||
"schema_version": {
|
||||
"const": 1
|
||||
},
|
||||
"job_id": {
|
||||
"type": "string",
|
||||
"format": "uuid"
|
||||
},
|
||||
"type": {
|
||||
"const": "attachment.process.v1"
|
||||
},
|
||||
"attachment_id": {
|
||||
"type": "string",
|
||||
"format": "uuid"
|
||||
},
|
||||
"pipeline_version": {
|
||||
"type": "integer",
|
||||
"minimum": 1
|
||||
},
|
||||
"attempt": {
|
||||
"type": "integer",
|
||||
"minimum": 1
|
||||
},
|
||||
"created_at": {
|
||||
"type": "string",
|
||||
"format": "date-time"
|
||||
},
|
||||
"traceparent": {
|
||||
"type": "string",
|
||||
"pattern": "^00-[0-9a-f]{32}-[0-9a-f]{16}-[0-9a-f]{2}$"
|
||||
},
|
||||
"tracestate": {
|
||||
"type": "string",
|
||||
"maxLength": 512
|
||||
}
|
||||
},
|
||||
"examples": [
|
||||
{
|
||||
"schema_version": 1,
|
||||
"job_id": "11111111-1111-4111-8111-111111111111",
|
||||
"type": "attachment.process.v1",
|
||||
"attachment_id": "22222222-2222-4222-8222-222222222222",
|
||||
"pipeline_version": 1,
|
||||
"attempt": 1,
|
||||
"created_at": "2026-09-01T12:00:00Z"
|
||||
}
|
||||
]
|
||||
}
|
||||
+5
-11
@@ -1,8 +1,8 @@
|
||||
{
|
||||
"openapi": "3.1.0",
|
||||
"info": {
|
||||
"title": "MTUSI Messenger — лабораторная 5",
|
||||
"version": "1.5.0",
|
||||
"title": "MTUSI Messenger — лабораторная 4",
|
||||
"version": "1.4.0",
|
||||
"description": "Нормативный минимум на 3. Семантика: contracts/README.md. Расширения на 4/5 не должны менять этот API. Наличие кода ошибки в схеме не требует реализовать факультативную причину его выдачи."
|
||||
},
|
||||
"servers": [
|
||||
@@ -2151,7 +2151,7 @@
|
||||
"operationId": "uploadAttachment",
|
||||
"summary": "Принять один PNG/JPEG, до 10 MiB",
|
||||
"responses": {
|
||||
"202": {
|
||||
"201": {
|
||||
"description": "Успех",
|
||||
"headers": {
|
||||
"X-Request-Id": {
|
||||
@@ -2936,10 +2936,7 @@
|
||||
"schema": {
|
||||
"type": "string",
|
||||
"enum": [
|
||||
"original",
|
||||
"thumbnail",
|
||||
"crop",
|
||||
"optimized"
|
||||
"original"
|
||||
],
|
||||
"default": "original"
|
||||
}
|
||||
@@ -3464,10 +3461,7 @@
|
||||
"status": {
|
||||
"type": "string",
|
||||
"enum": [
|
||||
"queued",
|
||||
"processing",
|
||||
"ready",
|
||||
"failed"
|
||||
"ready"
|
||||
]
|
||||
},
|
||||
"variants": {
|
||||
|
||||
+101
-37
@@ -1,48 +1,112 @@
|
||||
# Индекс доказательств ЛР5
|
||||
# Индекс доказательств ЛР4
|
||||
|
||||
Актуальный [REPORT.md](../REPORT.md) обновлён после независимого ревью **6096aa7948b8b666aa3892397a96d044a55f02c6 (M)**. Предыдущее review — **42575281b352d35bda17ee7601bae5548a996e91 (R)**; полные динамические серии — **0e921116610d289716af0a40ec823376eb8bbcbc (D)**. Validation на `b30e2f6a84419d1ca64525ffb40df92183cccaef` (V, runtime = R) подтвердила PostgreSQL outage, delivery subset и HTTP tRNS, но выявила четыре FAIL на 40 Мп PNG при штатной памяти.
|
||||
Финальный validation snapshot: `5e49502ae78fa48b992c97418e490666c699726d`, 2026-11-06.
|
||||
Runtime совпадает с review `7a0ebac2aa9e1d8602054ca4c7c1b0c23d3bfad4`;
|
||||
[аудит применимости и новые проверки](load-validation.md). Сохранённые cost и текстовая
|
||||
нагрузка приняты с исходными SHA. Старые upload-memory остаются историческими.
|
||||
|
||||
В M изменён только renderer: плитки 256×256 и явное освобождение pixel core. 440 offline + 20 границ PASS, 2 Linux-only skips; 132 варианта совпали с V. Re-review не нашло major в статике/offline; **прежний major закрыт Linux/HTTP validation F** (`74c33160ac01618f70e9e1c6a121a5e45c3c7155`, runtime = M): пять граничных PNG, concurrency=2, принудительные лимиты и HTTP 8/48 PASS. 984 student tests passed / 2 Linux-only skips; Linux-эквивалент выполнен отдельно. Исходные FAIL V сохраняются и не становятся PASS. Аудит применимости V — [load-validation.md](load-validation.md), исходная инструкция адресных проверок — [RESULTS исправления памяти](review-png-memory-2026-11-07/RESULTS.md).
|
||||
## Финальная validation после PNG-фиксов
|
||||
|
||||
## Как читать каталог
|
||||
|
||||
| Файлы / каталог | Код и роль доказательства | Применимость |
|
||||
| Команда / назначение | Наблюдение | Файл |
|
||||
| --- | --- | --- |
|
||||
| [Адресная validation M](final-memory-validation-2026-11-07/RESULTS.md) | F, runtime = M | Linux 448 MiB/30 с, пять 40 Мп PNG × v1/v2; HTTP boundary 8 сценариев / 8 инвариантов и малая матрица 8/48 / 8 инвариантов; 19 ID / 115 объектов; major закрыт, семь minor сохранены |
|
||||
| [Исправление памяти](review-png-memory-2026-11-07/RESULTS.md) | M; реализация `1a8020524909ebc5e2e43303436c9d1ce3c1a87b` | 440 + 20 passed / 2 skips, счётчик pixel buffers, 132 идентичных варианта; 28 хешей. Linux/HTTP выполняет следующий каталог validation F |
|
||||
| [Аудит обновления отчёта](report-memory-audit-2026-11-07.md) | M + только документация | Лёгкие проверки, аудит новых хешей/чисел/ссылок; семь minor последнего review, без новых динамических прогонов |
|
||||
| [Финальная validation](final-validation-2026-11-07/RESULTS.md), [аудит нагрузки](load-validation.md) | V, runtime = R | 980 tests, HTTP PNG и real DB outage; 12 адресных сценариев PASS; четыре 40 Мп PNG FAIL, один major; полный track2 не повторён |
|
||||
| [Первый аудит отчёта](report-audit-2026-11-07.md) | R + изменения документации, до validation V и исправления M | Реальные лёгкие проверки того этапа, ссылки, хеши, арифметика; без Docker и новых динамических тестов |
|
||||
| [forward-final-2026-11-06/RESULTS.md](forward-final-2026-11-06/RESULTS.md) | D, полная динамическая квалификация после поздних исправлений ЛР4 | Основная измеренная база: 819 passed / 1 skip, smoke/persistence/failover, уровень 4 и три повтора трека 2; до исправлений R |
|
||||
| [review-trns-depth-2026-11-06/RESULTS.md](review-trns-depth-2026-11-06/RESULTS.md) | R, исправление глубины PNG tRNS | 430 unit + 20 границ, 114 совместимых вариантов, fixtures и 34 хеша; offline, не Linux/HTTP-квалификация |
|
||||
| [review-fixes-2026-11-06/RESULTS.md](review-fixes-2026-11-06/RESULTS.md) | Реализация `3fad49d6b913afb122d2c1348ea8d9f99e25cc27`, архив `6e97bdbe9638c5a53951337fce639a1a0db7f92e` | История первого исправления: policy сохранена в R, renderer затем дополнен. 57 тестов не доказывали все tRNS; поздние major и исправление описаны в следующем каталоге |
|
||||
| [forward-port.md](forward-port.md), [source-inventory.json](forward-final-2026-11-06/source-inventory.json), [forward-audit.json](forward-final-2026-11-06/forward-audit.json) | Перенос ЛР4 `d7478726a85791c21e065d58f610735a9e687433` → `4ed889c1e4008e3f6040ae2534bef99262d3b8ce` | Решения по 253 файлам и 25 хешей на D. Сверяется snapshot, не другой живой репозиторий |
|
||||
| [sqlalchemy-2026-11-06/grade3/NOTES.md](sqlalchemy-2026-11-06/grade3/NOTES.md) | `24a51744f521aa585e50a931d0a0219d2e960197` | История после перехода на SQLAlchemy, до исправлений track2/forward/review; topology/ack — дополнительное свидетельство, не текущая policy |
|
||||
| [sqlalchemy-2026-11-06/grade4/NOTES.md](sqlalchemy-2026-11-06/grade4/NOTES.md) | `e9ce6d0afacadc16f1666f4bb7d54d3d7377a269` | Исторический уровень 4; `level4-retry.json` — успешный повтор; исходные неуспешные результаты не переименовываются в PASS |
|
||||
| [sqlalchemy-2026-11-06/track2/NOTES.md](sqlalchemy-2026-11-06/track2/NOTES.md) | Несколько промежуточных SHA внутри логов | История диагностики и исправлений; для итоговых чисел используется qualified, затем D |
|
||||
| [sqlalchemy-2026-11-06/track2/qualified/RESULTS.md](sqlalchemy-2026-11-06/track2/qualified/RESULTS.md) | `9ba3076fa8ba707de932e053fc22f455d83b3210` | Старая квалификация 39/174 до позднего forward: run1, run2, run3-retry. Прерванный run3 исключён, повторена только эта серия |
|
||||
| Все корневые `*.txt` и `*.json` в `evidence/` | Историческая реализация до SQLAlchemy/Alembic, даты/старые SHA — внутри файлов и истории Git | **Не подтверждают R, D или M.** Не использовать старые порты, asyncpg-мигратор, результаты и формулировки как текущие |
|
||||
| `make student-test PYTEST_ARGS='-q --tb=short'`, затем адресный повтор двух S3-тестов | 719 PASS + 2 setup errors RustFS; только эти два повторены: 2 PASS. 721 выбранная проверка исполнена; первый запуск не объявлен зелёным | [полный](png-final-2026-11-06/student-test.txt), [повтор](png-final-2026-11-06/student-s3-retry.txt) |
|
||||
| `make up`, `make test`, `scripts/limits.py` | Новый изолированный project, fresh volumes, штатные лимиты, smoke PASS | [up](png-final-2026-11-06/up.txt), [smoke](png-final-2026-11-06/smoke.txt), [лимиты](png-final-2026-11-06/limits.txt) |
|
||||
| Прямой argv `make upload-faults`, новый путь захвата | 7 PASS; оба PNG → 415; негативный suite: 0×5xx | [raw](png-final-2026-11-06/upload-faults.txt) |
|
||||
| `png-roundtrip.py` | 415 без новых строк/объектов; PNG/JPEG → 201 и побайтное скачивание | [raw](png-final-2026-11-06/png-roundtrip.json) |
|
||||
| `make upload-memory ARGS='--slots 3 --out <новый-runN>'`, 3 серии | 18 точек, 840/840×201, API ≤440 MiB, LB ≤31,1 MiB, OOM 0 | [сводка](png-final-2026-11-06/memory-summary.json), [raw](png-final-2026-11-06/upload-memory/) |
|
||||
| `high-depth.py` | 10 параллельных 40 MP RGBA16, 10×201, checksum совпал, API ≤270,828 MiB, OOM 0 | [raw](png-final-2026-11-06/high-depth.json) |
|
||||
| `scripts/reconcile_check.py` после RAM | 859 ready = 859 объектов, расхождений/остатков нет; shallow | [raw](png-final-2026-11-06/post-memory-invariants.json) |
|
||||
| `concurrent-reconcile.py` (только under_load) | 3341×201, 67 проходов, 3 orphan удалены; deep SHA/lost_ready=0. Pending инъекция 0 на пустом dataset, прежний сценарий F сохранён | [raw](png-final-2026-11-06/concurrent-reconcile/under-load.json), [oracle](png-final-2026-11-06/concurrent-reconcile/check-under-load.json) |
|
||||
| Повторный аудит 27 cost-замеров | Приняты все 27; страницы/память подтверждены, линейность времени отвергнута | [аудит](png-final-2026-11-06/cost-reaudit.json), [diff/SHA](png-final-2026-11-06/retained-audit.json) |
|
||||
|
||||
Последняя строка включает `contract-checks.txt`, `environment.txt`, `failover-upload.json`, `failover.txt`, `level3.json`, `level4.json`, `limits.txt`, `operator.txt`, `persistence.txt`, `pipeline-stand.txt`, `s3-outage.json`, `s3-security.txt`, `smoke.txt`, `stack.txt`, `student-tests.txt`, `topology.txt`, `upload-faults.txt`. Эти файлы оставлены для истории, без изменения сырья. Старые Markdown-итоги также читаются в пределах указанного выше SHA; их прежние заявления о полноте не распространяются на M. В частности, требования «нужен fix/review» в load-validation.md и RESULTS V описывают историческую остановку: fix и re-review M уже выполнены, Linux/HTTP-подтверждение завершено на F; старые документы не переписаны.
|
||||
## Offline-проверки до финальной validation
|
||||
|
||||
## Основные первичные данные D
|
||||
| Команда / назначение | Результат | SHA и файлы |
|
||||
| --- | --- | --- |
|
||||
| `make student-test PYTEST_ARGS='-q --tb=short student-tests/unit'` | 407 passed; оба повреждённых PNG отклоняются до записи | Код `7c8a1a64899dc0a1b5fa0949c0992ef40722eacf`; [unit](png-header-fix/unit.txt), [227 проверок инспектора/ASGI](png-header-fix/targeted.txt), [blob-манифест](png-header-fix/manifest.json) |
|
||||
| `make check`, `make validate`, `make lint`, `openspec validate --all --strict --no-interactive` после фикса | PASS, 18 спецификаций после архивации | Архив `7a0ebac2aa9e1d8602054ca4c7c1b0c23d3bfad4`; [протокол](png-header-fix/NOTES.md), [OpenSpec](png-header-fix/openspec-final.txt) |
|
||||
| Статическое/offline-ревью runner, round3 | Открытых major нет, один minor; Docker/нагрузки не выполнялись | Результат передан runner для `7a0ebac2aa9e1d8602054ca4c7c1b0c23d3bfad4`; отдельного raw-файла ревью в репозитории нет |
|
||||
| Документационный аудит: check/validate/lint/OpenSpec, числа, ссылки, diff | Проверки отчётного этапа отдельно от предыдущих тестов | [Аудит](report-audit-2026-11-06.md); исходный snapshot указан выше |
|
||||
| Финальные API/LB/RustFS-регрессии, память нового инспектора и upload при сверке | Выполненные результаты финальной фазы вынесены выше и в аудит применимости | [Общий долг двух PNG-фиксов](png-header-fix/NOTES.md#обязательные-проверки-финального-этапа) |
|
||||
|
||||
- [level4-command.txt](forward-final-2026-11-06/level4-command.txt), [level4.json](forward-final-2026-11-06/level4.json): 17 сценариев, 8 инвариантов; 33 ID, 28 ready, 5 ожидаемых failed, 116 объектов.
|
||||
- [track-run1.txt](forward-final-2026-11-06/track-run1.txt), [track-run1.json](forward-final-2026-11-06/track-run1.json); [track-run2.txt](forward-final-2026-11-06/track-run2.txt), [track-run2.json](forward-final-2026-11-06/track-run2.json); [track-run3.txt](forward-final-2026-11-06/track-run3.txt), [track-run3.json](forward-final-2026-11-06/track-run3.json): каждый 13 сценариев, 8 инвариантов, 13 ID, 58 объектов. [summary.json](forward-final-2026-11-06/summary.json): всего 39/24/39/174.
|
||||
- [final-smoke.txt](forward-final-2026-11-06/final-smoke.txt), [persistence.txt](forward-final-2026-11-06/persistence.txt), [failover.txt](forward-final-2026-11-06/failover.txt): публичные проверки. [persistence-containers.txt](forward-final-2026-11-06/persistence-containers.txt), [failover-containers.txt](forward-final-2026-11-06/failover-containers.txt), [restore.txt](forward-final-2026-11-06/restore.txt): фактические операции со своим стендом.
|
||||
- [student-test.txt](forward-final-2026-11-06/student-test.txt): 819 passed / 1 skipped до последних двух исправлений. Предыдущие offline-результаты R: [offline-tests.txt](review-trns-depth-2026-11-06/offline-tests.txt), [boundaries.txt](review-trns-depth-2026-11-06/boundaries.txt). Текущие M: [offline-tests.txt](review-png-memory-2026-11-07/offline-tests.txt), [boundaries.txt](review-png-memory-2026-11-07/boundaries.txt).
|
||||
- [conditions-before.json](forward-final-2026-11-06/conditions-before.json), [conditions-track-start.json](forward-final-2026-11-06/conditions-track-start.json), остальные `conditions-*.json`: моментальные срезы общего Docker, не непрерывный контроль фоновой нагрузки.
|
||||
- [down.txt](forward-final-2026-11-06/down.txt), [stopped-containers.txt](forward-final-2026-11-06/stopped-containers.txt), [retained-volumes.txt](forward-final-2026-11-06/retained-volumes.txt): остановка стенда D. Более поздняя остановка V — [down.txt](final-validation-2026-11-07/down.txt), [stopped-containers.txt](final-validation-2026-11-07/stopped-containers.txt), [retained-volumes.txt](final-validation-2026-11-07/retained-volumes.txt): четыре volume сохранены. Исправление M и отчёт Docker не запускали. Последняя остановка F — [down.txt](final-memory-validation-2026-11-07/down.txt), [пустой project](final-memory-validation-2026-11-07/stopped-containers.txt), [четыре volumes](final-memory-validation-2026-11-07/retained-volumes.txt).
|
||||
Первый PNG-фикс: `9387c3d82ab77ea376eecce19a36a22803d35efb`,
|
||||
[причина и offline-доказательства](png-validation-fix/NOTES.md).
|
||||
Второй фикс требует единственный IHDR; вместе они добавляют распаковку PNG ограниченными
|
||||
блоками. Все предыдущие upload-memory и конкурентные upload в исторических разделах ниже
|
||||
относятся к старому инспектору. Collection API/stack в `png-header-fix/` — сбор тестов, не их исполнение.
|
||||
|
||||
## Не считать успехом или измерением производительности
|
||||
## После позднего переноса ЛР3, до PNG-фиксов
|
||||
|
||||
- `crash_publish_confirm` и raw `window: after publish, before confirm` — историческое имя/описание; реальная точка находится **после Basic.Ack и до COMMIT outbox**. Потерю confirm данный сценарий не проверял.
|
||||
- [grade3/limits.txt](sqlalchemy-2026-11-06/grade3/limits.txt) имеет **exit_code=1**, два ложных FAIL из-за порядка secrets. Это не PASS.
|
||||
- [clock-observation.json](forward-final-2026-11-06/clock-observation.json): UTC/elapsed run2 = 1161.195/186.458 с, run3 = 571.513/180.259 с. Причина неизвестна; длительности исключены из RPS/SLO/сравнения разброса. Функциональные результаты пригодны.
|
||||
- `no_orphans` проверяет выборку ID; на D сохранены 15 исторических/ожидаемых сообщений DLQ, после malformed-сценария V их 16; в F это число не выросло. Это не глобально пустые S3/DLQ.
|
||||
- `forward-final-2026-11-06/baseline.txt` — 0 тестов; `baseline-regressions.txt` — ожидаемые 29 FAIL до исправления. `review-fixes-2026-11-06/regressions-fixture-error.txt` — неуспешная промежуточная fixture; `review-trns-depth-2026-11-06/regressions-before.txt` — воспроизведённый дефект. Их сохраняют как диагностику, не суммируют с PASS.
|
||||
- Исторический [findings.json](review-trns-depth-2026-11-06/findings.json) содержит пять minor: окно confirm, limits, legacy reconcile, отдельный replay failed v2 и часы. Дополнительная документационная неточность `201` в `openspec/config.yaml` отражена в REPORT; конфиг этой фазе менять запрещено. Седьмой minor из review M — JobMessage принимает четыре значения вне JSON Schema; источник и ограничения — [аудит отчёта](report-memory-audit-2026-11-07.md). Исторические findings.json с пятью/шестью minor не перезаписываются.
|
||||
Runtime SHA **F**: `75b93bbba5f29575d3fca1d013cc7e0770d88082`, архив
|
||||
`8bc2da2c094afc7e5f5e97c7beb5f278e76253fd`. Источник — immutable snapshot ЛР3
|
||||
`ba78cf6da439a4ec60fd59389583b38285b0b2b1`, диапазон от `f591fa64e525679a31c9db7f942d36c789e1a12f`.
|
||||
[Все 214 путей и область применимости](forward-port.md), [source-manifest](forward-final-2026-11-06/source-manifest.json).
|
||||
Все успешные команды таблицы — на F; их полный argv, UTC, разрешённое окружение и exit code
|
||||
находятся в raw. Пользователи, данные и файлы синтетические.
|
||||
|
||||
Нагрузочных RPS/p95 для M здесь не заявлено. Финальный агент выполнил только отсутствующие/затронутые проверки и сохранил пригодные серии. После re-review M повторены только затронутые PNG/ресурсные проверки: четыре 40 Мп tRNS и grayscale16 без tRNS с импортами worker, HTTP subset 8/48, concurrency=2, v1/v2, принудительные лимиты и cleanup после sweep. Выполненная процедура и результаты — [validation F](final-memory-validation-2026-11-07/RESULTS.md). PostgreSQL outage, delivery subset и полный track2 повторно не нужны без нового основания.
|
||||
| Проверка / команда | Наблюдение | Файл |
|
||||
| --- | --- | --- |
|
||||
| `make check`, `make validate`, `make lint`, `make student-test` | PASS, 492 теста / 19 stack deselected | [offline-checks-rerun](forward-final-2026-11-06/offline-checks-rerun.txt) |
|
||||
| `make up`, `make test` | Обе реплики healthy; smoke/checksum/ACL PASS | [up](forward-final-2026-11-06/up.txt), [smoke](forward-final-2026-11-06/smoke.txt), [после нагрузок](forward-final-2026-11-06/final-smoke.txt) |
|
||||
| `sh scripts/persistence-evidence.sh http://127.0.0.1:18084` | PASS; StartedAt API/LB/PG/Valkey/S3 изменились | [persistence-rerun](forward-final-2026-11-06/persistence-rerun.txt) |
|
||||
| `make test-failover ACTION_SCRIPT=scripts/stop-one.sh` | Target exited; 130 записей, 0 ошибок, 2,883 с до первой записи | [команда](forward-final-2026-11-06/failover-command.txt), [вывод/inspect](forward-final-2026-11-06/failover-d4c8d53d7433.txt) |
|
||||
| `make scenario SCENARIO=failover-upload`; отдельный `make restore` | Другая реплика отдала те же байты; восстановление выполнено отдельно | [команда](forward-final-2026-11-06/failover-upload-command.txt), [JSON](forward-final-2026-11-06/failover-upload.json), [restore](forward-final-2026-11-06/restore.txt) |
|
||||
| `make scenario SCENARIO=s3-outage` | 503 за 4,990/5,329 с; текст 201; checksum после старта совпал | [команда](forward-final-2026-11-06/s3-outage-command.txt), [JSON](forward-final-2026-11-06/s3-outage.json) |
|
||||
| `make test-faults` | 19 PASS, 112 ответов негативной файловой проверки без 5xx; компенсация/crash/grace/stall/PG/Valkey | [stack-faults](forward-final-2026-11-06/stack-faults.txt) |
|
||||
| `student-tests/tools/forward_network.py`; HAProxy fixture | Сессии/NUL/Basic PASS; 12 проверок реальных 502/503/504 и request_id | [сеть](forward-final-2026-11-06/network-regressions.txt), [LB](forward-final-2026-11-06/haproxy-errors.txt) |
|
||||
| `make limits` | Ресурсы, порты, mounts, сети и роли секретов PASS | [limits](forward-final-2026-11-06/limits.txt) |
|
||||
| `make load-evidence` | 3 повтора, медиана 1456,338 RPS, 0 ошибок; текстовый путь не менялся | [команда](forward-final-2026-11-06/load-command.txt), [вывод](forward-final-2026-11-06/load.txt), [raw JSON](forward-final-2026-11-06/load/) |
|
||||
| `scripts/upload_memory.py --slots 3 --sizes 10485760 --levels 40 --out ...` | 3×80: 238×201, 2×503; пик API 456,2 MiB, OOM 0. Историческая память до PNG-фиксов | [run1](forward-final-2026-11-06/memory-1.txt), [run2](forward-final-2026-11-06/memory-2.txt), [run3](forward-final-2026-11-06/memory-3.txt), [raw](forward-final-2026-11-06/memory/) |
|
||||
| `make reconcile-demo ARGS='--out evidence/forward-final-2026-11-06/reconcile-demo'` | 13 PASS; 3364 upload, 59 проходов, lost_ready 0. Конкурентные upload требуют повторения после PNG-фиксов | [команда](forward-final-2026-11-06/reconcile-demo.txt), [demo](forward-final-2026-11-06/reconcile-demo/demo.json), [deep-аудит](forward-final-2026-11-06/reconcile-demo/check-under-load.json) |
|
||||
| `git diff --exit-code` измеряемых файлов | Стоимость reconciler сохранена с исходным SHA, не переснята на F | [retained-cost-audit](forward-final-2026-11-06/retained-cost-audit.txt) |
|
||||
| Воспроизведение непарных surrogate в text | Два HTTP 500: известный **minor**, не успешный тест | [HTTP](forward-final-2026-11-06/known-minor-http.txt), [offline](forward-final-2026-11-06/known-minor.txt), [finding](forward-final-2026-11-06/findings.json) |
|
||||
| `make down` своих project, fixture `docker compose down`, инвентаризация по labels | 0 контейнеров трёх project, 6 volumes сохранены | [main](forward-final-2026-11-06/main-down.txt), [demo](forward-final-2026-11-06/reconcile-down.txt), [итог](forward-final-2026-11-06/shutdown-state.txt) |
|
||||
|
||||
Сохранять только обезличенные команды, exit codes, SHA, условия и агрегаты. Секреты, `.env`, credentials, session tokens/cookies, реальные сообщения, дампы и signed URLs в evidence не входят. Существующие сырые измерения неизменны; новые свидетельства записаны отдельно. Validation завершена, публикация не выполнялась и требует отдельной фазы.
|
||||
[Сводка чисел](forward-final-2026-11-06/measurement-summary.json),
|
||||
[команда агрегации](forward-final-2026-11-06/measurement-summary.txt),
|
||||
[фон до](forward-final-2026-11-06/performance-before.txt) и
|
||||
[после](forward-final-2026-11-06/performance-after.txt).
|
||||
Сохранены неуспешные попытки: [ty до исправления обвязки](forward-final-2026-11-06/offline-checks.txt)
|
||||
и [неверный BASE_URL до hook](forward-final-2026-11-06/persistence-command.txt); они не считаются PASS.
|
||||
|
||||
## Исходная SQLAlchemy-серия
|
||||
|
||||
Runtime основы: `8e4532f6f5c05d902b6e2c310f54320d95585904`. Все результаты ниже сняты
|
||||
**до F и обоих PNG-фиксов**. Обвязка менялась отдельно; точный SHA каждого захвата записан
|
||||
в его первой строке/JSON. [Общий протокол](sqlalchemy-2026-11-06/README.md).
|
||||
|
||||
| Команда / критерий | Наблюдение | SHA обвязки и файлы |
|
||||
| --- | --- | --- |
|
||||
| `make test`, `make limits`, `make attachments-evidence`, LB/retry/отказы | Уровень 3 на SQLAlchemy, 404 собственных теста | `1aec062aba4560b51a6d9155571c9610bc777d7e`, `763b0255575366082c4c6731b54611af717685a5`; [grade3](sqlalchemy-2026-11-06/grade3/NOTES.md) |
|
||||
| `make s3-check` | 31 PASS; private/IAM/bootstrap не менялись с этой серии | `763b0255575366082c4c6731b54611af717685a5`; [сырьё](sqlalchemy-2026-11-06/grade3/s3-security.txt) |
|
||||
| `make upload-memory`, три полные матрицы | 36 точек, штатные 3 слота 840/840×201, пик 448 MiB, OOM 0; контроль 64 слота 27×503 | `6c706a727ec7b4c5f8254e19401705847e8e9c78`, `cf41f7c64dcf1dea6da0643f5793bd2e5dd1f03e`; [методика](sqlalchemy-2026-11-06/grade4/NOTES.md), [raw](sqlalchemy-2026-11-06/grade4/memory/) |
|
||||
| `sh scripts/clean-clone.sh` | 76,866 с, проверки прошли, три volumes сохранены | `cf41f7c64dcf1dea6da0643f5793bd2e5dd1f03e`; [команда/вывод](sqlalchemy-2026-11-06/grade4/clean-clone-command.txt) |
|
||||
| `make overload-leftovers` | Без сдвига времени убраны 30 pending после grace 900 с; 1669 ready/объектов совпали | SHA в [команде](sqlalchemy-2026-11-06/grade4/leftovers-command.txt); [вывод](sqlalchemy-2026-11-06/grade4/overload-leftovers.txt) |
|
||||
| `make load-evidence` | 3 прогона, медиана 1529,186 RPS, 0 ошибок; историческая серия до F | SHA в [команде](sqlalchemy-2026-11-06/grade4/load-command.txt); [raw](sqlalchemy-2026-11-06/grade4/load/) |
|
||||
| `make reconcile-demo`, отдельный отказ PG | 13 PASS, 3331 upload, lost_ready 0; обновлён demo серии F | `827b783be355be9fa60117dc3eda350af3dab454`, `3402fd69d4922e500035a204d957be2cccaeb85a`; [протокол](sqlalchemy-2026-11-06/track5/NOTES.md), [PG](sqlalchemy-2026-11-06/track5/pg-outage.txt) |
|
||||
| `make reconcile-cost` | **Сохраняемые 27 замеров** до 100k; путь обхода неизменён | `3402fd69d4922e500035a204d957be2cccaeb85a`; [команда](sqlalchemy-2026-11-06/track5/cost-command.txt), [raw/план/фон](sqlalchemy-2026-11-06/track5/measurements/cost/), [расчёт](sqlalchemy-2026-11-06/track5/analysis.json) |
|
||||
| Финальные проверки исходной реализации | 410 тестов, check/validate/lint/smoke/limits PASS; не тесты нового PNG | `504f77cb7cef28202e1830fc04e10e646488e778`; [вывод](sqlalchemy-2026-11-06/track5/final-checks.txt), [остановка 4 project / 12 volumes](sqlalchemy-2026-11-06/track5/shutdown-state.txt) |
|
||||
|
||||
[Закрытие 21 замечания исходной реализации](sqlalchemy-2026-11-06/REVIEW-CLOSURE.md)
|
||||
относится к тому этапу. Оно предшествует независимым PNG-находкам и не отменяет их историю.
|
||||
|
||||
## Историческая реализация asyncpg
|
||||
|
||||
**Эти результаты не подтверждают нынешний SQLAlchemy-код или PNG-инспектор.**
|
||||
Основная серия и старый clean-clone: `81dd816df21f820a7fd0fa4269cc375d8fc44155`;
|
||||
reconciler: `61dcb6bf13f3d0853d36788930d79bca5f68ece6`. Дата и измеренный SHA
|
||||
сохранены в raw. Старые команды удаления volumes — история, не инструкция для повторения.
|
||||
|
||||
| Историческая команда | Сохранённые файлы |
|
||||
| --- | --- |
|
||||
| `make check`, `make validate`, `make student-test`, `make test` | [контракт](contract-checks.txt), [тесты](student-tests.txt), [smoke](smoke.txt) |
|
||||
| `make clean-clone-evidence`, `make stack-evidence`, `make limits`, `make attachments-evidence` | [clone](clean-clone.txt), [стенд](stack.txt), [окружение](environment.txt), [лимиты](limits.txt), [размещение](storage-layout.txt) |
|
||||
| `make lb-check`, `make retry-check`, persistence и сценарии отказов | [LB](lb-check.json), [retry](retry.json), [persistence](persistence.txt), [upload failover](failover-upload.json), [S3 outage](s3-outage.json) |
|
||||
| `make upload-faults`, `make faults-evidence`, `make s3-check` | [upload](upload-faults.txt), [stack](faults.txt), [S3](s3-security.txt) |
|
||||
| `make upload-memory`, `make overload-leftovers`, `make load-evidence` | [память](upload-memory/), [остатки](overload-leftovers.txt), [нагрузка](load.txt), [raw](load/), [отброшенная попытка с хоста](load/host-attempt.txt) |
|
||||
| `make reconcile-demo`, `make reconcile-cost` | [методика и все серии](reconcile/README.md), [raw](reconcile/), [cost](reconcile/cost/) |
|
||||
|
||||
Прежние cost-серии `b1916236f4391bfdf7d7718ebf741621047788cf` (лишняя SQL-страница),
|
||||
`5ca2cdc9af6016df8d6f1be8bd4681f06fada334` (без фильтра фона) и прерванные наполнения
|
||||
описаны в [историческом индексе reconciler](reconcile/README.md). Они не подмешиваются
|
||||
к 27 принятым измерениям SQLAlchemy и не удаляются.
|
||||
|
||||
@@ -0,0 +1,132 @@
|
||||
date: 2026-10-30T04:27:15Z commit: 81dd816 dir: mtusi2026lab4-clean (свой compose-проект и volumes)
|
||||
# шаги — команды блока «Запуск из чистого clone» REPORT.md; строки с пометкой «наблюдение» — проверки между шагами
|
||||
$ git clone <repo> mtusi2026lab4-clean && cd mtusi2026lab4-clean && git checkout solution/bpi2303-kostylev
|
||||
HEAD 81dd816 Archive the storage reconciler change
|
||||
$ docker volume ls -q --filter label=com.docker.compose.project=mtusi2026lab4-clean | wc -l | tr -d ' ' # наблюдение, не шаг инструкции
|
||||
0
|
||||
$ make secrets
|
||||
sh scripts/secrets.sh
|
||||
создан secrets/postgres_password
|
||||
создан secrets/database_url
|
||||
создан secrets/cursor_secret
|
||||
создан secrets/valkey_password
|
||||
создан secrets/valkey.conf
|
||||
создан secrets/cache_url
|
||||
создан secrets/s3_root_user
|
||||
создан secrets/s3_root_password
|
||||
создан secrets/s3_access_key_id
|
||||
создан secrets/s3_secret_access_key
|
||||
создан .env из .env.example
|
||||
$ sed LB_HTTP_PORT=18084 LB_STATS_PORT=24084 .env # отступление: 8080 на этой машине занят стендами других лаб
|
||||
$ git status --short --ignored secrets .env # наблюдение, не шаг инструкции
|
||||
!! .env
|
||||
!! secrets/
|
||||
$ docker compose --env-file .env config --quiet && echo valid
|
||||
valid
|
||||
$ make up
|
||||
Container mtusi2026lab4-clean-postgres-1 Healthy
|
||||
Container mtusi2026lab4-clean-s3-1 Healthy
|
||||
Container mtusi2026lab4-clean-s3-init-1 Exited
|
||||
Container mtusi2026lab4-clean-migrate-1 Exited
|
||||
Container mtusi2026lab4-clean-postgres-1 Healthy
|
||||
Container mtusi2026lab4-clean-migrate-1 Exited
|
||||
Container mtusi2026lab4-clean-valkey-1 Healthy
|
||||
Container mtusi2026lab4-clean-s3-1 Healthy
|
||||
Container mtusi2026lab4-clean-s3-init-1 Exited
|
||||
Container mtusi2026lab4-clean-api-1 Healthy
|
||||
Container mtusi2026lab4-clean-api-2 Healthy
|
||||
Container mtusi2026lab4-clean-lb-1 Healthy
|
||||
make up: 11 s (сборка образа из кэша слоёв)
|
||||
$ docker compose ps -a --format '{{.Service}} {{.State}} {{.Status}} {{.Ports}}' # наблюдение, не шаг инструкции
|
||||
api running Up 4 seconds (healthy)
|
||||
api running Up 4 seconds (healthy)
|
||||
lb running Up 10 seconds (healthy) 127.0.0.1:18084->8080/tcp, 127.0.0.1:24084->8404/tcp
|
||||
migrate exited Exited (0) 8 seconds ago
|
||||
postgres running Up 10 seconds (healthy)
|
||||
s3 running Up 10 seconds (healthy)
|
||||
s3-init exited Exited (0) 4 seconds ago
|
||||
valkey running Up 10 seconds (healthy)
|
||||
$ docker compose logs --no-log-prefix migrate s3-init | grep -v '^$' | tail -8 # наблюдение, не шаг инструкции
|
||||
{"version":"0001_init","event":"migration.applied","level":"info","ts":"2026-10-30T04:27:18.183850Z"}
|
||||
{"version":"0002_idempotency_keys","event":"migration.applied","level":"info","ts":"2026-10-30T04:27:18.183962Z"}
|
||||
{"version":"0003_attachments","event":"migration.applied","level":"info","ts":"2026-10-30T04:27:18.184008Z"}
|
||||
{"version":"0004_attachment_quarantine","event":"migration.applied","level":"info","ts":"2026-10-30T04:27:18.184039Z"}
|
||||
{"reason":"applied","event":"migration.completed","level":"info","ts":"2026-10-30T04:27:18.184066Z"}
|
||||
s3-init: bucket=messenger-attachments anonymous=private policy=messenger-api lifecycle=abort-incomplete-uploads
|
||||
$ curl -s "http://$(docker compose port lb 8404)/stats;csv" | awk -F, '$1 == "api" && $2 != "BACKEND" {print $2, $18}' | grep -v MAINT # наблюдение, не шаг инструкции
|
||||
api1 UP
|
||||
api2 UP
|
||||
$ make test
|
||||
python3 tests/smoke.py --base-url "http://127.0.0.1:18084"
|
||||
PASS: lab4 public API scenario; infrastructure and grading evidence remain separate.
|
||||
$ make test-persistence ACTION_SCRIPT=scripts/restart.sh
|
||||
python3 tests/resilience.py --mode persistence --action-script "scripts/restart.sh" --base-url "http://127.0.0.1:18084"
|
||||
Executing explicit persistence hook; hook output suppressed to avoid leaking secrets.
|
||||
PASS: persistence preserved confirmed data and existing session. Hook scope needs operator evidence.
|
||||
$ docker compose ps -a --format '{{.Service}} {{.State}} {{.RunningFor}} {{.Status}}' # наблюдение, не шаг инструкции
|
||||
api running 24 seconds ago Up 3 seconds (healthy)
|
||||
api running 24 seconds ago Up 3 seconds (healthy)
|
||||
lb running 24 seconds ago Up 8 seconds (healthy)
|
||||
migrate exited 24 seconds ago Exited (0) 7 seconds ago
|
||||
postgres running 24 seconds ago Up 9 seconds (healthy)
|
||||
s3 running 24 seconds ago Up 9 seconds (healthy)
|
||||
s3-init exited 24 seconds ago Exited (0) 3 seconds ago
|
||||
valkey running 24 seconds ago Up 9 seconds (healthy)
|
||||
$ make test-failover ACTION_SCRIPT=scripts/stop-one.sh
|
||||
python3 tests/resilience.py --mode failover --action-script "scripts/stop-one.sh" --base-url "http://127.0.0.1:18084"
|
||||
Executing explicit failover hook; hook output suppressed to avoid leaking secrets.
|
||||
{"observed_instances_before": 2, "successful_writes": 128, "failed_attempts": 0, "first_recovery_seconds": 2.948}
|
||||
PASS: failover preserved confirmed data and existing session. Hook scope needs operator evidence.
|
||||
$ docker compose ps -a --format '{{.Service}} {{.Name}} {{.State}} {{.Status}}' api # наблюдение, не шаг инструкции
|
||||
api mtusi2026lab4-clean-api-1 running Up 19 seconds (healthy)
|
||||
api mtusi2026lab4-clean-api-2 exited Exited (0) 12 seconds ago
|
||||
$ make restore
|
||||
scripts/restore.sh
|
||||
Container mtusi2026lab4-clean-api-1 Running
|
||||
Container mtusi2026lab4-clean-api-2 Starting
|
||||
Container mtusi2026lab4-clean-api-2 Started
|
||||
Container mtusi2026lab4-clean-api-1 Waiting
|
||||
Container mtusi2026lab4-clean-api-2 Waiting
|
||||
Container mtusi2026lab4-clean-api-1 Healthy
|
||||
Container mtusi2026lab4-clean-api-2 Healthy
|
||||
$ make scenario SCENARIO=failover-upload
|
||||
{'ok': True, 'upload_instance': 'b21945b926b7', 'download_instance': '6c9bf1e3b1a6', 'sha256_equal': True, 'hook_seconds': 2.713}
|
||||
$ make scenario SCENARIO=s3-outage
|
||||
{'ok': True, 'upload': 503, 'metadata': 200, 'download': 503, 'text_message': 201, 'health_ready': 200}
|
||||
$ make s3-check
|
||||
23
|
||||
== 2026-10-30T04:28:17Z S3 privacy and bootstrap checks
|
||||
== IAM/bucket snapshot (без секретов)
|
||||
$ make reconcile
|
||||
dry-run {'objects': 5, 'rows': 6} {'pending_fresh': 1} errors 0
|
||||
$ make migrate
|
||||
docker compose run --rm migrate
|
||||
{"reason":"up to date","event":"migration.completed","level":"info","ts":"2026-10-30T04:28:21.735485Z"}
|
||||
$ docker volume ls --format '{{.Name}}' --filter label=com.docker.compose.project=mtusi2026lab4-clean # наблюдение, не шаг инструкции
|
||||
mtusi2026lab4-clean_pgdata
|
||||
mtusi2026lab4-clean_s3data
|
||||
mtusi2026lab4-clean_valkeydata
|
||||
$ make down
|
||||
1 Container mtusi2026lab4-clean-api-1 Removed
|
||||
1 Container mtusi2026lab4-clean-api-2 Removed
|
||||
1 Container mtusi2026lab4-clean-lb-1 Removed
|
||||
1 Container mtusi2026lab4-clean-migrate-1 Removed
|
||||
1 Container mtusi2026lab4-clean-postgres-1 Removed
|
||||
1 Container mtusi2026lab4-clean-s3-1 Removed
|
||||
1 Container mtusi2026lab4-clean-s3-init-1 Removed
|
||||
1 Container mtusi2026lab4-clean-valkey-1 Removed
|
||||
1 Network mtusi2026lab4-clean_backend Removed
|
||||
1 Network mtusi2026lab4-clean_edge Removed
|
||||
$ docker volume ls --format '{{.Name}}' --filter label=com.docker.compose.project=mtusi2026lab4-clean # наблюдение, не шаг инструкции
|
||||
mtusi2026lab4-clean_pgdata
|
||||
mtusi2026lab4-clean_s3data
|
||||
mtusi2026lab4-clean_valkeydata
|
||||
$ make reset-data
|
||||
Volume mtusi2026lab4-clean_pgdata Removing
|
||||
Volume mtusi2026lab4-clean_s3data Removing
|
||||
Volume mtusi2026lab4-clean_valkeydata Removing
|
||||
Volume mtusi2026lab4-clean_pgdata Removed
|
||||
Volume mtusi2026lab4-clean_s3data Removed
|
||||
Volume mtusi2026lab4-clean_valkeydata Removed
|
||||
$ docker volume ls -q --filter label=com.docker.compose.project=mtusi2026lab4-clean | wc -l | tr -d ' ' # наблюдение, не шаг инструкции
|
||||
0
|
||||
@@ -1,14 +1,12 @@
|
||||
date: 2026-10-29T00:36:33Z commit: 0b85edf
|
||||
date: 2026-10-30T04:24:13Z commit: 81dd816
|
||||
$ make check
|
||||
python3 scripts/check_contract.py
|
||||
PASS: offline skeleton structure, local refs and Python syntax; application NOT tested.
|
||||
$ make validate PYTHON=<venv с requirements-dev.txt>
|
||||
<venv>/bin/python scripts/validate_openapi.py
|
||||
$ make validate # openapi-spec-validator 0.7.2 из .venv (make install)
|
||||
.venv/bin/python scripts/validate_openapi.py
|
||||
PASS: full OpenAPI 3.1 and JSON Schema validation; application NOT tested.
|
||||
$ make lint
|
||||
.venv/bin/ruff check src student-tests scripts/probe.py scripts/limits.py scripts/lab4_scenarios.py scripts/lab4_seed.py scripts/upload_memory.py scripts/make_images.py scripts/pipeline_suite.py scripts/pipeline_evidence.py
|
||||
All checks passed!
|
||||
.venv/bin/ruff format --check src student-tests scripts/probe.py scripts/limits.py scripts/lab4_scenarios.py scripts/lab4_seed.py scripts/upload_memory.py scripts/make_images.py scripts/pipeline_suite.py scripts/pipeline_evidence.py
|
||||
159 files already formatted
|
||||
.venv/bin/ty check src student-tests
|
||||
All checks passed!
|
||||
$ git diff --stat upstream/main -- contracts tests README.md COURSE.md CONTRIBUTING.md MAINTAINERS.md lab.json compose.example.yaml Dockerfile.example # контракт, публичные тесты и задание не менялись
|
||||
(пусто)
|
||||
$ git diff --stat upstream/main -- .github # только свой CI job
|
||||
.github/workflows/application.yml | 93 +++++++++++++++++++++++++++++++++++++++
|
||||
1 file changed, 93 insertions(+)
|
||||
|
||||
@@ -1,16 +1,14 @@
|
||||
date: 2026-10-29T00:36:34Z commit: 0b85edf
|
||||
date: 2026-10-30T04:29:05Z commit: 81dd816
|
||||
host: Apple M4 Max, 16 CPU, 48 GiB RAM, macOS 15.1
|
||||
docker: 28.3.2, VM: 16 CPU, 8217190400 bytes
|
||||
compose: 2.38.2-desktop.1
|
||||
images:
|
||||
image: ${API_IMAGE:-mtusi-messenger:lab5}
|
||||
image: ${API_IMAGE:-mtusi-messenger:lab5}
|
||||
image: ${API_IMAGE:-mtusi-messenger:${COMPOSE_PROJECT_NAME}}
|
||||
image: rustfs/rc:v0.1.36@sha256:ab024bfebee49a750ce886b4c70963ccd9ddaa03f491704a90710641d7a26699
|
||||
image: haproxy:3.2.26-alpine@sha256:5893840576071e6217cd52ebdcc14f454c6f7a631056fa6f4e0f40d3cac4215b
|
||||
image: postgres:17.11-alpine@sha256:266d3c257594e195b309ae9d1805e54c788f1d7b375f56bf6c367aac6c917e7b
|
||||
image: valkey/valkey:8.1.11-alpine@sha256:2602ace2be6569bc2bbb06f873776516ab9089821525be34f4305c67eb9db02a
|
||||
image: rustfs/rustfs:1.0.4@sha256:ed9210d6411d77ffceb70d94b964a3cb7d225983368bc25bebe01e995293dcc2
|
||||
image: rabbitmq:4.1.8-management-alpine@sha256:54ef5ff505352c1beef05a97ee9bd6ab95b3559a76629ba0119b1d63d8d6e4b2
|
||||
image: grafana/k6:2.3.0@sha256:2dd4756ec6e14e62778916e1eb850108e4b499304c02df56760fa0bdb0fba0b8
|
||||
FROM python:3.14-slim-trixie@sha256:51dafde81dbdb6ebde285137a295cf18a47ca95234fe388a343719cb97305b3d AS builder
|
||||
COPY --from=ghcr.io/astral-sh/uv:0.9.7@sha256:ba4857bf2a068e9bc0e64eed8563b065908a4cd6bfb66b531a9c424c8e25e142 /uv /usr/local/bin/uv
|
||||
@@ -18,7 +16,6 @@ images:
|
||||
python in image: Python 3.14.7
|
||||
haproxy: HAProxy version 3.2.26-3e0f11a 2026/10/14 - https://haproxy.org/
|
||||
rustfs: rustfs 1.0.4
|
||||
rabbitmq: 4.1.8
|
||||
packages (uv.lock):
|
||||
fastapi 0.141.1
|
||||
uvicorn 0.54.0
|
||||
@@ -35,24 +32,10 @@ packages (uv.lock):
|
||||
botocore 1.43.117
|
||||
aiohttp 3.14.5
|
||||
pillow 13.0.0
|
||||
faststream 0.7.8
|
||||
aio-pika 10.2.1
|
||||
aiormq 7.2.4
|
||||
dishka-faststream 0.7.0
|
||||
process users (service uid command):
|
||||
api 10001 python
|
||||
broker 100 beam.smp
|
||||
broker 100 epmd
|
||||
broker 100 erl_child_setup
|
||||
broker 100 inet_gethost
|
||||
broker 100 sh
|
||||
lb 99 haproxy
|
||||
postgres 70 postgres
|
||||
relay 10001 docker-init
|
||||
relay 10001 python
|
||||
s3 10001 rustfs
|
||||
valkey 999 tini
|
||||
valkey 999 valkey-server
|
||||
worker 10001 docker-init
|
||||
worker 10001 python
|
||||
worker limits: 2 CPU, memory.max 1024 MiB; render: WORKER_CONCURRENCY=2 processes, RLIMIT_AS 448 MiB, timeout 30 s, 100 tasks per process
|
||||
|
||||
@@ -0,0 +1,38 @@
|
||||
date: 2026-10-30T04:29:33Z commit: 81dd816
|
||||
== before: api replicas (hostname = X-Instance-Id), state, StartedAt, FinishedAt
|
||||
0cc3ee358e59 running started=2026-10-30T04:28:59.851144131Z finished=0001-01-01T00:00:00Z
|
||||
899a952a5a21 running started=2026-10-30T04:29:31.104320507Z finished=2026-10-30T04:29:18.153900709Z
|
||||
$ make test-failover ACTION_SCRIPT=scripts/stop-one.sh
|
||||
python3 tests/resilience.py --mode failover --action-script "scripts/stop-one.sh" --base-url "http://127.0.0.1:18084"
|
||||
Executing explicit failover hook; hook output suppressed to avoid leaking secrets.
|
||||
{"observed_instances_before": 2, "successful_writes": 128, "failed_attempts": 0, "first_recovery_seconds": 2.883}
|
||||
PASS: failover preserved confirmed data and existing session. Hook scope needs operator evidence.
|
||||
== after: api replicas
|
||||
0cc3ee358e59 exited started=2026-10-30T04:28:59.851144131Z finished=2026-10-30T04:29:36.57527926Z
|
||||
899a952a5a21 running started=2026-10-30T04:29:31.104320507Z finished=2026-10-30T04:29:18.153900709Z
|
||||
== stopped replica: 0cc3ee358e59; shutdown: signal, drain window with readiness 503, close, exit
|
||||
{"event":"Handling signal: term","level":"info","ts":"2026-10-30T04:29:34.045936Z"}
|
||||
{"limit":2.0,"event":"service.draining","level":"info","ts":"2026-10-30T04:29:34.072243Z"}
|
||||
{"limit":2.0,"event":"service.draining","level":"info","ts":"2026-10-30T04:29:34.126665Z"}
|
||||
{"method":"GET","route":"/health/ready","status":503,"request_id":"6362781446fb427cbee670871ce5ef51","duration_ms":1.463,"event":"request.handled","level":"info","ts":"2026-10-30T04:29:34.446815Z"}
|
||||
{"method":"GET","route":"/health/ready","status":503,"request_id":"0d9cf1c47fca4ec98ed599b113cd93db","duration_ms":0.79,"event":"request.handled","level":"info","ts":"2026-10-30T04:29:34.950067Z"}
|
||||
{"event":"Shutting down","level":"info","ts":"2026-10-30T04:29:36.079497Z"}
|
||||
{"event":"Shutting down","level":"info","ts":"2026-10-30T04:29:36.138465Z"}
|
||||
{"event":"service.stopped","level":"info","ts":"2026-10-30T04:29:36.188615Z"}
|
||||
{"event":"Finished server process [20]","level":"info","ts":"2026-10-30T04:29:36.188874Z"}
|
||||
{"event":"service.stopped","level":"info","ts":"2026-10-30T04:29:36.247500Z"}
|
||||
{"event":"Finished server process [19]","level":"info","ts":"2026-10-30T04:29:36.247910Z"}
|
||||
{"event":"Worker (pid:20) was sent SIGTERM!","level":"info","ts":"2026-10-30T04:29:36.250957Z"}
|
||||
{"event":"Worker (pid:19) was sent SIGTERM!","level":"info","ts":"2026-10-30T04:29:36.357386Z"}
|
||||
{"event":"Shutting down: Master","level":"info","ts":"2026-10-30T04:29:36.468491Z"}
|
||||
$ scripts/restore.sh
|
||||
Container mtusi2026lab4-api-2 Running
|
||||
Container mtusi2026lab4-api-1 Starting
|
||||
Container mtusi2026lab4-api-1 Started
|
||||
Container mtusi2026lab4-api-2 Waiting
|
||||
Container mtusi2026lab4-api-1 Waiting
|
||||
Container mtusi2026lab4-api-2 Healthy
|
||||
Container mtusi2026lab4-api-1 Healthy
|
||||
== after restore
|
||||
0cc3ee358e59 running started=2026-10-30T04:29:49.45750296Z finished=2026-10-30T04:29:36.57527926Z
|
||||
899a952a5a21 running started=2026-10-30T04:29:31.104320507Z finished=2026-10-30T04:29:18.153900709Z
|
||||
@@ -0,0 +1,39 @@
|
||||
date: 2026-10-30T04:29:14Z commit: 81dd816
|
||||
== before: api replicas (hostname = X-Instance-Id), state, StartedAt, FinishedAt
|
||||
0cc3ee358e59 running started=2026-10-30T04:28:59.851144131Z finished=0001-01-01T00:00:00Z
|
||||
899a952a5a21 running started=2026-10-30T04:29:11.286693179Z finished=2026-10-30T04:29:11.040183429Z
|
||||
$ make test-failover ACTION_SCRIPT=scripts/stop-one.sh
|
||||
python3 tests/resilience.py --mode failover --action-script "scripts/stop-one.sh" --base-url "http://127.0.0.1:18084"
|
||||
Executing explicit failover hook; hook output suppressed to avoid leaking secrets.
|
||||
{"observed_instances_before": 2, "successful_writes": 129, "failed_attempts": 0, "first_recovery_seconds": 2.885}
|
||||
PASS: failover preserved confirmed data and existing session. Hook scope needs operator evidence.
|
||||
== after: api replicas
|
||||
0cc3ee358e59 running started=2026-10-30T04:28:59.851144131Z finished=0001-01-01T00:00:00Z
|
||||
899a952a5a21 exited started=2026-10-30T04:29:11.286693179Z finished=2026-10-30T04:29:18.153900709Z
|
||||
== stopped replica: 899a952a5a21; shutdown: signal, drain window with readiness 503, close, exit
|
||||
{"event":"Handling signal: term","level":"info","ts":"2026-10-30T04:29:15.605798Z"}
|
||||
{"limit":2.0,"event":"service.draining","level":"info","ts":"2026-10-30T04:29:15.638898Z"}
|
||||
{"limit":2.0,"event":"service.draining","level":"info","ts":"2026-10-30T04:29:15.701830Z"}
|
||||
{"method":"GET","route":"/health/ready","status":503,"request_id":"b416afb071ad426a9dde141e952d697f","duration_ms":0.823,"event":"request.handled","level":"info","ts":"2026-10-30T04:29:16.528606Z"}
|
||||
{"method":"GET","route":"/health/ready","status":503,"request_id":"3fe4a4c39cb24a219d3a393a1c0332f0","duration_ms":1.591,"event":"request.handled","level":"info","ts":"2026-10-30T04:29:17.038813Z"}
|
||||
{"method":"GET","route":"/health/ready","status":503,"request_id":"152273913ad34012bf5eaf31432490ae","duration_ms":0.263,"event":"request.handled","level":"info","ts":"2026-10-30T04:29:17.388797Z"}
|
||||
{"event":"Shutting down","level":"info","ts":"2026-10-30T04:29:17.642635Z"}
|
||||
{"event":"Shutting down","level":"info","ts":"2026-10-30T04:29:17.714902Z"}
|
||||
{"event":"service.stopped","level":"info","ts":"2026-10-30T04:29:17.757838Z"}
|
||||
{"event":"Finished server process [20]","level":"info","ts":"2026-10-30T04:29:17.758374Z"}
|
||||
{"event":"Worker (pid:20) was sent SIGTERM!","level":"info","ts":"2026-10-30T04:29:17.826021Z"}
|
||||
{"event":"service.stopped","level":"info","ts":"2026-10-30T04:29:17.832655Z"}
|
||||
{"event":"Finished server process [13]","level":"info","ts":"2026-10-30T04:29:17.833005Z"}
|
||||
{"event":"Worker (pid:13) was sent SIGTERM!","level":"info","ts":"2026-10-30T04:29:17.927620Z"}
|
||||
{"event":"Shutting down: Master","level":"info","ts":"2026-10-30T04:29:18.029723Z"}
|
||||
$ scripts/restore.sh
|
||||
Container mtusi2026lab4-api-1 Running
|
||||
Container mtusi2026lab4-api-2 Starting
|
||||
Container mtusi2026lab4-api-2 Started
|
||||
Container mtusi2026lab4-api-2 Waiting
|
||||
Container mtusi2026lab4-api-1 Waiting
|
||||
Container mtusi2026lab4-api-2 Healthy
|
||||
Container mtusi2026lab4-api-1 Healthy
|
||||
== after restore
|
||||
0cc3ee358e59 running started=2026-10-30T04:28:59.851144131Z finished=0001-01-01T00:00:00Z
|
||||
899a952a5a21 running started=2026-10-30T04:29:31.104320507Z finished=2026-10-30T04:29:18.153900709Z
|
||||
@@ -1,10 +1,10 @@
|
||||
{
|
||||
"ok": true,
|
||||
"scenario": "failover-upload",
|
||||
"upload_instance": "70cfba801128",
|
||||
"download_instance": "095cb9cc85bd",
|
||||
"upload_instance": "899a952a5a21",
|
||||
"download_instance": "0cc3ee358e59",
|
||||
"sha256_equal": true,
|
||||
"hook_seconds": 2.877,
|
||||
"download_ok_after_seconds": 2.886,
|
||||
"hook_seconds": 2.72,
|
||||
"download_ok_after_seconds": 2.73,
|
||||
"restored": true
|
||||
}
|
||||
|
||||
@@ -1,39 +0,0 @@
|
||||
date: 2026-10-29T00:33:32Z commit: 0b85edf
|
||||
== before: api replicas (hostname = X-Instance-Id), state, StartedAt, FinishedAt
|
||||
095cb9cc85bd running started=2026-10-29T00:33:12.427394173Z finished=2026-10-29T00:33:03.853644169Z
|
||||
70cfba801128 running started=2026-10-29T00:33:12.607365173Z finished=2026-10-29T00:33:03.666460502Z
|
||||
$ make test-failover ACTION_SCRIPT=scripts/stop-one.sh
|
||||
python3 tests/resilience.py --mode failover --action-script "scripts/stop-one.sh" --base-url "http://localhost:18085"
|
||||
Executing explicit failover hook; hook output suppressed to avoid leaking secrets.
|
||||
{"observed_instances_before": 2, "successful_writes": 133, "failed_attempts": 0, "first_recovery_seconds": 3.005}
|
||||
PASS: failover preserved confirmed data and existing session. Hook scope needs operator evidence.
|
||||
== after: api replicas
|
||||
095cb9cc85bd running started=2026-10-29T00:33:12.427394173Z finished=2026-10-29T00:33:03.853644169Z
|
||||
70cfba801128 exited started=2026-10-29T00:33:12.607365173Z finished=2026-10-29T00:33:39.052027754Z
|
||||
== stopped replica: 70cfba801128; shutdown: signal, drain window with readiness 503, close, exit
|
||||
{"event":"Handling signal: term","level":"info","ts":"2026-10-29T00:33:36.479119Z"}
|
||||
{"event":"Draining for 2.0 s","level":"info","ts":"2026-10-29T00:33:36.486455Z"}
|
||||
{"event":"Draining for 2.0 s","level":"info","ts":"2026-10-29T00:33:36.558375Z"}
|
||||
{"method":"GET","route":"/health/ready","status":503,"request_id":"b3d9118f93b94471b698d536dda11072","duration_ms":0.772,"event":"request.handled","level":"info","ts":"2026-10-29T00:33:37.011026Z"}
|
||||
{"method":"GET","route":"/health/ready","status":503,"request_id":"3c1324def7e74f3484c4fbd242f7f70b","duration_ms":0.655,"event":"request.handled","level":"info","ts":"2026-10-29T00:33:37.515877Z"}
|
||||
{"method":"GET","route":"/health/ready","status":503,"request_id":"e56c9504272b45a89b7372020eb80d15","duration_ms":0.733,"event":"request.handled","level":"info","ts":"2026-10-29T00:33:37.588547Z"}
|
||||
{"event":"Shutting down","level":"info","ts":"2026-10-29T00:33:38.487910Z"}
|
||||
{"event":"Shutting down","level":"info","ts":"2026-10-29T00:33:38.560300Z"}
|
||||
{"event":"service.stopped","level":"info","ts":"2026-10-29T00:33:38.592638Z"}
|
||||
{"event":"Finished server process [13]","level":"info","ts":"2026-10-29T00:33:38.592934Z"}
|
||||
{"event":"Worker (pid:13) was sent SIGTERM!","level":"info","ts":"2026-10-29T00:33:38.624866Z"}
|
||||
{"event":"service.stopped","level":"info","ts":"2026-10-29T00:33:38.664775Z"}
|
||||
{"event":"Finished server process [14]","level":"info","ts":"2026-10-29T00:33:38.665027Z"}
|
||||
{"event":"Worker (pid:14) was sent SIGTERM!","level":"info","ts":"2026-10-29T00:33:38.725950Z"}
|
||||
{"event":"Shutting down: Master","level":"info","ts":"2026-10-29T00:33:38.834487Z"}
|
||||
$ scripts/restore.sh
|
||||
Container mtusi2026lab5-api-1 Running
|
||||
Container mtusi2026lab5-api-2 Starting
|
||||
Container mtusi2026lab5-api-2 Started
|
||||
Container mtusi2026lab5-api-1 Waiting
|
||||
Container mtusi2026lab5-api-2 Waiting
|
||||
Container mtusi2026lab5-api-1 Healthy
|
||||
Container mtusi2026lab5-api-2 Healthy
|
||||
== after restore
|
||||
095cb9cc85bd running started=2026-10-29T00:33:12.427394173Z finished=2026-10-29T00:33:03.853644169Z
|
||||
70cfba801128 running started=2026-10-29T00:33:51.687259594Z finished=2026-10-29T00:33:39.052027754Z
|
||||
@@ -0,0 +1,106 @@
|
||||
date: 2026-10-30T04:31:11Z commit: 81dd816
|
||||
$ make test-faults
|
||||
BASE_URL="http://127.0.0.1:18084" .venv/bin/pytest -m stack -v -s student-tests/stack
|
||||
============================= test session starts ==============================
|
||||
platform darwin -- Python 3.14.5, pytest-9.1.1, pluggy-1.6.0 -- <repo>/.venv/bin/python
|
||||
cachedir: .pytest_cache
|
||||
rootdir: <repo>
|
||||
configfile: pyproject.toml
|
||||
plugins: asyncio-1.4.0, anyio-4.15.1
|
||||
asyncio: mode=Mode.AUTO, debug=False, asyncio_default_fixture_loop_scope=function, asyncio_default_test_loop_scope=function
|
||||
collecting ... collected 17 items
|
||||
|
||||
student-tests/stack/test_attachment_faults.py::test_user_errors_never_become_500 10 MiB + 1 с Content-Length, тело не отправлено: 413
|
||||
10 MiB + 1 chunked: 413
|
||||
PNG 100000×100000 (бомба): 413
|
||||
PNG 8001×5000: 413
|
||||
обрезанный PNG: 415
|
||||
обрезанный JPEG: 415
|
||||
JPEG как image/png: 415
|
||||
GIF как image/png: 415
|
||||
WebP как image/png: 415
|
||||
текст как image/png: 415
|
||||
PNG как image/jpeg: 415
|
||||
пустое тело: 415
|
||||
application/octet-stream: 415
|
||||
без Content-Type: 415
|
||||
filename='../a.png': 400
|
||||
filename='a/b.png': 400
|
||||
filename='a\\b.png': 400
|
||||
filename='a\x00.png': 400
|
||||
filename='a\x01.png': 400
|
||||
filename='a\x7f.png': 400
|
||||
filename='': 400
|
||||
filename=' ': 400
|
||||
filename='xxxxxxxxxxxxxxxxxxxxxxxxxxxxxx: 400
|
||||
filename=None: 400
|
||||
посторонний: upload в чужой чат: 404
|
||||
посторонний: метаданные: 404
|
||||
посторонний: /content: 404
|
||||
посторонний: ссылка на чужое вложение: 404
|
||||
вложение другого чата: 404
|
||||
неизвестное вложение: 404
|
||||
11 вложений: 400
|
||||
повтор вложения: 400
|
||||
невалидный UUID: 400
|
||||
пустой текст без вложений: 400
|
||||
невалидный id вложения: 400
|
||||
variant=thumbnail: 400
|
||||
строк вложений в чате: 2 (= ответов 201); ответов в журнале реплик: 54, из них 5xx: 0
|
||||
PASSED
|
||||
student-tests/stack/test_attachment_faults.py::test_commit_failure_is_compensated_at_once отказ COMMIT после записи объекта: 503 unavailable
|
||||
сразу после ответа: строка нет, объект HEAD 404
|
||||
журнал: audit.attachment_discarded reason=compensation
|
||||
PASSED
|
||||
student-tests/stack/test_attachment_faults.py::test_crash_between_put_and_commit_is_swept_after_grace реплика 899a952a5a21 убита между PUT и COMMIT, клиент получил 502
|
||||
реплика 0cc3ee358e59 убита между PUT и COMMIT, клиент получил 502
|
||||
остаток после падения: строка pending, объект HEAD 200
|
||||
остаток после падения: строка pending, объект HEAD 200
|
||||
старше grace: строка убрана через 26.2 с, объект HEAD 404
|
||||
моложе grace: строка pending, объект HEAD 200
|
||||
тот же после сдвига: убран через 1.0 с, объект HEAD 404
|
||||
готовое вложение в сообщении со сдвинутым created_at скачивается, SHA-256 совпадает
|
||||
PASSED
|
||||
student-tests/stack/test_attachment_faults.py::test_aborted_upload_leaves_nothing обрыв после 256 KiB из 5 MiB: статус в журнале реплики [400], намерение None
|
||||
PASSED
|
||||
student-tests/stack/test_attachment_faults.py::test_stalled_upload_is_cut_and_leaves_nothing тело зависло после 1 KiB: 503 unavailable за 8.01 с
|
||||
PASSED
|
||||
student-tests/stack/test_faults.py::test_registration_race_yields_exactly_one_user гонка 50 регистраций: 201×1, 409×49
|
||||
PASSED
|
||||
student-tests/stack/test_faults.py::test_chat_creation_rolls_back_on_unknown_member чат с несуществующим участником: 400 invalid_request
|
||||
PASSED
|
||||
student-tests/stack/test_faults.py::test_wrong_password_and_unknown_user_get_same_basic_challenge неверный пароль: 401 за 0.011 с
|
||||
неизвестный пользователь: 401 за 0.011 с
|
||||
PASSED
|
||||
student-tests/stack/test_faults.py::test_logout_then_token_is_dead logout: 204, затем 401, повтор 401
|
||||
PASSED
|
||||
student-tests/stack/test_faults.py::test_valkey_serves_repeated_checks 5 проверок токена: keyspace_hits 119 → 124
|
||||
PASSED
|
||||
student-tests/stack/test_faults.py::test_valkey_stopped_is_bypassed_but_logout_waits valkey остановлен, действующий токен: 200 за 0.004 с
|
||||
valkey остановлен, неизвестный токен: 401 за 0.003 с
|
||||
valkey остановлен: ready 200, вход 201, выход 503
|
||||
valkey снова запущен: повторный выход 204
|
||||
PASSED
|
||||
student-tests/stack/test_faults.py::test_valkey_restart_keeps_cache_and_revocations рестарт valkey: ключей 45 → 45
|
||||
рестарт valkey: живой 200, отозванный 401
|
||||
PASSED
|
||||
student-tests/stack/test_faults.py::test_valkey_flushall_loses_nothing FLUSHALL: живой 200, отозванный 401
|
||||
PASSED
|
||||
student-tests/stack/test_faults.py::test_postgres_stopped_gives_bounded_503_and_recovers postgres остановлен, ready: 503 за 0.004 с
|
||||
postgres остановлен, me: 503 за 0.003 с
|
||||
postgres остановлен, stranger: 503 за 0.002 с
|
||||
postgres остановлен, login: 503 за 0.002 с
|
||||
postgres остановлен, register: 503 за 0.015 с
|
||||
live внутри реплики 200; LB исключил все реплики ещё через 1.16 с
|
||||
live через LB без реплик: 503 за 0.000 с
|
||||
postgres запущен: готовность через 1.6 с, прежний токен 200
|
||||
PASSED
|
||||
student-tests/stack/test_faults.py::test_api_restart_keeps_session_without_extending_it рестарт api: готовность через 2.3 с, токен 200
|
||||
expires_at при входе 2026-10-30T05:32:12.249834Z, в БД после рестарта 2026-10-30T05:32:12.249834Z
|
||||
PASSED
|
||||
student-tests/stack/test_faults.py::test_full_restart_keeps_session_until_logout restart.sh: готовность через 0.0 с, прежний токен 200, выход 204, затем 401
|
||||
PASSED
|
||||
student-tests/stack/test_faults.py::test_session_expires_after_restart_at_original_time срок сессии сокращён до 20 с, рестарт api: готовность через 3.1 с, до срока 200, после срока 401
|
||||
PASSED
|
||||
|
||||
======================== 17 passed in 98.43s (0:01:38) =========================
|
||||
@@ -1,55 +0,0 @@
|
||||
# Адресная validation исправления памяти PNG
|
||||
|
||||
**PASS. Прежний major закрыт динамически.** Измерен HEAD `74c33160ac01618f70e9e1c6a121a5e45c3c7155`, runtime побайтно равен прошедшему review `6096aa7948b8b666aa3892397a96d044a55f02c6` (M). Реализация, конфигурация и нормативные файлы в этой фазе не менялись. Публикация не выполнялась и требует отдельной фазы.
|
||||
|
||||
Исходные четыре HTTP FAIL и Linux MemoryError на V сохранены в [предыдущей validation](../final-validation-2026-11-07/RESULTS.md). Они не переименованы в PASS: здесь новый образ и новые результаты после отдельного fix/re-review. От V изменён только renderer, поэтому три пригодных повтора track2 на D, PostgreSQL outage и delivery subset на V приняты без повторения. Решения по каждой серии — [load-validation.md](../load-validation.md); SHA, diff, 53 прежних и 28 fix-хешей — [audit.json](audit.json).
|
||||
|
||||
## Условия и методика
|
||||
|
||||
2026-11-07 по локальной дате; UTC команд — 2026-11-06. Darwin arm64, Docker 28.3.2, Linux aarch64, VM 16 CPU / 8 217 190 400 байт. Project `mtusi2026lab5`, API 18085, stats/UI 25085/25086, все published ports на loopback. Использованы сохранённые volumes, не чистый clone. Worker: 2 CPU / 1 GiB; renderer RLIMIT_AS=448 MiB, 30 с, concurrency=2. Значения не повышались. Образ и закреплённые версии — [build.txt](build.txt), [runtime.txt](runtime.txt), [conditions.json](conditions.json).
|
||||
|
||||
Снимки до/после и внутри серий не показывают чужих работающих контейнеров. Специальная фоновая нагрузка не запускалась. Load average хоста: 1.67/2.11/2.34 перед этапом, 2.62/2.65/2.53 перед проверками, 6.41/4.18/3.19 после. Непрерывного контроля хоста нет; throughput, RPS, p95 и новые SLO не заявляются. Длительности — диагностические монотонные интервалы конкретных команд/рендеров, не benchmark. [Условия после](conditions-after.json) подтверждают восстановленные 448 MiB/30 с/concurrency=2 и отсутствие OOM.
|
||||
|
||||
Linux-пробник запускает новые процессы с **импортами messenger.worker**, настоящим RLIMIT_AS и alarm=30 с на каждый рендер. Пять файлов проходят v1/v2, затем обычное изображение в том же процессе. Два дополнительных процесса одновременно рендерят RGB16; пересечение измерено монотонными отметками внутри render. Пробник использует те же четыре сохранённые PNG 8000×5000; пятый получается удалением только tRNS из grayscale16. Входные SHA сохранены. Реальный HTTP использует LB/API/relay/broker/worker и ту же конфигурацию. При concurrency=2 журнал БД подтверждает перекрытие claimed→done в обеих версиях.
|
||||
|
||||
После диагностических процессов worker пересоздан без изменения образа/лимитов для отдельного cgroup peak HTTP — [reset-worker-peak.txt](reset-worker-peak.txt). Это не повтор нагрузки. Ожидаемые отказы создаются только на двух новых заданиях: 0.01 с и 200 MiB. После каждого лимиты восстановлены и обычная загрузка достигает ready. Перед SQL/S3-инвариантами дождались штатного sweep. Старые данные и DLQ не удалялись.
|
||||
|
||||
## Команды и результаты
|
||||
|
||||
Команды выполнялись из корня репозитория. `source evidence/final-memory-validation-2026-11-07/env.sh` задаёт несекретные Compose-параметры. Обёртка `python3 scripts/capture_evidence.py <новый-файл> -- <команда>` сохраняет SHA, команду, exit code и elapsed; существующие результаты не перезаписывает.
|
||||
|
||||
| Команда / проверка | Результат | Первичные данные |
|
||||
| --- | --- | --- |
|
||||
| `make check validate lint` | PASS | [checks.txt](checks.txt) |
|
||||
| `openspec validate --all --strict`; `openspec list --json` | 22 PASS, changes=[] | [openspec.txt](openspec.txt), [active-changes.txt](active-changes.txt) |
|
||||
| `make student-test PYTEST_ARGS='-q --tb=short'` | 984 passed, 2 Linux-only skipped, 19 stack deselected; 171.26 с pytest. Пропуски не названы PASS; Linux-эквивалент выполнен отдельно | [student-test.txt](student-test.txt) |
|
||||
| `docker compose build`; `docker compose up -d --wait`; `make test` | Сборка, миграции/готовность и публичный smoke PASS | [build.txt](build.txt), [up.txt](up.txt), [smoke.txt](smoke.txt) |
|
||||
| `.venv/bin/python evidence/final-memory-validation-2026-11-07/linux-runner.py` | Пять 40 Мп PNG × v1/v2 и обычный render после каждого PASS; два параллельных RGB16 × v1/v2 PASS | [linux.txt](linux.txt), [linux.json](linux.json), [child](linux-child.py), [runner](linux-runner.py) |
|
||||
| `PYTHONPATH=src .venv/bin/python evidence/final-memory-validation-2026-11-07/targeted.py png-boundary` | 8 сценариев и 8 инвариантов PASS; 11 ID, 9 ready, 2 ожидаемых failed, 59 S3-объектов | [команда](png-boundary.txt), [JSON](png-boundary.json), [обвязка](targeted.py) |
|
||||
| `PYTHONPATH=src .venv/bin/python evidence/final-memory-validation-2026-11-07/targeted.py png-http` | 8 fixtures, 48 сравнений вариантов v1/v2 с независимым белым эталоном; 8 инвариантов PASS, 8 ID / 56 объектов | [команда](png-http.txt), [JSON](png-http.json) |
|
||||
|
||||
Граничные HTTP-проверки: четыре прежних tRNS и grayscale16 без tRNS достигают ready в v1/v2; исходник неизменен; SHA, длина, MIME и размеры вариантов согласованы с байтами. Белая область белая, соседний RGB16 с отличием младшего бита остаётся непрозрачным. Все 30 хешей пяти файлов × двух версий × трёх вариантов совпали между Linux и HTTP. Поздняя v1 и дубль v2 не изменили опубликованный снимок; по шесть строк вариантов на ID. Два одновременных HTTP-вложения также проходят обе версии. Малая матрица включает grayscale 1/2/4/8/16, RGB8/16 и RGB16 Adam7/filter=4/EXIF=6.
|
||||
|
||||
| Linux-файл | Peak RSS процесса, KiB | HTTP: обе версии |
|
||||
| --- | ---: | --- |
|
||||
| grayscale2 tRNS | 343 076 | ready |
|
||||
| grayscale4 tRNS | 342 956 | ready |
|
||||
| grayscale16 tRNS | 365 508 | ready |
|
||||
| grayscale16 без tRNS | 365 492 | ready |
|
||||
| RGB16 tRNS | 406 312 | ready |
|
||||
|
||||
При двух **реальных HTTP jobs** cgroup peak worker = **885 428 224 байт (844.41 MiB) / 1 GiB**, все memory.events=0. Диагностический Linux-запуск, включающий idle worker, управляющий процесс и два дополнительных дочерних процесса, дал другой peak: 1 026 285 568 байт / 1 GiB, также без OOM. Это разные условия; диагностический peak не выдаётся за память штатных HTTP jobs. RSS не равен RLIMIT_AS или cgroup memory.
|
||||
|
||||
Инварианты обеих HTTP-серий проверяют terminal, single_effect, no_ready_rollback, monotonic_publication, bytes_match_metadata, bounded_attempts, no_orphans и no_lost_202. После sweep нет staging/pending outbox/дублирующих эффектов для новых ID; S3 inventory согласован с БД. DLQ осталась 16: это сохранённые исторические/ожидаемые записи, не новые ошибки этой серии. Проверка scoped, не глобальная очистка.
|
||||
|
||||
## Завершение и ограничения
|
||||
|
||||
Свои контейнеры остановлены через `make down` без `-v`: [до остановки](final-containers.txt), [down](down.txt), [пустой project](stopped-containers.txt), [четыре volumes](retained-volumes.txt), [пустой общий running list](running-containers-after.txt). [Ретроспективный срез Docker events](container-events.json) ограничен последними 256 событиями daemon и подтверждает финальную остановку; он не используется как полная история промежуточных worker-stop.
|
||||
|
||||
Семь minor независимого review сохранены в [findings.json](findings.json) и ограничениях [REPORT](../../REPORT.md). Новых major не обнаружено. Потеря publisher confirm, все возможные отказы диска/сети и изолированная throughput-матрица не доказаны; выбран трек 2. Исходный major памяти закрывается только для проверенных сценариев и закреплённой версии Pillow.
|
||||
|
||||
Context7 вызван для Pillow, но вернул исчерпание месячной квоты. Использован официальный [Pillow: Image lifecycle](https://pillow.readthedocs.io/en/stable/reference/open_files.html): `Image.close()` уничтожает image core, контекстный менеджер сам core не уничтожает. Эта справка не заменяет выполненные Linux-проверки.
|
||||
|
||||
Перед коммитом проверены разрешённый scope, отсутствие секретов в tracked файлах, локальные ссылки и сохранность runtime/нормативных файлов; результаты — [final-audit.json](final-audit.json), [secret-scan.json](secret-scan.json), [final-checks.txt](final-checks.txt). Контрольные суммы новых артефактов — [sha256.json](sha256.json). Push и Telegram не выполнялись.
|
||||
|
||||
Полный `git diff --cached --check` обнаружил 17 trailing-whitespace строк в сыром выводе smoke и двух HTTP-команд. Вывод сохранён без редактирования; отдельная проверка документов/обвязки проходит. Это формат console output, не результат сценария приложения.
|
||||
@@ -1,11 +0,0 @@
|
||||
date: 2026-11-06T22:54:44Z commit: 74c33160ac01618f70e9e1c6a121a5e45c3c7155
|
||||
environment: {}
|
||||
$ openspec list --json
|
||||
{
|
||||
"changes": [],
|
||||
"root": {
|
||||
"path": "<repo>",
|
||||
"source": "nearest"
|
||||
}
|
||||
}
|
||||
exit_code: 0 elapsed_seconds: 0.974
|
||||
@@ -1,153 +0,0 @@
|
||||
import ast
|
||||
import hashlib
|
||||
import json
|
||||
import re
|
||||
import subprocess
|
||||
from pathlib import Path
|
||||
|
||||
ROOT = Path.cwd()
|
||||
FOLDER = Path(__file__).resolve().parent.relative_to(ROOT)
|
||||
MEASURED = "74c33160ac01618f70e9e1c6a121a5e45c3c7155"
|
||||
REVIEWED = "6096aa7948b8b666aa3892397a96d044a55f02c6"
|
||||
|
||||
|
||||
def git(*args):
|
||||
return subprocess.check_output(["git", *args], text=True).strip()
|
||||
|
||||
|
||||
assert git("rev-parse", "HEAD") == MEASURED
|
||||
assert git("branch", "--show-current") == "solution/bpi2303-kostylev"
|
||||
paths = git("diff", "--name-only", MEASURED).splitlines()
|
||||
assert all(p in {"REPORT.md", "AGENTS.md"} or p.startswith("evidence/") for p in paths)
|
||||
runtime_diff = git(
|
||||
"diff",
|
||||
"--name-only",
|
||||
REVIEWED,
|
||||
"--",
|
||||
"src",
|
||||
"infra",
|
||||
"compose.yaml",
|
||||
"Dockerfile",
|
||||
"pyproject.toml",
|
||||
"uv.lock",
|
||||
"alembic",
|
||||
"scripts",
|
||||
"student-tests",
|
||||
"openspec",
|
||||
)
|
||||
assert not runtime_diff
|
||||
assert not git(
|
||||
"diff", "--name-only", "upstream/main", "--", "contracts", "tests", "README.md", "COURSE.md"
|
||||
)
|
||||
subprocess.run(["git", "diff", "--check"], check=True)
|
||||
whitespace = subprocess.run(["git", "diff", "--cached", "--check"], capture_output=True, text=True)
|
||||
raw_whitespace = re.findall(r"^([^\n:]+):\d+: trailing whitespace\.$", whitespace.stdout, re.M)
|
||||
assert whitespace.returncode in (0, 2)
|
||||
assert set(raw_whitespace) <= {
|
||||
str(FOLDER / "png-boundary.txt"),
|
||||
str(FOLDER / "png-http.txt"),
|
||||
str(FOLDER / "smoke.txt"),
|
||||
}
|
||||
subprocess.run(
|
||||
["git", "diff", "--cached", "--check", "--", ".", f":(exclude){FOLDER}/*.txt"],
|
||||
check=True,
|
||||
)
|
||||
tracked = set(git("ls-files").splitlines())
|
||||
docs = [
|
||||
Path("REPORT.md"),
|
||||
Path("AGENTS.md"),
|
||||
Path("evidence/README.md"),
|
||||
Path("evidence/load-validation.md"),
|
||||
FOLDER / "RESULTS.md",
|
||||
]
|
||||
links = 0
|
||||
for doc in docs:
|
||||
content = doc.read_text()
|
||||
assert len(re.findall(r"^```", content, re.M)) % 2 == 0, doc
|
||||
for target in re.findall(r"\]\(([^)]+)\)", content):
|
||||
if re.match(r"(?:https?://|#)", target):
|
||||
continue
|
||||
destination = (doc.parent / target.split("#")[0]).resolve()
|
||||
assert destination.exists(), (doc, target)
|
||||
relative = str(destination.relative_to(ROOT))
|
||||
assert relative in tracked or any(p.startswith(relative + "/") for p in tracked), relative
|
||||
links += 1
|
||||
json_files = 0
|
||||
for name in tracked:
|
||||
if name.endswith(".json"):
|
||||
json.loads(Path(name).read_text())
|
||||
json_files += 1
|
||||
for path in FOLDER.glob("*.py"):
|
||||
ast.parse(path.read_text(), filename=str(path))
|
||||
hashes = 0
|
||||
for manifest, key in [
|
||||
("evidence/final-validation-2026-11-07/sha256.json", None),
|
||||
("evidence/review-png-memory-2026-11-07/checks.json", "sha256"),
|
||||
]:
|
||||
entries = json.loads(Path(manifest).read_text())
|
||||
if key:
|
||||
entries = entries[key]
|
||||
for name, expected in entries.items():
|
||||
assert hashlib.sha256(Path(name).read_bytes()).hexdigest() == expected, name
|
||||
hashes += 1
|
||||
accepted = []
|
||||
for name in [
|
||||
"evidence/forward-final-2026-11-06/level4.json",
|
||||
*[f"evidence/forward-final-2026-11-06/track-run{n}.json" for n in (1, 2, 3)],
|
||||
"evidence/final-validation-2026-11-07/postgres-outage-retry.json",
|
||||
"evidence/final-validation-2026-11-07/delivery-targeted.json",
|
||||
]:
|
||||
data = json.loads(Path(name).read_text())
|
||||
scenarios = data.get("scenarios", data.get("cases"))
|
||||
assert data["result"] == "PASS"
|
||||
assert all(x["result"] == "PASS" for x in scenarios + data["invariants"])
|
||||
accepted.append(
|
||||
{
|
||||
"file": name,
|
||||
"source_sha": data["source_sha"],
|
||||
"scenarios": len(scenarios),
|
||||
"invariants": len(data["invariants"]),
|
||||
}
|
||||
)
|
||||
own_containers = subprocess.check_output(
|
||||
["docker", "ps", "-aq", "--filter", "label=com.docker.compose.project=mtusi2026lab5"], text=True
|
||||
).strip()
|
||||
assert not own_containers
|
||||
volumes = subprocess.check_output(
|
||||
[
|
||||
"docker",
|
||||
"volume",
|
||||
"ls",
|
||||
"--filter",
|
||||
"label=com.docker.compose.project=mtusi2026lab5",
|
||||
"--format",
|
||||
"{{.Name}}",
|
||||
],
|
||||
text=True,
|
||||
).splitlines()
|
||||
assert len(volumes) == 4
|
||||
report = {
|
||||
"measured_sha": MEASURED,
|
||||
"reviewed_runtime": REVIEWED,
|
||||
"runtime_equal": True,
|
||||
"normative_equal_to_upstream_main": True,
|
||||
"changed_paths": paths,
|
||||
"local_links_verified": links,
|
||||
"tracked_json_parsed": json_files,
|
||||
"previous_and_fix_hashes_verified": hashes,
|
||||
"raw_diff_check_exit": whitespace.returncode,
|
||||
"preserved_raw_trailing_whitespace_lines": len(raw_whitespace),
|
||||
"docs_and_helpers_diff_check": "PASS",
|
||||
"accepted_without_rerun": accepted,
|
||||
"own_containers": [],
|
||||
"retained_volumes": volumes,
|
||||
"result": "PASS",
|
||||
}
|
||||
(FOLDER / "final-audit.json").write_text(json.dumps(report, ensure_ascii=False, indent=2) + "\n")
|
||||
print(
|
||||
json.dumps(
|
||||
{k: v for k, v in report.items() if k not in {"changed_paths", "accepted_without_rerun"}},
|
||||
ensure_ascii=False,
|
||||
indent=2,
|
||||
)
|
||||
)
|
||||
@@ -1,25 +0,0 @@
|
||||
{
|
||||
"head": "74c33160ac01618f70e9e1c6a121a5e45c3c7155",
|
||||
"reviewed_runtime": "6096aa7948b8b666aa3892397a96d044a55f02c6",
|
||||
"runtime_review_equal": true,
|
||||
"runtime_diff_since_previous_validation": [
|
||||
"src/messenger/attachments/infrastructure/images.py"
|
||||
],
|
||||
"previous_artifact_hashes_verified": 53,
|
||||
"platform": "macOS-15.1-arm64-arm-64bit-Mach-O",
|
||||
"host_load": [
|
||||
1.66796875,
|
||||
2.11279296875,
|
||||
2.3447265625
|
||||
],
|
||||
"docker": "28.3.2 16 8217190400",
|
||||
"running_containers_before": "",
|
||||
"image_fixture_hashes": {
|
||||
"rgb16-40mp.png": "3c4418a6f6a7676298b30b70ebbde9d12929f1345152f4fae979caf5ba1cb3f7",
|
||||
"gray4-40mp.png": "64e665928c08ac3721324af4f8e2e9d2e98230dc1be389dde7bbf365650b08cd",
|
||||
"gray2-40mp.png": "e1238de6a5be9dbce36abee904f7233f8ff7be59e405b528671940630cce11f6",
|
||||
"gray16-40mp.png": "b59784ae916d50b41b15afa4bdd474a8699f099da55efd53580d3f97180f3800"
|
||||
},
|
||||
"fix_hashes_verified": 28,
|
||||
"linux_http_variant_hashes_equal": 30
|
||||
}
|
||||
@@ -1,90 +0,0 @@
|
||||
date: 2026-11-06T22:54:41Z commit: 74c33160ac01618f70e9e1c6a121a5e45c3c7155
|
||||
environment: {"COMPOSE_PROJECT_NAME": "mtusi2026lab5", "COMPOSE_FILE": "compose.yaml", "LB_HTTP_PORT": "18085", "LB_STATS_PORT": "25085", "BASE_URL": "http://127.0.0.1:18085", "NO_PROXY": "localhost,127.0.0.1,::1", "API_IMAGE": "mtusi-messenger:lab5-memory-validation"}
|
||||
$ docker compose build
|
||||
#1 [internal] load local bake definitions
|
||||
#1 reading from stdin 441B done
|
||||
#1 DONE 0.0s
|
||||
|
||||
#2 [internal] load build definition from Dockerfile
|
||||
#2 transferring dockerfile: 1.65kB done
|
||||
#2 DONE 0.0s
|
||||
|
||||
#3 [internal] load metadata for ghcr.io/astral-sh/uv:0.9.7@sha256:ba4857bf2a068e9bc0e64eed8563b065908a4cd6bfb66b531a9c424c8e25e142
|
||||
#3 DONE 0.0s
|
||||
|
||||
#4 [internal] load metadata for docker.io/library/python:3.14-slim-trixie@sha256:51dafde81dbdb6ebde285137a295cf18a47ca95234fe388a343719cb97305b3d
|
||||
#4 DONE 1.6s
|
||||
|
||||
#5 [internal] load .dockerignore
|
||||
#5 transferring context: 453B done
|
||||
#5 DONE 0.0s
|
||||
|
||||
#6 [builder 1/7] FROM docker.io/library/python:3.14-slim-trixie@sha256:51dafde81dbdb6ebde285137a295cf18a47ca95234fe388a343719cb97305b3d
|
||||
#6 resolve docker.io/library/python:3.14-slim-trixie@sha256:51dafde81dbdb6ebde285137a295cf18a47ca95234fe388a343719cb97305b3d 0.0s done
|
||||
#6 DONE 0.0s
|
||||
|
||||
#7 FROM ghcr.io/astral-sh/uv:0.9.7@sha256:ba4857bf2a068e9bc0e64eed8563b065908a4cd6bfb66b531a9c424c8e25e142
|
||||
#7 resolve ghcr.io/astral-sh/uv:0.9.7@sha256:ba4857bf2a068e9bc0e64eed8563b065908a4cd6bfb66b531a9c424c8e25e142 0.0s done
|
||||
#7 DONE 0.0s
|
||||
|
||||
#8 [internal] load build context
|
||||
#8 transferring context: 55.94kB 0.0s done
|
||||
#8 DONE 0.0s
|
||||
|
||||
#9 [builder 4/7] COPY pyproject.toml uv.lock README.md ./
|
||||
#9 CACHED
|
||||
|
||||
#10 [builder 3/7] WORKDIR /build
|
||||
#10 CACHED
|
||||
|
||||
#11 [builder 2/7] COPY --from=ghcr.io/astral-sh/uv:0.9.7@sha256:ba4857bf2a068e9bc0e64eed8563b065908a4cd6bfb66b531a9c424c8e25e142 /uv /usr/local/bin/uv
|
||||
#11 CACHED
|
||||
|
||||
#12 [builder 5/7] RUN uv sync --locked --no-dev --no-install-project --no-editable
|
||||
#12 CACHED
|
||||
|
||||
#13 [builder 6/7] COPY src ./src
|
||||
#13 DONE 0.1s
|
||||
|
||||
#14 [builder 7/7] RUN uv sync --locked --no-dev --no-editable
|
||||
#14 0.246 Resolved 84 packages in 9ms
|
||||
#14 0.261 Building mtusi-messenger @ file:///build
|
||||
#14 3.076 Built mtusi-messenger @ file:///build
|
||||
#14 3.081 Prepared 1 package in 2.82s
|
||||
#14 3.086 Installed 1 package in 4ms
|
||||
#14 3.306 Bytecode compiled 2301 files in 220ms
|
||||
#14 3.306 + mtusi-messenger==1.5.0 (from file:///build)
|
||||
#14 DONE 3.3s
|
||||
|
||||
#15 [runtime 2/6] RUN groupadd --system --gid 10001 messenger && useradd --system --uid 10001 --gid messenger --no-create-home --shell /usr/sbin/nologin messenger
|
||||
#15 CACHED
|
||||
|
||||
#16 [runtime 3/6] COPY --from=builder --chown=root:root /opt/venv /opt/venv
|
||||
#16 DONE 0.7s
|
||||
|
||||
#17 [runtime 4/6] WORKDIR /app
|
||||
#17 DONE 0.0s
|
||||
|
||||
#18 [runtime 5/6] COPY --chown=root:root alembic.ini ./
|
||||
#18 DONE 0.0s
|
||||
|
||||
#19 [runtime 6/6] COPY --chown=root:root alembic ./alembic
|
||||
#19 DONE 0.0s
|
||||
|
||||
#20 exporting to image
|
||||
#20 exporting layers
|
||||
#20 exporting layers 3.1s done
|
||||
#20 exporting manifest sha256:822ff6808de5ef24f7f560bfbf7d074f03882cf60f79ec17b72ec20b27fcb882
|
||||
#20 exporting manifest sha256:822ff6808de5ef24f7f560bfbf7d074f03882cf60f79ec17b72ec20b27fcb882 done
|
||||
#20 exporting config sha256:9ad245995fe138e23bc22e352d3a77ee0bf65ae6979997c6da067bd8d5315782 done
|
||||
#20 exporting attestation manifest sha256:cf7e1da74a249e6859a38405addb0350aab512b93f6e62e66405ae1936db4e38 done
|
||||
#20 exporting manifest list sha256:9a4299f2f673c414d67c3cc1f1debf4a56d9358f4a1ae85703152d48e8ef1608 done
|
||||
#20 naming to docker.io/library/mtusi-messenger:lab5-memory-validation done
|
||||
#20 unpacking to docker.io/library/mtusi-messenger:lab5-memory-validation
|
||||
#20 unpacking to docker.io/library/mtusi-messenger:lab5-memory-validation 0.6s done
|
||||
#20 DONE 3.8s
|
||||
|
||||
#21 resolving provenance for metadata file
|
||||
#21 DONE 0.0s
|
||||
api Built
|
||||
exit_code: 0 elapsed_seconds: 14.282
|
||||
@@ -1,11 +0,0 @@
|
||||
{
|
||||
"at": "2026-11-06T23:18:53.248018+00:00",
|
||||
"host_load": [
|
||||
6.40869140625,
|
||||
4.1806640625,
|
||||
3.1875
|
||||
],
|
||||
"running": "mtusi2026lab5-worker-1 Up About a minute (healthy)\nmtusi2026lab5-api-1 Up 6 minutes (healthy)\nmtusi2026lab5-api-2 Up 6 minutes (healthy)\nmtusi2026lab5-relay-1 Up 6 minutes (healthy)\nmtusi2026lab5-broker-1 Up 6 minutes (healthy)\nmtusi2026lab5-postgres-1 Up 6 minutes (healthy)\nmtusi2026lab5-lb-1 Up 6 minutes (healthy)\nmtusi2026lab5-s3-1 Up 6 minutes (healthy)\nmtusi2026lab5-valkey-1 Up 6 minutes (healthy)",
|
||||
"worker_limits": "448\n30\n2",
|
||||
"memory_events": "low 0\nhigh 0\nmax 0\noom 0\noom_kill 0\noom_group_kill 0"
|
||||
}
|
||||
@@ -1,166 +0,0 @@
|
||||
{
|
||||
"platform": "macOS-15.1-arm64-arm-64bit-Mach-O",
|
||||
"host_load": [
|
||||
2.62109375,
|
||||
2.6455078125,
|
||||
2.53076171875
|
||||
],
|
||||
"running": "mtusi2026lab5-api-1 Up 2 minutes (healthy)\nmtusi2026lab5-api-2 Up 2 minutes (healthy)\nmtusi2026lab5-worker-1 Up 2 minutes (healthy)\nmtusi2026lab5-relay-1 Up 2 minutes (healthy)\nmtusi2026lab5-broker-1 Up 2 minutes (healthy)\nmtusi2026lab5-postgres-1 Up 2 minutes (healthy)\nmtusi2026lab5-lb-1 Up 2 minutes (healthy)\nmtusi2026lab5-s3-1 Up 2 minutes (healthy)\nmtusi2026lab5-valkey-1 Up 2 minutes (healthy)",
|
||||
"containers": [
|
||||
{
|
||||
"name": "/mtusi2026lab5-api-1",
|
||||
"id": "d1dcbda238669764840b38a8b9cf22d889ffc356945e165f019c4814bb96553d",
|
||||
"image": "sha256:9a4299f2f673c414d67c3cc1f1debf4a56d9358f4a1ae85703152d48e8ef1608",
|
||||
"limits": {
|
||||
"Memory": 536870912,
|
||||
"NanoCpus": 1000000000,
|
||||
"PortBindings": {}
|
||||
},
|
||||
"volumes": []
|
||||
},
|
||||
{
|
||||
"name": "/mtusi2026lab5-api-2",
|
||||
"id": "1eaf0fe05de650a1c2f7ced3e360aabbf8ad59566f40beefc2d745fa5277688e",
|
||||
"image": "sha256:9a4299f2f673c414d67c3cc1f1debf4a56d9358f4a1ae85703152d48e8ef1608",
|
||||
"limits": {
|
||||
"Memory": 536870912,
|
||||
"NanoCpus": 1000000000,
|
||||
"PortBindings": {}
|
||||
},
|
||||
"volumes": []
|
||||
},
|
||||
{
|
||||
"name": "/mtusi2026lab5-worker-1",
|
||||
"id": "a9afb0e9cc245a54eb871ddd44fcf8661949789de59603ded5236b5f9e9f1d7c",
|
||||
"image": "sha256:9a4299f2f673c414d67c3cc1f1debf4a56d9358f4a1ae85703152d48e8ef1608",
|
||||
"limits": {
|
||||
"Memory": 1073741824,
|
||||
"NanoCpus": 2000000000,
|
||||
"PortBindings": {}
|
||||
},
|
||||
"volumes": []
|
||||
},
|
||||
{
|
||||
"name": "/mtusi2026lab5-relay-1",
|
||||
"id": "63225b5eff8e1eb2870376c487b8925f9dbbe9bb8a636f4e2cdc12a24becf577",
|
||||
"image": "sha256:9a4299f2f673c414d67c3cc1f1debf4a56d9358f4a1ae85703152d48e8ef1608",
|
||||
"limits": {
|
||||
"Memory": 201326592,
|
||||
"NanoCpus": 500000000,
|
||||
"PortBindings": {}
|
||||
},
|
||||
"volumes": []
|
||||
},
|
||||
{
|
||||
"name": "/mtusi2026lab5-migrate-1",
|
||||
"id": "34901a09ef7b837c6ce87116d2035d842762d2c86f8562cade96d3915a80e6f0",
|
||||
"image": "sha256:9a4299f2f673c414d67c3cc1f1debf4a56d9358f4a1ae85703152d48e8ef1608",
|
||||
"limits": {
|
||||
"Memory": 268435456,
|
||||
"NanoCpus": 500000000,
|
||||
"PortBindings": {}
|
||||
},
|
||||
"volumes": []
|
||||
},
|
||||
{
|
||||
"name": "/mtusi2026lab5-s3-init-1",
|
||||
"id": "6e80e83ed5c5470bf22c5a9cd7c835788fbdff94f1f28f8649df6b667c153f89",
|
||||
"image": "sha256:ab024bfebee49a750ce886b4c70963ccd9ddaa03f491704a90710641d7a26699",
|
||||
"limits": {
|
||||
"Memory": 67108864,
|
||||
"NanoCpus": 500000000,
|
||||
"PortBindings": {}
|
||||
},
|
||||
"volumes": []
|
||||
},
|
||||
{
|
||||
"name": "/mtusi2026lab5-broker-1",
|
||||
"id": "be1942ad69b426f8b7c9189b0209021b169c6c8d0ee633f302d6d659a4143377",
|
||||
"image": "sha256:54ef5ff505352c1beef05a97ee9bd6ab95b3559a76629ba0119b1d63d8d6e4b2",
|
||||
"limits": {
|
||||
"Memory": 536870912,
|
||||
"NanoCpus": 1000000000,
|
||||
"PortBindings": {
|
||||
"15672/tcp": [
|
||||
{
|
||||
"HostIp": "127.0.0.1",
|
||||
"HostPort": "25086"
|
||||
}
|
||||
]
|
||||
}
|
||||
},
|
||||
"volumes": [
|
||||
"mtusi2026lab5_broker-data"
|
||||
]
|
||||
},
|
||||
{
|
||||
"name": "/mtusi2026lab5-postgres-1",
|
||||
"id": "a0b9f2742b9737ac0e32423d767438cab12af55a00cc1d68515ca9f07c2758ed",
|
||||
"image": "sha256:266d3c257594e195b309ae9d1805e54c788f1d7b375f56bf6c367aac6c917e7b",
|
||||
"limits": {
|
||||
"Memory": 1073741824,
|
||||
"NanoCpus": 2000000000,
|
||||
"PortBindings": {}
|
||||
},
|
||||
"volumes": [
|
||||
"mtusi2026lab5_pgdata"
|
||||
]
|
||||
},
|
||||
{
|
||||
"name": "/mtusi2026lab5-lb-1",
|
||||
"id": "4ddcc75182e6044288c7a8c7bddca7b8c5fc6dab9b18c429e61ab1d292680111",
|
||||
"image": "sha256:5893840576071e6217cd52ebdcc14f454c6f7a631056fa6f4e0f40d3cac4215b",
|
||||
"limits": {
|
||||
"Memory": 134217728,
|
||||
"NanoCpus": 1000000000,
|
||||
"PortBindings": {
|
||||
"8080/tcp": [
|
||||
{
|
||||
"HostIp": "127.0.0.1",
|
||||
"HostPort": "18085"
|
||||
}
|
||||
],
|
||||
"8404/tcp": [
|
||||
{
|
||||
"HostIp": "127.0.0.1",
|
||||
"HostPort": "25085"
|
||||
}
|
||||
]
|
||||
}
|
||||
},
|
||||
"volumes": []
|
||||
},
|
||||
{
|
||||
"name": "/mtusi2026lab5-s3-1",
|
||||
"id": "29b3e7c3a260f035ba99f5ce5f3e8a8b7077c56377b17e25503f16fb7fbad7c3",
|
||||
"image": "sha256:ed9210d6411d77ffceb70d94b964a3cb7d225983368bc25bebe01e995293dcc2",
|
||||
"limits": {
|
||||
"Memory": 536870912,
|
||||
"NanoCpus": 1000000000,
|
||||
"PortBindings": {}
|
||||
},
|
||||
"volumes": [
|
||||
"mtusi2026lab5_s3data"
|
||||
]
|
||||
},
|
||||
{
|
||||
"name": "/mtusi2026lab5-valkey-1",
|
||||
"id": "647882797ca28a7e07453f00bd198433c80d8a8b8e7013279bc8954eafe11db6",
|
||||
"image": "sha256:2602ace2be6569bc2bbb06f873776516ab9089821525be34f4305c67eb9db02a",
|
||||
"limits": {
|
||||
"Memory": 134217728,
|
||||
"NanoCpus": 500000000,
|
||||
"PortBindings": {}
|
||||
},
|
||||
"volumes": [
|
||||
"mtusi2026lab5_valkeydata"
|
||||
]
|
||||
}
|
||||
],
|
||||
"fixture_sha256": {
|
||||
"rgb16-40mp.png": "3c4418a6f6a7676298b30b70ebbde9d12929f1345152f4fae979caf5ba1cb3f7",
|
||||
"gray4-40mp.png": "64e665928c08ac3721324af4f8e2e9d2e98230dc1be389dde7bbf365650b08cd",
|
||||
"gray2-40mp.png": "e1238de6a5be9dbce36abee904f7233f8ff7be59e405b528671940630cce11f6",
|
||||
"gray16-40mp.png": "b59784ae916d50b41b15afa4bdd474a8699f099da55efd53580d3f97180f3800"
|
||||
}
|
||||
}
|
||||
@@ -1,151 +0,0 @@
|
||||
{
|
||||
"command": [
|
||||
"docker",
|
||||
"events",
|
||||
"--since",
|
||||
"2026-11-06T23:15:45Z",
|
||||
"--until",
|
||||
"2026-11-06T23:19:06.697928+00:00",
|
||||
"--filter",
|
||||
"type=container",
|
||||
"--filter",
|
||||
"label=com.docker.compose.project=mtusi2026lab5",
|
||||
"--filter",
|
||||
"event=stop",
|
||||
"--filter",
|
||||
"event=die",
|
||||
"--filter",
|
||||
"event=start",
|
||||
"--format",
|
||||
"{{json .}}"
|
||||
],
|
||||
"events": [
|
||||
{
|
||||
"timeNano": 1794007134212820139,
|
||||
"id": "4ddcc75182e6044288c7a8c7bddca7b8c5fc6dab9b18c429e61ab1d292680111",
|
||||
"action": "stop",
|
||||
"name": "mtusi2026lab5-lb-1",
|
||||
"exitCode": null
|
||||
},
|
||||
{
|
||||
"timeNano": 1794007134214724139,
|
||||
"id": "4ddcc75182e6044288c7a8c7bddca7b8c5fc6dab9b18c429e61ab1d292680111",
|
||||
"action": "die",
|
||||
"name": "mtusi2026lab5-lb-1",
|
||||
"exitCode": "0"
|
||||
},
|
||||
{
|
||||
"timeNano": 1794007134242785764,
|
||||
"id": "63225b5eff8e1eb2870376c487b8925f9dbbe9bb8a636f4e2cdc12a24becf577",
|
||||
"action": "stop",
|
||||
"name": "mtusi2026lab5-relay-1",
|
||||
"exitCode": null
|
||||
},
|
||||
{
|
||||
"timeNano": 1794007134243810347,
|
||||
"id": "63225b5eff8e1eb2870376c487b8925f9dbbe9bb8a636f4e2cdc12a24becf577",
|
||||
"action": "die",
|
||||
"name": "mtusi2026lab5-relay-1",
|
||||
"exitCode": "0"
|
||||
},
|
||||
{
|
||||
"timeNano": 1794007134261625889,
|
||||
"id": "cb275ee9574b376bec77f26bdc24d2149568a272094f374b866d89d42b8067ce",
|
||||
"action": "stop",
|
||||
"name": "mtusi2026lab5-worker-1",
|
||||
"exitCode": null
|
||||
},
|
||||
{
|
||||
"timeNano": 1794007134263340222,
|
||||
"id": "cb275ee9574b376bec77f26bdc24d2149568a272094f374b866d89d42b8067ce",
|
||||
"action": "die",
|
||||
"name": "mtusi2026lab5-worker-1",
|
||||
"exitCode": "0"
|
||||
},
|
||||
{
|
||||
"timeNano": 1794007135530081667,
|
||||
"id": "be1942ad69b426f8b7c9189b0209021b169c6c8d0ee633f302d6d659a4143377",
|
||||
"action": "stop",
|
||||
"name": "mtusi2026lab5-broker-1",
|
||||
"exitCode": null
|
||||
},
|
||||
{
|
||||
"timeNano": 1794007135532395875,
|
||||
"id": "be1942ad69b426f8b7c9189b0209021b169c6c8d0ee633f302d6d659a4143377",
|
||||
"action": "die",
|
||||
"name": "mtusi2026lab5-broker-1",
|
||||
"exitCode": "0"
|
||||
},
|
||||
{
|
||||
"timeNano": 1794007136578760167,
|
||||
"id": "d1dcbda238669764840b38a8b9cf22d889ffc356945e165f019c4814bb96553d",
|
||||
"action": "stop",
|
||||
"name": "mtusi2026lab5-api-1",
|
||||
"exitCode": null
|
||||
},
|
||||
{
|
||||
"timeNano": 1794007136581296250,
|
||||
"id": "d1dcbda238669764840b38a8b9cf22d889ffc356945e165f019c4814bb96553d",
|
||||
"action": "die",
|
||||
"name": "mtusi2026lab5-api-1",
|
||||
"exitCode": "0"
|
||||
},
|
||||
{
|
||||
"timeNano": 1794007136606883084,
|
||||
"id": "1eaf0fe05de650a1c2f7ced3e360aabbf8ad59566f40beefc2d745fa5277688e",
|
||||
"action": "stop",
|
||||
"name": "mtusi2026lab5-api-2",
|
||||
"exitCode": null
|
||||
},
|
||||
{
|
||||
"timeNano": 1794007136610714375,
|
||||
"id": "1eaf0fe05de650a1c2f7ced3e360aabbf8ad59566f40beefc2d745fa5277688e",
|
||||
"action": "die",
|
||||
"name": "mtusi2026lab5-api-2",
|
||||
"exitCode": "0"
|
||||
},
|
||||
{
|
||||
"timeNano": 1794007136730887167,
|
||||
"id": "647882797ca28a7e07453f00bd198433c80d8a8b8e7013279bc8954eafe11db6",
|
||||
"action": "stop",
|
||||
"name": "mtusi2026lab5-valkey-1",
|
||||
"exitCode": null
|
||||
},
|
||||
{
|
||||
"timeNano": 1794007136732779084,
|
||||
"id": "647882797ca28a7e07453f00bd198433c80d8a8b8e7013279bc8954eafe11db6",
|
||||
"action": "die",
|
||||
"name": "mtusi2026lab5-valkey-1",
|
||||
"exitCode": "0"
|
||||
},
|
||||
{
|
||||
"timeNano": 1794007136795874292,
|
||||
"id": "a0b9f2742b9737ac0e32423d767438cab12af55a00cc1d68515ca9f07c2758ed",
|
||||
"action": "stop",
|
||||
"name": "mtusi2026lab5-postgres-1",
|
||||
"exitCode": null
|
||||
},
|
||||
{
|
||||
"timeNano": 1794007136796859125,
|
||||
"id": "a0b9f2742b9737ac0e32423d767438cab12af55a00cc1d68515ca9f07c2758ed",
|
||||
"action": "die",
|
||||
"name": "mtusi2026lab5-postgres-1",
|
||||
"exitCode": "0"
|
||||
},
|
||||
{
|
||||
"timeNano": 1794007136819412875,
|
||||
"id": "29b3e7c3a260f035ba99f5ce5f3e8a8b7077c56377b17e25503f16fb7fbad7c3",
|
||||
"action": "stop",
|
||||
"name": "mtusi2026lab5-s3-1",
|
||||
"exitCode": null
|
||||
},
|
||||
{
|
||||
"timeNano": 1794007136823326750,
|
||||
"id": "29b3e7c3a260f035ba99f5ce5f3e8a8b7077c56377b17e25503f16fb7fbad7c3",
|
||||
"action": "die",
|
||||
"name": "mtusi2026lab5-s3-1",
|
||||
"exitCode": "0"
|
||||
}
|
||||
],
|
||||
"limitation": "Docker retains only the last 256 events; this is a partial retrospective snapshot."
|
||||
}
|
||||
@@ -1,53 +0,0 @@
|
||||
date: 2026-11-06T23:18:53Z commit: 74c33160ac01618f70e9e1c6a121a5e45c3c7155
|
||||
environment: {"COMPOSE_PROJECT_NAME": "mtusi2026lab5", "COMPOSE_FILE": "compose.yaml", "LB_HTTP_PORT": "18085", "LB_STATS_PORT": "25085", "BASE_URL": "http://127.0.0.1:18085", "NO_PROXY": "localhost,127.0.0.1,::1", "API_IMAGE": "mtusi-messenger:lab5-memory-validation"}
|
||||
$ make down
|
||||
docker compose --profile bench --profile tools --profile reconcile down
|
||||
Container mtusi2026lab5-relay-1 Stopping
|
||||
Container mtusi2026lab5-lb-1 Stopping
|
||||
Container mtusi2026lab5-api-2 Stopping
|
||||
Container mtusi2026lab5-api-1 Stopping
|
||||
Container mtusi2026lab5-worker-1 Stopping
|
||||
Container mtusi2026lab5-lb-1 Stopped
|
||||
Container mtusi2026lab5-lb-1 Removing
|
||||
Container mtusi2026lab5-relay-1 Stopped
|
||||
Container mtusi2026lab5-relay-1 Removing
|
||||
Container mtusi2026lab5-lb-1 Removed
|
||||
Container mtusi2026lab5-worker-1 Stopped
|
||||
Container mtusi2026lab5-worker-1 Removing
|
||||
Container mtusi2026lab5-relay-1 Removed
|
||||
Container mtusi2026lab5-worker-1 Removed
|
||||
Container mtusi2026lab5-broker-1 Stopping
|
||||
Container mtusi2026lab5-broker-1 Stopped
|
||||
Container mtusi2026lab5-broker-1 Removing
|
||||
Container mtusi2026lab5-broker-1 Removed
|
||||
Container mtusi2026lab5-api-1 Stopped
|
||||
Container mtusi2026lab5-api-1 Removing
|
||||
Container mtusi2026lab5-api-2 Stopped
|
||||
Container mtusi2026lab5-api-2 Removing
|
||||
Container mtusi2026lab5-api-1 Removed
|
||||
Container mtusi2026lab5-api-2 Removed
|
||||
Container mtusi2026lab5-valkey-1 Stopping
|
||||
Container mtusi2026lab5-migrate-1 Stopping
|
||||
Container mtusi2026lab5-s3-init-1 Stopping
|
||||
Container mtusi2026lab5-migrate-1 Stopped
|
||||
Container mtusi2026lab5-migrate-1 Removing
|
||||
Container mtusi2026lab5-s3-init-1 Stopped
|
||||
Container mtusi2026lab5-s3-init-1 Removing
|
||||
Container mtusi2026lab5-migrate-1 Removed
|
||||
Container mtusi2026lab5-postgres-1 Stopping
|
||||
Container mtusi2026lab5-s3-init-1 Removed
|
||||
Container mtusi2026lab5-s3-1 Stopping
|
||||
Container mtusi2026lab5-valkey-1 Stopped
|
||||
Container mtusi2026lab5-valkey-1 Removing
|
||||
Container mtusi2026lab5-valkey-1 Removed
|
||||
Container mtusi2026lab5-postgres-1 Stopped
|
||||
Container mtusi2026lab5-postgres-1 Removing
|
||||
Container mtusi2026lab5-s3-1 Stopped
|
||||
Container mtusi2026lab5-s3-1 Removing
|
||||
Container mtusi2026lab5-postgres-1 Removed
|
||||
Container mtusi2026lab5-s3-1 Removed
|
||||
Network mtusi2026lab5_edge Removing
|
||||
Network mtusi2026lab5_backend Removing
|
||||
Network mtusi2026lab5_backend Removed
|
||||
Network mtusi2026lab5_edge Removed
|
||||
exit_code: 0 elapsed_seconds: 3.356
|
||||
@@ -1,8 +0,0 @@
|
||||
export COMPOSE_PROJECT_NAME=mtusi2026lab5
|
||||
export COMPOSE_FILE=compose.yaml
|
||||
export API_IMAGE=mtusi-messenger:lab5-memory-validation
|
||||
export LB_HTTP_PORT=18085
|
||||
export LB_STATS_PORT=25085
|
||||
export BROKER_MANAGEMENT_PORT=25086
|
||||
export BASE_URL=http://127.0.0.1:18085
|
||||
export NO_PROXY=localhost,127.0.0.1,::1
|
||||
@@ -1,100 +0,0 @@
|
||||
{
|
||||
"measured_sha": "74c33160ac01618f70e9e1c6a121a5e45c3c7155",
|
||||
"reviewed_runtime": "6096aa7948b8b666aa3892397a96d044a55f02c6",
|
||||
"runtime_equal": true,
|
||||
"normative_equal_to_upstream_main": true,
|
||||
"changed_paths": [
|
||||
"AGENTS.md",
|
||||
"REPORT.md",
|
||||
"evidence/README.md",
|
||||
"evidence/final-memory-validation-2026-11-07/RESULTS.md",
|
||||
"evidence/final-memory-validation-2026-11-07/active-changes.txt",
|
||||
"evidence/final-memory-validation-2026-11-07/audit-files.py",
|
||||
"evidence/final-memory-validation-2026-11-07/audit.json",
|
||||
"evidence/final-memory-validation-2026-11-07/build.txt",
|
||||
"evidence/final-memory-validation-2026-11-07/checks.txt",
|
||||
"evidence/final-memory-validation-2026-11-07/conditions-after.json",
|
||||
"evidence/final-memory-validation-2026-11-07/conditions.json",
|
||||
"evidence/final-memory-validation-2026-11-07/container-events.json",
|
||||
"evidence/final-memory-validation-2026-11-07/down.txt",
|
||||
"evidence/final-memory-validation-2026-11-07/env.sh",
|
||||
"evidence/final-memory-validation-2026-11-07/final-audit.json",
|
||||
"evidence/final-memory-validation-2026-11-07/final-checks.txt",
|
||||
"evidence/final-memory-validation-2026-11-07/final-containers.txt",
|
||||
"evidence/final-memory-validation-2026-11-07/findings.json",
|
||||
"evidence/final-memory-validation-2026-11-07/linux-child.py",
|
||||
"evidence/final-memory-validation-2026-11-07/linux-runner.py",
|
||||
"evidence/final-memory-validation-2026-11-07/linux.json",
|
||||
"evidence/final-memory-validation-2026-11-07/linux.txt",
|
||||
"evidence/final-memory-validation-2026-11-07/openspec.txt",
|
||||
"evidence/final-memory-validation-2026-11-07/png-boundary.json",
|
||||
"evidence/final-memory-validation-2026-11-07/png-boundary.txt",
|
||||
"evidence/final-memory-validation-2026-11-07/png-http.json",
|
||||
"evidence/final-memory-validation-2026-11-07/png-http.txt",
|
||||
"evidence/final-memory-validation-2026-11-07/reset-worker-peak.txt",
|
||||
"evidence/final-memory-validation-2026-11-07/retained-volumes.txt",
|
||||
"evidence/final-memory-validation-2026-11-07/running-containers-after.txt",
|
||||
"evidence/final-memory-validation-2026-11-07/runtime.txt",
|
||||
"evidence/final-memory-validation-2026-11-07/scan-secrets.py",
|
||||
"evidence/final-memory-validation-2026-11-07/secret-scan.json",
|
||||
"evidence/final-memory-validation-2026-11-07/sha256.json",
|
||||
"evidence/final-memory-validation-2026-11-07/smoke.txt",
|
||||
"evidence/final-memory-validation-2026-11-07/stopped-containers.txt",
|
||||
"evidence/final-memory-validation-2026-11-07/student-test.txt",
|
||||
"evidence/final-memory-validation-2026-11-07/targeted.py",
|
||||
"evidence/final-memory-validation-2026-11-07/up.txt",
|
||||
"evidence/load-validation.md"
|
||||
],
|
||||
"local_links_verified": 208,
|
||||
"tracked_json_parsed": 111,
|
||||
"previous_and_fix_hashes_verified": 81,
|
||||
"raw_diff_check_exit": 2,
|
||||
"preserved_raw_trailing_whitespace_lines": 17,
|
||||
"docs_and_helpers_diff_check": "PASS",
|
||||
"accepted_without_rerun": [
|
||||
{
|
||||
"file": "evidence/forward-final-2026-11-06/level4.json",
|
||||
"source_sha": "0e921116610d289716af0a40ec823376eb8bbcbc",
|
||||
"scenarios": 17,
|
||||
"invariants": 8
|
||||
},
|
||||
{
|
||||
"file": "evidence/forward-final-2026-11-06/track-run1.json",
|
||||
"source_sha": "0e921116610d289716af0a40ec823376eb8bbcbc",
|
||||
"scenarios": 13,
|
||||
"invariants": 8
|
||||
},
|
||||
{
|
||||
"file": "evidence/forward-final-2026-11-06/track-run2.json",
|
||||
"source_sha": "0e921116610d289716af0a40ec823376eb8bbcbc",
|
||||
"scenarios": 13,
|
||||
"invariants": 8
|
||||
},
|
||||
{
|
||||
"file": "evidence/forward-final-2026-11-06/track-run3.json",
|
||||
"source_sha": "0e921116610d289716af0a40ec823376eb8bbcbc",
|
||||
"scenarios": 13,
|
||||
"invariants": 8
|
||||
},
|
||||
{
|
||||
"file": "evidence/final-validation-2026-11-07/postgres-outage-retry.json",
|
||||
"source_sha": "b30e2f6a84419d1ca64525ffb40df92183cccaef",
|
||||
"scenarios": 1,
|
||||
"invariants": 8
|
||||
},
|
||||
{
|
||||
"file": "evidence/final-validation-2026-11-07/delivery-targeted.json",
|
||||
"source_sha": "b30e2f6a84419d1ca64525ffb40df92183cccaef",
|
||||
"scenarios": 12,
|
||||
"invariants": 8
|
||||
}
|
||||
],
|
||||
"own_containers": [],
|
||||
"retained_volumes": [
|
||||
"mtusi2026lab5_broker-data",
|
||||
"mtusi2026lab5_pgdata",
|
||||
"mtusi2026lab5_s3data",
|
||||
"mtusi2026lab5_valkeydata"
|
||||
],
|
||||
"result": "PASS"
|
||||
}
|
||||
@@ -1,14 +0,0 @@
|
||||
date: 2026-11-06T23:23:20Z commit: 74c33160ac01618f70e9e1c6a121a5e45c3c7155
|
||||
environment: {"COMPOSE_PROJECT_NAME": "mtusi2026lab5", "COMPOSE_FILE": "compose.yaml", "LB_HTTP_PORT": "18085", "LB_STATS_PORT": "25085", "BASE_URL": "http://127.0.0.1:18085", "NO_PROXY": "localhost,127.0.0.1,::1", "API_IMAGE": "mtusi-messenger:lab5-memory-validation"}
|
||||
$ make check validate lint
|
||||
python3 scripts/check_contract.py
|
||||
PASS: offline skeleton structure, local refs and Python syntax; application NOT tested.
|
||||
.venv/bin/python scripts/validate_openapi.py
|
||||
PASS: full OpenAPI 3.1 and JSON Schema validation; application NOT tested.
|
||||
.venv/bin/ruff check src student-tests scripts/capture_evidence.py alembic scripts/scaling.py tools scripts/probe.py scripts/limits.py scripts/lab4_scenarios.py scripts/lab4_seed.py scripts/upload_memory.py scripts/reconcile_check.py scripts/reconcile_track.py scripts/make_images.py scripts/pipeline_suite.py scripts/pipeline_evidence.py
|
||||
All checks passed!
|
||||
.venv/bin/ruff format --check src student-tests scripts/capture_evidence.py alembic scripts/scaling.py tools scripts/probe.py scripts/limits.py scripts/lab4_scenarios.py scripts/lab4_seed.py scripts/upload_memory.py scripts/reconcile_check.py scripts/reconcile_track.py scripts/make_images.py scripts/pipeline_suite.py scripts/pipeline_evidence.py
|
||||
198 files already formatted
|
||||
.venv/bin/ty check src student-tests alembic
|
||||
All checks passed!
|
||||
exit_code: 0 elapsed_seconds: 0.530
|
||||
@@ -1,15 +0,0 @@
|
||||
date: 2026-11-06T23:18:53Z commit: 74c33160ac01618f70e9e1c6a121a5e45c3c7155
|
||||
environment: {"COMPOSE_PROJECT_NAME": "mtusi2026lab5", "COMPOSE_FILE": "compose.yaml", "LB_HTTP_PORT": "18085", "LB_STATS_PORT": "25085", "BASE_URL": "http://127.0.0.1:18085", "NO_PROXY": "localhost,127.0.0.1,::1", "API_IMAGE": "mtusi-messenger:lab5-memory-validation"}
|
||||
$ docker compose ps -a --format '{{.Name}} {{.ID}} {{.State}} {{.Status}}'
|
||||
mtusi2026lab5-api-1 d1dcbda23866 running Up 6 minutes (healthy)
|
||||
mtusi2026lab5-api-2 1eaf0fe05de6 running Up 6 minutes (healthy)
|
||||
mtusi2026lab5-broker-1 be1942ad69b4 running Up 6 minutes (healthy)
|
||||
mtusi2026lab5-lb-1 4ddcc75182e6 running Up 6 minutes (healthy)
|
||||
mtusi2026lab5-migrate-1 34901a09ef7b exited Exited (0) 6 minutes ago
|
||||
mtusi2026lab5-postgres-1 a0b9f2742b97 running Up 6 minutes (healthy)
|
||||
mtusi2026lab5-relay-1 63225b5eff8e running Up 6 minutes (healthy)
|
||||
mtusi2026lab5-s3-1 29b3e7c3a260 running Up 6 minutes (healthy)
|
||||
mtusi2026lab5-s3-init-1 6e80e83ed5c5 exited Exited (0) 6 minutes ago
|
||||
mtusi2026lab5-valkey-1 647882797ca2 running Up 6 minutes (healthy)
|
||||
mtusi2026lab5-worker-1 cb275ee9574b running Up About a minute (healthy)
|
||||
exit_code: 0 elapsed_seconds: 0.127
|
||||
@@ -1,37 +0,0 @@
|
||||
[
|
||||
{
|
||||
"severity": "minor",
|
||||
"file": "src/messenger/attachments/application/pipeline.py:230",
|
||||
"problem": "Сохранено из ревью 544b9c78d39d0e9dd07f841894c390895896605a: after_publish_before_confirm вызывается после publish(), уже проверившего Basic.Ack. crash_publish_confirm доказывает сбой после confirm до COMMIT outbox, а не потерю подтверждения."
|
||||
},
|
||||
{
|
||||
"severity": "minor",
|
||||
"file": "scripts/limits.py:10",
|
||||
"problem": "Сохранено из первого ревью: S3_CLIENT_SECRETS не отсортирован, сравнение с sorted(secrets) даёт ложные FAIL. evidence/sqlalchemy-2026-11-06/grade3/limits.txt содержит exit_code=1; этот запуск нельзя обозначать PASS."
|
||||
},
|
||||
{
|
||||
"severity": "minor",
|
||||
"file": "scripts/reconcile_track.py:396",
|
||||
"problem": "Сохранено из первого ревью: демонстратор ожидает upload 201 и attachments/, поэтому непригоден для квалификации ЛР5 с 202 queued. Текущие pipeline evidence его не используют."
|
||||
},
|
||||
{
|
||||
"severity": "minor",
|
||||
"file": "src/messenger/attachments/application/pipeline.py:304",
|
||||
"problem": "Сохранено из первого ревью: failed upgrade v2 при опубликованной ready v1 нельзя отдельно повторить через replay/reprocess. V1 остаётся доступной; подтверждение исходного ревью — test_failed_new_version_keeps_ready_original."
|
||||
},
|
||||
{
|
||||
"severity": "minor",
|
||||
"file": "evidence/forward-final-2026-11-06/clock-observation.json",
|
||||
"problem": "Сохранено из первого ревью: в повторах 2/3 UTC-интервалы расходятся с elapsed (1161.195/186.458 с и 571.513/180.259 с). Причина не установлена; длительности исключены из выводов о производительности."
|
||||
},
|
||||
{
|
||||
"severity": "minor",
|
||||
"file": "openspec/config.yaml:130",
|
||||
"problem": "Сохранена документационная неточность: design требует upload 201 вместо нормативного 202 ЛР5; конфиг вне scope validation."
|
||||
},
|
||||
{
|
||||
"severity": "minor",
|
||||
"file": "src/messenger/attachments/entrypoints/schemas.py:67",
|
||||
"problem": "Независимое review M: attempt=\"1\", pipeline_version=true, числовой created_at и traceparent=null принимаются вне jobs.schema.json с bus/ack вместо reject. Штатный relay формирует корректные сообщения; критичного последствия не установлено. Источник: evidence/report-memory-audit-2026-11-07.md; повторные пробы в validation не выполнялись."
|
||||
}
|
||||
]
|
||||
@@ -1,58 +0,0 @@
|
||||
import hashlib
|
||||
import json
|
||||
import resource
|
||||
import signal
|
||||
import sys
|
||||
import time
|
||||
from io import BytesIO
|
||||
from pathlib import Path
|
||||
|
||||
import messenger.worker
|
||||
from PIL import Image
|
||||
from messenger.attachments.infrastructure.images import RenderLimits, render_variants
|
||||
|
||||
resource.setrlimit(resource.RLIMIT_AS, (448 << 20, 448 << 20))
|
||||
data = Path(sys.argv[1]).read_bytes()
|
||||
transparent = sys.argv[3] == "true"
|
||||
limits = RenderLimits(10485760, 40000000)
|
||||
versions = []
|
||||
for version in (1, 2):
|
||||
signal.alarm(30)
|
||||
began = time.monotonic()
|
||||
variants = render_variants(data, limits, version)
|
||||
ended = time.monotonic()
|
||||
signal.alarm(0)
|
||||
assert [(v.name, v.width, v.height) for v in variants] == [
|
||||
("thumbnail", 256, 160),
|
||||
("crop", 128, 128),
|
||||
("optimized", 1280, 800),
|
||||
]
|
||||
for variant in variants:
|
||||
with Image.open(BytesIO(variant.data)) as image:
|
||||
assert (image.getpixel((5, image.height // 2)) == (255, 255, 255)) == transparent
|
||||
assert image.getpixel((image.width - 6, image.height // 2)) != (255, 255, 255)
|
||||
versions.append(
|
||||
{
|
||||
"version": version,
|
||||
"started_monotonic": began,
|
||||
"finished_monotonic": ended,
|
||||
"render_seconds": ended - began,
|
||||
"variants": {v.name: hashlib.sha256(v.data).hexdigest() for v in variants},
|
||||
}
|
||||
)
|
||||
signal.alarm(30)
|
||||
assert len(render_variants(Path(sys.argv[2]).read_bytes(), limits)) == 3
|
||||
signal.alarm(0)
|
||||
print(
|
||||
json.dumps(
|
||||
{
|
||||
"file": Path(sys.argv[1]).name,
|
||||
"input_sha256": hashlib.sha256(data).hexdigest(),
|
||||
"versions": versions,
|
||||
"ordinary_after": True,
|
||||
"max_rss_kib": resource.getrusage(resource.RUSAGE_SELF).ru_maxrss,
|
||||
"result": "PASS",
|
||||
}
|
||||
),
|
||||
flush=True,
|
||||
)
|
||||
@@ -1,89 +0,0 @@
|
||||
import base64
|
||||
import hashlib
|
||||
import json
|
||||
import subprocess
|
||||
from pathlib import Path
|
||||
|
||||
folder = Path(__file__).parent
|
||||
fixtures = {
|
||||
p.name: p.read_bytes()
|
||||
for p in Path("evidence/final-validation-2026-11-07/fixtures").glob("*.png")
|
||||
}
|
||||
data = fixtures["gray16-40mp.png"]
|
||||
result, offset = data[:8], 8
|
||||
while offset < len(data):
|
||||
size = int.from_bytes(data[offset : offset + 4], "big") + 12
|
||||
if data[offset + 4 : offset + 8] != b"tRNS":
|
||||
result += data[offset : offset + size]
|
||||
offset += size
|
||||
fixtures["gray16-opaque-40mp.png"] = result
|
||||
fixtures["sample.png"] = Path("tests/fixtures/sample.png").read_bytes()
|
||||
bootstrap = """
|
||||
import base64,json,sys,subprocess,time
|
||||
from pathlib import Path
|
||||
p=json.load(sys.stdin)
|
||||
d=Path('/tmp/png-memory-validation')
|
||||
d.mkdir(exist_ok=True)
|
||||
for name,data in p['fixtures'].items():
|
||||
(d/name).write_bytes(base64.b64decode(data))
|
||||
def command(name):
|
||||
return [sys.executable,'-c',p['code'],str(d/name),str(d/'sample.png'),'false' if 'opaque' in name else 'true']
|
||||
results=[]
|
||||
for name in sorted(p['fixtures']):
|
||||
if name=='sample.png':
|
||||
continue
|
||||
output=subprocess.check_output(command(name),text=True,timeout=65)
|
||||
row=json.loads(output)
|
||||
results.append(row)
|
||||
print(json.dumps({'case':row}),flush=True)
|
||||
children=[subprocess.Popen(command('rgb16-40mp.png'),stdout=subprocess.PIPE,stderr=subprocess.PIPE,text=True) for _ in range(2)]
|
||||
parallel=[]
|
||||
try:
|
||||
for child in children:
|
||||
out,err=child.communicate(timeout=65)
|
||||
assert child.returncode==0,(child.returncode,err)
|
||||
parallel.append(json.loads(out))
|
||||
finally:
|
||||
for child in children:
|
||||
if child.poll() is None:
|
||||
child.kill()
|
||||
child.wait()
|
||||
overlap=any(max(a['started_monotonic'],b['started_monotonic'])<min(a['finished_monotonic'],b['finished_monotonic']) for a in parallel[0]['versions'] for b in parallel[1]['versions'])
|
||||
assert overlap
|
||||
peak=int(Path('/sys/fs/cgroup/memory.peak').read_text())
|
||||
limit=int(Path('/sys/fs/cgroup/memory.max').read_text())
|
||||
assert peak<limit
|
||||
print(json.dumps({'result':'PASS','cases':results,'concurrent':parallel,'render_overlap':overlap,'cgroup_peak':peak,'cgroup_limit':limit,'memory_events':Path('/sys/fs/cgroup/memory.events').read_text()}),flush=True)
|
||||
"""
|
||||
payload = {
|
||||
"code": (folder / "linux-child.py").read_text(),
|
||||
"fixtures": {name: base64.b64encode(data).decode() for name, data in fixtures.items()},
|
||||
}
|
||||
output = folder / "linux.json"
|
||||
if output.exists():
|
||||
raise SystemExit("Result exists; do not repeat completed evidence")
|
||||
process = subprocess.Popen(
|
||||
["docker", "compose", "exec", "-T", "worker", "python", "-c", bootstrap],
|
||||
stdin=subprocess.PIPE,
|
||||
stdout=subprocess.PIPE,
|
||||
stderr=subprocess.STDOUT,
|
||||
text=True,
|
||||
)
|
||||
process.stdin.write(json.dumps(payload))
|
||||
process.stdin.close()
|
||||
lines = []
|
||||
for line in process.stdout:
|
||||
print(line, end="", flush=True)
|
||||
lines.append(line)
|
||||
code = process.wait()
|
||||
report = {
|
||||
"source_sha": subprocess.check_output(["git", "rev-parse", "HEAD"], text=True).strip(),
|
||||
"exit_code": code,
|
||||
"input_sha256": {name: hashlib.sha256(data).hexdigest() for name, data in fixtures.items()},
|
||||
}
|
||||
if code == 0:
|
||||
report.update(json.loads(lines[-1]))
|
||||
else:
|
||||
report["result"] = "FAIL"
|
||||
output.write_text(json.dumps(report, indent=2) + "\n")
|
||||
raise SystemExit(code)
|
||||
@@ -1,238 +0,0 @@
|
||||
{
|
||||
"source_sha": "74c33160ac01618f70e9e1c6a121a5e45c3c7155",
|
||||
"exit_code": 0,
|
||||
"input_sha256": {
|
||||
"rgb16-40mp.png": "3c4418a6f6a7676298b30b70ebbde9d12929f1345152f4fae979caf5ba1cb3f7",
|
||||
"gray4-40mp.png": "64e665928c08ac3721324af4f8e2e9d2e98230dc1be389dde7bbf365650b08cd",
|
||||
"gray2-40mp.png": "e1238de6a5be9dbce36abee904f7233f8ff7be59e405b528671940630cce11f6",
|
||||
"gray16-40mp.png": "b59784ae916d50b41b15afa4bdd474a8699f099da55efd53580d3f97180f3800",
|
||||
"gray16-opaque-40mp.png": "e3f239d818da5f02cd7b5d1cc4a2c542ed4fc4a7fbc604598500e7810e246e2f",
|
||||
"sample.png": "99ea7533c441f79cd630d15ce4d58d1ec4e06f6f0efb3b77a5c088305cd1bd75"
|
||||
},
|
||||
"result": "PASS",
|
||||
"cases": [
|
||||
{
|
||||
"file": "gray16-40mp.png",
|
||||
"input_sha256": "b59784ae916d50b41b15afa4bdd474a8699f099da55efd53580d3f97180f3800",
|
||||
"versions": [
|
||||
{
|
||||
"version": 1,
|
||||
"started_monotonic": 192.032995711,
|
||||
"finished_monotonic": 193.256173795,
|
||||
"render_seconds": 1.2231780839999828,
|
||||
"variants": {
|
||||
"thumbnail": "99b591aa444566a5c425692f989a8cee8621615ec6aa7911e273e2c47f07d027",
|
||||
"crop": "8ea8ec6f95dc1d1697327cd4640e59c2adce777564d349703df9f581dde2f450",
|
||||
"optimized": "7667253d3e6bb37c83e75c2955705e4d5b97a7ee515df4aac5099c9ab3f97335"
|
||||
}
|
||||
},
|
||||
{
|
||||
"version": 2,
|
||||
"started_monotonic": 193.258607545,
|
||||
"finished_monotonic": 194.489094088,
|
||||
"render_seconds": 1.230486543000012,
|
||||
"variants": {
|
||||
"thumbnail": "a17f036f331d17eb03302ddf06741e2f22a8da3394e85e122194fe45282de352",
|
||||
"crop": "9de07bd2f684859366c50919650f159adc93f9027150de2f51cafac502794daf",
|
||||
"optimized": "e9d888a5186c3f4824ef866fe97606e2d0a486a312551bfd571e02d2f509a4b7"
|
||||
}
|
||||
}
|
||||
],
|
||||
"ordinary_after": true,
|
||||
"max_rss_kib": 365508,
|
||||
"result": "PASS"
|
||||
},
|
||||
{
|
||||
"file": "gray16-opaque-40mp.png",
|
||||
"input_sha256": "e3f239d818da5f02cd7b5d1cc4a2c542ed4fc4a7fbc604598500e7810e246e2f",
|
||||
"versions": [
|
||||
{
|
||||
"version": 1,
|
||||
"started_monotonic": 195.17374863,
|
||||
"finished_monotonic": 195.46179888,
|
||||
"render_seconds": 0.28805024999999773,
|
||||
"variants": {
|
||||
"thumbnail": "59472ec8f914eb4502ffd2591a59ac68b05cccefeedc678f5ad2919cd2c6a3a2",
|
||||
"crop": "91eed7d7e1f422bfc3827903cc6801a37387d642a1b4fcc08e23b2de4840a3d7",
|
||||
"optimized": "c5216644c9e66c732de7523bef11b7024bf0417adb1d134d8f2ce259fd8b6ed1"
|
||||
}
|
||||
},
|
||||
{
|
||||
"version": 2,
|
||||
"started_monotonic": 195.464219338,
|
||||
"finished_monotonic": 195.744785005,
|
||||
"render_seconds": 0.28056566700001895,
|
||||
"variants": {
|
||||
"thumbnail": "13ea6ae5bd526b8b0ad4e88ff72498ff48c6d50f8d12e81ad6773a1eaa9fc177",
|
||||
"crop": "2d5dbe60802e4aa1c3ff20c112df454c70a12e2c9fccc99137802a5556e270bf",
|
||||
"optimized": "38fc10be1e1f56da14304d26c52c11032900002c70de502ea1b7c1639535633e"
|
||||
}
|
||||
}
|
||||
],
|
||||
"ordinary_after": true,
|
||||
"max_rss_kib": 365492,
|
||||
"result": "PASS"
|
||||
},
|
||||
{
|
||||
"file": "gray2-40mp.png",
|
||||
"input_sha256": "e1238de6a5be9dbce36abee904f7233f8ff7be59e405b528671940630cce11f6",
|
||||
"versions": [
|
||||
{
|
||||
"version": 1,
|
||||
"started_monotonic": 196.461284589,
|
||||
"finished_monotonic": 196.747503755,
|
||||
"render_seconds": 0.2862191659999951,
|
||||
"variants": {
|
||||
"thumbnail": "ce63aabedb566aea34ad71f5a146f8dc8f0fd27c1f28f5ad1a28ffdf4630b053",
|
||||
"crop": "43956a7b626be7786964c28ae7bf0cb96b2b914335a1b8129772c7bd88ee95ed",
|
||||
"optimized": "059fb496f80d0ad3c73ea4d257f754b726f5d8dacfefd42ea7cedd6ff3368b24"
|
||||
}
|
||||
},
|
||||
{
|
||||
"version": 2,
|
||||
"started_monotonic": 196.750391839,
|
||||
"finished_monotonic": 197.01864788,
|
||||
"render_seconds": 0.2682560410000008,
|
||||
"variants": {
|
||||
"thumbnail": "efb7970658ce2e7ed86bf5f3d5d695b81cd396e717d699fd9e69ffb294d5d870",
|
||||
"crop": "cb1ce90bf86c1178ac5f0830e3d34ed54296a0e81231b422ba9f622dd22c7daa",
|
||||
"optimized": "38dc2af32b8bbc1f15fbff2fcfeb5fa0d5ac6ed75225afc575e80254d2a54d0c"
|
||||
}
|
||||
}
|
||||
],
|
||||
"ordinary_after": true,
|
||||
"max_rss_kib": 343076,
|
||||
"result": "PASS"
|
||||
},
|
||||
{
|
||||
"file": "gray4-40mp.png",
|
||||
"input_sha256": "64e665928c08ac3721324af4f8e2e9d2e98230dc1be389dde7bbf365650b08cd",
|
||||
"versions": [
|
||||
{
|
||||
"version": 1,
|
||||
"started_monotonic": 197.695555797,
|
||||
"finished_monotonic": 197.978069006,
|
||||
"render_seconds": 0.2825132090000011,
|
||||
"variants": {
|
||||
"thumbnail": "9130484055a59c8c813ea7e48b32e27a3c424b4107ca4f872c8711ad34234610",
|
||||
"crop": "c3bbbc98cc4a63ea0aab370b4e81bdc66a353a8ca7beb9c83a2c28af9f44b641",
|
||||
"optimized": "e23b8d975b6973b848ba57cb68925d6f88156f44d9dcbe52d194e006e49dcefa"
|
||||
}
|
||||
},
|
||||
{
|
||||
"version": 2,
|
||||
"started_monotonic": 197.980502798,
|
||||
"finished_monotonic": 198.257521881,
|
||||
"render_seconds": 0.277019082999999,
|
||||
"variants": {
|
||||
"thumbnail": "814c3cc7149871ae2614c4e71f9ffd35e86063bad1c8f94c2aeb5c0dacd516c3",
|
||||
"crop": "beb44557013393b7c1a85b1df2fd74ffaf8bd32606092bad48c300b7d7a676fb",
|
||||
"optimized": "b7a3cf6655e630458fb5341d7a79e742dafcf26590724a0440e3dfe82e4986f7"
|
||||
}
|
||||
}
|
||||
],
|
||||
"ordinary_after": true,
|
||||
"max_rss_kib": 342956,
|
||||
"result": "PASS"
|
||||
},
|
||||
{
|
||||
"file": "rgb16-40mp.png",
|
||||
"input_sha256": "3c4418a6f6a7676298b30b70ebbde9d12929f1345152f4fae979caf5ba1cb3f7",
|
||||
"versions": [
|
||||
{
|
||||
"version": 1,
|
||||
"started_monotonic": 198.959187048,
|
||||
"finished_monotonic": 199.736227465,
|
||||
"render_seconds": 0.7770404170000234,
|
||||
"variants": {
|
||||
"thumbnail": "be34d8832da928389bfebfc6c1f16a5f871bca150c4cfcb6480c28b9734038ec",
|
||||
"crop": "8d4a59604fea3ea6ad475b5bb12c0c9fd30a48297bd1b7bd41ac1ee82105df96",
|
||||
"optimized": "30e30ca074118f4fd00c1670bdfe93a03b083da861af109fe863f6baab4549af"
|
||||
}
|
||||
},
|
||||
{
|
||||
"version": 2,
|
||||
"started_monotonic": 199.738488423,
|
||||
"finished_monotonic": 200.507796924,
|
||||
"render_seconds": 0.7693085009999834,
|
||||
"variants": {
|
||||
"thumbnail": "ec9b5fc973ee1c36c8bbb4f11fcc376a255a8a2b52067d958b57aeb272eb7f3d",
|
||||
"crop": "6d73d731eff497a00f8535f705e4a2e79a376d08d559d9afeb8b815aa56a3bb2",
|
||||
"optimized": "a1de31c50abed6c9309af3cd7bc4fcabdfefe8d38d2b6eb946f91e52cb69e687"
|
||||
}
|
||||
}
|
||||
],
|
||||
"ordinary_after": true,
|
||||
"max_rss_kib": 406312,
|
||||
"result": "PASS"
|
||||
}
|
||||
],
|
||||
"concurrent": [
|
||||
{
|
||||
"file": "rgb16-40mp.png",
|
||||
"input_sha256": "3c4418a6f6a7676298b30b70ebbde9d12929f1345152f4fae979caf5ba1cb3f7",
|
||||
"versions": [
|
||||
{
|
||||
"version": 1,
|
||||
"started_monotonic": 201.216312716,
|
||||
"finished_monotonic": 202.037238716,
|
||||
"render_seconds": 0.8209259999999858,
|
||||
"variants": {
|
||||
"thumbnail": "be34d8832da928389bfebfc6c1f16a5f871bca150c4cfcb6480c28b9734038ec",
|
||||
"crop": "8d4a59604fea3ea6ad475b5bb12c0c9fd30a48297bd1b7bd41ac1ee82105df96",
|
||||
"optimized": "30e30ca074118f4fd00c1670bdfe93a03b083da861af109fe863f6baab4549af"
|
||||
}
|
||||
},
|
||||
{
|
||||
"version": 2,
|
||||
"started_monotonic": 202.0398138,
|
||||
"finished_monotonic": 202.834078508,
|
||||
"render_seconds": 0.7942647080000143,
|
||||
"variants": {
|
||||
"thumbnail": "ec9b5fc973ee1c36c8bbb4f11fcc376a255a8a2b52067d958b57aeb272eb7f3d",
|
||||
"crop": "6d73d731eff497a00f8535f705e4a2e79a376d08d559d9afeb8b815aa56a3bb2",
|
||||
"optimized": "a1de31c50abed6c9309af3cd7bc4fcabdfefe8d38d2b6eb946f91e52cb69e687"
|
||||
}
|
||||
}
|
||||
],
|
||||
"ordinary_after": true,
|
||||
"max_rss_kib": 404584,
|
||||
"result": "PASS"
|
||||
},
|
||||
{
|
||||
"file": "rgb16-40mp.png",
|
||||
"input_sha256": "3c4418a6f6a7676298b30b70ebbde9d12929f1345152f4fae979caf5ba1cb3f7",
|
||||
"versions": [
|
||||
{
|
||||
"version": 1,
|
||||
"started_monotonic": 201.216906382,
|
||||
"finished_monotonic": 202.031220341,
|
||||
"render_seconds": 0.8143139590000033,
|
||||
"variants": {
|
||||
"thumbnail": "be34d8832da928389bfebfc6c1f16a5f871bca150c4cfcb6480c28b9734038ec",
|
||||
"crop": "8d4a59604fea3ea6ad475b5bb12c0c9fd30a48297bd1b7bd41ac1ee82105df96",
|
||||
"optimized": "30e30ca074118f4fd00c1670bdfe93a03b083da861af109fe863f6baab4549af"
|
||||
}
|
||||
},
|
||||
{
|
||||
"version": 2,
|
||||
"started_monotonic": 202.033759216,
|
||||
"finished_monotonic": 202.824064842,
|
||||
"render_seconds": 0.7903056260000199,
|
||||
"variants": {
|
||||
"thumbnail": "ec9b5fc973ee1c36c8bbb4f11fcc376a255a8a2b52067d958b57aeb272eb7f3d",
|
||||
"crop": "6d73d731eff497a00f8535f705e4a2e79a376d08d559d9afeb8b815aa56a3bb2",
|
||||
"optimized": "a1de31c50abed6c9309af3cd7bc4fcabdfefe8d38d2b6eb946f91e52cb69e687"
|
||||
}
|
||||
}
|
||||
],
|
||||
"ordinary_after": true,
|
||||
"max_rss_kib": 404776,
|
||||
"result": "PASS"
|
||||
}
|
||||
],
|
||||
"render_overlap": true,
|
||||
"cgroup_peak": 1026285568,
|
||||
"cgroup_limit": 1073741824,
|
||||
"memory_events": "low 0\nhigh 0\nmax 0\noom 0\noom_kill 0\noom_group_kill 0\n"
|
||||
}
|
||||
File diff suppressed because one or more lines are too long
@@ -1,28 +0,0 @@
|
||||
date: 2026-11-06T22:54:43Z commit: 74c33160ac01618f70e9e1c6a121a5e45c3c7155
|
||||
environment: {}
|
||||
$ openspec validate --all --strict
|
||||
- Validating...
|
||||
✓ spec/lab1-event-publication
|
||||
✓ spec/lab1-messenger-chats
|
||||
✓ spec/lab1-messenger-history
|
||||
✓ spec/lab1-messenger-identity
|
||||
✓ spec/lab1-service-operability
|
||||
✓ spec/lab2-auth-sessions
|
||||
✓ spec/lab2-dependency-failures
|
||||
✓ spec/lab2-history-index
|
||||
✓ spec/lab2-persistent-storage
|
||||
✓ spec/lab2-session-cache
|
||||
✓ spec/lab3-failover-operations
|
||||
✓ spec/lab3-idempotent-messages
|
||||
✓ spec/lab3-load-balancing
|
||||
✓ spec/lab4-attachments
|
||||
✓ spec/lab4-object-storage
|
||||
✓ spec/lab4-storage-reconciler
|
||||
✓ spec/lab4-upload-resilience
|
||||
✓ spec/lab5-attachment-pipeline
|
||||
✓ spec/lab5-image-variants
|
||||
✓ spec/lab5-job-delivery
|
||||
✓ spec/lab5-job-recovery
|
||||
✓ spec/lab5-versioned-pipeline
|
||||
Totals: 22 passed, 0 failed (22 items)
|
||||
exit_code: 0 elapsed_seconds: 0.921
|
||||
File diff suppressed because it is too large
Load Diff
@@ -1,12 +0,0 @@
|
||||
date: 2026-11-06T23:15:49Z commit: 74c33160ac01618f70e9e1c6a121a5e45c3c7155
|
||||
environment: {"COMPOSE_PROJECT_NAME": "mtusi2026lab5", "COMPOSE_FILE": "compose.yaml", "LB_HTTP_PORT": "18085", "LB_STATS_PORT": "25085", "BASE_URL": "http://127.0.0.1:18085", "NO_PROXY": "localhost,127.0.0.1,::1", "API_IMAGE": "mtusi-messenger:lab5-memory-validation"}
|
||||
$ .venv/bin/python evidence/final-memory-validation-2026-11-07/targeted.py png-boundary
|
||||
gray2 PASS
|
||||
gray4 PASS
|
||||
gray16 PASS
|
||||
rgb16 PASS
|
||||
gray16-without-trns PASS
|
||||
concurrent-rgb16 PASS
|
||||
forced-timeout PASS
|
||||
forced-memory PASS
|
||||
exit_code: 0 elapsed_seconds: 95.742
|
||||
@@ -1,742 +0,0 @@
|
||||
{
|
||||
"mode": "png-http",
|
||||
"source_sha": "74c33160ac01618f70e9e1c6a121a5e45c3c7155",
|
||||
"started_at": "2026-11-06T23:17:43.287659Z",
|
||||
"cases": [
|
||||
{
|
||||
"name": "gray2",
|
||||
"started_at": "2026-11-06T23:17:44.380294Z",
|
||||
"observed": {
|
||||
"attachment_id": "01a1b327-5f46-7727-8fb2-3d557bcfe643",
|
||||
"input_sha256": "80754a3aa0c8a6014dc7a282b2009d49d064a5c02ed48e634d05d01c0aa3df6b",
|
||||
"input_bytes": 189,
|
||||
"versions": [
|
||||
{
|
||||
"version": 1,
|
||||
"variants": [
|
||||
{
|
||||
"name": "crop",
|
||||
"sha256": "def030bc04042aa23362c895a36b18d1d9748360df045decaf68eaeb0aa68deb",
|
||||
"bytes": 1324,
|
||||
"dimensions": [
|
||||
128,
|
||||
128
|
||||
]
|
||||
},
|
||||
{
|
||||
"name": "optimized",
|
||||
"sha256": "fd49dc2d33e7b7963cd8f8f6ef0f0b80117e2c4a7dfb4fd2ee79285e47ff789a",
|
||||
"bytes": 98,
|
||||
"dimensions": [
|
||||
64,
|
||||
64
|
||||
]
|
||||
},
|
||||
{
|
||||
"name": "thumbnail",
|
||||
"sha256": "1b6f714677aa69673da7ed9eefba73376b8df42eae70a3d91002d2aab7272d9e",
|
||||
"bytes": 332,
|
||||
"dimensions": [
|
||||
64,
|
||||
64
|
||||
]
|
||||
}
|
||||
]
|
||||
},
|
||||
{
|
||||
"version": 2,
|
||||
"variants": [
|
||||
{
|
||||
"name": "crop",
|
||||
"sha256": "d14b6cc6fe415bd8c4fef55402a4fb196bc4f39d493ee505d536594b28841697",
|
||||
"bytes": 1489,
|
||||
"dimensions": [
|
||||
128,
|
||||
128
|
||||
]
|
||||
},
|
||||
{
|
||||
"name": "optimized",
|
||||
"sha256": "c8f23e1adbf1add646f23531e270dc25d5108453d50947dec3e73700b0d6741f",
|
||||
"bytes": 96,
|
||||
"dimensions": [
|
||||
64,
|
||||
64
|
||||
]
|
||||
},
|
||||
{
|
||||
"name": "thumbnail",
|
||||
"sha256": "93107a3ba1a8aba475f8993dfb0d03658cef12a416c08a230653370921dcc00b",
|
||||
"bytes": 335,
|
||||
"dimensions": [
|
||||
64,
|
||||
64
|
||||
]
|
||||
}
|
||||
]
|
||||
}
|
||||
],
|
||||
"stale_and_duplicate_noop": true
|
||||
},
|
||||
"result": "PASS",
|
||||
"elapsed_seconds": 4.395
|
||||
},
|
||||
{
|
||||
"name": "gray4",
|
||||
"started_at": "2026-11-06T23:17:48.776246Z",
|
||||
"observed": {
|
||||
"attachment_id": "01a1b327-706a-74da-b85b-267a032e36ab",
|
||||
"input_sha256": "d0ed5b64b3b875be881dd286bedb7948fd06570f9ef1d2cfe41b665a838e426b",
|
||||
"input_bytes": 263,
|
||||
"versions": [
|
||||
{
|
||||
"version": 1,
|
||||
"variants": [
|
||||
{
|
||||
"name": "crop",
|
||||
"sha256": "43323e552e3c79e1a1688478d72c2ce370c21e55f1560958f9f6a225bc32f909",
|
||||
"bytes": 1034,
|
||||
"dimensions": [
|
||||
128,
|
||||
128
|
||||
]
|
||||
},
|
||||
{
|
||||
"name": "optimized",
|
||||
"sha256": "dbc0ec3736c18df42f26b8f396b2eb243a18c6a0f5b6bbef8bf4ff7e563032c3",
|
||||
"bytes": 90,
|
||||
"dimensions": [
|
||||
64,
|
||||
64
|
||||
]
|
||||
},
|
||||
{
|
||||
"name": "thumbnail",
|
||||
"sha256": "d594ebb80ca7939643379ba54392070444eb900ca40bec9c6beee75175fd81ab",
|
||||
"bytes": 330,
|
||||
"dimensions": [
|
||||
64,
|
||||
64
|
||||
]
|
||||
}
|
||||
]
|
||||
},
|
||||
{
|
||||
"version": 2,
|
||||
"variants": [
|
||||
{
|
||||
"name": "crop",
|
||||
"sha256": "16e27d4c1df7aac7185381a1f4c8c9cceb05647e98f941c41e38f4dfe4c5ec75",
|
||||
"bytes": 1197,
|
||||
"dimensions": [
|
||||
128,
|
||||
128
|
||||
]
|
||||
},
|
||||
{
|
||||
"name": "optimized",
|
||||
"sha256": "cd31de25056767d9050108c4475d4b72ccd1ab3c36c1c96159b104019e4e3493",
|
||||
"bytes": 92,
|
||||
"dimensions": [
|
||||
64,
|
||||
64
|
||||
]
|
||||
},
|
||||
{
|
||||
"name": "thumbnail",
|
||||
"sha256": "86afdaf8b40f77c2426ebf10c8d603535d75caa4fc720462be9acc43e39d4fbd",
|
||||
"bytes": 330,
|
||||
"dimensions": [
|
||||
64,
|
||||
64
|
||||
]
|
||||
}
|
||||
]
|
||||
}
|
||||
],
|
||||
"stale_and_duplicate_noop": true
|
||||
},
|
||||
"result": "PASS",
|
||||
"elapsed_seconds": 4.114
|
||||
},
|
||||
{
|
||||
"name": "rgb16",
|
||||
"started_at": "2026-11-06T23:17:52.890838Z",
|
||||
"observed": {
|
||||
"attachment_id": "01a1b327-807d-7398-8d62-e5d3486f1e9c",
|
||||
"input_sha256": "e8e5f64cf3a0312b17549aed29f062e3cb03d0c1bf327396c6a25c4b88dec89f",
|
||||
"input_bytes": 724,
|
||||
"versions": [
|
||||
{
|
||||
"version": 1,
|
||||
"variants": [
|
||||
{
|
||||
"name": "crop",
|
||||
"sha256": "6386114c3d0b89c4df88745eec318b5db1a779d488e1b08f34ac34138c7feb99",
|
||||
"bytes": 671,
|
||||
"dimensions": [
|
||||
128,
|
||||
128
|
||||
]
|
||||
},
|
||||
{
|
||||
"name": "optimized",
|
||||
"sha256": "fed7e1bf230e91296a5ea9a85b51d190152639bb2963b661f872029d852cc4ad",
|
||||
"bytes": 94,
|
||||
"dimensions": [
|
||||
64,
|
||||
64
|
||||
]
|
||||
},
|
||||
{
|
||||
"name": "thumbnail",
|
||||
"sha256": "af0a65a6596a0905a79403a9a6ef32a1301671a98ae3c8b5c3d6ced2d20a1009",
|
||||
"bytes": 332,
|
||||
"dimensions": [
|
||||
64,
|
||||
64
|
||||
]
|
||||
}
|
||||
]
|
||||
},
|
||||
{
|
||||
"version": 2,
|
||||
"variants": [
|
||||
{
|
||||
"name": "crop",
|
||||
"sha256": "dedcbac123226e3012a4dbd178b7aae7a7aba4f2c44c91be274c86804238b208",
|
||||
"bytes": 696,
|
||||
"dimensions": [
|
||||
128,
|
||||
128
|
||||
]
|
||||
},
|
||||
{
|
||||
"name": "optimized",
|
||||
"sha256": "bc09a1696563daae4385190d2c52afac8230e18fff4b5eba701a42f0facde043",
|
||||
"bytes": 94,
|
||||
"dimensions": [
|
||||
64,
|
||||
64
|
||||
]
|
||||
},
|
||||
{
|
||||
"name": "thumbnail",
|
||||
"sha256": "218bc7fd6fa995a3c4cf725016714408073699d13f39d0d364ffe3595856d272",
|
||||
"bytes": 333,
|
||||
"dimensions": [
|
||||
64,
|
||||
64
|
||||
]
|
||||
}
|
||||
]
|
||||
}
|
||||
],
|
||||
"stale_and_duplicate_noop": true
|
||||
},
|
||||
"result": "PASS",
|
||||
"elapsed_seconds": 4.989
|
||||
},
|
||||
{
|
||||
"name": "gray1",
|
||||
"started_at": "2026-11-06T23:17:57.880356Z",
|
||||
"observed": {
|
||||
"attachment_id": "01a1b327-93fd-7099-8ab3-600c201aa01d",
|
||||
"input_sha256": "1bf59ee41fbd12bf572ac294e0505cc00b904363dd479d643b43062199dd67e3",
|
||||
"input_bytes": 154,
|
||||
"versions": [
|
||||
{
|
||||
"version": 1,
|
||||
"variants": [
|
||||
{
|
||||
"name": "crop",
|
||||
"sha256": "1b88218fd7e3ff00d6fa3e4bb732411617126591b2b6837aecdcaef426327eda",
|
||||
"bytes": 380,
|
||||
"dimensions": [
|
||||
128,
|
||||
128
|
||||
]
|
||||
},
|
||||
{
|
||||
"name": "optimized",
|
||||
"sha256": "315ce3f53ac2012226bbeb906c7d37997a7f6fabb3d0ede23a797e66fe4b51ee",
|
||||
"bytes": 66,
|
||||
"dimensions": [
|
||||
64,
|
||||
64
|
||||
]
|
||||
},
|
||||
{
|
||||
"name": "thumbnail",
|
||||
"sha256": "c5745603d7848377a38bb5228f7817f5d4d4f5af26dadd7d3b2fb97b6a598a8e",
|
||||
"bytes": 308,
|
||||
"dimensions": [
|
||||
64,
|
||||
64
|
||||
]
|
||||
}
|
||||
]
|
||||
},
|
||||
{
|
||||
"version": 2,
|
||||
"variants": [
|
||||
{
|
||||
"name": "crop",
|
||||
"sha256": "45eac1bd54dba273142a01a3f01a1530787db5a9fe04aa2483862256dbf16132",
|
||||
"bytes": 380,
|
||||
"dimensions": [
|
||||
128,
|
||||
128
|
||||
]
|
||||
},
|
||||
{
|
||||
"name": "optimized",
|
||||
"sha256": "8c5e7cc56874d00f7d5731a6a89461b264ef4e3b450899b63f4608231180b5aa",
|
||||
"bytes": 66,
|
||||
"dimensions": [
|
||||
64,
|
||||
64
|
||||
]
|
||||
},
|
||||
{
|
||||
"name": "thumbnail",
|
||||
"sha256": "19305cfd18dc8f3e504d6ef5667ddd7be788836e16317dba5b2c6f590b6a2667",
|
||||
"bytes": 308,
|
||||
"dimensions": [
|
||||
64,
|
||||
64
|
||||
]
|
||||
}
|
||||
]
|
||||
}
|
||||
],
|
||||
"stale_and_duplicate_noop": true
|
||||
},
|
||||
"result": "PASS",
|
||||
"elapsed_seconds": 3.969
|
||||
},
|
||||
{
|
||||
"name": "gray8",
|
||||
"started_at": "2026-11-06T23:18:01.850592Z",
|
||||
"observed": {
|
||||
"attachment_id": "01a1b327-a380-7186-b76d-46a83b6ad53f",
|
||||
"input_sha256": "31cb54aacd9e1c324b14e38377f83a21d4084dc134aa3d3e1e5c40e3d9c5dd2f",
|
||||
"input_bytes": 286,
|
||||
"versions": [
|
||||
{
|
||||
"version": 1,
|
||||
"variants": [
|
||||
{
|
||||
"name": "crop",
|
||||
"sha256": "14a6e4afbe7e4cf766330007adda1c14168f16957f9409f402a8699a0e5de62f",
|
||||
"bytes": 621,
|
||||
"dimensions": [
|
||||
128,
|
||||
128
|
||||
]
|
||||
},
|
||||
{
|
||||
"name": "optimized",
|
||||
"sha256": "d35d7d59302099ea5fea9e91a405f4ebf8823aae1f53a59f88a09015619136fa",
|
||||
"bytes": 74,
|
||||
"dimensions": [
|
||||
64,
|
||||
64
|
||||
]
|
||||
},
|
||||
{
|
||||
"name": "thumbnail",
|
||||
"sha256": "d8fac3c82defab08dbb276681b1a7fb2545d883830dae5f965349474897373c7",
|
||||
"bytes": 324,
|
||||
"dimensions": [
|
||||
64,
|
||||
64
|
||||
]
|
||||
}
|
||||
]
|
||||
},
|
||||
{
|
||||
"version": 2,
|
||||
"variants": [
|
||||
{
|
||||
"name": "crop",
|
||||
"sha256": "dba34622f93edcd2d3449e217eb9605b1fac739c7c873a875af5d88d8e76bf2e",
|
||||
"bytes": 637,
|
||||
"dimensions": [
|
||||
128,
|
||||
128
|
||||
]
|
||||
},
|
||||
{
|
||||
"name": "optimized",
|
||||
"sha256": "3d4823a2da9971a444b16cf060be5f0b2b7a16bf50a26e7343283d48b562d105",
|
||||
"bytes": 76,
|
||||
"dimensions": [
|
||||
64,
|
||||
64
|
||||
]
|
||||
},
|
||||
{
|
||||
"name": "thumbnail",
|
||||
"sha256": "d9d4ed6ef383acdf227745e511acaffddf6e90c4f100d0f6ea117f5783581d29",
|
||||
"bytes": 324,
|
||||
"dimensions": [
|
||||
64,
|
||||
64
|
||||
]
|
||||
}
|
||||
]
|
||||
}
|
||||
],
|
||||
"stale_and_duplicate_noop": true
|
||||
},
|
||||
"result": "PASS",
|
||||
"elapsed_seconds": 4.033
|
||||
},
|
||||
{
|
||||
"name": "gray16",
|
||||
"started_at": "2026-11-06T23:18:05.884188Z",
|
||||
"observed": {
|
||||
"attachment_id": "01a1b327-b349-7332-b73c-db1221023da8",
|
||||
"input_sha256": "f7fbc2506997045f18891037f3cde42cf1e3b55461948f790779817317574f77",
|
||||
"input_bytes": 344,
|
||||
"versions": [
|
||||
{
|
||||
"version": 1,
|
||||
"variants": [
|
||||
{
|
||||
"name": "crop",
|
||||
"sha256": "e49a69181bafd0ebb4348db7030ad2cbf632b296a65f0ba05fe984b3d2b1ccdc",
|
||||
"bytes": 632,
|
||||
"dimensions": [
|
||||
128,
|
||||
128
|
||||
]
|
||||
},
|
||||
{
|
||||
"name": "optimized",
|
||||
"sha256": "751dc647784804af94b6cda23248840f73cab0cfe03227c4568b75195c00603a",
|
||||
"bytes": 80,
|
||||
"dimensions": [
|
||||
64,
|
||||
64
|
||||
]
|
||||
},
|
||||
{
|
||||
"name": "thumbnail",
|
||||
"sha256": "1bc87b25d02a179dc0cf5a883fb624fda094ba042ed9476c883ae1c12da6f1b6",
|
||||
"bytes": 322,
|
||||
"dimensions": [
|
||||
64,
|
||||
64
|
||||
]
|
||||
}
|
||||
]
|
||||
},
|
||||
{
|
||||
"version": 2,
|
||||
"variants": [
|
||||
{
|
||||
"name": "crop",
|
||||
"sha256": "a94faef9b08b5ab6ab239b6618c0e92b0ab92abca889acd714d6d9179dde90ef",
|
||||
"bytes": 662,
|
||||
"dimensions": [
|
||||
128,
|
||||
128
|
||||
]
|
||||
},
|
||||
{
|
||||
"name": "optimized",
|
||||
"sha256": "b22468814595a3ae63a9b326ed55fefb9a833a0e621be5f366b113ad6cf18a12",
|
||||
"bytes": 72,
|
||||
"dimensions": [
|
||||
64,
|
||||
64
|
||||
]
|
||||
},
|
||||
{
|
||||
"name": "thumbnail",
|
||||
"sha256": "d2267d9adb990db045e8c186737a4bdf66aa4e8d82d785c0bb3d8e87c34c5072",
|
||||
"bytes": 323,
|
||||
"dimensions": [
|
||||
64,
|
||||
64
|
||||
]
|
||||
}
|
||||
]
|
||||
}
|
||||
],
|
||||
"stale_and_duplicate_noop": true
|
||||
},
|
||||
"result": "PASS",
|
||||
"elapsed_seconds": 4.099
|
||||
},
|
||||
{
|
||||
"name": "rgb8",
|
||||
"started_at": "2026-11-06T23:18:09.984254Z",
|
||||
"observed": {
|
||||
"attachment_id": "01a1b327-c34a-7194-8fbd-164055cfd3ef",
|
||||
"input_sha256": "8c27c74500758b1a24ccc96261334265e304d55530780aefc7ef4a1109c11852",
|
||||
"input_bytes": 385,
|
||||
"versions": [
|
||||
{
|
||||
"version": 1,
|
||||
"variants": [
|
||||
{
|
||||
"name": "crop",
|
||||
"sha256": "c36bf54d185cfcf7abddd219a5e586e11b0c4d10007df5db55978f74ddcad2d0",
|
||||
"bytes": 1069,
|
||||
"dimensions": [
|
||||
128,
|
||||
128
|
||||
]
|
||||
},
|
||||
{
|
||||
"name": "optimized",
|
||||
"sha256": "7b78675ebd18218e82922e75072a801eea74b4d5f26cde2b5810407c86509b88",
|
||||
"bytes": 116,
|
||||
"dimensions": [
|
||||
64,
|
||||
64
|
||||
]
|
||||
},
|
||||
{
|
||||
"name": "thumbnail",
|
||||
"sha256": "f6e37a29401efe000eb8deb1490975d745f621f2ab229f4d85162945189e1791",
|
||||
"bytes": 385,
|
||||
"dimensions": [
|
||||
64,
|
||||
64
|
||||
]
|
||||
}
|
||||
]
|
||||
},
|
||||
{
|
||||
"version": 2,
|
||||
"variants": [
|
||||
{
|
||||
"name": "crop",
|
||||
"sha256": "fd82664e5924528cd7916b3b9e30b71517fa13c2763a8705e750fd4293f3027c",
|
||||
"bytes": 1184,
|
||||
"dimensions": [
|
||||
128,
|
||||
128
|
||||
]
|
||||
},
|
||||
{
|
||||
"name": "optimized",
|
||||
"sha256": "a05ef5a9f1305b2941cc99ab594eb3671bb87babe35d28ac97127791881137bb",
|
||||
"bytes": 120,
|
||||
"dimensions": [
|
||||
64,
|
||||
64
|
||||
]
|
||||
},
|
||||
{
|
||||
"name": "thumbnail",
|
||||
"sha256": "3cac9f1ca274bcac1dc05cf186cd88eb622fd947fb1a7958a1175e77623a96d6",
|
||||
"bytes": 392,
|
||||
"dimensions": [
|
||||
64,
|
||||
64
|
||||
]
|
||||
}
|
||||
]
|
||||
}
|
||||
],
|
||||
"stale_and_duplicate_noop": true
|
||||
},
|
||||
"result": "PASS",
|
||||
"elapsed_seconds": 3.994
|
||||
},
|
||||
{
|
||||
"name": "rgb16-adam7-filter4-exif6",
|
||||
"started_at": "2026-11-06T23:18:13.978929Z",
|
||||
"observed": {
|
||||
"attachment_id": "01a1b327-d2e9-72fc-9b7e-a5d8d6e2f8b7",
|
||||
"input_sha256": "b9c1cb1e309024e4578d1f17bf6bb0f0645aad4d8973e16098b65c54cfd4930a",
|
||||
"input_bytes": 1297,
|
||||
"versions": [
|
||||
{
|
||||
"version": 1,
|
||||
"variants": [
|
||||
{
|
||||
"name": "crop",
|
||||
"sha256": "f257bf8fa4f30f0e4df6672de140799375cebd2bf735a656432cf702663414a1",
|
||||
"bytes": 601,
|
||||
"dimensions": [
|
||||
128,
|
||||
128
|
||||
]
|
||||
},
|
||||
{
|
||||
"name": "optimized",
|
||||
"sha256": "cb92af5a047068048eba212d944513edb2c454f64e124339820d46c24e69ea45",
|
||||
"bytes": 112,
|
||||
"dimensions": [
|
||||
63,
|
||||
65
|
||||
]
|
||||
},
|
||||
{
|
||||
"name": "thumbnail",
|
||||
"sha256": "110cf7571f07d2db04821e8ef1861f74b5a16978851a4b0082ca60aedc1d29e4",
|
||||
"bytes": 419,
|
||||
"dimensions": [
|
||||
63,
|
||||
65
|
||||
]
|
||||
}
|
||||
]
|
||||
},
|
||||
{
|
||||
"version": 2,
|
||||
"variants": [
|
||||
{
|
||||
"name": "crop",
|
||||
"sha256": "0a7fea5640c5877026100e65e39848e7b15ee5eebb93897ebbeb95d441e8d652",
|
||||
"bytes": 675,
|
||||
"dimensions": [
|
||||
128,
|
||||
128
|
||||
]
|
||||
},
|
||||
{
|
||||
"name": "optimized",
|
||||
"sha256": "9d4b7431a72adfc10284e4443c4e56b4cd19a67c0729979041fc8b0bc2c6ca34",
|
||||
"bytes": 116,
|
||||
"dimensions": [
|
||||
63,
|
||||
65
|
||||
]
|
||||
},
|
||||
{
|
||||
"name": "thumbnail",
|
||||
"sha256": "529ceb55a8675e5ed870ed7917d7f1a5753c898b689f3e431e403b9b3682a732",
|
||||
"bytes": 440,
|
||||
"dimensions": [
|
||||
63,
|
||||
65
|
||||
]
|
||||
}
|
||||
]
|
||||
}
|
||||
],
|
||||
"stale_and_duplicate_noop": true
|
||||
},
|
||||
"result": "PASS",
|
||||
"elapsed_seconds": 4.082
|
||||
}
|
||||
],
|
||||
"conditions": {
|
||||
"host_load": [
|
||||
5.41796875,
|
||||
3.67138671875,
|
||||
2.95068359375
|
||||
],
|
||||
"containers": [
|
||||
"mtusi2026lab5-api-1 d1dcbda23866 running Up 5 minutes (healthy)",
|
||||
"mtusi2026lab5-api-2 1eaf0fe05de6 running Up 5 minutes (healthy)",
|
||||
"mtusi2026lab5-broker-1 be1942ad69b4 running Up 5 minutes (healthy)",
|
||||
"mtusi2026lab5-lb-1 4ddcc75182e6 running Up 5 minutes (healthy)",
|
||||
"mtusi2026lab5-migrate-1 34901a09ef7b exited Exited (0) 5 minutes ago",
|
||||
"mtusi2026lab5-postgres-1 a0b9f2742b97 running Up 5 minutes (healthy)",
|
||||
"mtusi2026lab5-relay-1 63225b5eff8e running Up 5 minutes (healthy)",
|
||||
"mtusi2026lab5-s3-1 29b3e7c3a260 running Up 5 minutes (healthy)",
|
||||
"mtusi2026lab5-s3-init-1 6e80e83ed5c5 exited Exited (0) 5 minutes ago",
|
||||
"mtusi2026lab5-valkey-1 647882797ca2 running Up 5 minutes (healthy)",
|
||||
"mtusi2026lab5-worker-1 cb275ee9574b running Up 41 seconds (healthy)"
|
||||
],
|
||||
"running": "mtusi2026lab5-worker-1 Up 42 seconds (healthy)\nmtusi2026lab5-api-1 Up 5 minutes (healthy)\nmtusi2026lab5-api-2 Up 5 minutes (healthy)\nmtusi2026lab5-relay-1 Up 5 minutes (healthy)\nmtusi2026lab5-broker-1 Up 5 minutes (healthy)\nmtusi2026lab5-postgres-1 Up 5 minutes (healthy)\nmtusi2026lab5-lb-1 Up 5 minutes (healthy)\nmtusi2026lab5-s3-1 Up 5 minutes (healthy)\nmtusi2026lab5-valkey-1 Up 5 minutes (healthy)\n",
|
||||
"worker_limits": "448\n30\n2\n"
|
||||
},
|
||||
"accepted_ids": [
|
||||
"01a1b327-5f46-7727-8fb2-3d557bcfe643",
|
||||
"01a1b327-706a-74da-b85b-267a032e36ab",
|
||||
"01a1b327-807d-7398-8d62-e5d3486f1e9c",
|
||||
"01a1b327-93fd-7099-8ab3-600c201aa01d",
|
||||
"01a1b327-a380-7186-b76d-46a83b6ad53f",
|
||||
"01a1b327-b349-7332-b73c-db1221023da8",
|
||||
"01a1b327-c34a-7194-8fbd-164055cfd3ef",
|
||||
"01a1b327-d2e9-72fc-9b7e-a5d8d6e2f8b7"
|
||||
],
|
||||
"invariants": [
|
||||
{
|
||||
"id": "terminal",
|
||||
"statement": "every 202 reaches its expected terminal state",
|
||||
"result": "PASS",
|
||||
"details": {
|
||||
"accepted": 8
|
||||
}
|
||||
},
|
||||
{
|
||||
"id": "single_effect",
|
||||
"statement": "one variant set per (attachment_id, pipeline_version, variant)",
|
||||
"result": "PASS",
|
||||
"details": {
|
||||
"rows": 0
|
||||
}
|
||||
},
|
||||
{
|
||||
"id": "no_ready_rollback",
|
||||
"statement": "ready never returns to queued or processing",
|
||||
"result": "PASS",
|
||||
"details": {
|
||||
"traced": 8
|
||||
}
|
||||
},
|
||||
{
|
||||
"id": "monotonic_publication",
|
||||
"statement": "published_version only moves forward",
|
||||
"result": "PASS",
|
||||
"details": {
|
||||
"sampled": 8
|
||||
}
|
||||
},
|
||||
{
|
||||
"id": "bytes_match_metadata",
|
||||
"statement": "sha256, size and real dimensions match served bytes",
|
||||
"result": "PASS",
|
||||
"details": {
|
||||
"verified": 8
|
||||
}
|
||||
},
|
||||
{
|
||||
"id": "bounded_attempts",
|
||||
"statement": "attempt <= JOB_MAX_ATTEMPTS",
|
||||
"result": "PASS",
|
||||
"details": {
|
||||
"rows": 0
|
||||
}
|
||||
},
|
||||
{
|
||||
"id": "no_orphans",
|
||||
"statement": "no pending outbox, messages, dead letters, staging, objects",
|
||||
"result": "PASS",
|
||||
"details": {
|
||||
"queues": {
|
||||
"attachments.process": [
|
||||
0,
|
||||
0
|
||||
],
|
||||
"attachments.process.dlq": [
|
||||
16,
|
||||
0
|
||||
]
|
||||
},
|
||||
"s3_objects": 56,
|
||||
"scoped_attachments": 8
|
||||
}
|
||||
},
|
||||
{
|
||||
"id": "no_lost_202",
|
||||
"statement": "every 202 is present in PostgreSQL and the API",
|
||||
"result": "PASS",
|
||||
"details": {
|
||||
"accepted": 8
|
||||
}
|
||||
}
|
||||
],
|
||||
"finished_at": "2026-11-06T23:18:30.279606Z",
|
||||
"result": "PASS"
|
||||
}
|
||||
@@ -1,12 +0,0 @@
|
||||
date: 2026-11-06T23:17:43Z commit: 74c33160ac01618f70e9e1c6a121a5e45c3c7155
|
||||
environment: {"COMPOSE_PROJECT_NAME": "mtusi2026lab5", "COMPOSE_FILE": "compose.yaml", "LB_HTTP_PORT": "18085", "LB_STATS_PORT": "25085", "BASE_URL": "http://127.0.0.1:18085", "NO_PROXY": "localhost,127.0.0.1,::1", "API_IMAGE": "mtusi-messenger:lab5-memory-validation"}
|
||||
$ .venv/bin/python evidence/final-memory-validation-2026-11-07/targeted.py png-http
|
||||
gray2 PASS
|
||||
gray4 PASS
|
||||
rgb16 PASS
|
||||
gray1 PASS
|
||||
gray8 PASS
|
||||
gray16 PASS
|
||||
rgb8 PASS
|
||||
rgb16-adam7-filter4-exif6 PASS
|
||||
exit_code: 0 elapsed_seconds: 47.160
|
||||
@@ -1,10 +0,0 @@
|
||||
date: 2026-11-06T23:15:46Z commit: 74c33160ac01618f70e9e1c6a121a5e45c3c7155
|
||||
environment: {"COMPOSE_PROJECT_NAME": "mtusi2026lab5", "COMPOSE_FILE": "compose.yaml", "LB_HTTP_PORT": "18085", "LB_STATS_PORT": "25085", "BASE_URL": "http://127.0.0.1:18085", "NO_PROXY": "localhost,127.0.0.1,::1", "API_IMAGE": "mtusi-messenger:lab5-memory-validation"}
|
||||
$ docker compose up -d --no-deps --force-recreate --wait worker
|
||||
Container mtusi2026lab5-worker-1 Recreate
|
||||
Container mtusi2026lab5-worker-1 Recreated
|
||||
Container mtusi2026lab5-worker-1 Starting
|
||||
Container mtusi2026lab5-worker-1 Started
|
||||
Container mtusi2026lab5-worker-1 Waiting
|
||||
Container mtusi2026lab5-worker-1 Healthy
|
||||
exit_code: 0 elapsed_seconds: 3.133
|
||||
@@ -1,8 +0,0 @@
|
||||
date: 2026-11-06T23:19:15Z commit: 74c33160ac01618f70e9e1c6a121a5e45c3c7155
|
||||
environment: {"COMPOSE_PROJECT_NAME": "mtusi2026lab5", "COMPOSE_FILE": "compose.yaml", "LB_HTTP_PORT": "18085", "LB_STATS_PORT": "25085", "BASE_URL": "http://127.0.0.1:18085", "NO_PROXY": "localhost,127.0.0.1,::1", "API_IMAGE": "mtusi-messenger:lab5-memory-validation"}
|
||||
$ docker volume ls --filter label=com.docker.compose.project=mtusi2026lab5 --format '{{.Name}}'
|
||||
mtusi2026lab5_broker-data
|
||||
mtusi2026lab5_pgdata
|
||||
mtusi2026lab5_s3data
|
||||
mtusi2026lab5_valkeydata
|
||||
exit_code: 0 elapsed_seconds: 0.024
|
||||
@@ -1,4 +0,0 @@
|
||||
date: 2026-11-06T23:19:15Z commit: 74c33160ac01618f70e9e1c6a121a5e45c3c7155
|
||||
environment: {"COMPOSE_PROJECT_NAME": "mtusi2026lab5", "COMPOSE_FILE": "compose.yaml", "LB_HTTP_PORT": "18085", "LB_STATS_PORT": "25085", "BASE_URL": "http://127.0.0.1:18085", "NO_PROXY": "localhost,127.0.0.1,::1", "API_IMAGE": "mtusi-messenger:lab5-memory-validation"}
|
||||
$ docker ps --format '{{.Names}} {{.Status}}'
|
||||
exit_code: 0 elapsed_seconds: 0.024
|
||||
@@ -1,7 +0,0 @@
|
||||
date: 2026-11-06T23:15:05Z commit: 74c33160ac01618f70e9e1c6a121a5e45c3c7155
|
||||
environment: {"COMPOSE_PROJECT_NAME": "mtusi2026lab5", "COMPOSE_FILE": "compose.yaml", "LB_HTTP_PORT": "18085", "LB_STATS_PORT": "25085", "BASE_URL": "http://127.0.0.1:18085", "NO_PROXY": "localhost,127.0.0.1,::1", "API_IMAGE": "mtusi-messenger:lab5-memory-validation"}
|
||||
$ docker compose exec -T worker python -c 'import hashlib,platform,importlib.metadata; from pathlib import Path; import messenger.attachments.infrastructure.images as m; print(platform.platform()); print({name:importlib.metadata.version(name) for name in ("sqlalchemy","alembic","Pillow","faststream","aio-pika")}); print("images.py sha256",hashlib.sha256(Path(m.__file__).read_bytes()).hexdigest())'
|
||||
Linux-6.10.14-linuxkit-aarch64-with-glibc2.41
|
||||
{'sqlalchemy': '2.0.45', 'alembic': '1.16.5', 'Pillow': '13.0.0', 'faststream': '0.7.8', 'aio-pika': '10.2.1'}
|
||||
images.py sha256 97c6e9c1ef13c8854be9cd2cc11e4279d1d340ba3ab360dfa3e05772923ea743
|
||||
exit_code: 0 elapsed_seconds: 0.380
|
||||
@@ -1,63 +0,0 @@
|
||||
import json
|
||||
import re
|
||||
import subprocess
|
||||
from pathlib import Path
|
||||
|
||||
ROOT = Path.cwd()
|
||||
files = set(subprocess.check_output(["git", "ls-files", "-z"]).decode().split("\0")) - {""}
|
||||
files.update(
|
||||
str(p) for p in Path("evidence/final-memory-validation-2026-11-07").rglob("*") if p.is_file()
|
||||
)
|
||||
patterns = {
|
||||
"private_key": r"-----BEGIN (?:RSA |EC |OPENSSH )?PRIVATE KEY-----",
|
||||
"github_token": r"\b(?:gh[pousr]_[A-Za-z0-9]{30,}|github_pat_[A-Za-z0-9_]{50,})\b",
|
||||
"openai_token": r"\bsk-(?:proj-)?[A-Za-z0-9_-]{35,}\b",
|
||||
"aws_key": r"\b(?:AKIA|ASIA)[A-Z0-9]{16}\b",
|
||||
"telegram_token": r"\b[0-9]{8,12}:[A-Za-z0-9_-]{35}\b",
|
||||
"bearer_literal": r"Bearer [A-Za-z0-9_-]{24,}",
|
||||
"credential_url": r"\b(?:amqps?|postgres(?:ql)?|redis|https?)://[^\s\"\'{}$<>:/]+:[^\s\"\'{}$<>@/]+@",
|
||||
"secret_literal": r"""["'](?:password|secret|token|access_token|secret_access_key)["']\s*:\s*["'][A-Za-z0-9_+/=-]{24,}["']""",
|
||||
}
|
||||
allow = {
|
||||
("contracts/examples.json", 5, "secret_literal"): "unchanged skeleton example placeholder",
|
||||
("contracts/openapi.json", 3096, "secret_literal"): "unchanged skeleton example placeholder",
|
||||
("examples/requests.http", 20, "secret_literal"): "unchanged skeleton example placeholder",
|
||||
("scripts/broker-secrets.sh", 17, "credential_url"): "printf format; no credential literal",
|
||||
(
|
||||
"student-tests/api/test_operability.py",
|
||||
131,
|
||||
"credential_url",
|
||||
): "synthetic unavailable endpoint u:p",
|
||||
(
|
||||
"student-tests/api/test_operability.py",
|
||||
143,
|
||||
"credential_url",
|
||||
): "synthetic unavailable endpoint u:p",
|
||||
("student-tests/conftest.py", 141, "credential_url"): "ephemeral test database literal",
|
||||
}
|
||||
findings = []
|
||||
for name in sorted(files):
|
||||
if re.search(r"(^|/)(?:\.env|secrets|volumes)(?:/|$)", name):
|
||||
findings.append({"file": name, "rule": "forbidden_path"})
|
||||
try:
|
||||
text = Path(name).read_text()
|
||||
except UnicodeDecodeError, OSError:
|
||||
continue
|
||||
for rule, pattern in patterns.items():
|
||||
for match in re.finditer(pattern, text):
|
||||
line = text.count("\n", 0, match.start()) + 1
|
||||
item = {"file": name, "line": line, "rule": rule}
|
||||
if (name, line, rule) in allow:
|
||||
item["reviewed_non_secret"] = allow[name, line, rule]
|
||||
findings.append(item)
|
||||
report = {
|
||||
"files_scanned": len(files),
|
||||
"patterns": list(patterns),
|
||||
"candidates": findings,
|
||||
"unresolved": sum("reviewed_non_secret" not in f for f in findings),
|
||||
}
|
||||
Path("evidence/final-memory-validation-2026-11-07/secret-scan.json").write_text(
|
||||
json.dumps(report, indent=2) + "\n"
|
||||
)
|
||||
print(json.dumps(report, indent=2))
|
||||
raise SystemExit(bool(report["unresolved"]))
|
||||
@@ -1,58 +0,0 @@
|
||||
{
|
||||
"files_scanned": 804,
|
||||
"patterns": [
|
||||
"private_key",
|
||||
"github_token",
|
||||
"openai_token",
|
||||
"aws_key",
|
||||
"telegram_token",
|
||||
"bearer_literal",
|
||||
"credential_url",
|
||||
"secret_literal"
|
||||
],
|
||||
"candidates": [
|
||||
{
|
||||
"file": "contracts/examples.json",
|
||||
"line": 5,
|
||||
"rule": "secret_literal",
|
||||
"reviewed_non_secret": "unchanged skeleton example placeholder"
|
||||
},
|
||||
{
|
||||
"file": "contracts/openapi.json",
|
||||
"line": 3096,
|
||||
"rule": "secret_literal",
|
||||
"reviewed_non_secret": "unchanged skeleton example placeholder"
|
||||
},
|
||||
{
|
||||
"file": "examples/requests.http",
|
||||
"line": 20,
|
||||
"rule": "secret_literal",
|
||||
"reviewed_non_secret": "unchanged skeleton example placeholder"
|
||||
},
|
||||
{
|
||||
"file": "scripts/broker-secrets.sh",
|
||||
"line": 17,
|
||||
"rule": "credential_url",
|
||||
"reviewed_non_secret": "printf format; no credential literal"
|
||||
},
|
||||
{
|
||||
"file": "student-tests/api/test_operability.py",
|
||||
"line": 131,
|
||||
"rule": "credential_url",
|
||||
"reviewed_non_secret": "synthetic unavailable endpoint u:p"
|
||||
},
|
||||
{
|
||||
"file": "student-tests/api/test_operability.py",
|
||||
"line": 143,
|
||||
"rule": "credential_url",
|
||||
"reviewed_non_secret": "synthetic unavailable endpoint u:p"
|
||||
},
|
||||
{
|
||||
"file": "student-tests/conftest.py",
|
||||
"line": 141,
|
||||
"rule": "credential_url",
|
||||
"reviewed_non_secret": "ephemeral test database literal"
|
||||
}
|
||||
],
|
||||
"unresolved": 0
|
||||
}
|
||||
@@ -1,37 +0,0 @@
|
||||
{
|
||||
"evidence/final-memory-validation-2026-11-07/RESULTS.md": "e4dd4dfc47ae8095458028235b1e89373b815edeeceddbd09f116f9ad9f4450b",
|
||||
"evidence/final-memory-validation-2026-11-07/active-changes.txt": "b817c4f054d652d43cc5b0059aa3808fe18d4a4582a3676c34f0d9418efa992d",
|
||||
"evidence/final-memory-validation-2026-11-07/audit-files.py": "864e3a7032755da30afeef71431649e87c955cea4dc48021c14575b5ac243ded",
|
||||
"evidence/final-memory-validation-2026-11-07/audit.json": "68e3f1a5806fe4b65f1e8e8efe0b66c5e55cccd4ce492b7a325d4cc89323ca69",
|
||||
"evidence/final-memory-validation-2026-11-07/build.txt": "62ca4051248a5ba0c1d5380456dc972572da8c08e27b840992b24f500ab57bb7",
|
||||
"evidence/final-memory-validation-2026-11-07/checks.txt": "6a1195478b3eb211d21352cb6ed00e690196ccc54e0db3a3fe3ac4e5f6b19336",
|
||||
"evidence/final-memory-validation-2026-11-07/conditions-after.json": "e72877504561b2e4ab95ffa5ad2e616ff3599ba0887fd10b378f9425cf62376c",
|
||||
"evidence/final-memory-validation-2026-11-07/conditions.json": "c970c484ad92ada00d33f4df86113928b0ef0321b1b7740441a8c1e10f4b5c30",
|
||||
"evidence/final-memory-validation-2026-11-07/container-events.json": "bfce3b6295e23ea06f4f29beb1b83b4a5b2ec5e07c4230d3ba68d1dc0c241d39",
|
||||
"evidence/final-memory-validation-2026-11-07/down.txt": "0b80c02939c9224df3e8f5f98ae6320b6ffc71a8a28c001e7b3ee9ae113a6f39",
|
||||
"evidence/final-memory-validation-2026-11-07/env.sh": "fa41c289402a362827d3edc88bd0e8301e55d279df09f658f800a94bff96b05d",
|
||||
"evidence/final-memory-validation-2026-11-07/final-audit.json": "2c6308899417e6da60875de9c262828fe7caccd30bffb223d8ce53635f5845ad",
|
||||
"evidence/final-memory-validation-2026-11-07/final-checks.txt": "7405e049b92aa01667afe431a64e3c6d5ffc1827c03a4bed480a5158802a08d8",
|
||||
"evidence/final-memory-validation-2026-11-07/final-containers.txt": "dd5432219d35baeee61392605910c2864b71b83e8972377254eff268670422c5",
|
||||
"evidence/final-memory-validation-2026-11-07/findings.json": "a2b9cc2a425aa0326fd72c6bdab9a5dc69ea4d90fef2c3ce239fbbb514e978a1",
|
||||
"evidence/final-memory-validation-2026-11-07/linux-child.py": "c293f49bd273fe7c3c6bb0ac90f2ccb28a02117a4fdae758d04e8c006d4e89ab",
|
||||
"evidence/final-memory-validation-2026-11-07/linux-runner.py": "680052df464d87d97a9717469d53d27f4f2391f740b0aaa23fa52a77a52c9a83",
|
||||
"evidence/final-memory-validation-2026-11-07/linux.json": "febd60518391e7d6f479908e48856a6c0a774fd5763f33cf02655e414d6b1fe3",
|
||||
"evidence/final-memory-validation-2026-11-07/linux.txt": "51f31e560852514bdba1777db1ceade9284ff13610d60afaf7a128f171cd7b29",
|
||||
"evidence/final-memory-validation-2026-11-07/openspec.txt": "dc82d21ab66012b5960a0f76e82eef10d7df082497119d18efb7aed5009efd3d",
|
||||
"evidence/final-memory-validation-2026-11-07/png-boundary.json": "a6452fb7b502597058641878464ee383eab334b0d77377bfe54565aeb4279df1",
|
||||
"evidence/final-memory-validation-2026-11-07/png-boundary.txt": "1aba30dc29b1bae3f7e1d8fb64a7e331effb85fa45a2f3a123ddbe7dd743c6ad",
|
||||
"evidence/final-memory-validation-2026-11-07/png-http.json": "0dab50ef2d4ed22425d27ccdefaac316ed4b8c7b0a759c2c616eb9239ebba618",
|
||||
"evidence/final-memory-validation-2026-11-07/png-http.txt": "68ae6e09e67a9df204f0346ebec3b9b185bcf2c67a0a0946aff620408ba867a2",
|
||||
"evidence/final-memory-validation-2026-11-07/reset-worker-peak.txt": "97c9b5d430649b61f83fb7904414690f50e742b0b53e39c9b4324d60c1b6b2f9",
|
||||
"evidence/final-memory-validation-2026-11-07/retained-volumes.txt": "27347d997d6f8466d94b0a5bb06350f183c5e30ef9ad2c3858cdc24a316bf5e4",
|
||||
"evidence/final-memory-validation-2026-11-07/running-containers-after.txt": "44b284098615df613f91d9bc745f236f6ede62f1ea95a9de06e10ed712ffb799",
|
||||
"evidence/final-memory-validation-2026-11-07/runtime.txt": "1f35a3f37a7e4d4689c8154384b08c9800077d4f77251d576f03921605a28b2e",
|
||||
"evidence/final-memory-validation-2026-11-07/scan-secrets.py": "27130687bae2d636d9780759559524b347ec3733aa2df722c837378f2d2f39b1",
|
||||
"evidence/final-memory-validation-2026-11-07/secret-scan.json": "27f7763fd6af6a10d3ddd0c8ae0a3f71dcad4eeb000afa5af5379bb646fb8e30",
|
||||
"evidence/final-memory-validation-2026-11-07/smoke.txt": "ba0b81113210431ecfe0a085024efd650b4963e1eaf21b2837f6163523a70afc",
|
||||
"evidence/final-memory-validation-2026-11-07/stopped-containers.txt": "f543710a6a0f639673d62148635409ecec6bea71c8987dc036017d4692505bed",
|
||||
"evidence/final-memory-validation-2026-11-07/student-test.txt": "1cf669fbca4aee91e87e74089522325f7214ad6406c031013a73c8b935593ac1",
|
||||
"evidence/final-memory-validation-2026-11-07/targeted.py": "cba7c461fded4eb88247f113a2328780fe985a3c1bdc27a26df47277a2374ffc",
|
||||
"evidence/final-memory-validation-2026-11-07/up.txt": "1fd736cd42363f734649be3011f92abee46bc9210b4fd513aa2daba9d5f4a666"
|
||||
}
|
||||
@@ -1,6 +0,0 @@
|
||||
date: 2026-11-06T23:15:03Z commit: 74c33160ac01618f70e9e1c6a121a5e45c3c7155
|
||||
environment: {"COMPOSE_PROJECT_NAME": "mtusi2026lab5", "COMPOSE_FILE": "compose.yaml", "LB_HTTP_PORT": "18085", "LB_STATS_PORT": "25085", "BASE_URL": "http://127.0.0.1:18085", "NO_PROXY": "localhost,127.0.0.1,::1", "API_IMAGE": "mtusi-messenger:lab5-memory-validation"}
|
||||
$ make test
|
||||
python3 tests/smoke.py --base-url "http://127.0.0.1:18085"
|
||||
PASS: lab5 public API scenario; infrastructure and grading evidence remain separate.
|
||||
exit_code: 0 elapsed_seconds: 1.706
|
||||
@@ -1,4 +0,0 @@
|
||||
date: 2026-11-06T23:19:15Z commit: 74c33160ac01618f70e9e1c6a121a5e45c3c7155
|
||||
environment: {"COMPOSE_PROJECT_NAME": "mtusi2026lab5", "COMPOSE_FILE": "compose.yaml", "LB_HTTP_PORT": "18085", "LB_STATS_PORT": "25085", "BASE_URL": "http://127.0.0.1:18085", "NO_PROXY": "localhost,127.0.0.1,::1", "API_IMAGE": "mtusi-messenger:lab5-memory-validation"}
|
||||
$ docker ps -a --filter label=com.docker.compose.project=mtusi2026lab5 --format '{{.Names}} {{.State}}'
|
||||
exit_code: 0 elapsed_seconds: 0.028
|
||||
@@ -1,20 +0,0 @@
|
||||
date: 2026-11-06T22:54:40Z commit: 74c33160ac01618f70e9e1c6a121a5e45c3c7155
|
||||
environment: {"COMPOSE_PROJECT_NAME": "mtusi2026lab5", "COMPOSE_FILE": "compose.yaml", "LB_HTTP_PORT": "18085", "LB_STATS_PORT": "25085", "BASE_URL": "http://127.0.0.1:18085", "NO_PROXY": "localhost,127.0.0.1,::1", "API_IMAGE": "mtusi-messenger:lab5-memory-validation"}
|
||||
$ make student-test 'PYTEST_ARGS=-q --tb=short'
|
||||
.venv/bin/pytest -q --tb=short
|
||||
........................................................................ [ 7%]
|
||||
........................................................................ [ 14%]
|
||||
........................................................................ [ 21%]
|
||||
........................................................................ [ 29%]
|
||||
........................................................................ [ 36%]
|
||||
........................................................................ [ 43%]
|
||||
........................................................................ [ 51%]
|
||||
........................................................................ [ 58%]
|
||||
........................................................................ [ 65%]
|
||||
........................................................................ [ 73%]
|
||||
........................................s............................... [ 80%]
|
||||
........................................................................ [ 87%]
|
||||
......................................................................s. [ 94%]
|
||||
.................................................. [100%]
|
||||
984 passed, 2 skipped, 19 deselected in 171.26s (0:02:51)
|
||||
exit_code: 0 elapsed_seconds: 172.902
|
||||
@@ -1,310 +0,0 @@
|
||||
import hashlib
|
||||
import json
|
||||
import os
|
||||
import struct
|
||||
import sys
|
||||
import time
|
||||
from io import BytesIO
|
||||
from pathlib import Path
|
||||
|
||||
ROOT = Path(__file__).resolve().parents[2]
|
||||
sys.path[:0] = [str(ROOT / "scripts"), str(ROOT / "student-tests")]
|
||||
import pipeline_suite as ps
|
||||
from PIL import Image
|
||||
from messenger.attachments.infrastructure.images import RenderLimits, render_variants
|
||||
from png_trns_fixtures import png_with_trns
|
||||
|
||||
MODE = sys.argv.pop(1)
|
||||
OUT = Path(__file__).parent / (MODE + ".json")
|
||||
if OUT.exists():
|
||||
raise SystemExit("Result exists; do not repeat completed evidence")
|
||||
SUITE = ps.Suite(ps.arguments())
|
||||
STACK = SUITE.stack
|
||||
REPORT = {
|
||||
"mode": MODE,
|
||||
"source_sha": ps.run(["git", "rev-parse", "HEAD"]).strip(),
|
||||
"started_at": ps.now(),
|
||||
"cases": [],
|
||||
}
|
||||
LIMITS = RenderLimits(10485760, 40000000)
|
||||
|
||||
|
||||
def save():
|
||||
REPORT["accepted_ids"] = SUITE.api.accepted if SUITE.api else []
|
||||
OUT.write_text(json.dumps(REPORT, ensure_ascii=False, indent=2) + "\n")
|
||||
|
||||
|
||||
def case(name, function):
|
||||
row = {"name": name, "started_at": ps.now()}
|
||||
REPORT["cases"].append(row)
|
||||
save()
|
||||
began = time.monotonic()
|
||||
try:
|
||||
row["observed"] = function()
|
||||
row["result"] = "PASS"
|
||||
except Exception as error:
|
||||
row.update(result="FAIL", error=str(error))
|
||||
row["elapsed_seconds"] = round(time.monotonic() - began, 3)
|
||||
save()
|
||||
print(name, row["result"], row.get("error", ""), flush=True)
|
||||
|
||||
|
||||
def containers():
|
||||
return STACK.dc("ps", "-a", "--format", "{{.Name}} {{.ID}} {{.State}} {{.Status}}").splitlines()
|
||||
|
||||
|
||||
def png(name, data, reference):
|
||||
att = SUITE.api.upload(data, name=name + ".png")
|
||||
ident = att["id"]
|
||||
results = []
|
||||
for version in (1, 2):
|
||||
if version == 2:
|
||||
STACK.admin("reprocess", "--attachment-id", ident, "--pipeline-version", "2")
|
||||
ps.poll(lambda: SUITE.record(ident)["published_version"] == 2, 90, "published v2")
|
||||
ready = SUITE.api.wait(ident)
|
||||
SUITE.verify(ready)
|
||||
assert SUITE.api.content(ident)["bytes"] == data
|
||||
expected = {r.name: r for r in render_variants(reference, LIMITS, version)}
|
||||
variants = []
|
||||
for variant in ready["variants"]:
|
||||
content = SUITE.api.content(ident, variant["name"])["bytes"]
|
||||
assert content == expected[variant["name"]].data, (
|
||||
variant["name"] + " differs from independent white reference"
|
||||
)
|
||||
with Image.open(BytesIO(content)) as image:
|
||||
assert not image.getexif()
|
||||
assert not any(key in image.info for key in ("icc_profile", "xmp", "transparency"))
|
||||
variants.append(
|
||||
{
|
||||
"name": variant["name"],
|
||||
"sha256": hashlib.sha256(content).hexdigest(),
|
||||
"bytes": len(content),
|
||||
"dimensions": [variant["width"], variant["height"]],
|
||||
}
|
||||
)
|
||||
results.append({"version": version, "variants": variants})
|
||||
before = SUITE.snapshot(ident)
|
||||
STACK.publish(SUITE.payload(ident, 1))
|
||||
STACK.publish(SUITE.payload(ident, 2))
|
||||
SUITE.drained()
|
||||
assert SUITE.snapshot(ident) == before
|
||||
assert len(STACK.sql("variants", id=ident)) == 6
|
||||
return {
|
||||
"attachment_id": ident,
|
||||
"input_sha256": hashlib.sha256(data).hexdigest(),
|
||||
"input_bytes": len(data),
|
||||
"versions": results,
|
||||
"stale_and_duplicate_noop": True,
|
||||
}
|
||||
|
||||
|
||||
FIXTURES = ROOT / "evidence/final-validation-2026-11-07/fixtures"
|
||||
ps.SQL["timed_events"] = (
|
||||
"SELECT attachment_id,job_id,kind,at FROM job_events WHERE attachment_id = ANY(:'ids'::uuid[]) AND kind IN ('claimed','done') ORDER BY id"
|
||||
)
|
||||
|
||||
|
||||
def without_trns(data):
|
||||
result, offset = data[:8], 8
|
||||
while offset < len(data):
|
||||
size = struct.unpack(">I", data[offset : offset + 4])[0] + 12
|
||||
if data[offset + 4 : offset + 8] != b"tRNS":
|
||||
result += data[offset : offset + size]
|
||||
offset += size
|
||||
return result
|
||||
|
||||
|
||||
def verify_large(ident, data, transparent):
|
||||
ready = SUITE.api.wait(ident)
|
||||
SUITE.verify(ready)
|
||||
assert SUITE.api.content(ident)["bytes"] == data
|
||||
variants = []
|
||||
for variant in ready["variants"]:
|
||||
content = SUITE.api.content(ident, variant["name"])["bytes"]
|
||||
with Image.open(BytesIO(content)) as image:
|
||||
left = image.getpixel((5, image.height // 2))
|
||||
right = image.getpixel((image.width - 6, image.height // 2))
|
||||
assert (left == (255, 255, 255)) == transparent
|
||||
assert right != (255, 255, 255)
|
||||
assert not image.getexif()
|
||||
variants.append({**variant, "left_pixel": left, "right_pixel": right})
|
||||
return variants
|
||||
|
||||
|
||||
def duplicate_check(ident):
|
||||
before = SUITE.snapshot(ident)
|
||||
STACK.publish(SUITE.payload(ident, 1))
|
||||
STACK.publish(SUITE.payload(ident, 2))
|
||||
SUITE.drained()
|
||||
assert SUITE.snapshot(ident) == before
|
||||
assert len(STACK.sql("variants", id=ident)) == 6
|
||||
|
||||
|
||||
def large(name, data, transparent=True):
|
||||
att = SUITE.api.upload(data, name=name + ".png")
|
||||
ident = att["id"]
|
||||
versions = [{"version": 1, "variants": verify_large(ident, data, transparent)}]
|
||||
STACK.admin("reprocess", "--attachment-id", ident, "--pipeline-version", "2")
|
||||
ps.poll(lambda: SUITE.record(ident)["published_version"] == 2, 90, "v2 publication")
|
||||
versions.append({"version": 2, "variants": verify_large(ident, data, transparent)})
|
||||
duplicate_check(ident)
|
||||
return {
|
||||
"attachment_id": ident,
|
||||
"input_sha256": hashlib.sha256(data).hexdigest(),
|
||||
"bytes": len(data),
|
||||
"versions": versions,
|
||||
"memory_peak": int(STACK.cgroup("worker", "memory.peak")),
|
||||
"memory_max": int(STACK.cgroup("worker", "memory.max")),
|
||||
}
|
||||
|
||||
|
||||
def concurrent():
|
||||
data = (FIXTURES / "rgb16-40mp.png").read_bytes()
|
||||
SUITE.drained()
|
||||
STACK.stop("worker")
|
||||
try:
|
||||
ids = [SUITE.api.upload(data, name="concurrent-rgb16.png")["id"] for _ in range(2)]
|
||||
SUITE.queued(2)
|
||||
finally:
|
||||
ps.run(["docker", "start", STACK.dc("ps", "-aq", "worker").strip()])
|
||||
versions = []
|
||||
for version in (1, 2):
|
||||
if version == 2:
|
||||
STACK.stop("worker")
|
||||
try:
|
||||
for ident in ids:
|
||||
STACK.admin("reprocess", "--attachment-id", ident, "--pipeline-version", "2")
|
||||
SUITE.queued(2)
|
||||
finally:
|
||||
ps.run(["docker", "start", STACK.dc("ps", "-aq", "worker").strip()])
|
||||
for ident in ids:
|
||||
ps.poll(
|
||||
lambda: SUITE.record(ident)["published_version"] == version,
|
||||
90,
|
||||
"concurrent publication",
|
||||
)
|
||||
variants = {ident: verify_large(ident, data, True) for ident in ids}
|
||||
events = STACK.sql("timed_events", ids="{" + ",".join(ids) + "}")
|
||||
job_ids = {
|
||||
row["job_id"]
|
||||
for ident in ids
|
||||
for row in STACK.sql("jobs", id=ident)
|
||||
if row["pipeline_version"] == version
|
||||
}
|
||||
selected = [e for e in events if e["job_id"] in job_ids]
|
||||
claims = [e["at"] for e in selected if e["kind"] == "claimed"]
|
||||
done = [e["at"] for e in selected if e["kind"] == "done"]
|
||||
assert len(claims) == len(done) == 2
|
||||
assert max(claims) < min(done), selected
|
||||
versions.append(
|
||||
{
|
||||
"version": version,
|
||||
"events": selected,
|
||||
"processing_overlapped": True,
|
||||
"variants": variants,
|
||||
}
|
||||
)
|
||||
for ident in ids:
|
||||
duplicate_check(ident)
|
||||
peak, limit = (int(STACK.cgroup("worker", name)) for name in ("memory.peak", "memory.max"))
|
||||
assert peak < limit
|
||||
return {
|
||||
"attachment_ids": ids,
|
||||
"versions": versions,
|
||||
"memory_peak": peak,
|
||||
"memory_max": limit,
|
||||
"memory_events": STACK.cgroup("worker", "memory.events"),
|
||||
}
|
||||
|
||||
|
||||
def forced(name, **overrides):
|
||||
data = (FIXTURES / "rgb16-40mp.png").read_bytes()
|
||||
result = SUITE.limited(data, **overrides)
|
||||
STACK.restore()
|
||||
result["next_normal"] = SUITE.smoke_pipeline()
|
||||
return result
|
||||
|
||||
|
||||
try:
|
||||
SUITE.detect_api()
|
||||
SUITE.api = ps.Api(SUITE.args)
|
||||
dead_before = STACK.queues()[ps.DLQ][0]
|
||||
REPORT["conditions"] = {
|
||||
"host_load": os.getloadavg(),
|
||||
"containers": containers(),
|
||||
"running": ps.run(["docker", "ps", "--format", "{{.Names}} {{.Status}}"]),
|
||||
"worker_limits": STACK.dc(
|
||||
"exec",
|
||||
"-T",
|
||||
"worker",
|
||||
"printenv",
|
||||
"RENDER_MEMORY_MB",
|
||||
"RENDER_TIMEOUT_SECONDS",
|
||||
"WORKER_CONCURRENCY",
|
||||
),
|
||||
}
|
||||
save()
|
||||
if MODE == "png-http":
|
||||
folder = ROOT / "evidence/review-trns-depth-2026-11-06/fixtures"
|
||||
for name in ("gray2", "gray4", "rgb16"):
|
||||
case(
|
||||
name,
|
||||
lambda name=name: png(
|
||||
name,
|
||||
(folder / (name + ".png")).read_bytes(),
|
||||
(folder / (name + "-white.png")).read_bytes(),
|
||||
),
|
||||
)
|
||||
for name, depth, color in [
|
||||
("gray1", 1, (0,)),
|
||||
("gray8", 8, (85,)),
|
||||
("gray16", 16, (12345,)),
|
||||
("rgb8", 8, (255, 0, 0)),
|
||||
]:
|
||||
case(
|
||||
name,
|
||||
lambda name=name, depth=depth, color=color: png(name, *png_with_trns(depth, color)),
|
||||
)
|
||||
case(
|
||||
"rgb16-adam7-filter4-exif6",
|
||||
lambda: png(
|
||||
"adam7",
|
||||
*png_with_trns(
|
||||
16,
|
||||
(12345, 23456, 34567),
|
||||
size=(65, 63),
|
||||
interlace=1,
|
||||
filtering=4,
|
||||
orientation=6,
|
||||
),
|
||||
),
|
||||
)
|
||||
elif MODE == "png-boundary":
|
||||
for name in ("gray2", "gray4", "gray16", "rgb16"):
|
||||
case(
|
||||
name, lambda name=name: large(name, (FIXTURES / (name + "-40mp.png")).read_bytes())
|
||||
)
|
||||
case(
|
||||
"gray16-without-trns",
|
||||
lambda: large(
|
||||
"gray16-opaque", without_trns((FIXTURES / "gray16-40mp.png").read_bytes()), False
|
||||
),
|
||||
)
|
||||
case("concurrent-rgb16", concurrent)
|
||||
case("forced-timeout", lambda: forced("timeout", FAULT_RENDER_TIMEOUT_SECONDS="0.01"))
|
||||
case("forced-memory", lambda: forced("memory", FAULT_RENDER_MEMORY_MB="200"))
|
||||
ids = "{" + ",".join(SUITE.api.accepted) + "}"
|
||||
ps.poll(lambda: not STACK.sql("staging_left", ids=ids), 45, "staging sweep")
|
||||
SUITE.drained()
|
||||
REPORT["invariants"] = SUITE.invariants(dead_before)
|
||||
finally:
|
||||
STACK.restore()
|
||||
REPORT["finished_at"] = ps.now()
|
||||
REPORT["result"] = (
|
||||
"PASS"
|
||||
if REPORT["cases"]
|
||||
and all(x.get("result") == "PASS" for x in REPORT["cases"] + REPORT.get("invariants", []))
|
||||
else "FAIL"
|
||||
)
|
||||
save()
|
||||
raise SystemExit(0 if REPORT["result"] == "PASS" else 1)
|
||||
@@ -1,94 +0,0 @@
|
||||
date: 2026-11-06T23:12:23Z commit: 74c33160ac01618f70e9e1c6a121a5e45c3c7155
|
||||
environment: {"COMPOSE_PROJECT_NAME": "mtusi2026lab5", "COMPOSE_FILE": "compose.yaml", "LB_HTTP_PORT": "18085", "LB_STATS_PORT": "25085", "BASE_URL": "http://127.0.0.1:18085", "NO_PROXY": "localhost,127.0.0.1,::1", "API_IMAGE": "mtusi-messenger:lab5-memory-validation"}
|
||||
$ docker compose up -d --wait
|
||||
Network mtusi2026lab5_backend Creating
|
||||
Network mtusi2026lab5_backend Created
|
||||
Network mtusi2026lab5_edge Creating
|
||||
Network mtusi2026lab5_edge Created
|
||||
Container mtusi2026lab5-valkey-1 Creating
|
||||
Container mtusi2026lab5-broker-1 Creating
|
||||
Container mtusi2026lab5-lb-1 Creating
|
||||
Container mtusi2026lab5-postgres-1 Creating
|
||||
Container mtusi2026lab5-s3-1 Creating
|
||||
Container mtusi2026lab5-s3-1 Created
|
||||
Container mtusi2026lab5-valkey-1 Created
|
||||
Container mtusi2026lab5-s3-init-1 Creating
|
||||
Container mtusi2026lab5-lb-1 Created
|
||||
Container mtusi2026lab5-broker-1 Created
|
||||
Container mtusi2026lab5-postgres-1 Created
|
||||
Container mtusi2026lab5-migrate-1 Creating
|
||||
Container mtusi2026lab5-s3-init-1 Created
|
||||
Container mtusi2026lab5-migrate-1 Created
|
||||
Container mtusi2026lab5-api-2 Creating
|
||||
Container mtusi2026lab5-worker-1 Creating
|
||||
Container mtusi2026lab5-api-1 Creating
|
||||
Container mtusi2026lab5-relay-1 Creating
|
||||
Container mtusi2026lab5-api-2 Created
|
||||
Container mtusi2026lab5-relay-1 Created
|
||||
Container mtusi2026lab5-api-1 Created
|
||||
Container mtusi2026lab5-worker-1 Created
|
||||
Container mtusi2026lab5-broker-1 Starting
|
||||
Container mtusi2026lab5-valkey-1 Starting
|
||||
Container mtusi2026lab5-postgres-1 Starting
|
||||
Container mtusi2026lab5-s3-1 Starting
|
||||
Container mtusi2026lab5-lb-1 Starting
|
||||
Container mtusi2026lab5-s3-1 Started
|
||||
Container mtusi2026lab5-s3-1 Waiting
|
||||
Container mtusi2026lab5-postgres-1 Started
|
||||
Container mtusi2026lab5-postgres-1 Waiting
|
||||
Container mtusi2026lab5-valkey-1 Started
|
||||
Container mtusi2026lab5-broker-1 Started
|
||||
Container mtusi2026lab5-lb-1 Started
|
||||
Container mtusi2026lab5-postgres-1 Healthy
|
||||
Container mtusi2026lab5-migrate-1 Starting
|
||||
Container mtusi2026lab5-migrate-1 Started
|
||||
Container mtusi2026lab5-s3-1 Healthy
|
||||
Container mtusi2026lab5-s3-init-1 Starting
|
||||
Container mtusi2026lab5-s3-init-1 Started
|
||||
Container mtusi2026lab5-s3-init-1 Waiting
|
||||
Container mtusi2026lab5-migrate-1 Waiting
|
||||
Container mtusi2026lab5-broker-1 Waiting
|
||||
Container mtusi2026lab5-migrate-1 Waiting
|
||||
Container mtusi2026lab5-s3-init-1 Waiting
|
||||
Container mtusi2026lab5-broker-1 Waiting
|
||||
Container mtusi2026lab5-migrate-1 Waiting
|
||||
Container mtusi2026lab5-s3-init-1 Waiting
|
||||
Container mtusi2026lab5-s3-init-1 Exited
|
||||
Container mtusi2026lab5-migrate-1 Exited
|
||||
Container mtusi2026lab5-s3-init-1 Exited
|
||||
Container mtusi2026lab5-s3-init-1 Exited
|
||||
Container mtusi2026lab5-migrate-1 Exited
|
||||
Container mtusi2026lab5-migrate-1 Exited
|
||||
Container mtusi2026lab5-api-1 Starting
|
||||
Container mtusi2026lab5-broker-1 Healthy
|
||||
Container mtusi2026lab5-relay-1 Starting
|
||||
Container mtusi2026lab5-broker-1 Healthy
|
||||
Container mtusi2026lab5-worker-1 Starting
|
||||
Container mtusi2026lab5-api-1 Started
|
||||
Container mtusi2026lab5-api-2 Starting
|
||||
Container mtusi2026lab5-worker-1 Started
|
||||
Container mtusi2026lab5-relay-1 Started
|
||||
Container mtusi2026lab5-api-2 Started
|
||||
Container mtusi2026lab5-relay-1 Waiting
|
||||
Container mtusi2026lab5-postgres-1 Waiting
|
||||
Container mtusi2026lab5-migrate-1 Waiting
|
||||
Container mtusi2026lab5-s3-1 Waiting
|
||||
Container mtusi2026lab5-lb-1 Waiting
|
||||
Container mtusi2026lab5-worker-1 Waiting
|
||||
Container mtusi2026lab5-broker-1 Waiting
|
||||
Container mtusi2026lab5-valkey-1 Waiting
|
||||
Container mtusi2026lab5-s3-init-1 Waiting
|
||||
Container mtusi2026lab5-api-1 Waiting
|
||||
Container mtusi2026lab5-api-2 Waiting
|
||||
Container mtusi2026lab5-migrate-1 Exited
|
||||
Container mtusi2026lab5-s3-1 Healthy
|
||||
Container mtusi2026lab5-s3-init-1 Exited
|
||||
Container mtusi2026lab5-broker-1 Healthy
|
||||
Container mtusi2026lab5-postgres-1 Healthy
|
||||
Container mtusi2026lab5-valkey-1 Healthy
|
||||
Container mtusi2026lab5-api-1 Healthy
|
||||
Container mtusi2026lab5-api-2 Healthy
|
||||
Container mtusi2026lab5-worker-1 Healthy
|
||||
Container mtusi2026lab5-relay-1 Healthy
|
||||
Container mtusi2026lab5-lb-1 Healthy
|
||||
exit_code: 0 elapsed_seconds: 11.284
|
||||
@@ -1,60 +0,0 @@
|
||||
# Финальная validation ЛР5
|
||||
|
||||
Измерен HEAD `b30e2f6a84419d1ca64525ffb40df92183cccaef`; runtime совпадает с прошедшим review `42575281b352d35bda17ee7601bae5548a996e91`. Изменяются только документы и evidence. Полные три повтора трека 2 не запускались заново: применимость и первичные хеши проверены в [аудите](../load-validation.md), [audit.json](audit.json) и [historical-hashes.json](historical-hashes.json).
|
||||
|
||||
## Условия
|
||||
|
||||
Дата каталога — 2026-11-07 Europe/Moscow; сырые UTC-метки начинаются 2026-11-06T21:15. Darwin arm64, Docker 28.3.2, Linux VM 16 CPU / 8 217 190 400 байт RAM. Основной project `mtusi2026lab5` изолирован собственными сетями и четырьмя сохранёнными volumes. HTTP 18085, stats 25085, broker UI 25086, только loopback. Чужие контейнеры не запускались и не останавливались.
|
||||
|
||||
Сборка и начальные функциональные проверки частично совпали по времени с собственным `make student-test` (его одноразовые контейнеры отражены в `postgres-outage*.json`). Перед HTTP PNG и проверками памяти student-test завершился, посторонних работающих Docker-контейнеров нет. Нагрузка хоста фиксируется срезами, непрерывного контроля CPU нет; RPS, p95 и новые SLO не заявляются.
|
||||
|
||||
Точные лимиты, image IDs и volumes — [runtime-containers.json](runtime-containers.json). Worker 2 CPU / 1 GiB, render 448 MiB / 30 с, concurrency=2; API ×2 по 1 CPU / 512 MiB. Реальные версии и хеш установленного images.py — [image-runtime.txt](image-runtime.txt). Конфигурация запуска — [env.sh](env.sh), без секретов. Fault-suite использует штатный `infra/compose.faults.yaml` и восстанавливает настройки.
|
||||
|
||||
## Выполнено
|
||||
|
||||
Все `.txt` содержат команду, исходный SHA, UTC и exit code. Команды выполняются из корня после `source evidence/final-validation-2026-11-07/env.sh`.
|
||||
|
||||
| Команда / файл | Наблюдение |
|
||||
| --- | --- |
|
||||
| `make check validate lint`, [checks.txt](checks.txt) | PASS |
|
||||
| `make student-test PYTEST_ARGS='-q --tb=short'`, [student-test.txt](student-test.txt) | 980 passed, 1 Linux-only skip, 19 stack deselected; real-broker тесты включены |
|
||||
| `openspec validate --all --strict`; `openspec list --json`, [openspec.txt](openspec.txt), [active-changes.txt](active-changes.txt) | 22 PASS, активных changes нет; новый change не создаётся для docs/evidence |
|
||||
| `docker compose build`; `docker compose up -d --wait`, [build.txt](build.txt), [up.txt](up.txt) | PASS; сохранённые volumes, без удаления очередей/данных |
|
||||
| `make test`, [smoke.txt](smoke.txt) | Публичный HTTP smoke PASS |
|
||||
| `rabbitmqctl list_policies/list_queues`, [policy.txt](policy.txt), [queues.txt](queues.txt) | Эффективная policy `delivery-limit=-1` на существующей quorum queue; исходная DLQ=15 |
|
||||
| `.venv/bin/python evidence/final-validation-2026-11-07/targeted.py postgres-outage-retry`, [команда](postgres-outage-retry.txt), [результат](postgres-outage-retry.json), [сырые requeue](postgres-outage-worker.log) | PASS: настоящий PostgreSQL exited, 12 `job.requeued`, затем ready без replay; job_id и attempt=1 сохранены, три варианта, DLQ=15; 8 инвариантов PASS |
|
||||
| `targeted.py png-http`, [команда](png-http.txt), [результат](png-http.json) | 8 PNG × v1/v2 × 3 варианта = 48 побайтных сравнений с независимым белым эталоном PASS; оригиналы неизменны, metadata/hash/геометрия, удаление EXIF, stale/duplicate noop; 8 инвариантов PASS |
|
||||
| `pipeline_suite.py --only …`, [команда](delivery-targeted.txt), [результат](delivery-targeted.json) | 12 адресных сценариев и 8 инвариантов PASS; 11 ID, 47 S3-объектов. DLQ 15 → 16 только от ожидаемого malformed message |
|
||||
| `targeted.py png-limits`, [команда](png-limits.txt), [результат](png-limits.json) | Четыре FAIL для 40 Мп tRNS при штатных пределах; принудительные timeout/memory и последующее обычное задание PASS. Не переименовывать весь запуск в PASS |
|
||||
|
||||
PNG HTTP включает grayscale 1/2/4/8/16, RGB8/16, точного непрозрачного соседа 12346 и RGB16 с Adam7/filter=4/EXIF=6. Новые синтетические 40 Мп fixtures сохранены в [fixtures](fixtures); генератор — `large_png` в [targeted.py](targeted.py).
|
||||
|
||||
Policy сверена через Context7 `/rabbitmq/rabbitmq-website`; точная семантика 4.1 дополнительно проверена по [RabbitMQ 4.1](https://www.rabbitmq.com/docs/4.1/quorum-queues#poison-message-handling). Динамическое доказательство относится именно к RabbitMQ 4.1.8, а не к изменённой семантике nack в 4.3.
|
||||
|
||||
## Непригодные промежуточные проверки
|
||||
|
||||
Первый [postgres-outage.txt](postgres-outage.txt) имеет exit 1: `docker compose start worker` запустил зависимости, включая PostgreSQL, поэтому 12 ошибок не возникли. Это ошибка новой проверочной обвязки, а не дефект приложения. Исходная обвязка сохранена в [targeted-initial.py](targeted-initial.py). Повторён только этот сценарий с `docker start` точного ID своего worker; никаких старых пригодных серий не повторялось.
|
||||
|
||||
В `png-limits.json` проверка `no_orphans` выполнена до очередного штатного sweep: после последнего ready ещё оставался staging. Остальные семь инвариантов PASS. Read-only [cleanup-recheck](cleanup-recheck.txt) после sweep подтвердил отсутствие pending outbox/staging/nonterminal/дублей и точное совпадение 10 объектов S3 с БД для семи ID. Тяжёлые PNG не повторялись; исходный `no_orphans FAIL` не переписан.
|
||||
|
||||
## Незавершённая квалификация
|
||||
|
||||
Четыре валидных PNG 8000×5000 с tRNS приняты с 202, но дали failed/processing_failed на первой попытке. Worker жив, последующая обычная загрузка ready. **Major: не выполнен объявленный сценарий «Изображение на пределе пикселей» [OpenSpec](../../openspec/specs/lab5-image-variants/spec.md): PNG 8000×5000 при штатных пределах должен дать ready.** Это вывод о конкретном граничном сценарии, не заявление о потере данных или падении сервиса. Полное подтверждение «5» и готовность к публикации блокируются до отдельного fix/re-review. Реализация не менялась.
|
||||
|
||||
Пять прежних minor и документационная неточность `201` в openspec/config.yaml сохраняются в REPORT. Публикация и Telegram не выполнялись.
|
||||
|
||||
|
||||
[resource-probe-worker.txt](resource-probe-worker.txt) воспроизводит `MemoryError` при 448 MiB и загруженных модулях worker: grayscale 2/4 — `flatten` при выделении белого RGB-фона, grayscale16 — преобразование `I → L`, RGB16 — маски/повторное декодирование в `apply_png_transparency`. Без tRNS gray2/gray4/RGB16 обрабатываются, gray16 всё ещё превышает предел. В облегчённом процессе без импортов worker [resource-probe-retry.txt](resource-probe-retry.txt) проходит grayscale, но падает RGB16: такой изолированный результат не заменяет HTTP-проверку реального worker. RSS пробника — наблюдение процесса, а ограничение — виртуальное адресное пространство RLIMIT_AS.
|
||||
|
||||
При штатном HTTP-прогоне peak контейнера составил 640 196 608 байт < 1 GiB; `MemoryError` возникает внутри ограниченного дочернего процесса. Увеличение лимита без учёта concurrency=2 и памяти worker не считается готовым решением. После исправления нужны ресурсная проверка новых PNG, отсутствие поломки точного tRNS и целевые регрессии. Полную принятую track2-матрицу повторять без нового основания не требуется.
|
||||
|
||||
Первая попытка скопировать диагностические fixtures через `docker compose cp` отклонена read-only rootfs (`probe-copy-*.txt`), последующий запуск отсутствующего файла завершился exit 2 (`resource-probe.txt`). Затем [invoke-probe.py](invoke-probe.py) передал только синтетические fixtures и код через stdin, записал их в разрешённый tmpfs `/tmp` и выполнил пробник. Эти ошибки обвязки не скрыты и не названы тестовыми PASS.
|
||||
|
||||
## Завершение и передача
|
||||
|
||||
Итог — **1 major, 6 сохранённых minor**, [findings.json](findings.json). Фаза validation заблокирована граничной обработкой PNG; назначенный агент должен исправить реализацию через OpenSpec и пройти review. В этой фазе новых изменений реализации/конфигурации/OpenSpec нет. Check/validate/lint, полный student-test и остальные адресные результаты сохраняются для аудита применимости, не становятся автоматически недействительными после документационного коммита.
|
||||
|
||||
`make down` без `-v` выполнен: [down.txt](down.txt), [stopped-containers.txt](stopped-containers.txt); контейнеров своего project нет. Четыре постоянных volume сохранены — [retained-volumes.txt](retained-volumes.txt). Итоговый список работающих Docker-контейнеров пуст — [running-containers-after.txt](running-containers-after.txt). Фоновых агентов и процессов этап не оставил. Push и Telegram не выполнялись.
|
||||
|
||||
|
||||
Финальные `make check validate lint` — PASS ([checks-final.txt](checks-final.txt)); новый код evidence разобран Python AST. Проверены локальные ссылки и совпадение runtime с review, нормативных файлов со skeleton ([final-doc-audit.json](final-doc-audit.json)). Проверка tracked файлов и новых evidence по восьми шаблонам секретов не обнаружила реальных credentials; семь совпадений проверены как skeleton placeholders/тестовые значения ([secret-scan.json](secret-scan.json)). Это проверка содержимого, без чтения `.env` и `secrets/`. Концевые пробелы в новых текстовых логах нормализованы; результаты/значения не изменены, историческое сырьё не редактировалось.
|
||||
@@ -1,11 +0,0 @@
|
||||
date: 2026-11-06T21:15:54Z commit: b30e2f6a84419d1ca64525ffb40df92183cccaef
|
||||
environment: {}
|
||||
$ openspec list --json
|
||||
{
|
||||
"changes": [],
|
||||
"root": {
|
||||
"path": "<repo>",
|
||||
"source": "nearest"
|
||||
}
|
||||
}
|
||||
exit_code: 0 elapsed_seconds: 0.794
|
||||
@@ -1,142 +0,0 @@
|
||||
{
|
||||
"head": "b30e2f6a84419d1ca64525ffb40df92183cccaef",
|
||||
"review_runtime_equal": true,
|
||||
"runtime_diff_from_D": [
|
||||
"infra/rabbitmq/definitions.json",
|
||||
"src/messenger/attachments/infrastructure/images.py"
|
||||
],
|
||||
"platform": "macOS-15.1-arm64-arm-64bit-Mach-O",
|
||||
"host_load": [
|
||||
3.61962890625,
|
||||
2.6328125,
|
||||
2.22509765625
|
||||
],
|
||||
"docker": "28.3.2 16 8217190400",
|
||||
"retained_volumes": [
|
||||
"mtusi2026lab5_broker-data",
|
||||
"mtusi2026lab5_pgdata",
|
||||
"mtusi2026lab5_s3data",
|
||||
"mtusi2026lab5_valkeydata"
|
||||
],
|
||||
"series": [
|
||||
{
|
||||
"name": "level4",
|
||||
"source_sha": "0e921116610d289716af0a40ec823376eb8bbcbc",
|
||||
"scenarios": 17,
|
||||
"invariants": 8,
|
||||
"accepted": 33,
|
||||
"config": {
|
||||
"base_url": "http://127.0.0.1:18085",
|
||||
"level": 4,
|
||||
"only": "",
|
||||
"expect_variants": "thumbnail,crop,optimized",
|
||||
"max_attempts": 5,
|
||||
"stall_seconds": 15.0,
|
||||
"compose": "docker compose",
|
||||
"compose_faults": "docker compose -f compose.yaml -f infra/compose.faults.yaml"
|
||||
}
|
||||
},
|
||||
{
|
||||
"name": "track-run1",
|
||||
"source_sha": "0e921116610d289716af0a40ec823376eb8bbcbc",
|
||||
"scenarios": 13,
|
||||
"invariants": 8,
|
||||
"accepted": 13,
|
||||
"config": {
|
||||
"base_url": "http://127.0.0.1:18085",
|
||||
"level": 5,
|
||||
"only": "smoke_pipeline,duplicate_after_ready,crash_commit_publish,crash_publish_confirm,crash_after_s3_before_commit,crash_after_commit_before_ack,lease_expiry_fencing,crash_before_side_effect,worker_kill_mid_task,duplicate_in_flight,reorder_attempts,reorder_versions,stale_after_new_version",
|
||||
"expect_variants": "thumbnail,crop,optimized",
|
||||
"max_attempts": 5,
|
||||
"stall_seconds": 15.0,
|
||||
"compose": "docker compose",
|
||||
"compose_faults": "docker compose -f compose.yaml -f infra/compose.faults.yaml"
|
||||
}
|
||||
},
|
||||
{
|
||||
"name": "track-run2",
|
||||
"source_sha": "0e921116610d289716af0a40ec823376eb8bbcbc",
|
||||
"scenarios": 13,
|
||||
"invariants": 8,
|
||||
"accepted": 13,
|
||||
"config": {
|
||||
"base_url": "http://127.0.0.1:18085",
|
||||
"level": 5,
|
||||
"only": "smoke_pipeline,duplicate_after_ready,crash_commit_publish,crash_publish_confirm,crash_after_s3_before_commit,crash_after_commit_before_ack,lease_expiry_fencing,crash_before_side_effect,worker_kill_mid_task,duplicate_in_flight,reorder_attempts,reorder_versions,stale_after_new_version",
|
||||
"expect_variants": "thumbnail,crop,optimized",
|
||||
"max_attempts": 5,
|
||||
"stall_seconds": 15.0,
|
||||
"compose": "docker compose",
|
||||
"compose_faults": "docker compose -f compose.yaml -f infra/compose.faults.yaml"
|
||||
}
|
||||
},
|
||||
{
|
||||
"name": "track-run3",
|
||||
"source_sha": "0e921116610d289716af0a40ec823376eb8bbcbc",
|
||||
"scenarios": 13,
|
||||
"invariants": 8,
|
||||
"accepted": 13,
|
||||
"config": {
|
||||
"base_url": "http://127.0.0.1:18085",
|
||||
"level": 5,
|
||||
"only": "smoke_pipeline,duplicate_after_ready,crash_commit_publish,crash_publish_confirm,crash_after_s3_before_commit,crash_after_commit_before_ack,lease_expiry_fencing,crash_before_side_effect,worker_kill_mid_task,duplicate_in_flight,reorder_attempts,reorder_versions,stale_after_new_version",
|
||||
"expect_variants": "thumbnail,crop,optimized",
|
||||
"max_attempts": 5,
|
||||
"stall_seconds": 15.0,
|
||||
"compose": "docker compose",
|
||||
"compose_faults": "docker compose -f compose.yaml -f infra/compose.faults.yaml"
|
||||
}
|
||||
}
|
||||
],
|
||||
"evidence_sha256": {
|
||||
"evidence/forward-final-2026-11-06/upload-negative.txt": "6cb7ad695b0715a2865e81d113bff729bf98d106a29c419e2ff16f7ee067c4b8",
|
||||
"evidence/forward-final-2026-11-06/baseline.txt": "f6520adb750693e1c7ad31cdad2d1de327a302d15a17a763a035f35ea5b759f5",
|
||||
"evidence/forward-final-2026-11-06/student-test.txt": "2976f98e550a14ee2c385f8a1b34a37626fdc602dfc6f848fbf81b0f105834fc",
|
||||
"evidence/forward-final-2026-11-06/summary.json": "406cea849c5a294a7a744e18056ed54a554cccdf3f5b1133d580ea67cdc1a57f",
|
||||
"evidence/forward-final-2026-11-06/track-run1.json": "5e90e87bcbf43115df39a37b95f50141772d92e3005f445e1a0c9b5d04050ad0",
|
||||
"evidence/forward-final-2026-11-06/baseline-regressions.txt": "b0525cea37ce47958dc95e02866c1f014239a6cc8500cf76bf448d2b4f1423c9",
|
||||
"evidence/forward-final-2026-11-06/conditions-level4-middle.json": "677c0e3499a45daf06cc5bc6f46338ceb873f4203ae137b8cb1c9606f13538eb",
|
||||
"evidence/forward-final-2026-11-06/lint-runtime.txt": "5e3c5752c468b6f747e4dbafd91954660f8b80f820b63ff34704641e7d5db970",
|
||||
"evidence/forward-final-2026-11-06/final-containers.txt": "e2ea3d831281e9cc6cc9b03ea1f00172e4eda23fb7244b8d9b60f7d211b5ec64",
|
||||
"evidence/forward-final-2026-11-06/down.txt": "9dbe77c3dc7b1a17798bd117fd1c8b4cb9ab01a6122376ca5ab38d147ac7b9ff",
|
||||
"evidence/forward-final-2026-11-06/stopped-containers.txt": "f7ac8e8c29b18a83193a089a2dd75aa0dfc103e54173e2421b853c00a0113338",
|
||||
"evidence/forward-final-2026-11-06/unit-regressions.txt": "26d5cf96bdf415c5b17fe2a596b9228834995418b1b33a83c146f59617debc5a",
|
||||
"evidence/forward-final-2026-11-06/track-run1.txt": "7966b1f45232223055f58b0031a6eeee987d42d5789798ec17df711f40c207ac",
|
||||
"evidence/forward-final-2026-11-06/track-run3.txt": "4b8254db242784c6db3a0db7a8e363269a1aa486a1b26caaee254100f1ab0a52",
|
||||
"evidence/forward-final-2026-11-06/source-inventory.json": "8977c7883b08b4a2ce7385ddf1c8da11bb4344e586dc71ba637118fcf9d8f506",
|
||||
"evidence/forward-final-2026-11-06/conditions-stopped.json": "5ed4cc9e6c6969cd16b699a24ac747c7b4ee4c8b189be2f57cd610622891f00d",
|
||||
"evidence/forward-final-2026-11-06/forward-audit.json": "675a9fcf1fb817bb043c8bcde35079617294da9c7832a529c4d7bfa2adc8f52d",
|
||||
"evidence/forward-final-2026-11-06/conditions-before.json": "4ef9320729dc38a49b7e8dc3338a862fd69946ceaf64b4aed004bc6ac23ab1cc",
|
||||
"evidence/forward-final-2026-11-06/track-run2.txt": "1ff4b753ab5627ee5393977203d5dc83f59d4c9e990e7171fc63a06061ceecb3",
|
||||
"evidence/forward-final-2026-11-06/level4-command.txt": "2b9e49afc9e9ec0e8a8f2a3c491906b72c7439b4a2e30ff6ed0a96d9be4c73ed",
|
||||
"evidence/forward-final-2026-11-06/level4.json": "904e2c40a6737947b1867c9051a36920c007f49ad59de057a168c1dcc345d87c",
|
||||
"evidence/forward-final-2026-11-06/archive.txt": "54bc70e53d69969580bd0c88f373778f2a029e2329bbccac7844ff16055deceb",
|
||||
"evidence/forward-final-2026-11-06/conditions-track-after1.json": "65e7d5a4652e102e6ad8ecbf74356b1c468e2d5ddaee492af21432d646aa4bdf",
|
||||
"evidence/forward-final-2026-11-06/up.txt": "0baaa49727722eaf24ac4d8b3e083c09bbb53e278e557e42551221d0c59e5856",
|
||||
"evidence/forward-final-2026-11-06/checks-before-commit.txt": "1b8bd42a69e070cffb07e12449ec749066ec92407fa5d94bd8ad766f40d93dff",
|
||||
"evidence/forward-final-2026-11-06/checks-final.txt": "d0d3a9f7a24914365c772eabceb4ad2238c5922e30c866a26c5274f8fb570e81",
|
||||
"evidence/forward-final-2026-11-06/failover.txt": "fcd1b67b77aa7936f9f0ae1c48982e9e4ad9f2e8b9705d2b856ff8cf360fdaa9",
|
||||
"evidence/forward-final-2026-11-06/persistence-containers.txt": "229bf4c9809cf0e6a1d9cfd162949b413d7f990f57a30fbcd5f9c5b6e3f81e92",
|
||||
"evidence/forward-final-2026-11-06/conditions-track-start.json": "64e99f2110c3ccf029fba7fe30bd1c9f01615cb5b43ffd77fe4a0f09e7030245",
|
||||
"evidence/forward-final-2026-11-06/final-smoke.txt": "eec6f2507465824cd920fe78bf876dfbf8b905e84ebcd7b9d51e80d16d4c064b",
|
||||
"evidence/forward-final-2026-11-06/findings.json": "2f0db619bebbc615dc33f78599210201e1d9441139adb33687dea7a46fc1f15b",
|
||||
"evidence/forward-final-2026-11-06/network-regressions.txt": "30f0735c6d0bd2370cf39ac6855c06750ba18b282b978dcf6dddcf293145e02b",
|
||||
"evidence/forward-final-2026-11-06/conditions-track-after2.json": "fa3a1808cc215afb3a422fe582c2d4cae5cf480411f4150977be30f9e24bf462",
|
||||
"evidence/forward-final-2026-11-06/conditions-track-after3.json": "1054464f5526ee719579fbda81b9e7605a97a660fec9bdfc52f6e68ce94cfad1",
|
||||
"evidence/forward-final-2026-11-06/specs-validation.txt": "79fe9fdb0bb258d6d7788a79d96587b748233001e97f2acd38bf9bfe0376d515",
|
||||
"evidence/forward-final-2026-11-06/cache-outage.txt": "fbe1eb591256b35a93a8fd3f4fb299caf22f57159f0b68c984f7c75e5e8be9fc",
|
||||
"evidence/forward-final-2026-11-06/failover-containers.txt": "4468a88f349073027fb07b2c81406e480e1b503b64fb828e58ecee688d7b2091",
|
||||
"evidence/forward-final-2026-11-06/clock-observation.json": "d7ae11b8c7970cc71775f46fa0a1474e113da4cae9229d8f28bf85312dd8acc4",
|
||||
"evidence/forward-final-2026-11-06/conditions-level4-start.json": "0cb8a9314b3afd4704c762b1b611f80beb9f30795475642ad2a22452f87993c0",
|
||||
"evidence/forward-final-2026-11-06/images.txt": "adb50435b1c24cc0deb913c49ed19e3fdd4287b73719d418accad013ebb7489d",
|
||||
"evidence/forward-final-2026-11-06/retained-volumes.txt": "ef4b62f79ed1cd0dc1e7313d65873c6a6ab35ff933bd8673a3431d3df5691449",
|
||||
"evidence/forward-final-2026-11-06/openspec-final.txt": "a34016edea7844300b98aaf38e713df8b4b217924b515881b33a599cd1603b24",
|
||||
"evidence/forward-final-2026-11-06/track-run3.json": "d190b7a1b4962c520d46931dc63601ed2655f1b4063bc7fea01b78b049a0bede",
|
||||
"evidence/forward-final-2026-11-06/source-name-status.txt": "81abf426ff31f0253a5ced9ae43fdbbf2a56460afe7b5d299a32c6f664196b93",
|
||||
"evidence/forward-final-2026-11-06/haproxy-errors.txt": "bf3b0b33f997fefc542860389e8a0fcc1856bbb17cd25b6103911610e87806a3",
|
||||
"evidence/forward-final-2026-11-06/persistence.txt": "06574967e1dab9742841d54cabb7b0109aa063316e08c8db5525234f084f92de",
|
||||
"evidence/forward-final-2026-11-06/smoke.txt": "709ddeeb3aa1c4e0b516d4b66038b0421929ee519665d79feccc907cc7bc89ac",
|
||||
"evidence/forward-final-2026-11-06/restore.txt": "96805ba0f8cba25cb90f385809d0a0a6c75b468a25f87006d729fedc51759c7d",
|
||||
"evidence/forward-final-2026-11-06/track-run2.json": "16fe12bd42f958a0d4962182da65bd4ee69e4b896fbce47daea724b0a1c618e8"
|
||||
}
|
||||
}
|
||||
@@ -1,90 +0,0 @@
|
||||
date: 2026-11-06T21:16:11Z commit: b30e2f6a84419d1ca64525ffb40df92183cccaef
|
||||
environment: {"COMPOSE_PROJECT_NAME": "mtusi2026lab5", "COMPOSE_FILE": "compose.yaml", "LB_HTTP_PORT": "18085", "LB_STATS_PORT": "25085", "BASE_URL": "http://127.0.0.1:18085", "NO_PROXY": "localhost,127.0.0.1,::1", "API_IMAGE": "mtusi-messenger:lab5-validation"}
|
||||
$ docker compose build
|
||||
#1 [internal] load local bake definitions
|
||||
#1 reading from stdin 434B done
|
||||
#1 DONE 0.0s
|
||||
|
||||
#2 [internal] load build definition from Dockerfile
|
||||
#2 transferring dockerfile: 1.65kB done
|
||||
#2 DONE 0.0s
|
||||
|
||||
#3 [internal] load metadata for ghcr.io/astral-sh/uv:0.9.7@sha256:ba4857bf2a068e9bc0e64eed8563b065908a4cd6bfb66b531a9c424c8e25e142
|
||||
#3 DONE 0.0s
|
||||
|
||||
#4 [internal] load metadata for docker.io/library/python:3.14-slim-trixie@sha256:51dafde81dbdb6ebde285137a295cf18a47ca95234fe388a343719cb97305b3d
|
||||
#4 DONE 1.7s
|
||||
|
||||
#5 [internal] load .dockerignore
|
||||
#5 transferring context: 453B done
|
||||
#5 DONE 0.0s
|
||||
|
||||
#6 FROM ghcr.io/astral-sh/uv:0.9.7@sha256:ba4857bf2a068e9bc0e64eed8563b065908a4cd6bfb66b531a9c424c8e25e142
|
||||
#6 resolve ghcr.io/astral-sh/uv:0.9.7@sha256:ba4857bf2a068e9bc0e64eed8563b065908a4cd6bfb66b531a9c424c8e25e142 0.0s done
|
||||
#6 DONE 0.0s
|
||||
|
||||
#7 [builder 1/7] FROM docker.io/library/python:3.14-slim-trixie@sha256:51dafde81dbdb6ebde285137a295cf18a47ca95234fe388a343719cb97305b3d
|
||||
#7 resolve docker.io/library/python:3.14-slim-trixie@sha256:51dafde81dbdb6ebde285137a295cf18a47ca95234fe388a343719cb97305b3d 0.0s done
|
||||
#7 DONE 0.0s
|
||||
|
||||
#8 [internal] load build context
|
||||
#8 transferring context: 51.62kB 0.0s done
|
||||
#8 DONE 0.0s
|
||||
|
||||
#9 [builder 2/7] COPY --from=ghcr.io/astral-sh/uv:0.9.7@sha256:ba4857bf2a068e9bc0e64eed8563b065908a4cd6bfb66b531a9c424c8e25e142 /uv /usr/local/bin/uv
|
||||
#9 CACHED
|
||||
|
||||
#10 [builder 4/7] COPY pyproject.toml uv.lock README.md ./
|
||||
#10 CACHED
|
||||
|
||||
#11 [builder 3/7] WORKDIR /build
|
||||
#11 CACHED
|
||||
|
||||
#12 [builder 5/7] RUN uv sync --locked --no-dev --no-install-project --no-editable
|
||||
#12 CACHED
|
||||
|
||||
#13 [builder 6/7] COPY src ./src
|
||||
#13 DONE 0.1s
|
||||
|
||||
#14 [builder 7/7] RUN uv sync --locked --no-dev --no-editable
|
||||
#14 0.280 Resolved 84 packages in 12ms
|
||||
#14 0.309 Building mtusi-messenger @ file:///build
|
||||
#14 1.851 Built mtusi-messenger @ file:///build
|
||||
#14 1.855 Prepared 1 package in 1.54s
|
||||
#14 1.859 Installed 1 package in 3ms
|
||||
#14 2.080 Bytecode compiled 2301 files in 221ms
|
||||
#14 2.080 + mtusi-messenger==1.5.0 (from file:///build)
|
||||
#14 DONE 2.1s
|
||||
|
||||
#15 [runtime 2/6] RUN groupadd --system --gid 10001 messenger && useradd --system --uid 10001 --gid messenger --no-create-home --shell /usr/sbin/nologin messenger
|
||||
#15 CACHED
|
||||
|
||||
#16 [runtime 3/6] COPY --from=builder --chown=root:root /opt/venv /opt/venv
|
||||
#16 DONE 0.4s
|
||||
|
||||
#17 [runtime 4/6] WORKDIR /app
|
||||
#17 DONE 0.0s
|
||||
|
||||
#18 [runtime 5/6] COPY --chown=root:root alembic.ini ./
|
||||
#18 DONE 0.0s
|
||||
|
||||
#19 [runtime 6/6] COPY --chown=root:root alembic ./alembic
|
||||
#19 DONE 0.0s
|
||||
|
||||
#20 exporting to image
|
||||
#20 exporting layers
|
||||
#20 exporting layers 3.0s done
|
||||
#20 exporting manifest sha256:5fa47645c125c166f4f83308eeda33e4679510f9548cae36141b4bcff1bec3cb
|
||||
#20 exporting manifest sha256:5fa47645c125c166f4f83308eeda33e4679510f9548cae36141b4bcff1bec3cb done
|
||||
#20 exporting config sha256:34e5f914cd69e5cff0b7745f9730b4d63d0a62480ef53de7b18914787a51c828 done
|
||||
#20 exporting attestation manifest sha256:043b67091fa616197172d98abd054f1cd803a4b540ceb0bc4a8e30232d37359d done
|
||||
#20 exporting manifest list sha256:9293b3138e99506510e947ba0cfc77ed4301f96344dd937d51d03e8c258121f2 done
|
||||
#20 naming to docker.io/library/mtusi-messenger:lab5-validation done
|
||||
#20 unpacking to docker.io/library/mtusi-messenger:lab5-validation
|
||||
#20 unpacking to docker.io/library/mtusi-messenger:lab5-validation 0.6s done
|
||||
#20 DONE 3.6s
|
||||
|
||||
#21 resolving provenance for metadata file
|
||||
#21 DONE 0.0s
|
||||
api Built
|
||||
exit_code: 0 elapsed_seconds: 9.093
|
||||
@@ -1,14 +0,0 @@
|
||||
date: 2026-11-06T21:29:59Z commit: b30e2f6a84419d1ca64525ffb40df92183cccaef
|
||||
environment: {}
|
||||
$ make check validate lint
|
||||
python3 scripts/check_contract.py
|
||||
PASS: offline skeleton structure, local refs and Python syntax; application NOT tested.
|
||||
.venv/bin/python scripts/validate_openapi.py
|
||||
PASS: full OpenAPI 3.1 and JSON Schema validation; application NOT tested.
|
||||
.venv/bin/ruff check src student-tests scripts/capture_evidence.py alembic scripts/scaling.py tools scripts/probe.py scripts/limits.py scripts/lab4_scenarios.py scripts/lab4_seed.py scripts/upload_memory.py scripts/reconcile_check.py scripts/reconcile_track.py scripts/make_images.py scripts/pipeline_suite.py scripts/pipeline_evidence.py
|
||||
All checks passed!
|
||||
.venv/bin/ruff format --check src student-tests scripts/capture_evidence.py alembic scripts/scaling.py tools scripts/probe.py scripts/limits.py scripts/lab4_scenarios.py scripts/lab4_seed.py scripts/upload_memory.py scripts/reconcile_check.py scripts/reconcile_track.py scripts/make_images.py scripts/pipeline_suite.py scripts/pipeline_evidence.py
|
||||
197 files already formatted
|
||||
.venv/bin/ty check src student-tests alembic
|
||||
All checks passed!
|
||||
exit_code: 0 elapsed_seconds: 0.535
|
||||
@@ -1,14 +0,0 @@
|
||||
date: 2026-11-06T21:15:52Z commit: b30e2f6a84419d1ca64525ffb40df92183cccaef
|
||||
environment: {}
|
||||
$ make check validate lint
|
||||
python3 scripts/check_contract.py
|
||||
PASS: offline skeleton structure, local refs and Python syntax; application NOT tested.
|
||||
.venv/bin/python scripts/validate_openapi.py
|
||||
PASS: full OpenAPI 3.1 and JSON Schema validation; application NOT tested.
|
||||
.venv/bin/ruff check src student-tests scripts/capture_evidence.py alembic scripts/scaling.py tools scripts/probe.py scripts/limits.py scripts/lab4_scenarios.py scripts/lab4_seed.py scripts/upload_memory.py scripts/reconcile_check.py scripts/reconcile_track.py scripts/make_images.py scripts/pipeline_suite.py scripts/pipeline_evidence.py
|
||||
All checks passed!
|
||||
.venv/bin/ruff format --check src student-tests scripts/capture_evidence.py alembic scripts/scaling.py tools scripts/probe.py scripts/limits.py scripts/lab4_scenarios.py scripts/lab4_seed.py scripts/upload_memory.py scripts/reconcile_check.py scripts/reconcile_track.py scripts/make_images.py scripts/pipeline_suite.py scripts/pipeline_evidence.py
|
||||
197 files already formatted
|
||||
.venv/bin/ty check src student-tests alembic
|
||||
All checks passed!
|
||||
exit_code: 0 elapsed_seconds: 0.580
|
||||
@@ -1,32 +0,0 @@
|
||||
{
|
||||
"source_sha": "b30e2f6a84419d1ca64525ffb40df92183cccaef",
|
||||
"at": "2026-11-06T21:26:03.661679Z",
|
||||
"result": "PASS",
|
||||
"accepted_ids": [
|
||||
"01a1b2bc-cdc1-7315-82e0-39f3e53d87db",
|
||||
"01a1b2bc-d211-7337-bd57-0ca1f3e33a0d",
|
||||
"01a1b2bc-d744-77c1-8352-989f80848cab",
|
||||
"01a1b2bc-dc37-7249-b7c3-f8901fb298de",
|
||||
"01a1b2bc-f161-7119-986f-bc7c8fd99bf0",
|
||||
"01a1b2bd-0192-70e7-a174-3275ca516e11",
|
||||
"01a1b2bd-13b0-712a-9275-1d3cdd2eb49a"
|
||||
],
|
||||
"rows": {
|
||||
"pending_outbox": [],
|
||||
"staging_left": [],
|
||||
"nonterminal": [],
|
||||
"duplicate_effects": []
|
||||
},
|
||||
"s3_objects": 10,
|
||||
"queues": {
|
||||
"attachments.process": [
|
||||
0,
|
||||
0
|
||||
],
|
||||
"attachments.process.dlq": [
|
||||
16,
|
||||
0
|
||||
]
|
||||
},
|
||||
"reason": "Read-only recheck after scheduled staging sweep; no scenario rerun. Initial no_orphans ran before the sweep."
|
||||
}
|
||||
@@ -1,36 +0,0 @@
|
||||
date: 2026-11-06T21:25:54Z commit: b30e2f6a84419d1ca64525ffb40df92183cccaef
|
||||
environment: {"COMPOSE_PROJECT_NAME": "mtusi2026lab5", "COMPOSE_FILE": "compose.yaml", "LB_HTTP_PORT": "18085", "LB_STATS_PORT": "25085", "BASE_URL": "http://127.0.0.1:18085", "NO_PROXY": "localhost,127.0.0.1,::1", "API_IMAGE": "mtusi-messenger:lab5-validation"}
|
||||
$ .venv/bin/python evidence/final-validation-2026-11-07/recheck-cleanup.py
|
||||
{
|
||||
"source_sha": "b30e2f6a84419d1ca64525ffb40df92183cccaef",
|
||||
"at": "2026-11-06T21:26:03.661679Z",
|
||||
"result": "PASS",
|
||||
"accepted_ids": [
|
||||
"01a1b2bc-cdc1-7315-82e0-39f3e53d87db",
|
||||
"01a1b2bc-d211-7337-bd57-0ca1f3e33a0d",
|
||||
"01a1b2bc-d744-77c1-8352-989f80848cab",
|
||||
"01a1b2bc-dc37-7249-b7c3-f8901fb298de",
|
||||
"01a1b2bc-f161-7119-986f-bc7c8fd99bf0",
|
||||
"01a1b2bd-0192-70e7-a174-3275ca516e11",
|
||||
"01a1b2bd-13b0-712a-9275-1d3cdd2eb49a"
|
||||
],
|
||||
"rows": {
|
||||
"pending_outbox": [],
|
||||
"staging_left": [],
|
||||
"nonterminal": [],
|
||||
"duplicate_effects": []
|
||||
},
|
||||
"s3_objects": 10,
|
||||
"queues": {
|
||||
"attachments.process": [
|
||||
0,
|
||||
0
|
||||
],
|
||||
"attachments.process.dlq": [
|
||||
16,
|
||||
0
|
||||
]
|
||||
},
|
||||
"reason": "Read-only recheck after scheduled staging sweep; no scenario rerun. Initial no_orphans ran before the sweep."
|
||||
}
|
||||
exit_code: 0 elapsed_seconds: 9.044
|
||||
@@ -1,896 +0,0 @@
|
||||
{
|
||||
"suite": "lab5-pipeline-idempotency",
|
||||
"started_at": "2026-11-06T21:22:22.429392Z",
|
||||
"source_sha": "b30e2f6a84419d1ca64525ffb40df92183cccaef",
|
||||
"config": {
|
||||
"base_url": "http://127.0.0.1:18085",
|
||||
"level": 5,
|
||||
"only": "duplicate_after_ready,retry_exhausted,crash_commit_publish,crash_after_s3_before_commit,crash_after_commit_before_ack,lease_expiry_fencing,replay_failed,malformed_message_dead_lettered,duplicate_in_flight,reorder_attempts,reorder_versions,stale_after_new_version",
|
||||
"expect_variants": "thumbnail,crop,optimized",
|
||||
"max_attempts": 5,
|
||||
"stall_seconds": 15.0,
|
||||
"compose": "docker compose",
|
||||
"compose_faults": "docker compose -f compose.yaml -f infra/compose.faults.yaml"
|
||||
},
|
||||
"invariants": [
|
||||
{
|
||||
"id": "terminal",
|
||||
"statement": "every 202 reaches its expected terminal state",
|
||||
"result": "PASS",
|
||||
"details": {
|
||||
"accepted": 11
|
||||
}
|
||||
},
|
||||
{
|
||||
"id": "single_effect",
|
||||
"statement": "one variant set per (attachment_id, pipeline_version, variant)",
|
||||
"result": "PASS",
|
||||
"details": {
|
||||
"rows": 0
|
||||
}
|
||||
},
|
||||
{
|
||||
"id": "no_ready_rollback",
|
||||
"statement": "ready never returns to queued or processing",
|
||||
"result": "PASS",
|
||||
"details": {
|
||||
"traced": 11
|
||||
}
|
||||
},
|
||||
{
|
||||
"id": "monotonic_publication",
|
||||
"statement": "published_version only moves forward",
|
||||
"result": "PASS",
|
||||
"details": {
|
||||
"sampled": 8
|
||||
}
|
||||
},
|
||||
{
|
||||
"id": "bytes_match_metadata",
|
||||
"statement": "sha256, size and real dimensions match served bytes",
|
||||
"result": "PASS",
|
||||
"details": {
|
||||
"verified": 10
|
||||
}
|
||||
},
|
||||
{
|
||||
"id": "bounded_attempts",
|
||||
"statement": "attempt <= JOB_MAX_ATTEMPTS",
|
||||
"result": "PASS",
|
||||
"details": {
|
||||
"rows": 0
|
||||
}
|
||||
},
|
||||
{
|
||||
"id": "no_orphans",
|
||||
"statement": "no pending outbox, messages, dead letters, staging, objects",
|
||||
"result": "PASS",
|
||||
"details": {
|
||||
"queues": {
|
||||
"attachments.process": [
|
||||
0,
|
||||
0
|
||||
],
|
||||
"attachments.process.dlq": [
|
||||
16,
|
||||
0
|
||||
]
|
||||
},
|
||||
"s3_objects": 47,
|
||||
"scoped_attachments": 11
|
||||
}
|
||||
},
|
||||
{
|
||||
"id": "no_lost_202",
|
||||
"statement": "every 202 is present in PostgreSQL and the API",
|
||||
"result": "PASS",
|
||||
"details": {
|
||||
"accepted": 11
|
||||
}
|
||||
}
|
||||
],
|
||||
"accepted_ids": [
|
||||
"01a1b2bd-dee8-7491-a9c1-90e56c2bb9e4",
|
||||
"01a1b2bd-fe45-77cf-b9ef-53b5e01c32ac",
|
||||
"01a1b2be-4b72-71c4-99f1-b93ee6662a6b",
|
||||
"01a1b2be-6f6f-7200-a261-63dd237e9ec8",
|
||||
"01a1b2be-a1dc-76f3-9861-667de097c2af",
|
||||
"01a1b2be-c7f7-7326-b272-a341993c5bf9",
|
||||
"01a1b2bf-47a0-77e8-97ed-907199a6caa7",
|
||||
"01a1b2bf-b3a8-7754-af89-7d174f4540d1",
|
||||
"01a1b2bf-ed3f-721d-ae2a-dd55e7ab970d",
|
||||
"01a1b2c0-286d-77c5-8019-58526f2e09c5",
|
||||
"01a1b2c0-5422-77cd-88f8-cd2c123fe78d"
|
||||
],
|
||||
"scenarios": [
|
||||
{
|
||||
"name": "duplicate_after_ready",
|
||||
"level": 3,
|
||||
"window": "redelivery of a finished job",
|
||||
"seconds": 4.4,
|
||||
"result": "PASS",
|
||||
"observed": {
|
||||
"attachment_id": "01a1b2bd-dee8-7491-a9c1-90e56c2bb9e4",
|
||||
"events": [
|
||||
{
|
||||
"kind": "enqueued",
|
||||
"attempt": 1
|
||||
},
|
||||
{
|
||||
"kind": "claimed",
|
||||
"attempt": 1
|
||||
},
|
||||
{
|
||||
"kind": "done",
|
||||
"attempt": 1
|
||||
},
|
||||
{
|
||||
"kind": "duplicate_noop",
|
||||
"attempt": 1
|
||||
}
|
||||
]
|
||||
}
|
||||
},
|
||||
{
|
||||
"name": "retry_exhausted",
|
||||
"level": 3,
|
||||
"window": "transient error until JOB_MAX_ATTEMPTS",
|
||||
"seconds": 19.6,
|
||||
"result": "PASS",
|
||||
"observed": {
|
||||
"attachment_id": "01a1b2bd-fe45-77cf-b9ef-53b5e01c32ac",
|
||||
"jobs": [
|
||||
{
|
||||
"job_id": "01a1b2bd-fe54-7252-944d-9d5a09b3019d",
|
||||
"pipeline_version": 1,
|
||||
"status": "failed",
|
||||
"attempt": 5
|
||||
}
|
||||
]
|
||||
}
|
||||
},
|
||||
{
|
||||
"name": "crash_commit_publish",
|
||||
"level": 4,
|
||||
"window": "after COMMIT, before publish",
|
||||
"seconds": 9.2,
|
||||
"result": "PASS",
|
||||
"observed": {
|
||||
"attachment_id": "01a1b2be-4b72-71c4-99f1-b93ee6662a6b",
|
||||
"exit_code": 137,
|
||||
"after_crash": {
|
||||
"outbox_published": false,
|
||||
"status": "queued",
|
||||
"containers": [
|
||||
"mtusi2026lab5-relay-1 ee568583263a exited Exited (137) 1 second ago"
|
||||
]
|
||||
},
|
||||
"variants": [
|
||||
{
|
||||
"pipeline_version": 1,
|
||||
"name": "crop",
|
||||
"sha256": "97bf1400b30a28c19420a30161c944f57b5e7d613533b76afe6ab2531cba0143",
|
||||
"size_bytes": 1820,
|
||||
"object_key": "variants/01a1b2be-4b72-71c4-99f1-b93ee6662a6b/1/crop-97bf1400b30a28c1.jpg"
|
||||
},
|
||||
{
|
||||
"pipeline_version": 1,
|
||||
"name": "optimized",
|
||||
"sha256": "1090d84ed8411226010ae498b08e1b9e6d81c8eee02ee77143a0dc327b894beb",
|
||||
"size_bytes": 2462,
|
||||
"object_key": "variants/01a1b2be-4b72-71c4-99f1-b93ee6662a6b/1/optimized-1090d84ed8411226.webp"
|
||||
},
|
||||
{
|
||||
"pipeline_version": 1,
|
||||
"name": "thumbnail",
|
||||
"sha256": "7bc40bf315c8e18e907889b23514d978be213a44223d64b737290188ee808594",
|
||||
"size_bytes": 4679,
|
||||
"object_key": "variants/01a1b2be-4b72-71c4-99f1-b93ee6662a6b/1/thumbnail-7bc40bf315c8e18e.jpg"
|
||||
}
|
||||
]
|
||||
}
|
||||
},
|
||||
{
|
||||
"name": "crash_after_s3_before_commit",
|
||||
"level": 4,
|
||||
"window": "after S3 write, before COMMIT",
|
||||
"seconds": 12.4,
|
||||
"result": "PASS",
|
||||
"observed": {
|
||||
"attachment_id": "01a1b2be-6f6f-7200-a261-63dd237e9ec8",
|
||||
"exit_code": 137,
|
||||
"after_crash": {
|
||||
"status": "processing",
|
||||
"variant_rows": 0,
|
||||
"containers": [
|
||||
"mtusi2026lab5-worker-1 b9de1e78db3d exited Exited (137) Less than a second ago"
|
||||
]
|
||||
},
|
||||
"variants": [
|
||||
{
|
||||
"pipeline_version": 1,
|
||||
"name": "crop",
|
||||
"sha256": "97bf1400b30a28c19420a30161c944f57b5e7d613533b76afe6ab2531cba0143",
|
||||
"size_bytes": 1820,
|
||||
"object_key": "variants/01a1b2be-6f6f-7200-a261-63dd237e9ec8/1/crop-97bf1400b30a28c1.jpg"
|
||||
},
|
||||
{
|
||||
"pipeline_version": 1,
|
||||
"name": "optimized",
|
||||
"sha256": "1090d84ed8411226010ae498b08e1b9e6d81c8eee02ee77143a0dc327b894beb",
|
||||
"size_bytes": 2462,
|
||||
"object_key": "variants/01a1b2be-6f6f-7200-a261-63dd237e9ec8/1/optimized-1090d84ed8411226.webp"
|
||||
},
|
||||
{
|
||||
"pipeline_version": 1,
|
||||
"name": "thumbnail",
|
||||
"sha256": "7bc40bf315c8e18e907889b23514d978be213a44223d64b737290188ee808594",
|
||||
"size_bytes": 4679,
|
||||
"object_key": "variants/01a1b2be-6f6f-7200-a261-63dd237e9ec8/1/thumbnail-7bc40bf315c8e18e.jpg"
|
||||
}
|
||||
]
|
||||
}
|
||||
},
|
||||
{
|
||||
"name": "crash_after_commit_before_ack",
|
||||
"level": 4,
|
||||
"window": "after COMMIT, before ack",
|
||||
"seconds": 10.3,
|
||||
"result": "PASS",
|
||||
"observed": {
|
||||
"attachment_id": "01a1b2be-a1dc-76f3-9861-667de097c2af",
|
||||
"exit_code": 137,
|
||||
"after_crash": {
|
||||
"status": "ready",
|
||||
"variants": [
|
||||
{
|
||||
"pipeline_version": 1,
|
||||
"name": "crop",
|
||||
"sha256": "97bf1400b30a28c19420a30161c944f57b5e7d613533b76afe6ab2531cba0143",
|
||||
"size_bytes": 1820,
|
||||
"object_key": "variants/01a1b2be-a1dc-76f3-9861-667de097c2af/1/crop-97bf1400b30a28c1.jpg"
|
||||
},
|
||||
{
|
||||
"pipeline_version": 1,
|
||||
"name": "optimized",
|
||||
"sha256": "1090d84ed8411226010ae498b08e1b9e6d81c8eee02ee77143a0dc327b894beb",
|
||||
"size_bytes": 2462,
|
||||
"object_key": "variants/01a1b2be-a1dc-76f3-9861-667de097c2af/1/optimized-1090d84ed8411226.webp"
|
||||
},
|
||||
{
|
||||
"pipeline_version": 1,
|
||||
"name": "thumbnail",
|
||||
"sha256": "7bc40bf315c8e18e907889b23514d978be213a44223d64b737290188ee808594",
|
||||
"size_bytes": 4679,
|
||||
"object_key": "variants/01a1b2be-a1dc-76f3-9861-667de097c2af/1/thumbnail-7bc40bf315c8e18e.jpg"
|
||||
}
|
||||
],
|
||||
"queues": {
|
||||
"attachments.process": [
|
||||
0,
|
||||
0
|
||||
],
|
||||
"attachments.process.dlq": [
|
||||
15,
|
||||
0
|
||||
]
|
||||
},
|
||||
"containers": [
|
||||
"mtusi2026lab5-worker-1 b78cddfd65c9 exited Exited (137) 1 second ago"
|
||||
]
|
||||
},
|
||||
"variants": [
|
||||
{
|
||||
"pipeline_version": 1,
|
||||
"name": "crop",
|
||||
"sha256": "97bf1400b30a28c19420a30161c944f57b5e7d613533b76afe6ab2531cba0143",
|
||||
"size_bytes": 1820,
|
||||
"object_key": "variants/01a1b2be-a1dc-76f3-9861-667de097c2af/1/crop-97bf1400b30a28c1.jpg"
|
||||
},
|
||||
{
|
||||
"pipeline_version": 1,
|
||||
"name": "optimized",
|
||||
"sha256": "1090d84ed8411226010ae498b08e1b9e6d81c8eee02ee77143a0dc327b894beb",
|
||||
"size_bytes": 2462,
|
||||
"object_key": "variants/01a1b2be-a1dc-76f3-9861-667de097c2af/1/optimized-1090d84ed8411226.webp"
|
||||
},
|
||||
{
|
||||
"pipeline_version": 1,
|
||||
"name": "thumbnail",
|
||||
"sha256": "7bc40bf315c8e18e907889b23514d978be213a44223d64b737290188ee808594",
|
||||
"size_bytes": 4679,
|
||||
"object_key": "variants/01a1b2be-a1dc-76f3-9861-667de097c2af/1/thumbnail-7bc40bf315c8e18e.jpg"
|
||||
}
|
||||
]
|
||||
}
|
||||
},
|
||||
{
|
||||
"name": "lease_expiry_fencing",
|
||||
"level": 4,
|
||||
"window": "stalled worker, lease expiry",
|
||||
"seconds": 32.7,
|
||||
"result": "PASS",
|
||||
"observed": {
|
||||
"attachment_id": "01a1b2be-c7f7-7326-b272-a341993c5bf9",
|
||||
"jobs": [
|
||||
{
|
||||
"job_id": "01a1b2be-c805-75f5-95ab-9aabfea704fb",
|
||||
"pipeline_version": 1,
|
||||
"status": "done",
|
||||
"attempt": 2
|
||||
}
|
||||
],
|
||||
"events": [
|
||||
{
|
||||
"kind": "enqueued",
|
||||
"attempt": 1
|
||||
},
|
||||
{
|
||||
"kind": "claimed",
|
||||
"attempt": 1
|
||||
},
|
||||
{
|
||||
"kind": "lease_expired",
|
||||
"attempt": 2
|
||||
},
|
||||
{
|
||||
"kind": "claimed",
|
||||
"attempt": 2
|
||||
},
|
||||
{
|
||||
"kind": "done",
|
||||
"attempt": 2
|
||||
},
|
||||
{
|
||||
"kind": "fenced",
|
||||
"attempt": 1
|
||||
}
|
||||
]
|
||||
}
|
||||
},
|
||||
{
|
||||
"name": "replay_failed",
|
||||
"level": 4,
|
||||
"window": "operator replay",
|
||||
"seconds": 24.6,
|
||||
"result": "PASS",
|
||||
"observed": {
|
||||
"attachment_id": "01a1b2bf-47a0-77e8-97ed-907199a6caa7",
|
||||
"replay": {
|
||||
"result": "replayed",
|
||||
"attachment_id": "01a1b2bf-47a0-77e8-97ed-907199a6caa7",
|
||||
"operator": "cli"
|
||||
},
|
||||
"replay_of_ready": {
|
||||
"result": "noop",
|
||||
"attachment_id": "01a1b2bf-47a0-77e8-97ed-907199a6caa7",
|
||||
"operator": "cli"
|
||||
},
|
||||
"events": [
|
||||
{
|
||||
"kind": "enqueued",
|
||||
"attempt": 1
|
||||
},
|
||||
{
|
||||
"kind": "claimed",
|
||||
"attempt": 1
|
||||
},
|
||||
{
|
||||
"kind": "retry_scheduled",
|
||||
"attempt": 2
|
||||
},
|
||||
{
|
||||
"kind": "claimed",
|
||||
"attempt": 2
|
||||
},
|
||||
{
|
||||
"kind": "retry_scheduled",
|
||||
"attempt": 3
|
||||
},
|
||||
{
|
||||
"kind": "claimed",
|
||||
"attempt": 3
|
||||
},
|
||||
{
|
||||
"kind": "retry_scheduled",
|
||||
"attempt": 4
|
||||
},
|
||||
{
|
||||
"kind": "claimed",
|
||||
"attempt": 4
|
||||
},
|
||||
{
|
||||
"kind": "retry_scheduled",
|
||||
"attempt": 5
|
||||
},
|
||||
{
|
||||
"kind": "claimed",
|
||||
"attempt": 5
|
||||
},
|
||||
{
|
||||
"kind": "failed",
|
||||
"attempt": 5
|
||||
},
|
||||
{
|
||||
"kind": "replayed",
|
||||
"attempt": 1
|
||||
},
|
||||
{
|
||||
"kind": "claimed",
|
||||
"attempt": 1
|
||||
},
|
||||
{
|
||||
"kind": "done",
|
||||
"attempt": 1
|
||||
},
|
||||
{
|
||||
"kind": "replay_noop",
|
||||
"attempt": 1
|
||||
}
|
||||
]
|
||||
}
|
||||
},
|
||||
{
|
||||
"name": "malformed_message_dead_lettered",
|
||||
"level": 4,
|
||||
"window": "message that is not a job goes to the DLQ",
|
||||
"seconds": 6.5,
|
||||
"result": "PASS",
|
||||
"observed": {
|
||||
"dead_letters": 1
|
||||
}
|
||||
},
|
||||
{
|
||||
"name": "duplicate_in_flight",
|
||||
"level": 5,
|
||||
"window": "two copies of one job in flight",
|
||||
"seconds": 14.7,
|
||||
"result": "PASS",
|
||||
"observed": {
|
||||
"attachment_id": "01a1b2bf-b3a8-7754-af89-7d174f4540d1",
|
||||
"variants": [
|
||||
{
|
||||
"pipeline_version": 1,
|
||||
"name": "crop",
|
||||
"sha256": "97bf1400b30a28c19420a30161c944f57b5e7d613533b76afe6ab2531cba0143",
|
||||
"size_bytes": 1820,
|
||||
"object_key": "variants/01a1b2bf-b3a8-7754-af89-7d174f4540d1/1/crop-97bf1400b30a28c1.jpg"
|
||||
},
|
||||
{
|
||||
"pipeline_version": 1,
|
||||
"name": "optimized",
|
||||
"sha256": "1090d84ed8411226010ae498b08e1b9e6d81c8eee02ee77143a0dc327b894beb",
|
||||
"size_bytes": 2462,
|
||||
"object_key": "variants/01a1b2bf-b3a8-7754-af89-7d174f4540d1/1/optimized-1090d84ed8411226.webp"
|
||||
},
|
||||
{
|
||||
"pipeline_version": 1,
|
||||
"name": "thumbnail",
|
||||
"sha256": "7bc40bf315c8e18e907889b23514d978be213a44223d64b737290188ee808594",
|
||||
"size_bytes": 4679,
|
||||
"object_key": "variants/01a1b2bf-b3a8-7754-af89-7d174f4540d1/1/thumbnail-7bc40bf315c8e18e.jpg"
|
||||
}
|
||||
],
|
||||
"events": [
|
||||
{
|
||||
"kind": "enqueued",
|
||||
"attempt": 1
|
||||
},
|
||||
{
|
||||
"kind": "claimed",
|
||||
"attempt": 1
|
||||
},
|
||||
{
|
||||
"kind": "duplicate_noop",
|
||||
"attempt": 1
|
||||
},
|
||||
{
|
||||
"kind": "done",
|
||||
"attempt": 1
|
||||
}
|
||||
]
|
||||
}
|
||||
},
|
||||
{
|
||||
"name": "reorder_attempts",
|
||||
"level": 5,
|
||||
"window": "attempt 2 delivered before attempt 1",
|
||||
"seconds": 15.1,
|
||||
"result": "PASS",
|
||||
"observed": {
|
||||
"attachment_id": "01a1b2bf-ed3f-721d-ae2a-dd55e7ab970d",
|
||||
"jobs": [
|
||||
{
|
||||
"job_id": "01a1b2bf-ed46-71ef-85b7-54e89e3b1eec",
|
||||
"pipeline_version": 1,
|
||||
"status": "done",
|
||||
"attempt": 1
|
||||
}
|
||||
],
|
||||
"events": [
|
||||
{
|
||||
"kind": "enqueued",
|
||||
"attempt": 1
|
||||
},
|
||||
{
|
||||
"kind": "claimed",
|
||||
"attempt": 1
|
||||
},
|
||||
{
|
||||
"kind": "duplicate_noop",
|
||||
"attempt": 2
|
||||
},
|
||||
{
|
||||
"kind": "done",
|
||||
"attempt": 1
|
||||
}
|
||||
]
|
||||
}
|
||||
},
|
||||
{
|
||||
"name": "reorder_versions",
|
||||
"level": 5,
|
||||
"window": "v2 delivered before v1",
|
||||
"seconds": 11.6,
|
||||
"result": "PASS",
|
||||
"observed": {
|
||||
"attachment_id": "01a1b2c0-286d-77c5-8019-58526f2e09c5",
|
||||
"jobs": [
|
||||
{
|
||||
"job_id": "01a1b2c0-2874-74f6-b880-6970766e70ee",
|
||||
"pipeline_version": 1,
|
||||
"status": "superseded",
|
||||
"attempt": 1
|
||||
},
|
||||
{
|
||||
"job_id": "01a1b2c0-2bd0-748f-9b84-334656652efc",
|
||||
"pipeline_version": 2,
|
||||
"status": "done",
|
||||
"attempt": 1
|
||||
}
|
||||
],
|
||||
"v2_before_v1": {
|
||||
"status": "ready",
|
||||
"public": [
|
||||
{
|
||||
"name": "crop",
|
||||
"content_type": "image/jpeg",
|
||||
"size_bytes": 2142,
|
||||
"width": 128,
|
||||
"height": 128,
|
||||
"sha256": "5b6fb2a66216f8ca038542acdd8482fca9d1ad79193d60ae74de3989048ec0a4"
|
||||
},
|
||||
{
|
||||
"name": "optimized",
|
||||
"content_type": "image/webp",
|
||||
"size_bytes": 2790,
|
||||
"width": 320,
|
||||
"height": 200,
|
||||
"sha256": "fe520c978bd45fc8f1b85863dc9dc6fc98954b45d7fe803e8e4c6b681ddc1957"
|
||||
},
|
||||
{
|
||||
"name": "thumbnail",
|
||||
"content_type": "image/jpeg",
|
||||
"size_bytes": 5628,
|
||||
"width": 256,
|
||||
"height": 160,
|
||||
"sha256": "fa0db661078d4da91b241edc8b416de7755db9c9c79ae704a620ca7ad534e308"
|
||||
}
|
||||
],
|
||||
"rows": [
|
||||
{
|
||||
"pipeline_version": 2,
|
||||
"name": "crop",
|
||||
"sha256": "5b6fb2a66216f8ca038542acdd8482fca9d1ad79193d60ae74de3989048ec0a4",
|
||||
"size_bytes": 2142,
|
||||
"object_key": "variants/01a1b2c0-286d-77c5-8019-58526f2e09c5/2/crop-5b6fb2a66216f8ca.jpg"
|
||||
},
|
||||
{
|
||||
"pipeline_version": 2,
|
||||
"name": "optimized",
|
||||
"sha256": "fe520c978bd45fc8f1b85863dc9dc6fc98954b45d7fe803e8e4c6b681ddc1957",
|
||||
"size_bytes": 2790,
|
||||
"object_key": "variants/01a1b2c0-286d-77c5-8019-58526f2e09c5/2/optimized-fe520c978bd45fc8.webp"
|
||||
},
|
||||
{
|
||||
"pipeline_version": 2,
|
||||
"name": "thumbnail",
|
||||
"sha256": "fa0db661078d4da91b241edc8b416de7755db9c9c79ae704a620ca7ad534e308",
|
||||
"size_bytes": 5628,
|
||||
"object_key": "variants/01a1b2c0-286d-77c5-8019-58526f2e09c5/2/thumbnail-fa0db661078d4da9.jpg"
|
||||
}
|
||||
],
|
||||
"published": 2
|
||||
},
|
||||
"after_v1": {
|
||||
"status": "ready",
|
||||
"public": [
|
||||
{
|
||||
"name": "crop",
|
||||
"content_type": "image/jpeg",
|
||||
"size_bytes": 2142,
|
||||
"width": 128,
|
||||
"height": 128,
|
||||
"sha256": "5b6fb2a66216f8ca038542acdd8482fca9d1ad79193d60ae74de3989048ec0a4"
|
||||
},
|
||||
{
|
||||
"name": "optimized",
|
||||
"content_type": "image/webp",
|
||||
"size_bytes": 2790,
|
||||
"width": 320,
|
||||
"height": 200,
|
||||
"sha256": "fe520c978bd45fc8f1b85863dc9dc6fc98954b45d7fe803e8e4c6b681ddc1957"
|
||||
},
|
||||
{
|
||||
"name": "thumbnail",
|
||||
"content_type": "image/jpeg",
|
||||
"size_bytes": 5628,
|
||||
"width": 256,
|
||||
"height": 160,
|
||||
"sha256": "fa0db661078d4da91b241edc8b416de7755db9c9c79ae704a620ca7ad534e308"
|
||||
}
|
||||
],
|
||||
"rows": [
|
||||
{
|
||||
"pipeline_version": 1,
|
||||
"name": "crop",
|
||||
"sha256": "97bf1400b30a28c19420a30161c944f57b5e7d613533b76afe6ab2531cba0143",
|
||||
"size_bytes": 1820,
|
||||
"object_key": "variants/01a1b2c0-286d-77c5-8019-58526f2e09c5/1/crop-97bf1400b30a28c1.jpg"
|
||||
},
|
||||
{
|
||||
"pipeline_version": 1,
|
||||
"name": "optimized",
|
||||
"sha256": "1090d84ed8411226010ae498b08e1b9e6d81c8eee02ee77143a0dc327b894beb",
|
||||
"size_bytes": 2462,
|
||||
"object_key": "variants/01a1b2c0-286d-77c5-8019-58526f2e09c5/1/optimized-1090d84ed8411226.webp"
|
||||
},
|
||||
{
|
||||
"pipeline_version": 1,
|
||||
"name": "thumbnail",
|
||||
"sha256": "7bc40bf315c8e18e907889b23514d978be213a44223d64b737290188ee808594",
|
||||
"size_bytes": 4679,
|
||||
"object_key": "variants/01a1b2c0-286d-77c5-8019-58526f2e09c5/1/thumbnail-7bc40bf315c8e18e.jpg"
|
||||
},
|
||||
{
|
||||
"pipeline_version": 2,
|
||||
"name": "crop",
|
||||
"sha256": "5b6fb2a66216f8ca038542acdd8482fca9d1ad79193d60ae74de3989048ec0a4",
|
||||
"size_bytes": 2142,
|
||||
"object_key": "variants/01a1b2c0-286d-77c5-8019-58526f2e09c5/2/crop-5b6fb2a66216f8ca.jpg"
|
||||
},
|
||||
{
|
||||
"pipeline_version": 2,
|
||||
"name": "optimized",
|
||||
"sha256": "fe520c978bd45fc8f1b85863dc9dc6fc98954b45d7fe803e8e4c6b681ddc1957",
|
||||
"size_bytes": 2790,
|
||||
"object_key": "variants/01a1b2c0-286d-77c5-8019-58526f2e09c5/2/optimized-fe520c978bd45fc8.webp"
|
||||
},
|
||||
{
|
||||
"pipeline_version": 2,
|
||||
"name": "thumbnail",
|
||||
"sha256": "fa0db661078d4da91b241edc8b416de7755db9c9c79ae704a620ca7ad534e308",
|
||||
"size_bytes": 5628,
|
||||
"object_key": "variants/01a1b2c0-286d-77c5-8019-58526f2e09c5/2/thumbnail-fa0db661078d4da9.jpg"
|
||||
}
|
||||
],
|
||||
"published": 2
|
||||
}
|
||||
}
|
||||
},
|
||||
{
|
||||
"name": "stale_after_new_version",
|
||||
"level": 5,
|
||||
"window": "v1 job after v2 is published",
|
||||
"seconds": 4.7,
|
||||
"result": "PASS",
|
||||
"observed": {
|
||||
"attachment_id": "01a1b2c0-5422-77cd-88f8-cd2c123fe78d",
|
||||
"published_version": 2,
|
||||
"v1": {
|
||||
"status": "ready",
|
||||
"public": [
|
||||
{
|
||||
"name": "crop",
|
||||
"content_type": "image/jpeg",
|
||||
"size_bytes": 1820,
|
||||
"width": 128,
|
||||
"height": 128,
|
||||
"sha256": "97bf1400b30a28c19420a30161c944f57b5e7d613533b76afe6ab2531cba0143"
|
||||
},
|
||||
{
|
||||
"name": "optimized",
|
||||
"content_type": "image/webp",
|
||||
"size_bytes": 2462,
|
||||
"width": 320,
|
||||
"height": 200,
|
||||
"sha256": "1090d84ed8411226010ae498b08e1b9e6d81c8eee02ee77143a0dc327b894beb"
|
||||
},
|
||||
{
|
||||
"name": "thumbnail",
|
||||
"content_type": "image/jpeg",
|
||||
"size_bytes": 4679,
|
||||
"width": 256,
|
||||
"height": 160,
|
||||
"sha256": "7bc40bf315c8e18e907889b23514d978be213a44223d64b737290188ee808594"
|
||||
}
|
||||
],
|
||||
"rows": [
|
||||
{
|
||||
"pipeline_version": 1,
|
||||
"name": "crop",
|
||||
"sha256": "97bf1400b30a28c19420a30161c944f57b5e7d613533b76afe6ab2531cba0143",
|
||||
"size_bytes": 1820,
|
||||
"object_key": "variants/01a1b2c0-5422-77cd-88f8-cd2c123fe78d/1/crop-97bf1400b30a28c1.jpg"
|
||||
},
|
||||
{
|
||||
"pipeline_version": 1,
|
||||
"name": "optimized",
|
||||
"sha256": "1090d84ed8411226010ae498b08e1b9e6d81c8eee02ee77143a0dc327b894beb",
|
||||
"size_bytes": 2462,
|
||||
"object_key": "variants/01a1b2c0-5422-77cd-88f8-cd2c123fe78d/1/optimized-1090d84ed8411226.webp"
|
||||
},
|
||||
{
|
||||
"pipeline_version": 1,
|
||||
"name": "thumbnail",
|
||||
"sha256": "7bc40bf315c8e18e907889b23514d978be213a44223d64b737290188ee808594",
|
||||
"size_bytes": 4679,
|
||||
"object_key": "variants/01a1b2c0-5422-77cd-88f8-cd2c123fe78d/1/thumbnail-7bc40bf315c8e18e.jpg"
|
||||
}
|
||||
],
|
||||
"published": 1
|
||||
},
|
||||
"v2_before_stale": {
|
||||
"status": "ready",
|
||||
"public": [
|
||||
{
|
||||
"name": "crop",
|
||||
"content_type": "image/jpeg",
|
||||
"size_bytes": 2142,
|
||||
"width": 128,
|
||||
"height": 128,
|
||||
"sha256": "5b6fb2a66216f8ca038542acdd8482fca9d1ad79193d60ae74de3989048ec0a4"
|
||||
},
|
||||
{
|
||||
"name": "optimized",
|
||||
"content_type": "image/webp",
|
||||
"size_bytes": 2790,
|
||||
"width": 320,
|
||||
"height": 200,
|
||||
"sha256": "fe520c978bd45fc8f1b85863dc9dc6fc98954b45d7fe803e8e4c6b681ddc1957"
|
||||
},
|
||||
{
|
||||
"name": "thumbnail",
|
||||
"content_type": "image/jpeg",
|
||||
"size_bytes": 5628,
|
||||
"width": 256,
|
||||
"height": 160,
|
||||
"sha256": "fa0db661078d4da91b241edc8b416de7755db9c9c79ae704a620ca7ad534e308"
|
||||
}
|
||||
],
|
||||
"rows": [
|
||||
{
|
||||
"pipeline_version": 1,
|
||||
"name": "crop",
|
||||
"sha256": "97bf1400b30a28c19420a30161c944f57b5e7d613533b76afe6ab2531cba0143",
|
||||
"size_bytes": 1820,
|
||||
"object_key": "variants/01a1b2c0-5422-77cd-88f8-cd2c123fe78d/1/crop-97bf1400b30a28c1.jpg"
|
||||
},
|
||||
{
|
||||
"pipeline_version": 1,
|
||||
"name": "optimized",
|
||||
"sha256": "1090d84ed8411226010ae498b08e1b9e6d81c8eee02ee77143a0dc327b894beb",
|
||||
"size_bytes": 2462,
|
||||
"object_key": "variants/01a1b2c0-5422-77cd-88f8-cd2c123fe78d/1/optimized-1090d84ed8411226.webp"
|
||||
},
|
||||
{
|
||||
"pipeline_version": 1,
|
||||
"name": "thumbnail",
|
||||
"sha256": "7bc40bf315c8e18e907889b23514d978be213a44223d64b737290188ee808594",
|
||||
"size_bytes": 4679,
|
||||
"object_key": "variants/01a1b2c0-5422-77cd-88f8-cd2c123fe78d/1/thumbnail-7bc40bf315c8e18e.jpg"
|
||||
},
|
||||
{
|
||||
"pipeline_version": 2,
|
||||
"name": "crop",
|
||||
"sha256": "5b6fb2a66216f8ca038542acdd8482fca9d1ad79193d60ae74de3989048ec0a4",
|
||||
"size_bytes": 2142,
|
||||
"object_key": "variants/01a1b2c0-5422-77cd-88f8-cd2c123fe78d/2/crop-5b6fb2a66216f8ca.jpg"
|
||||
},
|
||||
{
|
||||
"pipeline_version": 2,
|
||||
"name": "optimized",
|
||||
"sha256": "fe520c978bd45fc8f1b85863dc9dc6fc98954b45d7fe803e8e4c6b681ddc1957",
|
||||
"size_bytes": 2790,
|
||||
"object_key": "variants/01a1b2c0-5422-77cd-88f8-cd2c123fe78d/2/optimized-fe520c978bd45fc8.webp"
|
||||
},
|
||||
{
|
||||
"pipeline_version": 2,
|
||||
"name": "thumbnail",
|
||||
"sha256": "fa0db661078d4da91b241edc8b416de7755db9c9c79ae704a620ca7ad534e308",
|
||||
"size_bytes": 5628,
|
||||
"object_key": "variants/01a1b2c0-5422-77cd-88f8-cd2c123fe78d/2/thumbnail-fa0db661078d4da9.jpg"
|
||||
}
|
||||
],
|
||||
"published": 2
|
||||
},
|
||||
"v2_after_stale": {
|
||||
"status": "ready",
|
||||
"public": [
|
||||
{
|
||||
"name": "crop",
|
||||
"content_type": "image/jpeg",
|
||||
"size_bytes": 2142,
|
||||
"width": 128,
|
||||
"height": 128,
|
||||
"sha256": "5b6fb2a66216f8ca038542acdd8482fca9d1ad79193d60ae74de3989048ec0a4"
|
||||
},
|
||||
{
|
||||
"name": "optimized",
|
||||
"content_type": "image/webp",
|
||||
"size_bytes": 2790,
|
||||
"width": 320,
|
||||
"height": 200,
|
||||
"sha256": "fe520c978bd45fc8f1b85863dc9dc6fc98954b45d7fe803e8e4c6b681ddc1957"
|
||||
},
|
||||
{
|
||||
"name": "thumbnail",
|
||||
"content_type": "image/jpeg",
|
||||
"size_bytes": 5628,
|
||||
"width": 256,
|
||||
"height": 160,
|
||||
"sha256": "fa0db661078d4da91b241edc8b416de7755db9c9c79ae704a620ca7ad534e308"
|
||||
}
|
||||
],
|
||||
"rows": [
|
||||
{
|
||||
"pipeline_version": 1,
|
||||
"name": "crop",
|
||||
"sha256": "97bf1400b30a28c19420a30161c944f57b5e7d613533b76afe6ab2531cba0143",
|
||||
"size_bytes": 1820,
|
||||
"object_key": "variants/01a1b2c0-5422-77cd-88f8-cd2c123fe78d/1/crop-97bf1400b30a28c1.jpg"
|
||||
},
|
||||
{
|
||||
"pipeline_version": 1,
|
||||
"name": "optimized",
|
||||
"sha256": "1090d84ed8411226010ae498b08e1b9e6d81c8eee02ee77143a0dc327b894beb",
|
||||
"size_bytes": 2462,
|
||||
"object_key": "variants/01a1b2c0-5422-77cd-88f8-cd2c123fe78d/1/optimized-1090d84ed8411226.webp"
|
||||
},
|
||||
{
|
||||
"pipeline_version": 1,
|
||||
"name": "thumbnail",
|
||||
"sha256": "7bc40bf315c8e18e907889b23514d978be213a44223d64b737290188ee808594",
|
||||
"size_bytes": 4679,
|
||||
"object_key": "variants/01a1b2c0-5422-77cd-88f8-cd2c123fe78d/1/thumbnail-7bc40bf315c8e18e.jpg"
|
||||
},
|
||||
{
|
||||
"pipeline_version": 2,
|
||||
"name": "crop",
|
||||
"sha256": "5b6fb2a66216f8ca038542acdd8482fca9d1ad79193d60ae74de3989048ec0a4",
|
||||
"size_bytes": 2142,
|
||||
"object_key": "variants/01a1b2c0-5422-77cd-88f8-cd2c123fe78d/2/crop-5b6fb2a66216f8ca.jpg"
|
||||
},
|
||||
{
|
||||
"pipeline_version": 2,
|
||||
"name": "optimized",
|
||||
"sha256": "fe520c978bd45fc8f1b85863dc9dc6fc98954b45d7fe803e8e4c6b681ddc1957",
|
||||
"size_bytes": 2790,
|
||||
"object_key": "variants/01a1b2c0-5422-77cd-88f8-cd2c123fe78d/2/optimized-fe520c978bd45fc8.webp"
|
||||
},
|
||||
{
|
||||
"pipeline_version": 2,
|
||||
"name": "thumbnail",
|
||||
"sha256": "fa0db661078d4da91b241edc8b416de7755db9c9c79ae704a620ca7ad534e308",
|
||||
"size_bytes": 5628,
|
||||
"object_key": "variants/01a1b2c0-5422-77cd-88f8-cd2c123fe78d/2/thumbnail-fa0db661078d4da9.jpg"
|
||||
}
|
||||
],
|
||||
"published": 2
|
||||
}
|
||||
}
|
||||
}
|
||||
],
|
||||
"result": "PASS",
|
||||
"finished_at": "2026-11-06T21:25:34.062079Z"
|
||||
}
|
||||
@@ -1,29 +0,0 @@
|
||||
date: 2026-11-06T21:22:22Z commit: b30e2f6a84419d1ca64525ffb40df92183cccaef
|
||||
environment: {"COMPOSE_PROJECT_NAME": "mtusi2026lab5", "COMPOSE_FILE": "compose.yaml", "LB_HTTP_PORT": "18085", "LB_STATS_PORT": "25085", "BASE_URL": "http://127.0.0.1:18085", "NO_PROXY": "localhost,127.0.0.1,::1", "API_IMAGE": "mtusi-messenger:lab5-validation"}
|
||||
$ python3 scripts/pipeline_suite.py --only duplicate_after_ready,retry_exhausted,crash_commit_publish,crash_after_s3_before_commit,crash_after_commit_before_ack,lease_expiry_fencing,replay_failed,malformed_message_dead_lettered,duplicate_in_flight,reorder_attempts,reorder_versions,stale_after_new_version --output evidence/final-validation-2026-11-07/delivery-targeted.json
|
||||
RUN duplicate_after_ready
|
||||
PASS duplicate_after_ready
|
||||
RUN retry_exhausted
|
||||
PASS retry_exhausted
|
||||
RUN crash_commit_publish
|
||||
PASS crash_commit_publish
|
||||
RUN crash_after_s3_before_commit
|
||||
PASS crash_after_s3_before_commit
|
||||
RUN crash_after_commit_before_ack
|
||||
PASS crash_after_commit_before_ack
|
||||
RUN lease_expiry_fencing
|
||||
PASS lease_expiry_fencing
|
||||
RUN replay_failed
|
||||
PASS replay_failed
|
||||
RUN malformed_message_dead_lettered
|
||||
PASS malformed_message_dead_lettered
|
||||
RUN duplicate_in_flight
|
||||
PASS duplicate_in_flight
|
||||
RUN reorder_attempts
|
||||
PASS reorder_attempts
|
||||
RUN reorder_versions
|
||||
PASS reorder_versions
|
||||
RUN stale_after_new_version
|
||||
PASS stale_after_new_version
|
||||
PASS: lab5 pipeline suite, report evidence/final-validation-2026-11-07/delivery-targeted.json
|
||||
exit_code: 0 elapsed_seconds: 191.693
|
||||
@@ -1,53 +0,0 @@
|
||||
date: 2026-11-06T21:26:59Z commit: b30e2f6a84419d1ca64525ffb40df92183cccaef
|
||||
environment: {"COMPOSE_PROJECT_NAME": "mtusi2026lab5", "COMPOSE_FILE": "compose.yaml", "LB_HTTP_PORT": "18085", "LB_STATS_PORT": "25085", "BASE_URL": "http://127.0.0.1:18085", "NO_PROXY": "localhost,127.0.0.1,::1", "API_IMAGE": "mtusi-messenger:lab5-validation"}
|
||||
$ make down
|
||||
docker compose --profile bench --profile tools --profile reconcile down
|
||||
Container mtusi2026lab5-api-2 Stopping
|
||||
Container mtusi2026lab5-worker-1 Stopping
|
||||
Container mtusi2026lab5-lb-1 Stopping
|
||||
Container mtusi2026lab5-relay-1 Stopping
|
||||
Container mtusi2026lab5-api-1 Stopping
|
||||
Container mtusi2026lab5-worker-1 Stopped
|
||||
Container mtusi2026lab5-worker-1 Removing
|
||||
Container mtusi2026lab5-worker-1 Removed
|
||||
Container mtusi2026lab5-relay-1 Stopped
|
||||
Container mtusi2026lab5-relay-1 Removing
|
||||
Container mtusi2026lab5-lb-1 Stopped
|
||||
Container mtusi2026lab5-lb-1 Removing
|
||||
Container mtusi2026lab5-relay-1 Removed
|
||||
Container mtusi2026lab5-broker-1 Stopping
|
||||
Container mtusi2026lab5-lb-1 Removed
|
||||
Container mtusi2026lab5-broker-1 Stopped
|
||||
Container mtusi2026lab5-broker-1 Removing
|
||||
Container mtusi2026lab5-broker-1 Removed
|
||||
Container mtusi2026lab5-api-2 Stopped
|
||||
Container mtusi2026lab5-api-2 Removing
|
||||
Container mtusi2026lab5-api-1 Stopped
|
||||
Container mtusi2026lab5-api-1 Removing
|
||||
Container mtusi2026lab5-api-2 Removed
|
||||
Container mtusi2026lab5-api-1 Removed
|
||||
Container mtusi2026lab5-migrate-1 Stopping
|
||||
Container mtusi2026lab5-s3-init-1 Stopping
|
||||
Container mtusi2026lab5-valkey-1 Stopping
|
||||
Container mtusi2026lab5-migrate-1 Stopped
|
||||
Container mtusi2026lab5-migrate-1 Removing
|
||||
Container mtusi2026lab5-s3-init-1 Stopped
|
||||
Container mtusi2026lab5-s3-init-1 Removing
|
||||
Container mtusi2026lab5-migrate-1 Removed
|
||||
Container mtusi2026lab5-postgres-1 Stopping
|
||||
Container mtusi2026lab5-s3-init-1 Removed
|
||||
Container mtusi2026lab5-s3-1 Stopping
|
||||
Container mtusi2026lab5-postgres-1 Stopped
|
||||
Container mtusi2026lab5-postgres-1 Removing
|
||||
Container mtusi2026lab5-postgres-1 Removed
|
||||
Container mtusi2026lab5-valkey-1 Stopped
|
||||
Container mtusi2026lab5-valkey-1 Removing
|
||||
Container mtusi2026lab5-s3-1 Stopped
|
||||
Container mtusi2026lab5-s3-1 Removing
|
||||
Container mtusi2026lab5-valkey-1 Removed
|
||||
Container mtusi2026lab5-s3-1 Removed
|
||||
Network mtusi2026lab5_backend Removing
|
||||
Network mtusi2026lab5_edge Removing
|
||||
Network mtusi2026lab5_backend Removed
|
||||
Network mtusi2026lab5_edge Removed
|
||||
exit_code: 0 elapsed_seconds: 3.346
|
||||
@@ -1,8 +0,0 @@
|
||||
export COMPOSE_PROJECT_NAME=mtusi2026lab5
|
||||
export COMPOSE_FILE=compose.yaml
|
||||
export API_IMAGE=mtusi-messenger:lab5-validation
|
||||
export LB_HTTP_PORT=18085
|
||||
export LB_STATS_PORT=25085
|
||||
export BROKER_MANAGEMENT_PORT=25086
|
||||
export BASE_URL=http://127.0.0.1:18085
|
||||
export NO_PROXY=localhost,127.0.0.1,::1
|
||||
@@ -1,15 +0,0 @@
|
||||
date: 2026-11-06T21:26:59Z commit: b30e2f6a84419d1ca64525ffb40df92183cccaef
|
||||
environment: {"COMPOSE_PROJECT_NAME": "mtusi2026lab5", "COMPOSE_FILE": "compose.yaml", "LB_HTTP_PORT": "18085", "LB_STATS_PORT": "25085", "BASE_URL": "http://127.0.0.1:18085", "NO_PROXY": "localhost,127.0.0.1,::1", "API_IMAGE": "mtusi-messenger:lab5-validation"}
|
||||
$ docker compose ps -a --format '{{.Name}} {{.ID}} {{.State}} {{.Status}} {{.Ports}}'
|
||||
mtusi2026lab5-api-1 fc7d65385119 running Up 10 minutes (healthy)
|
||||
mtusi2026lab5-api-2 a5411e55f06d running Up 10 minutes (healthy)
|
||||
mtusi2026lab5-broker-1 a38bbcf03870 running Up 10 minutes (healthy) 127.0.0.1:25086->15672/tcp
|
||||
mtusi2026lab5-lb-1 f0d01200b1f8 running Up 10 minutes (healthy) 127.0.0.1:18085->8080/tcp, 127.0.0.1:25085->8404/tcp
|
||||
mtusi2026lab5-migrate-1 feca425ac0ae exited Exited (0) 8 minutes ago
|
||||
mtusi2026lab5-postgres-1 9f62ea9d176b running Up 6 minutes (healthy)
|
||||
mtusi2026lab5-relay-1 297a45d2724b running Up About a minute (healthy)
|
||||
mtusi2026lab5-s3-1 9a7684ef147a running Up 10 minutes (healthy)
|
||||
mtusi2026lab5-s3-init-1 e5825f3eeafb exited Exited (0) 8 minutes ago
|
||||
mtusi2026lab5-valkey-1 e37f783f9d50 running Up 10 minutes (healthy)
|
||||
mtusi2026lab5-worker-1 c708d0d22a5e running Up About a minute (healthy)
|
||||
exit_code: 0 elapsed_seconds: 0.136
|
||||
@@ -1,702 +0,0 @@
|
||||
{
|
||||
"runtime_review_equal": true,
|
||||
"normative_files_equal_skeleton": true,
|
||||
"new_python_syntax": "PASS",
|
||||
"allowed_changed_files": 58,
|
||||
"local_markdown_links": 173,
|
||||
"links": [
|
||||
{
|
||||
"from": "REPORT.md",
|
||||
"target": "evidence/README.md"
|
||||
},
|
||||
{
|
||||
"from": "REPORT.md",
|
||||
"target": "evidence/forward-port.md"
|
||||
},
|
||||
{
|
||||
"from": "REPORT.md",
|
||||
"target": "uv.lock"
|
||||
},
|
||||
{
|
||||
"from": "REPORT.md",
|
||||
"target": "evidence/sqlalchemy-2026-11-06/track2/qualified/runtime.txt"
|
||||
},
|
||||
{
|
||||
"from": "REPORT.md",
|
||||
"target": "compose.yaml"
|
||||
},
|
||||
{
|
||||
"from": "REPORT.md",
|
||||
"target": "src/messenger/shared/infrastructure/postgres.py"
|
||||
},
|
||||
{
|
||||
"from": "REPORT.md",
|
||||
"target": "alembic/env.py"
|
||||
},
|
||||
{
|
||||
"from": "REPORT.md",
|
||||
"target": "alembic/versions"
|
||||
},
|
||||
{
|
||||
"from": "REPORT.md",
|
||||
"target": "evidence/final-validation-2026-11-07/postgres-outage-retry.json"
|
||||
},
|
||||
{
|
||||
"from": "REPORT.md",
|
||||
"target": "evidence/report-audit-2026-11-07.md"
|
||||
},
|
||||
{
|
||||
"from": "REPORT.md",
|
||||
"target": "evidence/final-validation-2026-11-07/student-test.txt"
|
||||
},
|
||||
{
|
||||
"from": "REPORT.md",
|
||||
"target": "evidence/review-trns-depth-2026-11-06/RESULTS.md"
|
||||
},
|
||||
{
|
||||
"from": "REPORT.md",
|
||||
"target": "evidence/report-audit-2026-11-07.md"
|
||||
},
|
||||
{
|
||||
"from": "REPORT.md",
|
||||
"target": "evidence/forward-final-2026-11-06/final-smoke.txt"
|
||||
},
|
||||
{
|
||||
"from": "REPORT.md",
|
||||
"target": "evidence/forward-final-2026-11-06/persistence.txt"
|
||||
},
|
||||
{
|
||||
"from": "REPORT.md",
|
||||
"target": "evidence/forward-final-2026-11-06/persistence-containers.txt"
|
||||
},
|
||||
{
|
||||
"from": "REPORT.md",
|
||||
"target": "evidence/forward-final-2026-11-06/failover.txt"
|
||||
},
|
||||
{
|
||||
"from": "REPORT.md",
|
||||
"target": "evidence/forward-final-2026-11-06/failover-containers.txt"
|
||||
},
|
||||
{
|
||||
"from": "REPORT.md",
|
||||
"target": "evidence/forward-final-2026-11-06/restore.txt"
|
||||
},
|
||||
{
|
||||
"from": "REPORT.md",
|
||||
"target": "evidence/sqlalchemy-2026-11-06/grade3/queues.txt"
|
||||
},
|
||||
{
|
||||
"from": "REPORT.md",
|
||||
"target": "evidence/sqlalchemy-2026-11-06/grade3/consumers.txt"
|
||||
},
|
||||
{
|
||||
"from": "REPORT.md",
|
||||
"target": "evidence/sqlalchemy-2026-11-06/grade3/permissions.txt"
|
||||
},
|
||||
{
|
||||
"from": "REPORT.md",
|
||||
"target": "evidence/forward-final-2026-11-06/level4.json"
|
||||
},
|
||||
{
|
||||
"from": "REPORT.md",
|
||||
"target": "evidence/forward-final-2026-11-06/level4.json"
|
||||
},
|
||||
{
|
||||
"from": "REPORT.md",
|
||||
"target": "evidence/forward-final-2026-11-06/level4.json"
|
||||
},
|
||||
{
|
||||
"from": "REPORT.md",
|
||||
"target": "evidence/forward-final-2026-11-06/level4.json"
|
||||
},
|
||||
{
|
||||
"from": "REPORT.md",
|
||||
"target": "evidence/forward-final-2026-11-06/level4.json"
|
||||
},
|
||||
{
|
||||
"from": "REPORT.md",
|
||||
"target": "evidence/forward-final-2026-11-06/level4.json"
|
||||
},
|
||||
{
|
||||
"from": "REPORT.md",
|
||||
"target": "evidence/forward-final-2026-11-06/level4.json"
|
||||
},
|
||||
{
|
||||
"from": "REPORT.md",
|
||||
"target": "evidence/forward-final-2026-11-06/level4-command.txt"
|
||||
},
|
||||
{
|
||||
"from": "REPORT.md",
|
||||
"target": "evidence/forward-final-2026-11-06/level4.json"
|
||||
},
|
||||
{
|
||||
"from": "REPORT.md",
|
||||
"target": "evidence/forward-final-2026-11-06/track-run1.json"
|
||||
},
|
||||
{
|
||||
"from": "REPORT.md",
|
||||
"target": "evidence/forward-final-2026-11-06/track-run2.json"
|
||||
},
|
||||
{
|
||||
"from": "REPORT.md",
|
||||
"target": "evidence/forward-final-2026-11-06/track-run3.json"
|
||||
},
|
||||
{
|
||||
"from": "REPORT.md",
|
||||
"target": "evidence/forward-final-2026-11-06/network-regressions.txt"
|
||||
},
|
||||
{
|
||||
"from": "REPORT.md",
|
||||
"target": "evidence/forward-final-2026-11-06/upload-negative.txt"
|
||||
},
|
||||
{
|
||||
"from": "REPORT.md",
|
||||
"target": "evidence/forward-final-2026-11-06/cache-outage.txt"
|
||||
},
|
||||
{
|
||||
"from": "REPORT.md",
|
||||
"target": "evidence/forward-final-2026-11-06/haproxy-errors.txt"
|
||||
},
|
||||
{
|
||||
"from": "REPORT.md",
|
||||
"target": "evidence/forward-final-2026-11-06/level4.json"
|
||||
},
|
||||
{
|
||||
"from": "REPORT.md",
|
||||
"target": "evidence/forward-final-2026-11-06/down.txt"
|
||||
},
|
||||
{
|
||||
"from": "REPORT.md",
|
||||
"target": "evidence/forward-final-2026-11-06/stopped-containers.txt"
|
||||
},
|
||||
{
|
||||
"from": "REPORT.md",
|
||||
"target": "evidence/forward-final-2026-11-06/retained-volumes.txt"
|
||||
},
|
||||
{
|
||||
"from": "REPORT.md",
|
||||
"target": "evidence/final-validation-2026-11-07/down.txt"
|
||||
},
|
||||
{
|
||||
"from": "REPORT.md",
|
||||
"target": "evidence/final-validation-2026-11-07/stopped-containers.txt"
|
||||
},
|
||||
{
|
||||
"from": "REPORT.md",
|
||||
"target": "evidence/final-validation-2026-11-07/retained-volumes.txt"
|
||||
},
|
||||
{
|
||||
"from": "REPORT.md",
|
||||
"target": "evidence/forward-final-2026-11-06/track-run1.txt"
|
||||
},
|
||||
{
|
||||
"from": "REPORT.md",
|
||||
"target": "evidence/forward-final-2026-11-06/track-run1.json"
|
||||
},
|
||||
{
|
||||
"from": "REPORT.md",
|
||||
"target": "evidence/forward-final-2026-11-06/track-run2.txt"
|
||||
},
|
||||
{
|
||||
"from": "REPORT.md",
|
||||
"target": "evidence/forward-final-2026-11-06/track-run2.json"
|
||||
},
|
||||
{
|
||||
"from": "REPORT.md",
|
||||
"target": "evidence/forward-final-2026-11-06/track-run3.txt"
|
||||
},
|
||||
{
|
||||
"from": "REPORT.md",
|
||||
"target": "evidence/forward-final-2026-11-06/track-run3.json"
|
||||
},
|
||||
{
|
||||
"from": "REPORT.md",
|
||||
"target": "evidence/forward-final-2026-11-06/summary.json"
|
||||
},
|
||||
{
|
||||
"from": "REPORT.md",
|
||||
"target": "evidence/forward-final-2026-11-06/conditions-before.json"
|
||||
},
|
||||
{
|
||||
"from": "REPORT.md",
|
||||
"target": "evidence/forward-final-2026-11-06/conditions-track-start.json"
|
||||
},
|
||||
{
|
||||
"from": "REPORT.md",
|
||||
"target": "evidence/forward-final-2026-11-06/clock-observation.json"
|
||||
},
|
||||
{
|
||||
"from": "REPORT.md",
|
||||
"target": "evidence/sqlalchemy-2026-11-06/track2/qualified/RESULTS.md"
|
||||
},
|
||||
{
|
||||
"from": "REPORT.md",
|
||||
"target": "evidence/review-trns-depth-2026-11-06/findings.json"
|
||||
},
|
||||
{
|
||||
"from": "REPORT.md",
|
||||
"target": "evidence/sqlalchemy-2026-11-06/grade3/limits.txt"
|
||||
},
|
||||
{
|
||||
"from": "REPORT.md",
|
||||
"target": "evidence/forward-final-2026-11-06/findings.json"
|
||||
},
|
||||
{
|
||||
"from": "REPORT.md",
|
||||
"target": "evidence/forward-final-2026-11-06/student-test.txt"
|
||||
},
|
||||
{
|
||||
"from": "REPORT.md",
|
||||
"target": "evidence/load-validation.md"
|
||||
},
|
||||
{
|
||||
"from": "REPORT.md",
|
||||
"target": "evidence/final-validation-2026-11-07/checks.txt"
|
||||
},
|
||||
{
|
||||
"from": "REPORT.md",
|
||||
"target": "evidence/final-validation-2026-11-07/openspec.txt"
|
||||
},
|
||||
{
|
||||
"from": "REPORT.md",
|
||||
"target": "evidence/final-validation-2026-11-07/build.txt"
|
||||
},
|
||||
{
|
||||
"from": "REPORT.md",
|
||||
"target": "evidence/final-validation-2026-11-07/image-runtime.txt"
|
||||
},
|
||||
{
|
||||
"from": "REPORT.md",
|
||||
"target": "evidence/final-validation-2026-11-07/smoke.txt"
|
||||
},
|
||||
{
|
||||
"from": "REPORT.md",
|
||||
"target": "evidence/final-validation-2026-11-07/postgres-outage-retry.txt"
|
||||
},
|
||||
{
|
||||
"from": "REPORT.md",
|
||||
"target": "evidence/final-validation-2026-11-07/postgres-outage-retry.json"
|
||||
},
|
||||
{
|
||||
"from": "REPORT.md",
|
||||
"target": "evidence/final-validation-2026-11-07/png-http.txt"
|
||||
},
|
||||
{
|
||||
"from": "REPORT.md",
|
||||
"target": "evidence/final-validation-2026-11-07/png-http.json"
|
||||
},
|
||||
{
|
||||
"from": "REPORT.md",
|
||||
"target": "evidence/final-validation-2026-11-07/delivery-targeted.txt"
|
||||
},
|
||||
{
|
||||
"from": "REPORT.md",
|
||||
"target": "evidence/final-validation-2026-11-07/delivery-targeted.json"
|
||||
},
|
||||
{
|
||||
"from": "REPORT.md",
|
||||
"target": "evidence/final-validation-2026-11-07/png-limits.txt"
|
||||
},
|
||||
{
|
||||
"from": "REPORT.md",
|
||||
"target": "evidence/final-validation-2026-11-07/png-limits.json"
|
||||
},
|
||||
{
|
||||
"from": "REPORT.md",
|
||||
"target": "evidence/final-validation-2026-11-07/fixtures"
|
||||
},
|
||||
{
|
||||
"from": "REPORT.md",
|
||||
"target": "evidence/final-validation-2026-11-07/png-limits.json"
|
||||
},
|
||||
{
|
||||
"from": "REPORT.md",
|
||||
"target": "evidence/final-validation-2026-11-07/cleanup-recheck.json"
|
||||
},
|
||||
{
|
||||
"from": "REPORT.md",
|
||||
"target": "openspec/specs/lab5-image-variants/spec.md"
|
||||
},
|
||||
{
|
||||
"from": "REPORT.md",
|
||||
"target": "evidence/final-validation-2026-11-07/resource-probe-worker.txt"
|
||||
},
|
||||
{
|
||||
"from": "REPORT.md",
|
||||
"target": "evidence/final-validation-2026-11-07/findings.json"
|
||||
},
|
||||
{
|
||||
"from": "REPORT.md",
|
||||
"target": "evidence/final-validation-2026-11-07/RESULTS.md"
|
||||
},
|
||||
{
|
||||
"from": "AGENTS.md",
|
||||
"target": "evidence/README.md"
|
||||
},
|
||||
{
|
||||
"from": "AGENTS.md",
|
||||
"target": "REPORT.md"
|
||||
},
|
||||
{
|
||||
"from": "AGENTS.md",
|
||||
"target": "evidence/load-validation.md"
|
||||
},
|
||||
{
|
||||
"from": "AGENTS.md",
|
||||
"target": "evidence/final-validation-2026-11-07/RESULTS.md"
|
||||
},
|
||||
{
|
||||
"from": "evidence/README.md",
|
||||
"target": "../REPORT.md"
|
||||
},
|
||||
{
|
||||
"from": "evidence/README.md",
|
||||
"target": "load-validation.md"
|
||||
},
|
||||
{
|
||||
"from": "evidence/README.md",
|
||||
"target": "final-validation-2026-11-07/RESULTS.md"
|
||||
},
|
||||
{
|
||||
"from": "evidence/README.md",
|
||||
"target": "final-validation-2026-11-07/RESULTS.md"
|
||||
},
|
||||
{
|
||||
"from": "evidence/README.md",
|
||||
"target": "load-validation.md"
|
||||
},
|
||||
{
|
||||
"from": "evidence/README.md",
|
||||
"target": "report-audit-2026-11-07.md"
|
||||
},
|
||||
{
|
||||
"from": "evidence/README.md",
|
||||
"target": "forward-final-2026-11-06/RESULTS.md"
|
||||
},
|
||||
{
|
||||
"from": "evidence/README.md",
|
||||
"target": "review-trns-depth-2026-11-06/RESULTS.md"
|
||||
},
|
||||
{
|
||||
"from": "evidence/README.md",
|
||||
"target": "review-fixes-2026-11-06/RESULTS.md"
|
||||
},
|
||||
{
|
||||
"from": "evidence/README.md",
|
||||
"target": "forward-port.md"
|
||||
},
|
||||
{
|
||||
"from": "evidence/README.md",
|
||||
"target": "forward-final-2026-11-06/source-inventory.json"
|
||||
},
|
||||
{
|
||||
"from": "evidence/README.md",
|
||||
"target": "forward-final-2026-11-06/forward-audit.json"
|
||||
},
|
||||
{
|
||||
"from": "evidence/README.md",
|
||||
"target": "sqlalchemy-2026-11-06/grade3/NOTES.md"
|
||||
},
|
||||
{
|
||||
"from": "evidence/README.md",
|
||||
"target": "sqlalchemy-2026-11-06/grade4/NOTES.md"
|
||||
},
|
||||
{
|
||||
"from": "evidence/README.md",
|
||||
"target": "sqlalchemy-2026-11-06/track2/NOTES.md"
|
||||
},
|
||||
{
|
||||
"from": "evidence/README.md",
|
||||
"target": "sqlalchemy-2026-11-06/track2/qualified/RESULTS.md"
|
||||
},
|
||||
{
|
||||
"from": "evidence/README.md",
|
||||
"target": "forward-final-2026-11-06/level4-command.txt"
|
||||
},
|
||||
{
|
||||
"from": "evidence/README.md",
|
||||
"target": "forward-final-2026-11-06/level4.json"
|
||||
},
|
||||
{
|
||||
"from": "evidence/README.md",
|
||||
"target": "forward-final-2026-11-06/track-run1.txt"
|
||||
},
|
||||
{
|
||||
"from": "evidence/README.md",
|
||||
"target": "forward-final-2026-11-06/track-run1.json"
|
||||
},
|
||||
{
|
||||
"from": "evidence/README.md",
|
||||
"target": "forward-final-2026-11-06/track-run2.txt"
|
||||
},
|
||||
{
|
||||
"from": "evidence/README.md",
|
||||
"target": "forward-final-2026-11-06/track-run2.json"
|
||||
},
|
||||
{
|
||||
"from": "evidence/README.md",
|
||||
"target": "forward-final-2026-11-06/track-run3.txt"
|
||||
},
|
||||
{
|
||||
"from": "evidence/README.md",
|
||||
"target": "forward-final-2026-11-06/track-run3.json"
|
||||
},
|
||||
{
|
||||
"from": "evidence/README.md",
|
||||
"target": "forward-final-2026-11-06/summary.json"
|
||||
},
|
||||
{
|
||||
"from": "evidence/README.md",
|
||||
"target": "forward-final-2026-11-06/final-smoke.txt"
|
||||
},
|
||||
{
|
||||
"from": "evidence/README.md",
|
||||
"target": "forward-final-2026-11-06/persistence.txt"
|
||||
},
|
||||
{
|
||||
"from": "evidence/README.md",
|
||||
"target": "forward-final-2026-11-06/failover.txt"
|
||||
},
|
||||
{
|
||||
"from": "evidence/README.md",
|
||||
"target": "forward-final-2026-11-06/persistence-containers.txt"
|
||||
},
|
||||
{
|
||||
"from": "evidence/README.md",
|
||||
"target": "forward-final-2026-11-06/failover-containers.txt"
|
||||
},
|
||||
{
|
||||
"from": "evidence/README.md",
|
||||
"target": "forward-final-2026-11-06/restore.txt"
|
||||
},
|
||||
{
|
||||
"from": "evidence/README.md",
|
||||
"target": "forward-final-2026-11-06/student-test.txt"
|
||||
},
|
||||
{
|
||||
"from": "evidence/README.md",
|
||||
"target": "review-trns-depth-2026-11-06/offline-tests.txt"
|
||||
},
|
||||
{
|
||||
"from": "evidence/README.md",
|
||||
"target": "review-trns-depth-2026-11-06/boundaries.txt"
|
||||
},
|
||||
{
|
||||
"from": "evidence/README.md",
|
||||
"target": "forward-final-2026-11-06/conditions-before.json"
|
||||
},
|
||||
{
|
||||
"from": "evidence/README.md",
|
||||
"target": "forward-final-2026-11-06/conditions-track-start.json"
|
||||
},
|
||||
{
|
||||
"from": "evidence/README.md",
|
||||
"target": "forward-final-2026-11-06/down.txt"
|
||||
},
|
||||
{
|
||||
"from": "evidence/README.md",
|
||||
"target": "forward-final-2026-11-06/stopped-containers.txt"
|
||||
},
|
||||
{
|
||||
"from": "evidence/README.md",
|
||||
"target": "forward-final-2026-11-06/retained-volumes.txt"
|
||||
},
|
||||
{
|
||||
"from": "evidence/README.md",
|
||||
"target": "sqlalchemy-2026-11-06/grade3/limits.txt"
|
||||
},
|
||||
{
|
||||
"from": "evidence/README.md",
|
||||
"target": "forward-final-2026-11-06/clock-observation.json"
|
||||
},
|
||||
{
|
||||
"from": "evidence/README.md",
|
||||
"target": "review-trns-depth-2026-11-06/findings.json"
|
||||
},
|
||||
{
|
||||
"from": "evidence/README.md",
|
||||
"target": "review-trns-depth-2026-11-06/RESULTS.md"
|
||||
},
|
||||
{
|
||||
"from": "evidence/README.md",
|
||||
"target": "review-fixes-2026-11-06/RESULTS.md"
|
||||
},
|
||||
{
|
||||
"from": "evidence/load-validation.md",
|
||||
"target": "forward-final-2026-11-06/RESULTS.md"
|
||||
},
|
||||
{
|
||||
"from": "evidence/load-validation.md",
|
||||
"target": "final-validation-2026-11-07/RESULTS.md"
|
||||
},
|
||||
{
|
||||
"from": "evidence/load-validation.md",
|
||||
"target": "final-validation-2026-11-07/findings.json"
|
||||
},
|
||||
{
|
||||
"from": "evidence/final-validation-2026-11-07/RESULTS.md",
|
||||
"target": "../load-validation.md"
|
||||
},
|
||||
{
|
||||
"from": "evidence/final-validation-2026-11-07/RESULTS.md",
|
||||
"target": "audit.json"
|
||||
},
|
||||
{
|
||||
"from": "evidence/final-validation-2026-11-07/RESULTS.md",
|
||||
"target": "historical-hashes.json"
|
||||
},
|
||||
{
|
||||
"from": "evidence/final-validation-2026-11-07/RESULTS.md",
|
||||
"target": "runtime-containers.json"
|
||||
},
|
||||
{
|
||||
"from": "evidence/final-validation-2026-11-07/RESULTS.md",
|
||||
"target": "image-runtime.txt"
|
||||
},
|
||||
{
|
||||
"from": "evidence/final-validation-2026-11-07/RESULTS.md",
|
||||
"target": "env.sh"
|
||||
},
|
||||
{
|
||||
"from": "evidence/final-validation-2026-11-07/RESULTS.md",
|
||||
"target": "checks.txt"
|
||||
},
|
||||
{
|
||||
"from": "evidence/final-validation-2026-11-07/RESULTS.md",
|
||||
"target": "student-test.txt"
|
||||
},
|
||||
{
|
||||
"from": "evidence/final-validation-2026-11-07/RESULTS.md",
|
||||
"target": "openspec.txt"
|
||||
},
|
||||
{
|
||||
"from": "evidence/final-validation-2026-11-07/RESULTS.md",
|
||||
"target": "active-changes.txt"
|
||||
},
|
||||
{
|
||||
"from": "evidence/final-validation-2026-11-07/RESULTS.md",
|
||||
"target": "build.txt"
|
||||
},
|
||||
{
|
||||
"from": "evidence/final-validation-2026-11-07/RESULTS.md",
|
||||
"target": "up.txt"
|
||||
},
|
||||
{
|
||||
"from": "evidence/final-validation-2026-11-07/RESULTS.md",
|
||||
"target": "smoke.txt"
|
||||
},
|
||||
{
|
||||
"from": "evidence/final-validation-2026-11-07/RESULTS.md",
|
||||
"target": "policy.txt"
|
||||
},
|
||||
{
|
||||
"from": "evidence/final-validation-2026-11-07/RESULTS.md",
|
||||
"target": "queues.txt"
|
||||
},
|
||||
{
|
||||
"from": "evidence/final-validation-2026-11-07/RESULTS.md",
|
||||
"target": "postgres-outage-retry.txt"
|
||||
},
|
||||
{
|
||||
"from": "evidence/final-validation-2026-11-07/RESULTS.md",
|
||||
"target": "postgres-outage-retry.json"
|
||||
},
|
||||
{
|
||||
"from": "evidence/final-validation-2026-11-07/RESULTS.md",
|
||||
"target": "postgres-outage-worker.log"
|
||||
},
|
||||
{
|
||||
"from": "evidence/final-validation-2026-11-07/RESULTS.md",
|
||||
"target": "png-http.txt"
|
||||
},
|
||||
{
|
||||
"from": "evidence/final-validation-2026-11-07/RESULTS.md",
|
||||
"target": "png-http.json"
|
||||
},
|
||||
{
|
||||
"from": "evidence/final-validation-2026-11-07/RESULTS.md",
|
||||
"target": "delivery-targeted.txt"
|
||||
},
|
||||
{
|
||||
"from": "evidence/final-validation-2026-11-07/RESULTS.md",
|
||||
"target": "delivery-targeted.json"
|
||||
},
|
||||
{
|
||||
"from": "evidence/final-validation-2026-11-07/RESULTS.md",
|
||||
"target": "png-limits.txt"
|
||||
},
|
||||
{
|
||||
"from": "evidence/final-validation-2026-11-07/RESULTS.md",
|
||||
"target": "png-limits.json"
|
||||
},
|
||||
{
|
||||
"from": "evidence/final-validation-2026-11-07/RESULTS.md",
|
||||
"target": "fixtures"
|
||||
},
|
||||
{
|
||||
"from": "evidence/final-validation-2026-11-07/RESULTS.md",
|
||||
"target": "targeted.py"
|
||||
},
|
||||
{
|
||||
"from": "evidence/final-validation-2026-11-07/RESULTS.md",
|
||||
"target": "postgres-outage.txt"
|
||||
},
|
||||
{
|
||||
"from": "evidence/final-validation-2026-11-07/RESULTS.md",
|
||||
"target": "targeted-initial.py"
|
||||
},
|
||||
{
|
||||
"from": "evidence/final-validation-2026-11-07/RESULTS.md",
|
||||
"target": "cleanup-recheck.txt"
|
||||
},
|
||||
{
|
||||
"from": "evidence/final-validation-2026-11-07/RESULTS.md",
|
||||
"target": "../../openspec/specs/lab5-image-variants/spec.md"
|
||||
},
|
||||
{
|
||||
"from": "evidence/final-validation-2026-11-07/RESULTS.md",
|
||||
"target": "resource-probe-worker.txt"
|
||||
},
|
||||
{
|
||||
"from": "evidence/final-validation-2026-11-07/RESULTS.md",
|
||||
"target": "resource-probe-retry.txt"
|
||||
},
|
||||
{
|
||||
"from": "evidence/final-validation-2026-11-07/RESULTS.md",
|
||||
"target": "invoke-probe.py"
|
||||
},
|
||||
{
|
||||
"from": "evidence/final-validation-2026-11-07/RESULTS.md",
|
||||
"target": "findings.json"
|
||||
},
|
||||
{
|
||||
"from": "evidence/final-validation-2026-11-07/RESULTS.md",
|
||||
"target": "down.txt"
|
||||
},
|
||||
{
|
||||
"from": "evidence/final-validation-2026-11-07/RESULTS.md",
|
||||
"target": "stopped-containers.txt"
|
||||
},
|
||||
{
|
||||
"from": "evidence/final-validation-2026-11-07/RESULTS.md",
|
||||
"target": "retained-volumes.txt"
|
||||
},
|
||||
{
|
||||
"from": "evidence/final-validation-2026-11-07/RESULTS.md",
|
||||
"target": "running-containers-after.txt"
|
||||
},
|
||||
{
|
||||
"from": "evidence/final-validation-2026-11-07/RESULTS.md",
|
||||
"target": "checks-final.txt"
|
||||
},
|
||||
{
|
||||
"from": "evidence/final-validation-2026-11-07/RESULTS.md",
|
||||
"target": "final-doc-audit.json"
|
||||
},
|
||||
{
|
||||
"from": "evidence/final-validation-2026-11-07/RESULTS.md",
|
||||
"target": "secret-scan.json"
|
||||
}
|
||||
],
|
||||
"all_link_targets_tracked": true
|
||||
}
|
||||
@@ -1,37 +0,0 @@
|
||||
[
|
||||
{
|
||||
"severity": "major",
|
||||
"file": "src/messenger/attachments/infrastructure/images.py:95",
|
||||
"problem": "Не проходит объявленный обязательный сценарий openspec/specs/lab5-image-variants/spec.md:48: PNG 8000×5000 со штатными пределами должен стать ready. Через LB четыре валидных tRNS PNG (grayscale 2/4/16 и RGB16, 35 759–385 445 байт) получают 202, затем failed/processing_failed на attempt=1 при RENDER_MEMORY_MB=448 и timeout=30. Linux-пробник с импортами worker воспроизводит MemoryError в rgb_mask/apply_png_transparency и flatten; без tRNS gray2/gray4/RGB16 проходят, gray16 требует памяти и без tRNS. Worker остаётся жив; потери данных/падение сервиса не заявляются. Доказательства: evidence/final-validation-2026-11-07/png-limits.json, resource-probe-worker.txt, fixtures/*.png. Нужен отдельный fix, review и повтор только затронутых PNG/ресурсных проверок."
|
||||
},
|
||||
{
|
||||
"severity": "minor",
|
||||
"file": "src/messenger/attachments/application/pipeline.py:230",
|
||||
"problem": "Сохранено из ревью 544b9c78d39d0e9dd07f841894c390895896605a: after_publish_before_confirm вызывается после publish(), уже проверившего Basic.Ack. crash_publish_confirm доказывает сбой после confirm до COMMIT outbox, а не потерю подтверждения."
|
||||
},
|
||||
{
|
||||
"severity": "minor",
|
||||
"file": "scripts/limits.py:10",
|
||||
"problem": "Сохранено из первого ревью: S3_CLIENT_SECRETS не отсортирован, сравнение с sorted(secrets) даёт ложные FAIL. evidence/sqlalchemy-2026-11-06/grade3/limits.txt содержит exit_code=1; этот запуск нельзя обозначать PASS."
|
||||
},
|
||||
{
|
||||
"severity": "minor",
|
||||
"file": "scripts/reconcile_track.py:396",
|
||||
"problem": "Сохранено из первого ревью: демонстратор ожидает upload 201 и attachments/, поэтому непригоден для квалификации ЛР5 с 202 queued. Текущие pipeline evidence его не используют."
|
||||
},
|
||||
{
|
||||
"severity": "minor",
|
||||
"file": "src/messenger/attachments/application/pipeline.py:333",
|
||||
"problem": "Сохранено из первого ревью: failed upgrade v2 при опубликованной ready v1 нельзя отдельно повторить через replay/reprocess. V1 остаётся доступной; подтверждение исходного ревью — test_failed_new_version_keeps_ready_original."
|
||||
},
|
||||
{
|
||||
"severity": "minor",
|
||||
"file": "evidence/forward-final-2026-11-06/clock-observation.json",
|
||||
"problem": "Сохранено из первого ревью: в повторах 2/3 UTC-интервалы расходятся с elapsed (1161.195/186.458 с и 571.513/180.259 с). Причина не установлена; длительности исключены из выводов о производительности."
|
||||
},
|
||||
{
|
||||
"severity": "minor",
|
||||
"file": "openspec/config.yaml:130",
|
||||
"problem": "Сохранена документационная неточность: design требует upload 201 вместо нормативного 202 ЛР5; конфиг вне scope validation."
|
||||
}
|
||||
]
|
||||
Binary file not shown.
|
Before Width: | Height: | Size: 101 KiB |
Binary file not shown.
|
Before Width: | Height: | Size: 35 KiB |
Binary file not shown.
|
Before Width: | Height: | Size: 45 KiB |
Binary file not shown.
|
Before Width: | Height: | Size: 376 KiB |
@@ -1,17 +0,0 @@
|
||||
[
|
||||
{
|
||||
"manifest": "evidence/review-trns-depth-2026-11-06/checks.json",
|
||||
"sha": "42575281b352d35bda17ee7601bae5548a996e91",
|
||||
"verified": 34
|
||||
},
|
||||
{
|
||||
"manifest": "evidence/review-fixes-2026-11-06/checks.json",
|
||||
"sha": "6e97bdbe9638c5a53951337fce639a1a0db7f92e",
|
||||
"verified": 5
|
||||
},
|
||||
{
|
||||
"manifest": "evidence/forward-final-2026-11-06/forward-audit.json",
|
||||
"sha": "0e921116610d289716af0a40ec823376eb8bbcbc",
|
||||
"verified": 25
|
||||
}
|
||||
]
|
||||
@@ -1,7 +0,0 @@
|
||||
date: 2026-11-06T21:18:41Z commit: b30e2f6a84419d1ca64525ffb40df92183cccaef
|
||||
environment: {"COMPOSE_PROJECT_NAME": "mtusi2026lab5", "COMPOSE_FILE": "compose.yaml", "LB_HTTP_PORT": "18085", "LB_STATS_PORT": "25085", "BASE_URL": "http://127.0.0.1:18085", "NO_PROXY": "localhost,127.0.0.1,::1", "API_IMAGE": "mtusi-messenger:lab5-validation"}
|
||||
$ docker compose exec -T worker python -c 'import hashlib,platform,importlib.metadata; from pathlib import Path; import messenger.attachments.infrastructure.images as m; print(platform.platform()); print({name:importlib.metadata.version(name) for name in ("sqlalchemy","alembic","Pillow","faststream","aio-pika")}); print("images.py sha256",hashlib.sha256(Path(m.__file__).read_bytes()).hexdigest())'
|
||||
Linux-6.10.14-linuxkit-aarch64-with-glibc2.41
|
||||
{'sqlalchemy': '2.0.45', 'alembic': '1.16.5', 'Pillow': '13.0.0', 'faststream': '0.7.8', 'aio-pika': '10.2.1'}
|
||||
images.py sha256 537359101ad6266cc74f8373364ae492675aef984844a07950681cf5032f7de9
|
||||
exit_code: 0 elapsed_seconds: 0.377
|
||||
@@ -1,11 +0,0 @@
|
||||
import base64
|
||||
import json
|
||||
import subprocess
|
||||
import sys
|
||||
from pathlib import Path
|
||||
|
||||
folder = Path(__file__).parent
|
||||
bootstrap = "import sys,json,base64; from pathlib import Path; p=json.load(sys.stdin); d=Path('/tmp/validation-fixtures'); d.mkdir(exist_ok=True); [(d/name).write_bytes(base64.b64decode(data)) for name,data in p['fixtures'].items()]; exec(compile(p['code'],'resource-probe.py','exec'))"
|
||||
payload = {'code': (folder / (sys.argv[1] if len(sys.argv) > 1 else 'resource-probe.py')).read_text(), 'fixtures': {p.name: base64.b64encode(p.read_bytes()).decode() for p in (folder / 'fixtures').glob('*.png')}}
|
||||
result = subprocess.run(['docker', 'compose', 'exec', '-T', 'worker', 'python', '-c', bootstrap], input=json.dumps(payload), text=True, check=False)
|
||||
raise SystemExit(result.returncode)
|
||||
@@ -1,28 +0,0 @@
|
||||
date: 2026-11-06T21:15:53Z commit: b30e2f6a84419d1ca64525ffb40df92183cccaef
|
||||
environment: {}
|
||||
$ openspec validate --all --strict
|
||||
- Validating...
|
||||
✓ spec/lab1-event-publication
|
||||
✓ spec/lab1-messenger-chats
|
||||
✓ spec/lab1-messenger-history
|
||||
✓ spec/lab1-messenger-identity
|
||||
✓ spec/lab1-service-operability
|
||||
✓ spec/lab2-auth-sessions
|
||||
✓ spec/lab2-dependency-failures
|
||||
✓ spec/lab2-history-index
|
||||
✓ spec/lab2-persistent-storage
|
||||
✓ spec/lab2-session-cache
|
||||
✓ spec/lab3-failover-operations
|
||||
✓ spec/lab3-idempotent-messages
|
||||
✓ spec/lab3-load-balancing
|
||||
✓ spec/lab4-attachments
|
||||
✓ spec/lab4-object-storage
|
||||
✓ spec/lab4-storage-reconciler
|
||||
✓ spec/lab4-upload-resilience
|
||||
✓ spec/lab5-attachment-pipeline
|
||||
✓ spec/lab5-image-variants
|
||||
✓ spec/lab5-job-delivery
|
||||
✓ spec/lab5-job-recovery
|
||||
✓ spec/lab5-versioned-pipeline
|
||||
Totals: 22 passed, 0 failed (22 items)
|
||||
exit_code: 0 elapsed_seconds: 0.889
|
||||
@@ -1,742 +0,0 @@
|
||||
{
|
||||
"mode": "png-http",
|
||||
"source_sha": "b30e2f6a84419d1ca64525ffb40df92183cccaef",
|
||||
"started_at": "2026-11-06T21:20:30.802260Z",
|
||||
"cases": [
|
||||
{
|
||||
"name": "gray2",
|
||||
"started_at": "2026-11-06T21:20:31.867669Z",
|
||||
"observed": {
|
||||
"attachment_id": "01a1b2bc-107e-76d1-b857-f8a847a893d8",
|
||||
"input_sha256": "80754a3aa0c8a6014dc7a282b2009d49d064a5c02ed48e634d05d01c0aa3df6b",
|
||||
"input_bytes": 189,
|
||||
"versions": [
|
||||
{
|
||||
"version": 1,
|
||||
"variants": [
|
||||
{
|
||||
"name": "crop",
|
||||
"sha256": "def030bc04042aa23362c895a36b18d1d9748360df045decaf68eaeb0aa68deb",
|
||||
"bytes": 1324,
|
||||
"dimensions": [
|
||||
128,
|
||||
128
|
||||
]
|
||||
},
|
||||
{
|
||||
"name": "optimized",
|
||||
"sha256": "fd49dc2d33e7b7963cd8f8f6ef0f0b80117e2c4a7dfb4fd2ee79285e47ff789a",
|
||||
"bytes": 98,
|
||||
"dimensions": [
|
||||
64,
|
||||
64
|
||||
]
|
||||
},
|
||||
{
|
||||
"name": "thumbnail",
|
||||
"sha256": "1b6f714677aa69673da7ed9eefba73376b8df42eae70a3d91002d2aab7272d9e",
|
||||
"bytes": 332,
|
||||
"dimensions": [
|
||||
64,
|
||||
64
|
||||
]
|
||||
}
|
||||
]
|
||||
},
|
||||
{
|
||||
"version": 2,
|
||||
"variants": [
|
||||
{
|
||||
"name": "crop",
|
||||
"sha256": "d14b6cc6fe415bd8c4fef55402a4fb196bc4f39d493ee505d536594b28841697",
|
||||
"bytes": 1489,
|
||||
"dimensions": [
|
||||
128,
|
||||
128
|
||||
]
|
||||
},
|
||||
{
|
||||
"name": "optimized",
|
||||
"sha256": "c8f23e1adbf1add646f23531e270dc25d5108453d50947dec3e73700b0d6741f",
|
||||
"bytes": 96,
|
||||
"dimensions": [
|
||||
64,
|
||||
64
|
||||
]
|
||||
},
|
||||
{
|
||||
"name": "thumbnail",
|
||||
"sha256": "93107a3ba1a8aba475f8993dfb0d03658cef12a416c08a230653370921dcc00b",
|
||||
"bytes": 335,
|
||||
"dimensions": [
|
||||
64,
|
||||
64
|
||||
]
|
||||
}
|
||||
]
|
||||
}
|
||||
],
|
||||
"stale_and_duplicate_noop": true
|
||||
},
|
||||
"result": "PASS",
|
||||
"elapsed_seconds": 4.952
|
||||
},
|
||||
{
|
||||
"name": "gray4",
|
||||
"started_at": "2026-11-06T21:20:36.820264Z",
|
||||
"observed": {
|
||||
"attachment_id": "01a1b2bc-23d7-7757-bd08-e78831dce1a6",
|
||||
"input_sha256": "d0ed5b64b3b875be881dd286bedb7948fd06570f9ef1d2cfe41b665a838e426b",
|
||||
"input_bytes": 263,
|
||||
"versions": [
|
||||
{
|
||||
"version": 1,
|
||||
"variants": [
|
||||
{
|
||||
"name": "crop",
|
||||
"sha256": "43323e552e3c79e1a1688478d72c2ce370c21e55f1560958f9f6a225bc32f909",
|
||||
"bytes": 1034,
|
||||
"dimensions": [
|
||||
128,
|
||||
128
|
||||
]
|
||||
},
|
||||
{
|
||||
"name": "optimized",
|
||||
"sha256": "dbc0ec3736c18df42f26b8f396b2eb243a18c6a0f5b6bbef8bf4ff7e563032c3",
|
||||
"bytes": 90,
|
||||
"dimensions": [
|
||||
64,
|
||||
64
|
||||
]
|
||||
},
|
||||
{
|
||||
"name": "thumbnail",
|
||||
"sha256": "d594ebb80ca7939643379ba54392070444eb900ca40bec9c6beee75175fd81ab",
|
||||
"bytes": 330,
|
||||
"dimensions": [
|
||||
64,
|
||||
64
|
||||
]
|
||||
}
|
||||
]
|
||||
},
|
||||
{
|
||||
"version": 2,
|
||||
"variants": [
|
||||
{
|
||||
"name": "crop",
|
||||
"sha256": "16e27d4c1df7aac7185381a1f4c8c9cceb05647e98f941c41e38f4dfe4c5ec75",
|
||||
"bytes": 1197,
|
||||
"dimensions": [
|
||||
128,
|
||||
128
|
||||
]
|
||||
},
|
||||
{
|
||||
"name": "optimized",
|
||||
"sha256": "cd31de25056767d9050108c4475d4b72ccd1ab3c36c1c96159b104019e4e3493",
|
||||
"bytes": 92,
|
||||
"dimensions": [
|
||||
64,
|
||||
64
|
||||
]
|
||||
},
|
||||
{
|
||||
"name": "thumbnail",
|
||||
"sha256": "86afdaf8b40f77c2426ebf10c8d603535d75caa4fc720462be9acc43e39d4fbd",
|
||||
"bytes": 330,
|
||||
"dimensions": [
|
||||
64,
|
||||
64
|
||||
]
|
||||
}
|
||||
]
|
||||
}
|
||||
],
|
||||
"stale_and_duplicate_noop": true
|
||||
},
|
||||
"result": "PASS",
|
||||
"elapsed_seconds": 4.607
|
||||
},
|
||||
{
|
||||
"name": "rgb16",
|
||||
"started_at": "2026-11-06T21:20:41.427922Z",
|
||||
"observed": {
|
||||
"attachment_id": "01a1b2bc-35d8-7442-a3b7-1cd166d552cc",
|
||||
"input_sha256": "e8e5f64cf3a0312b17549aed29f062e3cb03d0c1bf327396c6a25c4b88dec89f",
|
||||
"input_bytes": 724,
|
||||
"versions": [
|
||||
{
|
||||
"version": 1,
|
||||
"variants": [
|
||||
{
|
||||
"name": "crop",
|
||||
"sha256": "6386114c3d0b89c4df88745eec318b5db1a779d488e1b08f34ac34138c7feb99",
|
||||
"bytes": 671,
|
||||
"dimensions": [
|
||||
128,
|
||||
128
|
||||
]
|
||||
},
|
||||
{
|
||||
"name": "optimized",
|
||||
"sha256": "fed7e1bf230e91296a5ea9a85b51d190152639bb2963b661f872029d852cc4ad",
|
||||
"bytes": 94,
|
||||
"dimensions": [
|
||||
64,
|
||||
64
|
||||
]
|
||||
},
|
||||
{
|
||||
"name": "thumbnail",
|
||||
"sha256": "af0a65a6596a0905a79403a9a6ef32a1301671a98ae3c8b5c3d6ced2d20a1009",
|
||||
"bytes": 332,
|
||||
"dimensions": [
|
||||
64,
|
||||
64
|
||||
]
|
||||
}
|
||||
]
|
||||
},
|
||||
{
|
||||
"version": 2,
|
||||
"variants": [
|
||||
{
|
||||
"name": "crop",
|
||||
"sha256": "dedcbac123226e3012a4dbd178b7aae7a7aba4f2c44c91be274c86804238b208",
|
||||
"bytes": 696,
|
||||
"dimensions": [
|
||||
128,
|
||||
128
|
||||
]
|
||||
},
|
||||
{
|
||||
"name": "optimized",
|
||||
"sha256": "bc09a1696563daae4385190d2c52afac8230e18fff4b5eba701a42f0facde043",
|
||||
"bytes": 94,
|
||||
"dimensions": [
|
||||
64,
|
||||
64
|
||||
]
|
||||
},
|
||||
{
|
||||
"name": "thumbnail",
|
||||
"sha256": "218bc7fd6fa995a3c4cf725016714408073699d13f39d0d364ffe3595856d272",
|
||||
"bytes": 333,
|
||||
"dimensions": [
|
||||
64,
|
||||
64
|
||||
]
|
||||
}
|
||||
]
|
||||
}
|
||||
],
|
||||
"stale_and_duplicate_noop": true
|
||||
},
|
||||
"result": "PASS",
|
||||
"elapsed_seconds": 4.02
|
||||
},
|
||||
{
|
||||
"name": "gray1",
|
||||
"started_at": "2026-11-06T21:20:45.448396Z",
|
||||
"observed": {
|
||||
"attachment_id": "01a1b2bc-458d-73f1-9c76-b2f5f360400e",
|
||||
"input_sha256": "1bf59ee41fbd12bf572ac294e0505cc00b904363dd479d643b43062199dd67e3",
|
||||
"input_bytes": 154,
|
||||
"versions": [
|
||||
{
|
||||
"version": 1,
|
||||
"variants": [
|
||||
{
|
||||
"name": "crop",
|
||||
"sha256": "1b88218fd7e3ff00d6fa3e4bb732411617126591b2b6837aecdcaef426327eda",
|
||||
"bytes": 380,
|
||||
"dimensions": [
|
||||
128,
|
||||
128
|
||||
]
|
||||
},
|
||||
{
|
||||
"name": "optimized",
|
||||
"sha256": "315ce3f53ac2012226bbeb906c7d37997a7f6fabb3d0ede23a797e66fe4b51ee",
|
||||
"bytes": 66,
|
||||
"dimensions": [
|
||||
64,
|
||||
64
|
||||
]
|
||||
},
|
||||
{
|
||||
"name": "thumbnail",
|
||||
"sha256": "c5745603d7848377a38bb5228f7817f5d4d4f5af26dadd7d3b2fb97b6a598a8e",
|
||||
"bytes": 308,
|
||||
"dimensions": [
|
||||
64,
|
||||
64
|
||||
]
|
||||
}
|
||||
]
|
||||
},
|
||||
{
|
||||
"version": 2,
|
||||
"variants": [
|
||||
{
|
||||
"name": "crop",
|
||||
"sha256": "45eac1bd54dba273142a01a3f01a1530787db5a9fe04aa2483862256dbf16132",
|
||||
"bytes": 380,
|
||||
"dimensions": [
|
||||
128,
|
||||
128
|
||||
]
|
||||
},
|
||||
{
|
||||
"name": "optimized",
|
||||
"sha256": "8c5e7cc56874d00f7d5731a6a89461b264ef4e3b450899b63f4608231180b5aa",
|
||||
"bytes": 66,
|
||||
"dimensions": [
|
||||
64,
|
||||
64
|
||||
]
|
||||
},
|
||||
{
|
||||
"name": "thumbnail",
|
||||
"sha256": "19305cfd18dc8f3e504d6ef5667ddd7be788836e16317dba5b2c6f590b6a2667",
|
||||
"bytes": 308,
|
||||
"dimensions": [
|
||||
64,
|
||||
64
|
||||
]
|
||||
}
|
||||
]
|
||||
}
|
||||
],
|
||||
"stale_and_duplicate_noop": true
|
||||
},
|
||||
"result": "PASS",
|
||||
"elapsed_seconds": 3.992
|
||||
},
|
||||
{
|
||||
"name": "gray8",
|
||||
"started_at": "2026-11-06T21:20:49.441526Z",
|
||||
"observed": {
|
||||
"attachment_id": "01a1b2bc-5527-75fa-ace8-6f2de9678922",
|
||||
"input_sha256": "31cb54aacd9e1c324b14e38377f83a21d4084dc134aa3d3e1e5c40e3d9c5dd2f",
|
||||
"input_bytes": 286,
|
||||
"versions": [
|
||||
{
|
||||
"version": 1,
|
||||
"variants": [
|
||||
{
|
||||
"name": "crop",
|
||||
"sha256": "14a6e4afbe7e4cf766330007adda1c14168f16957f9409f402a8699a0e5de62f",
|
||||
"bytes": 621,
|
||||
"dimensions": [
|
||||
128,
|
||||
128
|
||||
]
|
||||
},
|
||||
{
|
||||
"name": "optimized",
|
||||
"sha256": "d35d7d59302099ea5fea9e91a405f4ebf8823aae1f53a59f88a09015619136fa",
|
||||
"bytes": 74,
|
||||
"dimensions": [
|
||||
64,
|
||||
64
|
||||
]
|
||||
},
|
||||
{
|
||||
"name": "thumbnail",
|
||||
"sha256": "d8fac3c82defab08dbb276681b1a7fb2545d883830dae5f965349474897373c7",
|
||||
"bytes": 324,
|
||||
"dimensions": [
|
||||
64,
|
||||
64
|
||||
]
|
||||
}
|
||||
]
|
||||
},
|
||||
{
|
||||
"version": 2,
|
||||
"variants": [
|
||||
{
|
||||
"name": "crop",
|
||||
"sha256": "dba34622f93edcd2d3449e217eb9605b1fac739c7c873a875af5d88d8e76bf2e",
|
||||
"bytes": 637,
|
||||
"dimensions": [
|
||||
128,
|
||||
128
|
||||
]
|
||||
},
|
||||
{
|
||||
"name": "optimized",
|
||||
"sha256": "3d4823a2da9971a444b16cf060be5f0b2b7a16bf50a26e7343283d48b562d105",
|
||||
"bytes": 76,
|
||||
"dimensions": [
|
||||
64,
|
||||
64
|
||||
]
|
||||
},
|
||||
{
|
||||
"name": "thumbnail",
|
||||
"sha256": "d9d4ed6ef383acdf227745e511acaffddf6e90c4f100d0f6ea117f5783581d29",
|
||||
"bytes": 324,
|
||||
"dimensions": [
|
||||
64,
|
||||
64
|
||||
]
|
||||
}
|
||||
]
|
||||
}
|
||||
],
|
||||
"stale_and_duplicate_noop": true
|
||||
},
|
||||
"result": "PASS",
|
||||
"elapsed_seconds": 4.022
|
||||
},
|
||||
{
|
||||
"name": "gray16",
|
||||
"started_at": "2026-11-06T21:20:53.463983Z",
|
||||
"observed": {
|
||||
"attachment_id": "01a1b2bc-64df-7694-8365-6ba2803fa169",
|
||||
"input_sha256": "f7fbc2506997045f18891037f3cde42cf1e3b55461948f790779817317574f77",
|
||||
"input_bytes": 344,
|
||||
"versions": [
|
||||
{
|
||||
"version": 1,
|
||||
"variants": [
|
||||
{
|
||||
"name": "crop",
|
||||
"sha256": "e49a69181bafd0ebb4348db7030ad2cbf632b296a65f0ba05fe984b3d2b1ccdc",
|
||||
"bytes": 632,
|
||||
"dimensions": [
|
||||
128,
|
||||
128
|
||||
]
|
||||
},
|
||||
{
|
||||
"name": "optimized",
|
||||
"sha256": "751dc647784804af94b6cda23248840f73cab0cfe03227c4568b75195c00603a",
|
||||
"bytes": 80,
|
||||
"dimensions": [
|
||||
64,
|
||||
64
|
||||
]
|
||||
},
|
||||
{
|
||||
"name": "thumbnail",
|
||||
"sha256": "1bc87b25d02a179dc0cf5a883fb624fda094ba042ed9476c883ae1c12da6f1b6",
|
||||
"bytes": 322,
|
||||
"dimensions": [
|
||||
64,
|
||||
64
|
||||
]
|
||||
}
|
||||
]
|
||||
},
|
||||
{
|
||||
"version": 2,
|
||||
"variants": [
|
||||
{
|
||||
"name": "crop",
|
||||
"sha256": "a94faef9b08b5ab6ab239b6618c0e92b0ab92abca889acd714d6d9179dde90ef",
|
||||
"bytes": 662,
|
||||
"dimensions": [
|
||||
128,
|
||||
128
|
||||
]
|
||||
},
|
||||
{
|
||||
"name": "optimized",
|
||||
"sha256": "b22468814595a3ae63a9b326ed55fefb9a833a0e621be5f366b113ad6cf18a12",
|
||||
"bytes": 72,
|
||||
"dimensions": [
|
||||
64,
|
||||
64
|
||||
]
|
||||
},
|
||||
{
|
||||
"name": "thumbnail",
|
||||
"sha256": "d2267d9adb990db045e8c186737a4bdf66aa4e8d82d785c0bb3d8e87c34c5072",
|
||||
"bytes": 323,
|
||||
"dimensions": [
|
||||
64,
|
||||
64
|
||||
]
|
||||
}
|
||||
]
|
||||
}
|
||||
],
|
||||
"stale_and_duplicate_noop": true
|
||||
},
|
||||
"result": "PASS",
|
||||
"elapsed_seconds": 3.952
|
||||
},
|
||||
{
|
||||
"name": "rgb8",
|
||||
"started_at": "2026-11-06T21:20:57.416228Z",
|
||||
"observed": {
|
||||
"attachment_id": "01a1b2bc-7451-70a2-83ed-869d99c81f3f",
|
||||
"input_sha256": "8c27c74500758b1a24ccc96261334265e304d55530780aefc7ef4a1109c11852",
|
||||
"input_bytes": 385,
|
||||
"versions": [
|
||||
{
|
||||
"version": 1,
|
||||
"variants": [
|
||||
{
|
||||
"name": "crop",
|
||||
"sha256": "c36bf54d185cfcf7abddd219a5e586e11b0c4d10007df5db55978f74ddcad2d0",
|
||||
"bytes": 1069,
|
||||
"dimensions": [
|
||||
128,
|
||||
128
|
||||
]
|
||||
},
|
||||
{
|
||||
"name": "optimized",
|
||||
"sha256": "7b78675ebd18218e82922e75072a801eea74b4d5f26cde2b5810407c86509b88",
|
||||
"bytes": 116,
|
||||
"dimensions": [
|
||||
64,
|
||||
64
|
||||
]
|
||||
},
|
||||
{
|
||||
"name": "thumbnail",
|
||||
"sha256": "f6e37a29401efe000eb8deb1490975d745f621f2ab229f4d85162945189e1791",
|
||||
"bytes": 385,
|
||||
"dimensions": [
|
||||
64,
|
||||
64
|
||||
]
|
||||
}
|
||||
]
|
||||
},
|
||||
{
|
||||
"version": 2,
|
||||
"variants": [
|
||||
{
|
||||
"name": "crop",
|
||||
"sha256": "fd82664e5924528cd7916b3b9e30b71517fa13c2763a8705e750fd4293f3027c",
|
||||
"bytes": 1184,
|
||||
"dimensions": [
|
||||
128,
|
||||
128
|
||||
]
|
||||
},
|
||||
{
|
||||
"name": "optimized",
|
||||
"sha256": "a05ef5a9f1305b2941cc99ab594eb3671bb87babe35d28ac97127791881137bb",
|
||||
"bytes": 120,
|
||||
"dimensions": [
|
||||
64,
|
||||
64
|
||||
]
|
||||
},
|
||||
{
|
||||
"name": "thumbnail",
|
||||
"sha256": "3cac9f1ca274bcac1dc05cf186cd88eb622fd947fb1a7958a1175e77623a96d6",
|
||||
"bytes": 392,
|
||||
"dimensions": [
|
||||
64,
|
||||
64
|
||||
]
|
||||
}
|
||||
]
|
||||
}
|
||||
],
|
||||
"stale_and_duplicate_noop": true
|
||||
},
|
||||
"result": "PASS",
|
||||
"elapsed_seconds": 4.545
|
||||
},
|
||||
{
|
||||
"name": "rgb16-adam7-filter4-exif6",
|
||||
"started_at": "2026-11-06T21:21:01.962099Z",
|
||||
"observed": {
|
||||
"attachment_id": "01a1b2bc-8615-7763-b117-c00aacaebeb6",
|
||||
"input_sha256": "b9c1cb1e309024e4578d1f17bf6bb0f0645aad4d8973e16098b65c54cfd4930a",
|
||||
"input_bytes": 1297,
|
||||
"versions": [
|
||||
{
|
||||
"version": 1,
|
||||
"variants": [
|
||||
{
|
||||
"name": "crop",
|
||||
"sha256": "f257bf8fa4f30f0e4df6672de140799375cebd2bf735a656432cf702663414a1",
|
||||
"bytes": 601,
|
||||
"dimensions": [
|
||||
128,
|
||||
128
|
||||
]
|
||||
},
|
||||
{
|
||||
"name": "optimized",
|
||||
"sha256": "cb92af5a047068048eba212d944513edb2c454f64e124339820d46c24e69ea45",
|
||||
"bytes": 112,
|
||||
"dimensions": [
|
||||
63,
|
||||
65
|
||||
]
|
||||
},
|
||||
{
|
||||
"name": "thumbnail",
|
||||
"sha256": "110cf7571f07d2db04821e8ef1861f74b5a16978851a4b0082ca60aedc1d29e4",
|
||||
"bytes": 419,
|
||||
"dimensions": [
|
||||
63,
|
||||
65
|
||||
]
|
||||
}
|
||||
]
|
||||
},
|
||||
{
|
||||
"version": 2,
|
||||
"variants": [
|
||||
{
|
||||
"name": "crop",
|
||||
"sha256": "0a7fea5640c5877026100e65e39848e7b15ee5eebb93897ebbeb95d441e8d652",
|
||||
"bytes": 675,
|
||||
"dimensions": [
|
||||
128,
|
||||
128
|
||||
]
|
||||
},
|
||||
{
|
||||
"name": "optimized",
|
||||
"sha256": "9d4b7431a72adfc10284e4443c4e56b4cd19a67c0729979041fc8b0bc2c6ca34",
|
||||
"bytes": 116,
|
||||
"dimensions": [
|
||||
63,
|
||||
65
|
||||
]
|
||||
},
|
||||
{
|
||||
"name": "thumbnail",
|
||||
"sha256": "529ceb55a8675e5ed870ed7917d7f1a5753c898b689f3e431e403b9b3682a732",
|
||||
"bytes": 440,
|
||||
"dimensions": [
|
||||
63,
|
||||
65
|
||||
]
|
||||
}
|
||||
]
|
||||
}
|
||||
],
|
||||
"stale_and_duplicate_noop": true
|
||||
},
|
||||
"result": "PASS",
|
||||
"elapsed_seconds": 4.577
|
||||
}
|
||||
],
|
||||
"conditions": {
|
||||
"host_load": [
|
||||
5.10693359375,
|
||||
3.61181640625,
|
||||
2.75048828125
|
||||
],
|
||||
"containers": [
|
||||
"mtusi2026lab5-api-1 fc7d65385119 running Up 3 minutes (healthy)",
|
||||
"mtusi2026lab5-api-2 a5411e55f06d running Up 3 minutes (healthy)",
|
||||
"mtusi2026lab5-broker-1 a38bbcf03870 running Up 3 minutes (healthy)",
|
||||
"mtusi2026lab5-lb-1 f0d01200b1f8 running Up 3 minutes (healthy)",
|
||||
"mtusi2026lab5-migrate-1 feca425ac0ae exited Exited (0) 2 minutes ago",
|
||||
"mtusi2026lab5-postgres-1 9f62ea9d176b running Up 11 seconds (healthy)",
|
||||
"mtusi2026lab5-relay-1 4153c8488753 running Up 3 minutes (healthy)",
|
||||
"mtusi2026lab5-s3-1 9a7684ef147a running Up 3 minutes (healthy)",
|
||||
"mtusi2026lab5-s3-init-1 e5825f3eeafb exited Exited (0) 2 minutes ago",
|
||||
"mtusi2026lab5-valkey-1 e37f783f9d50 running Up 3 minutes (healthy)",
|
||||
"mtusi2026lab5-worker-1 ee8f9d678c2c running Up 24 seconds (healthy)"
|
||||
],
|
||||
"running": "mtusi2026lab5-api-1 Up 3 minutes (healthy)\nmtusi2026lab5-relay-1 Up 3 minutes (healthy)\nmtusi2026lab5-api-2 Up 3 minutes (healthy)\nmtusi2026lab5-worker-1 Up 24 seconds (healthy)\nmtusi2026lab5-broker-1 Up 3 minutes (healthy)\nmtusi2026lab5-postgres-1 Up 11 seconds (healthy)\nmtusi2026lab5-lb-1 Up 3 minutes (healthy)\nmtusi2026lab5-s3-1 Up 3 minutes (healthy)\nmtusi2026lab5-valkey-1 Up 3 minutes (healthy)\n",
|
||||
"worker_limits": "448\n30\n2\n"
|
||||
},
|
||||
"invariants": [
|
||||
{
|
||||
"id": "terminal",
|
||||
"statement": "every 202 reaches its expected terminal state",
|
||||
"result": "PASS",
|
||||
"details": {
|
||||
"accepted": 8
|
||||
}
|
||||
},
|
||||
{
|
||||
"id": "single_effect",
|
||||
"statement": "one variant set per (attachment_id, pipeline_version, variant)",
|
||||
"result": "PASS",
|
||||
"details": {
|
||||
"rows": 0
|
||||
}
|
||||
},
|
||||
{
|
||||
"id": "no_ready_rollback",
|
||||
"statement": "ready never returns to queued or processing",
|
||||
"result": "PASS",
|
||||
"details": {
|
||||
"traced": 8
|
||||
}
|
||||
},
|
||||
{
|
||||
"id": "monotonic_publication",
|
||||
"statement": "published_version only moves forward",
|
||||
"result": "PASS",
|
||||
"details": {
|
||||
"sampled": 8
|
||||
}
|
||||
},
|
||||
{
|
||||
"id": "bytes_match_metadata",
|
||||
"statement": "sha256, size and real dimensions match served bytes",
|
||||
"result": "PASS",
|
||||
"details": {
|
||||
"verified": 8
|
||||
}
|
||||
},
|
||||
{
|
||||
"id": "bounded_attempts",
|
||||
"statement": "attempt <= JOB_MAX_ATTEMPTS",
|
||||
"result": "PASS",
|
||||
"details": {
|
||||
"rows": 0
|
||||
}
|
||||
},
|
||||
{
|
||||
"id": "no_orphans",
|
||||
"statement": "no pending outbox, messages, dead letters, staging, objects",
|
||||
"result": "PASS",
|
||||
"details": {
|
||||
"queues": {
|
||||
"attachments.process": [
|
||||
0,
|
||||
0
|
||||
],
|
||||
"attachments.process.dlq": [
|
||||
15,
|
||||
0
|
||||
]
|
||||
},
|
||||
"s3_objects": 56,
|
||||
"scoped_attachments": 8
|
||||
}
|
||||
},
|
||||
{
|
||||
"id": "no_lost_202",
|
||||
"statement": "every 202 is present in PostgreSQL and the API",
|
||||
"result": "PASS",
|
||||
"details": {
|
||||
"accepted": 8
|
||||
}
|
||||
}
|
||||
],
|
||||
"accepted_ids": [
|
||||
"01a1b2bc-107e-76d1-b857-f8a847a893d8",
|
||||
"01a1b2bc-23d7-7757-bd08-e78831dce1a6",
|
||||
"01a1b2bc-35d8-7442-a3b7-1cd166d552cc",
|
||||
"01a1b2bc-458d-73f1-9c76-b2f5f360400e",
|
||||
"01a1b2bc-5527-75fa-ace8-6f2de9678922",
|
||||
"01a1b2bc-64df-7694-8365-6ba2803fa169",
|
||||
"01a1b2bc-7451-70a2-83ed-869d99c81f3f",
|
||||
"01a1b2bc-8615-7763-b117-c00aacaebeb6"
|
||||
],
|
||||
"finished_at": "2026-11-06T21:21:18.474212Z",
|
||||
"result": "PASS"
|
||||
}
|
||||
@@ -1,12 +0,0 @@
|
||||
date: 2026-11-06T21:20:30Z commit: b30e2f6a84419d1ca64525ffb40df92183cccaef
|
||||
environment: {"COMPOSE_PROJECT_NAME": "mtusi2026lab5", "COMPOSE_FILE": "compose.yaml", "LB_HTTP_PORT": "18085", "LB_STATS_PORT": "25085", "BASE_URL": "http://127.0.0.1:18085", "NO_PROXY": "localhost,127.0.0.1,::1", "API_IMAGE": "mtusi-messenger:lab5-validation"}
|
||||
$ .venv/bin/python evidence/final-validation-2026-11-07/targeted.py png-http
|
||||
gray2 PASS
|
||||
gray4 PASS
|
||||
rgb16 PASS
|
||||
gray1 PASS
|
||||
gray8 PASS
|
||||
gray16 PASS
|
||||
rgb8 PASS
|
||||
rgb16-adam7-filter4-exif6 PASS
|
||||
exit_code: 0 elapsed_seconds: 47.846
|
||||
@@ -1,242 +0,0 @@
|
||||
{
|
||||
"mode": "png-limits",
|
||||
"source_sha": "b30e2f6a84419d1ca64525ffb40df92183cccaef",
|
||||
"started_at": "2026-11-06T21:21:18.724252Z",
|
||||
"cases": [
|
||||
{
|
||||
"name": "gray2-40mp",
|
||||
"started_at": "2026-11-06T21:21:20.277013Z",
|
||||
"result": "FAIL",
|
||||
"error": "{\"attachment_id\": \"01a1b2bc-cdc1-7315-82e0-39f3e53d87db\", \"input_bytes\": 35759, \"input_sha256\": \"e1238de6a5be9dbce36abee904f7233f8ff7be59e405b528671940630cce11f6\", \"pixels\": 40000000, \"status\": \"failed\", \"error_code\": \"processing_failed\", \"jobs\": [{\"job_id\": \"01a1b2bc-cdc9-7157-b245-f357f81b4d6c\", \"pipeline_version\": 1, \"status\": \"failed\", \"attempt\": 1}], \"memory_peak\": \"541655040\", \"memory_max\": \"1073741824\"}",
|
||||
"elapsed_seconds": 1.066
|
||||
},
|
||||
{
|
||||
"name": "gray4-40mp",
|
||||
"started_at": "2026-11-06T21:21:21.343296Z",
|
||||
"result": "FAIL",
|
||||
"error": "{\"attachment_id\": \"01a1b2bc-d211-7337-bd57-0ca1f3e33a0d\", \"input_bytes\": 46441, \"input_sha256\": \"64e665928c08ac3721324af4f8e2e9d2e98230dc1be389dde7bbf365650b08cd\", \"pixels\": 40000000, \"status\": \"failed\", \"error_code\": \"processing_failed\", \"jobs\": [{\"job_id\": \"01a1b2bc-d21b-72a6-b463-0fa58bd353a2\", \"pipeline_version\": 1, \"status\": \"failed\", \"attempt\": 1}], \"memory_peak\": \"541655040\", \"memory_max\": \"1073741824\"}",
|
||||
"elapsed_seconds": 1.168
|
||||
},
|
||||
{
|
||||
"name": "gray16-40mp",
|
||||
"started_at": "2026-11-06T21:21:22.511903Z",
|
||||
"result": "FAIL",
|
||||
"error": "{\"attachment_id\": \"01a1b2bc-d744-77c1-8352-989f80848cab\", \"input_bytes\": 103565, \"input_sha256\": \"b59784ae916d50b41b15afa4bdd474a8699f099da55efd53580d3f97180f3800\", \"pixels\": 40000000, \"status\": \"failed\", \"error_code\": \"processing_failed\", \"jobs\": [{\"job_id\": \"01a1b2bc-d74e-7582-a9f8-fa827d36c9fe\", \"pipeline_version\": 1, \"status\": \"failed\", \"attempt\": 1}], \"memory_peak\": \"638119936\", \"memory_max\": \"1073741824\"}",
|
||||
"elapsed_seconds": 0.955
|
||||
},
|
||||
{
|
||||
"name": "rgb16-40mp",
|
||||
"started_at": "2026-11-06T21:21:23.467422Z",
|
||||
"result": "FAIL",
|
||||
"error": "{\"attachment_id\": \"01a1b2bc-dc37-7249-b7c3-f8901fb298de\", \"input_bytes\": 385445, \"input_sha256\": \"3c4418a6f6a7676298b30b70ebbde9d12929f1345152f4fae979caf5ba1cb3f7\", \"pixels\": 40000000, \"status\": \"failed\", \"error_code\": \"processing_failed\", \"jobs\": [{\"job_id\": \"01a1b2bc-dc3f-7724-a737-43ad5584c8c7\", \"pipeline_version\": 1, \"status\": \"failed\", \"attempt\": 1}], \"memory_peak\": \"640196608\", \"memory_max\": \"1073741824\"}",
|
||||
"elapsed_seconds": 2.242
|
||||
},
|
||||
{
|
||||
"name": "forced-timeout",
|
||||
"started_at": "2026-11-06T21:21:26.091820Z",
|
||||
"observed": {
|
||||
"attachment_id": "01a1b2bc-f161-7119-986f-bc7c8fd99bf0",
|
||||
"error_code": "processing_failed",
|
||||
"worker": "running"
|
||||
},
|
||||
"result": "PASS",
|
||||
"elapsed_seconds": 4.233
|
||||
},
|
||||
{
|
||||
"name": "forced-memory",
|
||||
"started_at": "2026-11-06T21:21:30.325405Z",
|
||||
"observed": {
|
||||
"attachment_id": "01a1b2bd-0192-70e7-a174-3275ca516e11",
|
||||
"error_code": "processing_failed",
|
||||
"worker": "running"
|
||||
},
|
||||
"result": "PASS",
|
||||
"elapsed_seconds": 4.766
|
||||
},
|
||||
{
|
||||
"name": "normal-after-limits",
|
||||
"started_at": "2026-11-06T21:21:38.218266Z",
|
||||
"observed": {
|
||||
"attachment_id": "01a1b2bd-13b0-712a-9275-1d3cdd2eb49a",
|
||||
"variants": [
|
||||
"crop",
|
||||
"optimized",
|
||||
"thumbnail"
|
||||
]
|
||||
},
|
||||
"result": "PASS",
|
||||
"elapsed_seconds": 1.618
|
||||
}
|
||||
],
|
||||
"conditions": {
|
||||
"host_load": [
|
||||
4.66455078125,
|
||||
3.70458984375,
|
||||
2.83203125
|
||||
],
|
||||
"containers": [
|
||||
"mtusi2026lab5-api-1 fc7d65385119 running Up 4 minutes (healthy)",
|
||||
"mtusi2026lab5-api-2 a5411e55f06d running Up 4 minutes (healthy)",
|
||||
"mtusi2026lab5-broker-1 a38bbcf03870 running Up 4 minutes (healthy)",
|
||||
"mtusi2026lab5-lb-1 f0d01200b1f8 running Up 4 minutes (healthy)",
|
||||
"mtusi2026lab5-migrate-1 feca425ac0ae exited Exited (0) 3 minutes ago",
|
||||
"mtusi2026lab5-postgres-1 9f62ea9d176b running Up 59 seconds (healthy)",
|
||||
"mtusi2026lab5-relay-1 4153c8488753 running Up 4 minutes (healthy)",
|
||||
"mtusi2026lab5-s3-1 9a7684ef147a running Up 4 minutes (healthy)",
|
||||
"mtusi2026lab5-s3-init-1 e5825f3eeafb exited Exited (0) 3 minutes ago",
|
||||
"mtusi2026lab5-valkey-1 e37f783f9d50 running Up 4 minutes (healthy)",
|
||||
"mtusi2026lab5-worker-1 ee8f9d678c2c running Up About a minute (healthy)"
|
||||
],
|
||||
"running": "mtusi2026lab5-api-1 Up 4 minutes (healthy)\nmtusi2026lab5-relay-1 Up 4 minutes (healthy)\nmtusi2026lab5-api-2 Up 4 minutes (healthy)\nmtusi2026lab5-worker-1 Up About a minute (healthy)\nmtusi2026lab5-broker-1 Up 4 minutes (healthy)\nmtusi2026lab5-postgres-1 Up 59 seconds (healthy)\nmtusi2026lab5-lb-1 Up 4 minutes (healthy)\nmtusi2026lab5-s3-1 Up 4 minutes (healthy)\nmtusi2026lab5-valkey-1 Up 4 minutes (healthy)\n",
|
||||
"worker_limits": "448\n30\n2\n"
|
||||
},
|
||||
"large_observations": [
|
||||
{
|
||||
"attachment_id": "01a1b2bc-cdc1-7315-82e0-39f3e53d87db",
|
||||
"input_bytes": 35759,
|
||||
"input_sha256": "e1238de6a5be9dbce36abee904f7233f8ff7be59e405b528671940630cce11f6",
|
||||
"pixels": 40000000,
|
||||
"status": "failed",
|
||||
"error_code": "processing_failed",
|
||||
"jobs": [
|
||||
{
|
||||
"job_id": "01a1b2bc-cdc9-7157-b245-f357f81b4d6c",
|
||||
"pipeline_version": 1,
|
||||
"status": "failed",
|
||||
"attempt": 1
|
||||
}
|
||||
],
|
||||
"memory_peak": "541655040",
|
||||
"memory_max": "1073741824"
|
||||
},
|
||||
{
|
||||
"attachment_id": "01a1b2bc-d211-7337-bd57-0ca1f3e33a0d",
|
||||
"input_bytes": 46441,
|
||||
"input_sha256": "64e665928c08ac3721324af4f8e2e9d2e98230dc1be389dde7bbf365650b08cd",
|
||||
"pixels": 40000000,
|
||||
"status": "failed",
|
||||
"error_code": "processing_failed",
|
||||
"jobs": [
|
||||
{
|
||||
"job_id": "01a1b2bc-d21b-72a6-b463-0fa58bd353a2",
|
||||
"pipeline_version": 1,
|
||||
"status": "failed",
|
||||
"attempt": 1
|
||||
}
|
||||
],
|
||||
"memory_peak": "541655040",
|
||||
"memory_max": "1073741824"
|
||||
},
|
||||
{
|
||||
"attachment_id": "01a1b2bc-d744-77c1-8352-989f80848cab",
|
||||
"input_bytes": 103565,
|
||||
"input_sha256": "b59784ae916d50b41b15afa4bdd474a8699f099da55efd53580d3f97180f3800",
|
||||
"pixels": 40000000,
|
||||
"status": "failed",
|
||||
"error_code": "processing_failed",
|
||||
"jobs": [
|
||||
{
|
||||
"job_id": "01a1b2bc-d74e-7582-a9f8-fa827d36c9fe",
|
||||
"pipeline_version": 1,
|
||||
"status": "failed",
|
||||
"attempt": 1
|
||||
}
|
||||
],
|
||||
"memory_peak": "638119936",
|
||||
"memory_max": "1073741824"
|
||||
},
|
||||
{
|
||||
"attachment_id": "01a1b2bc-dc37-7249-b7c3-f8901fb298de",
|
||||
"input_bytes": 385445,
|
||||
"input_sha256": "3c4418a6f6a7676298b30b70ebbde9d12929f1345152f4fae979caf5ba1cb3f7",
|
||||
"pixels": 40000000,
|
||||
"status": "failed",
|
||||
"error_code": "processing_failed",
|
||||
"jobs": [
|
||||
{
|
||||
"job_id": "01a1b2bc-dc3f-7724-a737-43ad5584c8c7",
|
||||
"pipeline_version": 1,
|
||||
"status": "failed",
|
||||
"attempt": 1
|
||||
}
|
||||
],
|
||||
"memory_peak": "640196608",
|
||||
"memory_max": "1073741824"
|
||||
}
|
||||
],
|
||||
"invariants": [
|
||||
{
|
||||
"id": "terminal",
|
||||
"statement": "every 202 reaches its expected terminal state",
|
||||
"result": "PASS",
|
||||
"details": {
|
||||
"accepted": 7
|
||||
}
|
||||
},
|
||||
{
|
||||
"id": "single_effect",
|
||||
"statement": "one variant set per (attachment_id, pipeline_version, variant)",
|
||||
"result": "PASS",
|
||||
"details": {
|
||||
"rows": 0
|
||||
}
|
||||
},
|
||||
{
|
||||
"id": "no_ready_rollback",
|
||||
"statement": "ready never returns to queued or processing",
|
||||
"result": "PASS",
|
||||
"details": {
|
||||
"traced": 7
|
||||
}
|
||||
},
|
||||
{
|
||||
"id": "monotonic_publication",
|
||||
"statement": "published_version only moves forward",
|
||||
"result": "PASS",
|
||||
"details": {
|
||||
"sampled": 0
|
||||
}
|
||||
},
|
||||
{
|
||||
"id": "bytes_match_metadata",
|
||||
"statement": "sha256, size and real dimensions match served bytes",
|
||||
"result": "PASS",
|
||||
"details": {
|
||||
"verified": 1
|
||||
}
|
||||
},
|
||||
{
|
||||
"id": "bounded_attempts",
|
||||
"statement": "attempt <= JOB_MAX_ATTEMPTS",
|
||||
"result": "PASS",
|
||||
"details": {
|
||||
"rows": 0
|
||||
}
|
||||
},
|
||||
{
|
||||
"id": "no_orphans",
|
||||
"statement": "no pending outbox, messages, dead letters, staging, objects",
|
||||
"result": "FAIL",
|
||||
"details": "staging kept after ready: [{'id': '01a1b2bd-13b0-712a-9275-1d3cdd2eb49a'}]"
|
||||
},
|
||||
{
|
||||
"id": "no_lost_202",
|
||||
"statement": "every 202 is present in PostgreSQL and the API",
|
||||
"result": "PASS",
|
||||
"details": {
|
||||
"accepted": 7
|
||||
}
|
||||
}
|
||||
],
|
||||
"accepted_ids": [
|
||||
"01a1b2bc-cdc1-7315-82e0-39f3e53d87db",
|
||||
"01a1b2bc-d211-7337-bd57-0ca1f3e33a0d",
|
||||
"01a1b2bc-d744-77c1-8352-989f80848cab",
|
||||
"01a1b2bc-dc37-7249-b7c3-f8901fb298de",
|
||||
"01a1b2bc-f161-7119-986f-bc7c8fd99bf0",
|
||||
"01a1b2bd-0192-70e7-a174-3275ca516e11",
|
||||
"01a1b2bd-13b0-712a-9275-1d3cdd2eb49a"
|
||||
],
|
||||
"finished_at": "2026-11-06T21:21:42.105495Z",
|
||||
"result": "FAIL"
|
||||
}
|
||||
@@ -1,11 +0,0 @@
|
||||
date: 2026-11-06T21:21:18Z commit: b30e2f6a84419d1ca64525ffb40df92183cccaef
|
||||
environment: {"COMPOSE_PROJECT_NAME": "mtusi2026lab5", "COMPOSE_FILE": "compose.yaml", "LB_HTTP_PORT": "18085", "LB_STATS_PORT": "25085", "BASE_URL": "http://127.0.0.1:18085", "NO_PROXY": "localhost,127.0.0.1,::1", "API_IMAGE": "mtusi-messenger:lab5-validation"}
|
||||
$ .venv/bin/python evidence/final-validation-2026-11-07/targeted.py png-limits
|
||||
gray2-40mp FAIL {"attachment_id": "01a1b2bc-cdc1-7315-82e0-39f3e53d87db", "input_bytes": 35759, "input_sha256": "e1238de6a5be9dbce36abee904f7233f8ff7be59e405b528671940630cce11f6", "pixels": 40000000, "status": "failed", "error_code": "processing_failed", "jobs": [{"job_id": "01a1b2bc-cdc9-7157-b245-f357f81b4d6c", "pipeline_version": 1, "status": "failed", "attempt": 1}], "memory_peak": "541655040", "memory_max": "1073741824"}
|
||||
gray4-40mp FAIL {"attachment_id": "01a1b2bc-d211-7337-bd57-0ca1f3e33a0d", "input_bytes": 46441, "input_sha256": "64e665928c08ac3721324af4f8e2e9d2e98230dc1be389dde7bbf365650b08cd", "pixels": 40000000, "status": "failed", "error_code": "processing_failed", "jobs": [{"job_id": "01a1b2bc-d21b-72a6-b463-0fa58bd353a2", "pipeline_version": 1, "status": "failed", "attempt": 1}], "memory_peak": "541655040", "memory_max": "1073741824"}
|
||||
gray16-40mp FAIL {"attachment_id": "01a1b2bc-d744-77c1-8352-989f80848cab", "input_bytes": 103565, "input_sha256": "b59784ae916d50b41b15afa4bdd474a8699f099da55efd53580d3f97180f3800", "pixels": 40000000, "status": "failed", "error_code": "processing_failed", "jobs": [{"job_id": "01a1b2bc-d74e-7582-a9f8-fa827d36c9fe", "pipeline_version": 1, "status": "failed", "attempt": 1}], "memory_peak": "638119936", "memory_max": "1073741824"}
|
||||
rgb16-40mp FAIL {"attachment_id": "01a1b2bc-dc37-7249-b7c3-f8901fb298de", "input_bytes": 385445, "input_sha256": "3c4418a6f6a7676298b30b70ebbde9d12929f1345152f4fae979caf5ba1cb3f7", "pixels": 40000000, "status": "failed", "error_code": "processing_failed", "jobs": [{"job_id": "01a1b2bc-dc3f-7724-a737-43ad5584c8c7", "pipeline_version": 1, "status": "failed", "attempt": 1}], "memory_peak": "640196608", "memory_max": "1073741824"}
|
||||
forced-timeout PASS
|
||||
forced-memory PASS
|
||||
normal-after-limits PASS
|
||||
exit_code: 1 elapsed_seconds: 23.549
|
||||
@@ -1,7 +0,0 @@
|
||||
date: 2026-11-06T21:17:55Z commit: b30e2f6a84419d1ca64525ffb40df92183cccaef
|
||||
environment: {"COMPOSE_PROJECT_NAME": "mtusi2026lab5", "COMPOSE_FILE": "compose.yaml", "LB_HTTP_PORT": "18085", "LB_STATS_PORT": "25085", "BASE_URL": "http://127.0.0.1:18085", "NO_PROXY": "localhost,127.0.0.1,::1", "API_IMAGE": "mtusi-messenger:lab5-validation"}
|
||||
$ docker compose exec -T broker rabbitmqctl -q list_policies -p messenger
|
||||
vhost name pattern apply-to definition priority
|
||||
messenger attachments-process ^attachments\.process$ queues {"dead-letter-exchange":"attachments.dlx","dead-letter-strategy":"at-least-once","delivery-limit":-1,"overflow":"reject-publish"} 10
|
||||
messenger attachments-dlq ^attachments\.process\.dlq$ queues {"max-length":100000,"overflow":"reject-publish"} 10
|
||||
exit_code: 0 elapsed_seconds: 0.598
|
||||
@@ -1,199 +0,0 @@
|
||||
{
|
||||
"mode": "postgres-outage-retry",
|
||||
"source_sha": "b30e2f6a84419d1ca64525ffb40df92183cccaef",
|
||||
"started_at": "2026-11-06T21:20:02.998079Z",
|
||||
"cases": [
|
||||
{
|
||||
"name": "published_outbox_database_outage",
|
||||
"started_at": "2026-11-06T21:20:04.036200Z",
|
||||
"observed": {
|
||||
"attachment_id": "01a1b2bb-aa23-72ec-98b1-63582184109f",
|
||||
"jobs_before": [
|
||||
{
|
||||
"job_id": "01a1b2bb-aa2a-72d3-ad8b-623a79fcbed4",
|
||||
"pipeline_version": 1,
|
||||
"status": "queued",
|
||||
"attempt": 1
|
||||
}
|
||||
],
|
||||
"jobs_after": [
|
||||
{
|
||||
"job_id": "01a1b2bb-aa2a-72d3-ad8b-623a79fcbed4",
|
||||
"pipeline_version": 1,
|
||||
"status": "done",
|
||||
"attempt": 1
|
||||
}
|
||||
],
|
||||
"requeues": 12,
|
||||
"queues_during": {
|
||||
"attachments.process": [
|
||||
0,
|
||||
1
|
||||
],
|
||||
"attachments.process.dlq": [
|
||||
15,
|
||||
0
|
||||
]
|
||||
},
|
||||
"queues_after": {
|
||||
"attachments.process": [
|
||||
0,
|
||||
0
|
||||
],
|
||||
"attachments.process.dlq": [
|
||||
15,
|
||||
0
|
||||
]
|
||||
},
|
||||
"replay": false,
|
||||
"stopped_containers": [
|
||||
"mtusi2026lab5-api-1 fc7d65385119 running Up 3 minutes (healthy)",
|
||||
"mtusi2026lab5-api-2 a5411e55f06d running Up 3 minutes (healthy)",
|
||||
"mtusi2026lab5-broker-1 a38bbcf03870 running Up 3 minutes (healthy)",
|
||||
"mtusi2026lab5-lb-1 f0d01200b1f8 running Up 3 minutes (healthy)",
|
||||
"mtusi2026lab5-migrate-1 feca425ac0ae exited Exited (0) About a minute ago",
|
||||
"mtusi2026lab5-postgres-1 9f62ea9d176b exited Exited (0) Less than a second ago",
|
||||
"mtusi2026lab5-relay-1 4153c8488753 running Up 3 minutes (healthy)",
|
||||
"mtusi2026lab5-s3-1 9a7684ef147a running Up 3 minutes (healthy)",
|
||||
"mtusi2026lab5-s3-init-1 e5825f3eeafb exited Exited (0) About a minute ago",
|
||||
"mtusi2026lab5-valkey-1 e37f783f9d50 running Up 3 minutes (healthy)",
|
||||
"mtusi2026lab5-worker-1 ee8f9d678c2c exited Exited (0) 1 second ago"
|
||||
]
|
||||
},
|
||||
"result": "PASS",
|
||||
"elapsed_seconds": 21.815
|
||||
}
|
||||
],
|
||||
"conditions": {
|
||||
"host_load": [
|
||||
3.986328125,
|
||||
3.29931640625,
|
||||
2.619140625
|
||||
],
|
||||
"containers": [
|
||||
"mtusi2026lab5-api-1 fc7d65385119 running Up 3 minutes (healthy)",
|
||||
"mtusi2026lab5-api-2 a5411e55f06d running Up 3 minutes (healthy)",
|
||||
"mtusi2026lab5-broker-1 a38bbcf03870 running Up 3 minutes (healthy)",
|
||||
"mtusi2026lab5-lb-1 f0d01200b1f8 running Up 3 minutes (healthy)",
|
||||
"mtusi2026lab5-migrate-1 feca425ac0ae exited Exited (0) About a minute ago",
|
||||
"mtusi2026lab5-postgres-1 9f62ea9d176b running Up About a minute (healthy)",
|
||||
"mtusi2026lab5-relay-1 4153c8488753 running Up 3 minutes (healthy)",
|
||||
"mtusi2026lab5-s3-1 9a7684ef147a running Up 3 minutes (healthy)",
|
||||
"mtusi2026lab5-s3-init-1 e5825f3eeafb exited Exited (0) About a minute ago",
|
||||
"mtusi2026lab5-valkey-1 e37f783f9d50 running Up 3 minutes (healthy)",
|
||||
"mtusi2026lab5-worker-1 ee8f9d678c2c running Up About a minute (healthy)"
|
||||
],
|
||||
"running": "mtusi2026lab5-api-1 Up 3 minutes (healthy)\nmtusi2026lab5-relay-1 Up 3 minutes (healthy)\nmtusi2026lab5-api-2 Up 3 minutes (healthy)\nmtusi2026lab5-worker-1 Up About a minute (healthy)\nmtusi2026lab5-broker-1 Up 3 minutes (healthy)\nmtusi2026lab5-postgres-1 Up About a minute (healthy)\nmtusi2026lab5-lb-1 Up 3 minutes (healthy)\nmtusi2026lab5-s3-1 Up 3 minutes (healthy)\nmtusi2026lab5-valkey-1 Up 3 minutes (healthy)\n",
|
||||
"worker_limits": "448\n30\n2\n"
|
||||
},
|
||||
"outage_checkpoint": {
|
||||
"attachment_id": "01a1b2bb-aa23-72ec-98b1-63582184109f",
|
||||
"jobs_before": [
|
||||
{
|
||||
"job_id": "01a1b2bb-aa2a-72d3-ad8b-623a79fcbed4",
|
||||
"pipeline_version": 1,
|
||||
"status": "queued",
|
||||
"attempt": 1
|
||||
}
|
||||
],
|
||||
"dlq_before": [
|
||||
15,
|
||||
0
|
||||
],
|
||||
"stopped_containers": [
|
||||
"mtusi2026lab5-api-1 fc7d65385119 running Up 3 minutes (healthy)",
|
||||
"mtusi2026lab5-api-2 a5411e55f06d running Up 3 minutes (healthy)",
|
||||
"mtusi2026lab5-broker-1 a38bbcf03870 running Up 3 minutes (healthy)",
|
||||
"mtusi2026lab5-lb-1 f0d01200b1f8 running Up 3 minutes (healthy)",
|
||||
"mtusi2026lab5-migrate-1 feca425ac0ae exited Exited (0) About a minute ago",
|
||||
"mtusi2026lab5-postgres-1 9f62ea9d176b exited Exited (0) Less than a second ago",
|
||||
"mtusi2026lab5-relay-1 4153c8488753 running Up 3 minutes (healthy)",
|
||||
"mtusi2026lab5-s3-1 9a7684ef147a running Up 3 minutes (healthy)",
|
||||
"mtusi2026lab5-s3-init-1 e5825f3eeafb exited Exited (0) About a minute ago",
|
||||
"mtusi2026lab5-valkey-1 e37f783f9d50 running Up 3 minutes (healthy)",
|
||||
"mtusi2026lab5-worker-1 ee8f9d678c2c exited Exited (0) 1 second ago"
|
||||
]
|
||||
},
|
||||
"invariants": [
|
||||
{
|
||||
"id": "terminal",
|
||||
"statement": "every 202 reaches its expected terminal state",
|
||||
"result": "PASS",
|
||||
"details": {
|
||||
"accepted": 1
|
||||
}
|
||||
},
|
||||
{
|
||||
"id": "single_effect",
|
||||
"statement": "one variant set per (attachment_id, pipeline_version, variant)",
|
||||
"result": "PASS",
|
||||
"details": {
|
||||
"rows": 0
|
||||
}
|
||||
},
|
||||
{
|
||||
"id": "no_ready_rollback",
|
||||
"statement": "ready never returns to queued or processing",
|
||||
"result": "PASS",
|
||||
"details": {
|
||||
"traced": 1
|
||||
}
|
||||
},
|
||||
{
|
||||
"id": "monotonic_publication",
|
||||
"statement": "published_version only moves forward",
|
||||
"result": "PASS",
|
||||
"details": {
|
||||
"sampled": 0
|
||||
}
|
||||
},
|
||||
{
|
||||
"id": "bytes_match_metadata",
|
||||
"statement": "sha256, size and real dimensions match served bytes",
|
||||
"result": "PASS",
|
||||
"details": {
|
||||
"verified": 1
|
||||
}
|
||||
},
|
||||
{
|
||||
"id": "bounded_attempts",
|
||||
"statement": "attempt <= JOB_MAX_ATTEMPTS",
|
||||
"result": "PASS",
|
||||
"details": {
|
||||
"rows": 0
|
||||
}
|
||||
},
|
||||
{
|
||||
"id": "no_orphans",
|
||||
"statement": "no pending outbox, messages, dead letters, staging, objects",
|
||||
"result": "PASS",
|
||||
"details": {
|
||||
"queues": {
|
||||
"attachments.process": [
|
||||
0,
|
||||
0
|
||||
],
|
||||
"attachments.process.dlq": [
|
||||
15,
|
||||
0
|
||||
]
|
||||
},
|
||||
"s3_objects": 4,
|
||||
"scoped_attachments": 1
|
||||
}
|
||||
},
|
||||
{
|
||||
"id": "no_lost_202",
|
||||
"statement": "every 202 is present in PostgreSQL and the API",
|
||||
"result": "PASS",
|
||||
"details": {
|
||||
"accepted": 1
|
||||
}
|
||||
}
|
||||
],
|
||||
"accepted_ids": [
|
||||
"01a1b2bb-aa23-72ec-98b1-63582184109f"
|
||||
],
|
||||
"finished_at": "2026-11-06T21:20:30.164434Z",
|
||||
"result": "PASS"
|
||||
}
|
||||
@@ -1,5 +0,0 @@
|
||||
date: 2026-11-06T21:20:02Z commit: b30e2f6a84419d1ca64525ffb40df92183cccaef
|
||||
environment: {"COMPOSE_PROJECT_NAME": "mtusi2026lab5", "COMPOSE_FILE": "compose.yaml", "LB_HTTP_PORT": "18085", "LB_STATS_PORT": "25085", "BASE_URL": "http://127.0.0.1:18085", "NO_PROXY": "localhost,127.0.0.1,::1", "API_IMAGE": "mtusi-messenger:lab5-validation"}
|
||||
$ .venv/bin/python evidence/final-validation-2026-11-07/targeted.py postgres-outage-retry
|
||||
published_outbox_database_outage PASS
|
||||
exit_code: 0 elapsed_seconds: 27.330
|
||||
@@ -1,12 +0,0 @@
|
||||
worker-1 | {"job_id":"01a1b2bb-aa2a-72d3-ad8b-623a79fcbed4","error":"Unavailable","event":"job.requeued","level":"warning","ts":"2026-11-06T21:20:07.790580Z"}
|
||||
worker-1 | {"job_id":"01a1b2bb-aa2a-72d3-ad8b-623a79fcbed4","error":"Unavailable","event":"job.requeued","level":"warning","ts":"2026-11-06T21:20:08.807054Z"}
|
||||
worker-1 | {"job_id":"01a1b2bb-aa2a-72d3-ad8b-623a79fcbed4","error":"Unavailable","event":"job.requeued","level":"warning","ts":"2026-11-06T21:20:09.821718Z"}
|
||||
worker-1 | {"job_id":"01a1b2bb-aa2a-72d3-ad8b-623a79fcbed4","error":"Unavailable","event":"job.requeued","level":"warning","ts":"2026-11-06T21:20:10.835176Z"}
|
||||
worker-1 | {"job_id":"01a1b2bb-aa2a-72d3-ad8b-623a79fcbed4","error":"Unavailable","event":"job.requeued","level":"warning","ts":"2026-11-06T21:20:11.846077Z"}
|
||||
worker-1 | {"job_id":"01a1b2bb-aa2a-72d3-ad8b-623a79fcbed4","error":"Unavailable","event":"job.requeued","level":"warning","ts":"2026-11-06T21:20:12.851565Z"}
|
||||
worker-1 | {"job_id":"01a1b2bb-aa2a-72d3-ad8b-623a79fcbed4","error":"Unavailable","event":"job.requeued","level":"warning","ts":"2026-11-06T21:20:13.864230Z"}
|
||||
worker-1 | {"job_id":"01a1b2bb-aa2a-72d3-ad8b-623a79fcbed4","error":"Unavailable","event":"job.requeued","level":"warning","ts":"2026-11-06T21:20:14.879944Z"}
|
||||
worker-1 | {"job_id":"01a1b2bb-aa2a-72d3-ad8b-623a79fcbed4","error":"Unavailable","event":"job.requeued","level":"warning","ts":"2026-11-06T21:20:15.885607Z"}
|
||||
worker-1 | {"job_id":"01a1b2bb-aa2a-72d3-ad8b-623a79fcbed4","error":"Unavailable","event":"job.requeued","level":"warning","ts":"2026-11-06T21:20:16.901272Z"}
|
||||
worker-1 | {"job_id":"01a1b2bb-aa2a-72d3-ad8b-623a79fcbed4","error":"Unavailable","event":"job.requeued","level":"warning","ts":"2026-11-06T21:20:17.919394Z"}
|
||||
worker-1 | {"job_id":"01a1b2bb-aa2a-72d3-ad8b-623a79fcbed4","error":"Unavailable","event":"job.requeued","level":"warning","ts":"2026-11-06T21:20:18.933422Z"}
|
||||
@@ -1,146 +0,0 @@
|
||||
{
|
||||
"mode": "postgres-outage",
|
||||
"source_sha": "b30e2f6a84419d1ca64525ffb40df92183cccaef",
|
||||
"started_at": "2026-11-06T21:18:09.131834Z",
|
||||
"cases": [
|
||||
{
|
||||
"name": "published_outbox_database_outage",
|
||||
"started_at": "2026-11-06T21:18:10.870080Z",
|
||||
"result": "FAIL",
|
||||
"error": "timeout 90s waiting for 12 real database failures",
|
||||
"elapsed_seconds": 97.081
|
||||
}
|
||||
],
|
||||
"conditions": {
|
||||
"host_load": [
|
||||
3.3544921875,
|
||||
3.0048828125,
|
||||
2.4365234375
|
||||
],
|
||||
"containers": [
|
||||
"mtusi2026lab5-api-1 fc7d65385119 running Up About a minute (healthy)",
|
||||
"mtusi2026lab5-api-2 a5411e55f06d running Up About a minute (healthy)",
|
||||
"mtusi2026lab5-broker-1 a38bbcf03870 running Up About a minute (healthy)",
|
||||
"mtusi2026lab5-lb-1 f0d01200b1f8 running Up About a minute (healthy)",
|
||||
"mtusi2026lab5-migrate-1 feca425ac0ae exited Exited (0) About a minute ago",
|
||||
"mtusi2026lab5-postgres-1 9f62ea9d176b running Up About a minute (healthy)",
|
||||
"mtusi2026lab5-relay-1 4153c8488753 running Up About a minute (healthy)",
|
||||
"mtusi2026lab5-s3-1 9a7684ef147a running Up About a minute (healthy)",
|
||||
"mtusi2026lab5-s3-init-1 e5825f3eeafb exited Exited (0) About a minute ago",
|
||||
"mtusi2026lab5-valkey-1 e37f783f9d50 running Up About a minute (healthy)",
|
||||
"mtusi2026lab5-worker-1 ee8f9d678c2c running Up About a minute (healthy)"
|
||||
],
|
||||
"running": "mtusi2026lab5-api-1 Up About a minute (healthy)\nmtusi2026lab5-relay-1 Up About a minute (healthy)\nmtusi2026lab5-api-2 Up About a minute (healthy)\nmtusi2026lab5-worker-1 Up About a minute (healthy)\nmtusi2026lab5-broker-1 Up About a minute (healthy)\nmtusi2026lab5-postgres-1 Up About a minute (healthy)\nmtusi2026lab5-lb-1 Up About a minute (healthy)\nmtusi2026lab5-s3-1 Up About a minute (healthy)\nmtusi2026lab5-valkey-1 Up About a minute (healthy)\nmtusi-lab5-test-valkey-a93cc36b Up About a minute\nmtusi-lab5-test-1de81872 Up About a minute\nmtusi-lab5-test-rustfs-62f3a9c3 Up About a minute\nmtusi-lab5-test-rabbitmq-675a32e8 Up 2 minutes\n",
|
||||
"worker_limits": "448\n30\n2\n"
|
||||
},
|
||||
"outage_checkpoint": {
|
||||
"attachment_id": "01a1b2b9-f033-76be-ba05-897b08873abd",
|
||||
"jobs_before": [
|
||||
{
|
||||
"job_id": "01a1b2b9-f043-72e8-970c-647fc4a1f2e3",
|
||||
"pipeline_version": 1,
|
||||
"status": "queued",
|
||||
"attempt": 1
|
||||
}
|
||||
],
|
||||
"dlq_before": [
|
||||
15,
|
||||
0
|
||||
],
|
||||
"stopped_containers": [
|
||||
"mtusi2026lab5-api-1 fc7d65385119 running Up About a minute (healthy)",
|
||||
"mtusi2026lab5-api-2 a5411e55f06d running Up About a minute (healthy)",
|
||||
"mtusi2026lab5-broker-1 a38bbcf03870 running Up About a minute (healthy)",
|
||||
"mtusi2026lab5-lb-1 f0d01200b1f8 running Up About a minute (healthy)",
|
||||
"mtusi2026lab5-migrate-1 feca425ac0ae exited Exited (0) About a minute ago",
|
||||
"mtusi2026lab5-postgres-1 9f62ea9d176b exited Exited (0) Less than a second ago",
|
||||
"mtusi2026lab5-relay-1 4153c8488753 running Up About a minute (healthy)",
|
||||
"mtusi2026lab5-s3-1 9a7684ef147a running Up About a minute (healthy)",
|
||||
"mtusi2026lab5-s3-init-1 e5825f3eeafb exited Exited (0) About a minute ago",
|
||||
"mtusi2026lab5-valkey-1 e37f783f9d50 running Up About a minute (healthy)",
|
||||
"mtusi2026lab5-worker-1 ee8f9d678c2c exited Exited (0) 1 second ago"
|
||||
]
|
||||
},
|
||||
"invariants": [
|
||||
{
|
||||
"id": "terminal",
|
||||
"statement": "every 202 reaches its expected terminal state",
|
||||
"result": "PASS",
|
||||
"details": {
|
||||
"accepted": 1
|
||||
}
|
||||
},
|
||||
{
|
||||
"id": "single_effect",
|
||||
"statement": "one variant set per (attachment_id, pipeline_version, variant)",
|
||||
"result": "PASS",
|
||||
"details": {
|
||||
"rows": 0
|
||||
}
|
||||
},
|
||||
{
|
||||
"id": "no_ready_rollback",
|
||||
"statement": "ready never returns to queued or processing",
|
||||
"result": "PASS",
|
||||
"details": {
|
||||
"traced": 1
|
||||
}
|
||||
},
|
||||
{
|
||||
"id": "monotonic_publication",
|
||||
"statement": "published_version only moves forward",
|
||||
"result": "PASS",
|
||||
"details": {
|
||||
"sampled": 0
|
||||
}
|
||||
},
|
||||
{
|
||||
"id": "bytes_match_metadata",
|
||||
"statement": "sha256, size and real dimensions match served bytes",
|
||||
"result": "PASS",
|
||||
"details": {
|
||||
"verified": 1
|
||||
}
|
||||
},
|
||||
{
|
||||
"id": "bounded_attempts",
|
||||
"statement": "attempt <= JOB_MAX_ATTEMPTS",
|
||||
"result": "PASS",
|
||||
"details": {
|
||||
"rows": 0
|
||||
}
|
||||
},
|
||||
{
|
||||
"id": "no_orphans",
|
||||
"statement": "no pending outbox, messages, dead letters, staging, objects",
|
||||
"result": "PASS",
|
||||
"details": {
|
||||
"queues": {
|
||||
"attachments.process": [
|
||||
0,
|
||||
0
|
||||
],
|
||||
"attachments.process.dlq": [
|
||||
15,
|
||||
0
|
||||
]
|
||||
},
|
||||
"s3_objects": 4,
|
||||
"scoped_attachments": 1
|
||||
}
|
||||
},
|
||||
{
|
||||
"id": "no_lost_202",
|
||||
"statement": "every 202 is present in PostgreSQL and the API",
|
||||
"result": "PASS",
|
||||
"details": {
|
||||
"accepted": 1
|
||||
}
|
||||
}
|
||||
],
|
||||
"accepted_ids": [
|
||||
"01a1b2b9-f033-76be-ba05-897b08873abd"
|
||||
],
|
||||
"finished_at": "2026-11-06T21:19:52.189137Z",
|
||||
"result": "FAIL"
|
||||
}
|
||||
@@ -1,5 +0,0 @@
|
||||
date: 2026-11-06T21:18:08Z commit: b30e2f6a84419d1ca64525ffb40df92183cccaef
|
||||
environment: {"COMPOSE_PROJECT_NAME": "mtusi2026lab5", "COMPOSE_FILE": "compose.yaml", "LB_HTTP_PORT": "18085", "LB_STATS_PORT": "25085", "BASE_URL": "http://127.0.0.1:18085", "NO_PROXY": "localhost,127.0.0.1,::1", "API_IMAGE": "mtusi-messenger:lab5-validation"}
|
||||
$ .venv/bin/python evidence/final-validation-2026-11-07/targeted.py postgres-outage
|
||||
published_outbox_database_outage FAIL timeout 90s waiting for 12 real database failures
|
||||
exit_code: 1 elapsed_seconds: 103.241
|
||||
@@ -1,6 +0,0 @@
|
||||
date: 2026-11-06T21:25:54Z commit: b30e2f6a84419d1ca64525ffb40df92183cccaef
|
||||
environment: {"COMPOSE_PROJECT_NAME": "mtusi2026lab5", "COMPOSE_FILE": "compose.yaml", "LB_HTTP_PORT": "18085", "LB_STATS_PORT": "25085", "BASE_URL": "http://127.0.0.1:18085", "NO_PROXY": "localhost,127.0.0.1,::1", "API_IMAGE": "mtusi-messenger:lab5-validation"}
|
||||
$ docker compose cp evidence/final-validation-2026-11-07/fixtures worker:/tmp/validation-fixtures
|
||||
mtusi2026lab5-worker-1 copy evidence/final-validation-2026-11-07/fixtures to mtusi2026lab5-worker-1:/tmp/validation-fixtures Copying
|
||||
Error response from daemon: container rootfs is marked read-only
|
||||
exit_code: 1 elapsed_seconds: 0.081
|
||||
@@ -1,6 +0,0 @@
|
||||
date: 2026-11-06T21:25:54Z commit: b30e2f6a84419d1ca64525ffb40df92183cccaef
|
||||
environment: {"COMPOSE_PROJECT_NAME": "mtusi2026lab5", "COMPOSE_FILE": "compose.yaml", "LB_HTTP_PORT": "18085", "LB_STATS_PORT": "25085", "BASE_URL": "http://127.0.0.1:18085", "NO_PROXY": "localhost,127.0.0.1,::1", "API_IMAGE": "mtusi-messenger:lab5-validation"}
|
||||
$ docker compose cp evidence/final-validation-2026-11-07/resource-probe.py worker:/tmp/resource-probe.py
|
||||
mtusi2026lab5-worker-1 copy evidence/final-validation-2026-11-07/resource-probe.py to mtusi2026lab5-worker-1:/tmp/resource-probe.py Copying
|
||||
Error response from daemon: container rootfs is marked read-only
|
||||
exit_code: 1 elapsed_seconds: 0.073
|
||||
@@ -1,7 +0,0 @@
|
||||
date: 2026-11-06T21:17:55Z commit: b30e2f6a84419d1ca64525ffb40df92183cccaef
|
||||
environment: {"COMPOSE_PROJECT_NAME": "mtusi2026lab5", "COMPOSE_FILE": "compose.yaml", "LB_HTTP_PORT": "18085", "LB_STATS_PORT": "25085", "BASE_URL": "http://127.0.0.1:18085", "NO_PROXY": "localhost,127.0.0.1,::1", "API_IMAGE": "mtusi-messenger:lab5-validation"}
|
||||
$ docker compose exec -T broker rabbitmqctl -q list_queues -p messenger name type durable policy effective_policy_definition messages_ready messages_unacknowledged
|
||||
name type durable policy effective_policy_definition messages_ready messages_unacknowledged
|
||||
attachments.process quorum true attachments-process [{<<"dead-letter-exchange">>, attachments.dlx}, {<<"dead-letter-strategy">>, at-least-once}, {<<"delivery-limit">>, -1}, {<<"overflow">>, reject-publish}] 0 0
|
||||
attachments.process.dlq quorum true attachments-dlq [{<<"max-length">>, 100000}, {<<"overflow">>, reject-publish}] 15 0
|
||||
exit_code: 0 elapsed_seconds: 0.578
|
||||
@@ -1,22 +0,0 @@
|
||||
import json
|
||||
import sys
|
||||
from pathlib import Path
|
||||
|
||||
ROOT = Path(__file__).resolve().parents[2]
|
||||
sys.path.insert(0, str(ROOT / 'scripts'))
|
||||
import pipeline_suite as ps
|
||||
|
||||
stack = ps.Stack(ps.arguments())
|
||||
report = json.loads(Path(__file__).with_name('png-limits.json').read_text())
|
||||
ids = report['accepted_ids']
|
||||
array = '{' + ','.join(ids) + '}'
|
||||
rows = {name: stack.sql(name, ids=array) for name in ('pending_outbox', 'staging_left', 'nonterminal', 'duplicate_effects', 'object_keys')}
|
||||
keys = {row['key'] for row in rows.pop('object_keys')}
|
||||
objects = stack.objects(ids)
|
||||
assert not any(rows.values()), rows
|
||||
assert objects == keys, {'extra': sorted(objects - keys), 'missing': sorted(keys - objects)}
|
||||
queues = stack.queues()
|
||||
assert queues[ps.QUEUE] == (0, 0), queues
|
||||
result = {'source_sha': ps.run(['git', 'rev-parse', 'HEAD']).strip(), 'at': ps.now(), 'result': 'PASS', 'accepted_ids': ids, 'rows': rows, 's3_objects': len(objects), 'queues': queues, 'reason': 'Read-only recheck after scheduled staging sweep; no scenario rerun. Initial no_orphans ran before the sweep.'}
|
||||
Path(__file__).with_name('cleanup-recheck.json').write_text(json.dumps(result, indent=2) + '\n')
|
||||
print(json.dumps(result, indent=2))
|
||||
Some files were not shown because too many files have changed in this diff Show More
Reference in New Issue
Block a user