Files
mtusi2026lab5/REPORT.md

54 KiB
Raw Permalink Blame History

Отчёт — лабораторная работа 5

Автор: Костылев Артём, БПИ2303. Тема: «Очереди и асинхронная обработка изображений». Цель — «5», трек 2 «Доказанная идемпотентность pipeline». Критичный дефект памяти PNG закрыт после отдельного fix/re-review и адресной Linux/HTTP validation. Совокупность сохранённых серий D/V и новых проверок M подтверждает критерии выбранного трека в описанных условиях. Семь minor сохранены; исходные четыре FAIL остаются историей. Validation завершена, публикация требует отдельного разрешения координатора.

Ветка: solution/bpi2303-kostylev. Предыдущее ревью: 42575281b352d35bda17ee7601bae5548a996e91 (далее R). Последняя полная динамическая квалификация: 0e921116610d289716af0a40ec823376eb8bbcbc (далее D). Между D и R из runtime изменены только infra/rabbitmq/definitions.json и src/messenger/attachments/infrastructure/images.py; SQLAlchemy, Alembic, outbox, lease/fencing и публикация версий не изменились. Финальные проверки выполнены на b30e2f6a84419d1ca64525ffb40df92183cccaef (V), runtime которого побайтно совпадает с R. Текущий код после исправления памяти и повторного ревью — 6096aa7948b8b666aa3892397a96d044a55f02c6 (M); реализация исправления — 1a8020524909ebc5e2e43303436c9d1ce3c1a87b. От V из runtime изменён только images.py, настройки 448 MiB/30 с/concurrency=2 сохранены. Новая validation выполнена на 74c33160ac01618f70e9e1c6a121a5e45c3c7155 (F, runtime = M): 984 passed / 2 Linux-only skipped, Linux-пробник с импортами worker, граничные HTTP и 8 PNG / 48 сравнений PASS. Результаты V не являются прогоном M; новые результаты F сохранены отдельно. Документационные коммиты отчёта и evidence не меняют runtime. Публикация — отдельная фаза, только в private MTUCI-Labs; этот этап ничего не публикует.

Индекс происхождения всех доказательств — evidence/README.md. Источники решения: skeleton и контракт курса, собственная ЛР4 с поздними исправлениями до 4ed889c1e4008e3f6040ae2534bef99262d3b8ce, документация библиотек; при подготовке использован Codex. Перенос 253 файлов разобран в forward-port.md. Нормативные contracts/, tests/, README.md, COURSE.md не изменены.

Воспроизведение из чистого clone

Нужны доступ к приватному репозиторию, Git, Docker с Compose v2, make, системный Python 3.9+, uv и OpenSpec CLI для проверки спецификаций. Приложение использует Python 3.14. Команды ниже — инструкция, а не заявление о новом прогоне из clone: отчётные этапы Docker не запускали; validation V и F использовали существующие volumes, а не чистый clone. Для воспроизведения выбран M.

Вместо <PRIVATE_REPOSITORY_URL> подставляется URL репозитория ЛР5 в MTUCI-Labs, доступный после публикации. На общей машине запуск разрешён только в выделенной фазе и своём project; занятые порты не освобождают остановкой чужих контейнеров.

git clone <PRIVATE_REPOSITORY_URL> mtusi2026lab5
cd mtusi2026lab5
git checkout 6096aa7948b8b666aa3892397a96d044a55f02c6
export COMPOSE_PROJECT_NAME=mtusi2026lab5
export COMPOSE_FILE=compose.yaml
export API_IMAGE=mtusi-messenger:lab5-reviewed
export LB_HTTP_PORT=18085
export LB_STATS_PORT=25085
export BROKER_MANAGEMENT_PORT=25086
export BASE_URL=http://127.0.0.1:18085
export NO_PROXY=localhost,127.0.0.1,::1
uv sync --frozen --group dev
make check validate lint
openspec validate --all --strict
make secrets
docker compose --env-file .env config --quiet
make up
make test
make test-persistence ACTION_SCRIPT=scripts/restart.sh
make test-failover ACTION_SCRIPT=scripts/stop-one.sh
make restore
make student-test
make images
make suite-preflight
python3 scripts/pipeline_suite.py --level 4 --output evidence/local-level4.json
make track2 TRACK2_OUTPUT=evidence/local-track2-run1.json
make track2 TRACK2_OUTPUT=evidence/local-track2-run2.json
make track2 TRACK2_OUTPUT=evidence/local-track2-run3.json
make down

make up собирает образ и ждёт готовности хранилищ, успешных одноразовых migrate и s3-init, затем API ×2, relay, worker и LB. migrate выполняет alembic upgrade head. make secrets создаёт локальные секреты и .env, не предназначенные для Git; их содержимое не входит в evidence. Порты реплик, PostgreSQL, S3 и AMQP наружу не опубликованы. HTTP, статистика LB и UI RabbitMQ слушают только 127.0.0.1. Экспорты выше имеют приоритет над Compose .env и предотвращают случайный выбор старых портов.

make student-test поднимает одноразовые Docker-зависимости; его нельзя считать offline-проверкой. Suite сам использует infra/compose.faults.yaml, временно меняет параметры своих relay/worker и восстанавливает их. Level 4 включает все шесть сценариев уровня 3. Новые JSON сохраняются отдельно от квалификационных файлов. Стенд останавливают make down без удаления постоянных volumes; reset-data, down -v, reset/clean в процедуру не входят.

Для защиты и оператора: make worker-stop, make worker-start, make queues, make topology, make failed, make dlq; make replay ID=<attachment_id> возвращает failed в queued с audit, повтор для ready — noop. make reprocess ID=<attachment_id> PIPELINE_VERSION=2 создаёт новую версию при доступном исходнике. Результаты завершённой адресной validation приведены ниже; полный повтор пригодных серий не требуется.

Архитектура и решения

Клиент → HAProxy :18085 → API ×2 → проверка → PUT staging в RustFS
                              → COMMIT queued + jobs + outbox → 202
PostgreSQL outbox → relay → RabbitMQ quorum queue → отдельный worker
                     confirm                   manual ack ↑ после COMMIT
worker → lease → рендер → originals/ и variants/ в S3 → fenced COMMIT

Python 3.14, FastAPI, gunicorn/uvicorn-worker, dishka и dishka-faststream, pydantic, structlog; SQLAlchemy 2.0.45 async, драйвер asyncpg 0.32.0, Alembic 1.16.5; FastStream 0.7.8 поверх aio-pika 10.2.1, Pillow 13.0.0, aiobotocore, redis-py, argon2-cffi. Версии закреплены в uv.lock; сохранённая проверка runtime — runtime.txt. Образы PostgreSQL 17.11, Valkey 8.1.11, RustFS 1.0.4, RabbitMQ 4.1.8, HAProxy 3.2.26 закреплены digest в compose.yaml.

Три зоны identity, messaging, attachments имеют домен, application-порты, инфраструктурные адаптеры и entrypoints. shared содержит платформу, а сборка — main.py, relay.py, worker.py, admin.py. PostgreSQL хранит состояния, версии, сессии и идемпотентность; S3 — байты; Valkey — ускорение проверки сессий; брокер — транспорт. API не подключается к RabbitMQ. Порты зон связаны через DI, а зависимости проверяет test_bounded_contexts.py.

SQLAlchemy и миграции. Database/UoW используют create_async_engine, postgresql+asyncpg, async_sessionmaker, AsyncSession и явный commit(); ORM-модели основаны на DeclarativeBase. Репозитории строят параметризованные ORM/Core-запросы, граница API остаётся pydantic. alembic/env.py запускает миграции через async engine и run_sync, сериализует их advisory lock и проверяет legacy-схему перед принятием. Последовательность alembic/versions: 0001_init → 0002_idempotency_keys → 0003_attachments → 0004_jobs → 0005_failed_registry → 0006_attachment_quarantine. Старый каталог SQL-миграций и самописный мигратор не являются текущим способом развёртывания.

Граница 202. Сначала фиксируется внутреннее намерение pending, затем проверенные bytes записываются в приватный staging/. Одной транзакцией вложение переводится в queued, создаются job, outbox и audit. Только после COMMIT отдаётся сохранённый снимок queued, variants=[], error_code=null. Отказ до COMMIT не подтверждён клиенту; оставшееся намерение убирается по grace period. API не ждёт resize. Очередь или worker могут быть недоступны при успешном upload.

Outbox. Relay выбирает доступные строки по частичному outbox_pending_idx (available_at, id) WHERE published_at IS NULL с FOR UPDATE SKIP LOCKED. Публикация persistent/mandatory с publisher confirms предшествует отметке published_at в той же транзакции. Ошибка публикации оставляет намерение для повтора; сбой после confirm до COMMIT может создать дубль. Цена решения — транзакция остаётся открытой на время сетевой публикации пачки и outbox растёт при недоступном брокере. Нет общей транзакции PostgreSQL/RabbitMQ.

Worker и эффект. FastStream использует AckPolicy.MANUAL, RabbitMessage, prefetch=2 при WORKER_CONCURRENCY=2. Worker берёт доверенные ключи S3 из БД, захватывает job арендой lease_token, продлевает её при работе и рендерит в отдельном процессе. После записи оригинала и всех трёх вариантов условный COMMIT проверяет актуальность аренды. Ключ эффекта — (attachment_id, pipeline_version, name); уникальные ограничения, versioned S3-ключи с хешем и условие published_version < new_version предотвращают второй набор и откат новой публикации. ack() вызывается после завершения обработчика с COMMIT, включая фиксацию результата/noop. Ошибка БД приводит к задержке 1 с и nack(requeue=True).

Повторы. После claim временная ошибка назначает новую outbox-попытку с equal jitter: половина экспоненциальной задержки плюс случайная половина; штатная база 2 с, максимум 5 попыток. Постоянные ошибки дают invalid_image/processing_failed, исчерпание — retry_exhausted. Просроченный processing возвращает relay через jobs_lease_idx; старый держатель не проходит fencing. Ready не откатывается при upgrade, ошибка v2 оставляет v1 доступной. Сообщение, отвергнутое моделью JobMessage, отправляется в DLQ; модель не полностью эквивалентна jobs.schema.json из-за преобразования типов и nullable-поля (minor ниже). Реестр failed и replay доступны через CLI.

В R policy delivery-limit=-1 сохраняет инфраструктурные redelivery при длительном отказе БД; прикладной предел JOB_MAX_ATTEMPTS=5 остаётся. Это исправляет прежний путь queued → DLQ после 10 nack без автоматического восстановления. На V policy подтверждена на существующем volume: 12 requeue после реальной остановки PostgreSQL, затем ready без replay и без роста DLQ — evidence; уже лежащие в DLQ сообщения смена policy не возвращает. Произвольное удаление сообщения при уже опубликованном outbox также не исправляется автоматически: outbox/lease не равны универсальной сверке очереди.

Изображения и ресурсы. Оригинал неизменен. EXIF orientation применяется, прозрачность накладывается на белый фон, EXIF/ICC/XMP не копируются в варианты. Thumbnail — JPEG в 256×256 без увеличения, округление вниз, минимум 1 px; crop — центральный JPEG 128×128; optimized — WebP в 1280×1280 без увеличения. JPEG quality v1/v2 = 85/90, optimize=True; WebP = 80/85, method=4; Lanczos, reducing_gap=3.0. R исправляет tRNS, включая grayscale 2/4/16 и сравнение полных RGB16 samples до потери младших битов.

Предел входа — 10 485 760 байт и 40 млн пикселей; renderer — 30 с, Linux RLIMIT_AS=448 MiB на процесс, до 100 задач на дочерний процесс. Контейнер worker ограничен 2 CPU / 1 GiB, API — 1 CPU / 512 MiB на реплику, relay — 0.5 CPU / 192 MiB, broker — 1 CPU / 512 MiB, PostgreSQL — 2 CPU / 1 GiB, S3 — 1 CPU / 512 MiB. Старое измерение 423 MiB относится к обычному PNG. На V четыре 40 Мп PNG tRNS дали processing_failed на первой попытке; Linux-пробник подтверждает MemoryError внутри RLIMIT_AS, несмотря на peak контейнера 640 196 608 байт < 1 GiB. Это исходное доказательство major на V; исправление M ещё не подтверждено на той же Linux/HTTP-границе.

Исправление памяти M. Преобразования цвета и RGB-маски вычисляются плитками 256×256; глобальные resize/fit остаются после сборки изображения, чтобы не создавать границы плиток. Low-byte core закрывается перед high-byte decode, маски — до EXIF/resize, grayscale-исходник — после сборки RGB. Image.close() уничтожает pixel core; обычный выход из контекста изображения закрывает файл, но сохраняет core — Pillow 13.0.0. Сохранённое сравнение 132 вариантов побайтно совпало с V, но новые затраты Linux-процесса этим не измерены.

Очистка. Staging удаляется после безопасной публикации и завершения активных версий; у failed хранится 86400 с, затем replay возвращает expired. Проверка активных jobs и сериализация cleanup/reprocess защищают используемый исходник. Удаление выполняет relay; worker не получает право DeleteObject. Quarantine-миграция поддерживает унаследованную сверку S3, но демонстратор reconcile_track.py для квалификации ЛР5 непригоден.

Проверки и таблица критериев

Исторические динамические PASS относятся к D, 2026-11-06 UTC; более ранняя топология и новые проверки V помечены явно. Это аудит сохранённых прогонов, не новый запуск на M. Новые tRNS и policy дополнительно проверены динамически на V в отдельном блоке ниже; эти результаты не смешиваются с D. Полные команды, environment, exit codes и SHA находятся в связанных файлах.

Критерий Команда / сценарий Наблюдение Файл
Контракт, синтаксис, типы make check validate lint PASS на F; приложение этим не проверяется checks
Собственные интеграционные тесты make student-test PYTEST_ARGS='-q --tb=short' F: 984 passed, 2 Linux-only skips, 19 stack deselected; real-broker, Linux-эквивалент пропусков выполнен отдельно student-test.txt, Linux
Предыдущее исправление tRNS Offline-команда с --confcutdir, шесть unit-модулей; отдельно --noconftest для границ R: сохранённые 430 + 20 passed; 114 прежних вариантов побайтно совпали; Docker не участвовал Команды и результаты
Исправление памяти M make student-test с --confcutdir и восемью unit-модулями; отдельно --noconftest для границ Сохранённые 440 passed / 2 Linux-only skipped + 20 passed; 22 изображения / 132 идентичных варианта. Это offline-результат исправления; новые Linux/HTTP на F приведены ниже Команды, offline, границы
OpenSpec openspec validate --all --strict; openspec list --json F: 22 спецификации PASS, активных changes нет; цикл исправления памяти архивирован OpenSpec
3: минимум lab1–4, 202 и thumbnail make test Публичный smoke PASS через LB на F smoke.txt
3: сессия, исходник и данные после рестарта make test-persistence ACTION_SCRIPT=scripts/restart.sh PASS; рестарты своих хранилищ и процессов подтверждены событиями persistence.txt, контейнеры
3: отказ реплики make test-failover ACTION_SCRIPT=scripts/stop-one.sh; make restore 131 успешная запись, 0 ошибок, первая после отказа через 2.791 с; api-2 остановлен и восстановлен failover.txt, контейнеры, restore.txt
3: отдельный broker/worker, quorum, confirm, manual ack, prefetch rabbitmqctl list_queues/list_consumers/list_permissions; проверки падений suite Топология и prefetch=2 зафиксированы до forward; COMMIT/ack повторно проверен на D. Старый delivery-limit не доказывает policy R queues.txt, consumers.txt, permissions.txt, level4.json
3: worker down, рестарт API/broker, затем ready pipeline_suite.py --level 4, worker_down_broker_restart 202 queued, content 409, сообщение 201; очередь [1,0] переживает рестарт; тот же ID становится ready level4.json
3: конечные состояния и повторы s3_outage_recovers, retry_exhausted, duplicate_after_ready в suite S3 восстановлен → done на попытке 2; failed на попытке 5; дубль ready → duplicate_noop level4.json
4: варианты и Linux-лимиты image_matrix, worker_limits в suite 26 fixtures: 17 ready и 9 отклонённых; 40 Мп, 0.5 с / 200 MiB → контролируемый failed, worker жив; штатно ready, peak 423/1024 MiB. Новые tRNS на V не прошли границу; после исправления M адресная validation F проходит, см. ниже level4.json
4: outbox, crash COMMIT→publish crash_commit_publish Relay exit 137; outbox не опубликован; после восстановления ready без новой job level4.json
4: backoff, DLQ, replay retry_backoff_jitter, malformed_message_dead_lettered, replay_failed, failed_retention Задержки 0.722422/1.010937/2.240832/4.845013 с; DLQ +1; replay failed→ready, ready→noop, после retention→expired level4.json
4: S3→COMMIT→ack, lease/fencing, cleanup crash_after_s3_before_commit, crash_after_commit_before_ack, lease_expiry_fencing Exit 137 в заданных окнах; один набор вариантов; старая аренда fenced; staging ready очищен level4.json
Все уровни 3/4 в suite python3 scripts/pipeline_suite.py --level 4 --output evidence/forward-final-2026-11-06/level4.json 17 сценариев / 8 инвариантов PASS; 33 ID, 28 ready, 5 ожидаемых failed, 116 объектов Команда, JSON
5: трек 2 make track2 TRACK2_OUTPUT=evidence/forward-final-2026-11-06/track-runN.json, N=1,2,3 39 сценариев / 24 инварианта PASS; 39 ID / 174 объекта, см. методику run1, run2, run3
Поздние исправления ЛР4 forward_network.py, целевые stack-тесты и fixture HAProxy Basic/NUL/logout; битые PNG до storage; обход Valkey с безопасным logout; 12 корректных JSON для 502/503/504 network, upload, cache, HAProxy

Отказы: время и сохранность

Источник — D: level4.json и публичные логи выше. Времена suite — длительности всего сценария, включая управление контейнерами и assertions; это не время недоступности API и не p95. «Потерь 0» означает отсутствие потерь принятых ID в выборке, а не доказательство для любых отказов диска/сети.

Воздействие / команда suite Фактически остановленный контейнер Наблюдение Время / потери
worker_down_broker_restart mtusi2026lab5-worker-1, 3924574b030d, exited 0 19:36:04.231533Z upload; рестарт API/relay, broker с volume; worker started 19:36:20.143149Z, ready 19:36:20.313903Z 0.171 с от отметки старта до ready; сценарий 16.6 с; потерь 0
Persistence, scripts/restart.sh mtusi2026lab5-{postgres,valkey,s3,broker,lb,api-1,api-2,relay,worker}; точные ID в events Данные, сессия и оригинал сохранены Команда 12.835 с; потерь подтверждённых данных не обнаружено
Failover, scripts/stop-one.sh mtusi2026lab5-api-2, exited 0 131 запись, 0 ошибок Первая запись 2.791 с; потерь 0
crash_commit_publish mtusi2026lab5-relay-1, 57ef736182d7, exited 137 Неопубликованный outbox → ready с прежней job Сценарий 9.5 с; потерь 0
crash_publish_confirm mtusi2026lab5-relay-1, 9f63b40078d5, exited 137 После confirm, до COMMIT отметки outbox; повтор публикации без второго эффекта Сценарий 9.6 с; потерь 0; потеря confirm не проверялась
crash_after_s3_before_commit mtusi2026lab5-worker-1, c74820bbdab3, exited 137 Processing, 0 строк вариантов; повтор → ready Сценарий 12.6 с; потерь 0
crash_after_commit_before_ack mtusi2026lab5-worker-1, 5accc3314905, exited 137 Ready до падения; redelivery без нового набора Сценарий 10.3 с; потерь 0
lease_expiry_fencing Worker задержан, не остановлен claimed(1) → lease_expired(2) → done(2) → fenced(1) Сценарий 33.2 с при аренде 5 с и stall 15 с; перезаписи нет
s3_outage_recovers S3 остановлен сценарием; отдельного ps с ID в этом JSON нет После восстановления done на попытке 2 Сценарий 12.0 с; потерь 0; полнота свидетельства остановки ограничена
retry_exhausted / replay_failed Fault-injection, контейнеры не требуется останавливать 5 попыток → failed; явный replay → ready, повтор → noop Сценарии 17.6 / 28.4 с; failed — ожидаемый исход, не потерянная job
worker_limits Worker остаётся running 40 Мп: принудительные время/память → failed; штатный режим → ready 15.4 с на сценарий; ошибок процесса worker не зафиксировано

Историческая остановка стенда D: make down без -v, затем пустой список контейнеров project и четыре сохранённых volume — down.txt, stopped-containers.txt, retained-volumes.txt. В финальной validation стенд снова остановлен без -v; контейнеров project нет, четыре volume сохранены — down, проверка, volumes.

Трек 2: гипотеза, методика и числа

Гипотеза. At-least-once доставка вместе с lease/fencing, уникальностью эффекта и монотонной публикацией сохраняет принятые задания при проверенных сбоях; старая job не заменяет результат новой версии.

Методика. На D выполнены три последовательных make track2. Каждый повтор создаёт 13 новых вложений и включает контроль smoke_pipeline, дубль готовой job, две копии в работе, перестановку attempts и версий, crash до side effect, после S3 и после COMMIT до ack, SIGKILL worker, истечение аренды и позднюю v1 после v2. В reorder_attempts меняется порядок транспортных копий, а управляемый номер попытки остаётся фактом БД. Отдельно проверяется outbox до publish и после confirm до COMMIT. Потеря самого confirm не моделируется, несмотря на историческое название сценария.

После сценариев suite сверяет SQL и фактический S3 inventory для принятых ID, опрашивает API, скачивает bytes и сравнивает SHA-256, длину и геометрию. Восемь инвариантов: terminal, single_effect, no_ready_rollback, monotonic_publication, bytes_match_metadata, bounded_attempts, no_orphans, no_lost_202. Наблюдение состояний дискретное, дополнено журналом переходов и SQL-ограничениями. no_orphans относится к выборке: исторические failed/DLQ сохранены, глобальная DLQ не обязана быть пустой.

Повтор на D Сценарии PASS Инварианты PASS Уникальные 202 Объекты S3 Команда и первичные данные
1 13 8 13 58 txt, json
2 13 8 13 58 txt, json
3 13 8 13 58 txt, json
Всего 39 24 39 174 summary.json

Во всех трёх повторах stale_after_new_version сохраняет одинаковый публичный снимок v2 до/после поздней v1. В reorder_versions v2 достигает done первой, v1 получает superseded. Для fixture 320×200 версии различимы; размеры и первые 16 hex SHA-256 ниже повторяются во всех трёх JSON:

Вариант Геометрия v1, байт v2, байт SHA v1 / v2
crop 128×128 1820 2142 97bf1400b30a28c1 / 5b6fb2a66216f8ca
optimized 320×200 2462 2790 1090d84ed8411226 / fe520c978bd45fc8
thumbnail 256×160 4679 5628 7bc40bf315c8e18e / fa0db661078d4da9

Разница вызвана quality JPEG/WebP, не изменением геометрии; больший файл не является измерением визуального качества. На D в этой матрице не обнаружены потеря 202, второй эффект, откат ready или замена v2 старой job. Это ограниченное подтверждение гипотезы, не exactly-once доставка: commit и подтверждение брокеру не атомарны, поэтому повторная доставка остаётся нормальным исходом сбоя.

Условия. Darwin arm64, 16 CPU; Docker 28.3.2, VM 16 CPU / 8 217 190 400 байт RAM. Project mtusi2026lab5, образ mtusi-messenger:lab5-forward, ports 18085/25085/25086; volumes между повторами сохранены. Fault override: lease 5 с, backoff 1 с, outbox poll 0.5 с, sweep 1 с, stall 15 с. conditions-before.json и conditions-track-start.json не показывают других Docker projects в моменты снимков; непрерывного мониторинга CPU хоста нет. Фоновая нагрузка этого этапа не запускалась, ресурсная изоляция производительности не доказана.

У run2/3 UTC-интервалы и монотонные elapsed расходятся: 1161.195/186.458 с и 571.513/180.259 с; у run1 — 181.175/181.089 с. Причина не установлена. Эти длительности исключены из SLO, RPS, сравнений производительности и оценок разброса — clock-observation.json. Трек 2 проверяет идемпотентность, а не throughput; пригодные функциональные серии не требуется повторять из-за спорного времени.

Предыдущие 39/174 на 9ba3076fa8ba707de932e053fc22f455d83b3210 — историческое сравнение сохранности инвариантов до позднего forward, не ускорения: старые результаты. Прерванный старый run3 исключён и заменён только третьим повтором; 10 принятых до прерывания ID восстановились. Корневые evidence/level3.json, level4.json и старые логи относятся к коду до SQLAlchemy и не подтверждают R.

Ограничения

Семь minor последнего независимого ревью M сохранены без исправления; они не блокируют отчёт или передачу следующей фазе. Новый minor JobMessage передан координатором в результате lab5-release-load0-round1; в отчётном этапе его offline-пробы не повторялись:

Файл Ограничение / доказательство
src/messenger/attachments/application/pipeline.py:230 after_publish_before_confirm вызывается после publish(), уже получившего Basic.Ack. crash_publish_confirm проверяет окно после confirm до COMMIT outbox, а не потерю confirm. См. findings.json.
scripts/limits.py:10 Несортированный список secrets сравнивается с отсортированным и даёт два ложных FAIL. Сохранённый запуск имеет exit_code=1; PASS ему не присваивается.
scripts/reconcile_track.py:396 Демонстратор ждёт upload 201 и attachments/ из ЛР4; для ЛР5 с 202 непригоден и в квалификации не используется. См. findings.json.
src/messenger/attachments/application/pipeline.py:304 Failed upgrade v2 при ready v1 нельзя отдельно повторить replay/reprocess; v1 остаётся доступной. Проверка test_failed_new_version_keeps_ready_original — student-test.txt.
evidence/forward-final-2026-11-06/clock-observation.json Расхождение часов в run2/3; время не используется для performance-выводов.
openspec/config.yaml:130 Унаследованное design-правило указывает upload 201 вместо нормативного 202. Конфиг вне scope отчётной фазы.
src/messenger/attachments/entrypoints/schemas.py:67 Модель допускает attempt="1", pipeline_version=true, числовой created_at и traceparent=null вне jobs.schema.json. В четырёх offline-пробах ревью вызваны bus/ack, reject=0. Штатный relay формирует корректные сообщения; критичного последствия не установлено. Источник и границы проверки.

Один host, один PostgreSQL, S3 и узел quorum RabbitMQ не обеспечивают HA. Инфраструктурные redelivery теперь не ограничены числом доставок и при долгом отказе создают повторные обращения/логи; прикладные ошибки после claim ограничены. SIGTERM во время обработки может задержать повтор до истечения аренды. Replay сбрасывает attempt с audit и не ограничивает число ручных запусков. Три повтора не покрывают все чередования событий. Уже опубликованные ready-объекты автоматически новым renderer не переписываются; RGB16+tRNS зависит от tile rawmode Pillow и требует регрессий при обновлении.

openspec/config.yaml проверен, но не изменён: разрешённый scope отчётной фазы исключает конфиги и OpenSpec. Он уже содержит SQLAlchemy/Alembic и контекст ЛР5; в унаследованном правиле design осталось 201 для PostgreSQL+S3. Для upload ЛР5 нормативен 202 после staging и COMMIT, как в contracts/. Эта документационная неточность не меняет HTTP-реализацию.

Историческая validation V: завершённые проверки и исходный major

Аудит по README, измеренному SHA, diff, конфигурации, ресурсам, dataset, повторам и сырью — load-validation.md. Три пригодных функциональных track2-повтора приняты, вся матрица повторно не запускалась. Изменение только документации не аннулирует эти свидетельства. Новых SLO/throughput-обещаний нет: выбран трек 2.

Проверка на V Реальный результат Доказательство
make check validate lint, OpenSpec PASS; 22 спецификации, changes=[] checks, OpenSpec
Сборка и публичный make test PASS; образ содержит reviewed images.py, версии закреплены build, runtime, smoke
Policy на существующем volume и реальная остановка PostgreSQL PostgreSQL 9f62ea9d176b exited; 12 job.requeued; без replay ready с той же job и attempt=1; DLQ осталась 15; 8 инвариантов PASS. Сценарий 21.815 с, вся команда 27.330 с; принятое вложение сохранено команда, JSON
tRNS HTTP v1/v2, exact neighbor, Adam7/filter/EXIF 8 изображений, 48 побайтных сравнений вариантов с независимым белым эталоном; исходник, metadata/hash/размеры, stale/duplicate noop; 8 инвариантов PASS команда, JSON
Адресные duplicate/reorder/fencing, COMMIT/ack, malformed/DLQ, exhaustion/replay 12 сценариев, 8 инвариантов PASS, 11 ID / 47 объектов; одна ожидаемая новая DLQ от malformed команда, JSON
PNG tRNS 8000×5000 при 448 MiB / 30 с 4 FAIL: grayscale 2/4/16 и RGB16 получили 202 → failed/processing_failed, attempt=1. Штатный ready-сценарий не пройден команда, JSON, fixtures
Принудительные timeout/memory и последующее обычное задание PASS; worker остаётся жив, обычное задание ready. Это не отменяет четыре FAIL выше png-limits.json
Повторная read-only сверка после staging sweep PASS; нет pending outbox/staging/nonterminal/дублей, 10 объектов совпали с БД для 7 ID. Исходный ранний no_orphans FAIL сохранён cleanup-recheck

Исходный major на V: объявленный OpenSpec-сценарий PNG на пределе пикселей требует ready при штатных пределах. Новые 40 Мп tRNS fixtures размером 35 759–385 445 байт его не проходят. Linux-пробник с импортами worker воспроизводит MemoryError в images.py: grayscale 2/4 — белый RGB-фон, grayscale16 — I → L, RGB16 — маски/повторное декодирование. Без tRNS gray2/gray4/RGB16 проходят; gray16 превышает память и без tRNS. Это провал конкретного граничного сценария; потери данных или падение сервиса не обнаружены.

Этот вывод относится к V. Причина исправлена отдельным агентом в M через OpenSpec, выполнено независимое re-review. Старый findings.json сохраняет исходный major и шесть minor как историю; он не перезаписывается. Динамическое закрытие major подтверждено новым прогоном F ниже; исходные FAIL V сохранены.

Первый outage-прогон невалиден: docker compose start worker автоматически запустил БД; повторён только этот сценарий с точным container ID. Первая передача пробника через docker cp отклонена read-only rootfs, затем использован stdin/tmpfs. Эти ошибки обвязки и ранний cleanup FAIL сохранены отдельно и не объявлены успехом. Все команды, условия, ограничения и остановка — RESULTS.

Запуск из чистого clone и отдельная throughput-матрица на V не выполнялись. Полный student-test, HTTP и реальный брокер выполнены именно на V. Runtime M дополнительно проверен динамически на F ниже; публикация остаётся отдельной фазой. Push и Telegram не выполнялись.

Исправление M и завершённая адресная validation F

Результаты исправления сохраняют четыре ожидаемых FAIL регрессии на исходном renderer и PASS после изменения. Счётчик одновременно живущих pixel buffers на 1025×769 дал:

PNG tRNS До, байт После, байт
grayscale 2 7 882 250 4 596 485
grayscale 4 7 882 250 4 596 485
grayscale 16 7 882 250 5 384 710
RGB16 9 458 700 5 517 575

Это модель pixel buffers, не RSS, виртуальная память процесса или проверка 40 Мп под Linux. До — regression-before.txt, после — offline-tests.txt. Сохранённые 440 + 20 passed и 132 идентичных варианта подтверждают offline-часть. Независимое ревью M по данным координатора повторило 460 проверок с двумя Linux-only skips и не обнаружило major в доступной области. Его семь minor перечислены выше.

Адресная validation F выполнена после независимого review M. Runtime совпадает с M; от V изменён только renderer, поэтому PostgreSQL outage, delivery subset и три полных track2-повтора приняты без повторения. Аудит применимости — load-validation, команды и методика — RESULTS.

Критерий / команда Результат F Доказательство
linux-runner.py: импорты worker, RLIMIT_AS=448 MiB, 30 с Четыре прежних 40 Мп tRNS и grayscale16 без tRNS, v1/v2, обычный render после каждого — PASS; два параллельных RGB16 render — PASS команда, JSON
targeted.py png-boundary: LB/API/relay/broker/worker 8 сценариев / 8 инвариантов PASS; 202 → ready, original/bytes/hash/геометрия/tRNS, v2, stale/duplicate noop; 11 ID / 59 объектов команда, JSON
Два одновременных HTTP jobs, v1/v2 Перекрытие claimed→done; peak worker 885 428 224 байт (844.41 MiB) / 1 GiB; OOM=0 concurrent-rgb16
Принудительные 0.01 с / 200 MiB и следующие обычные задания Два ожидаемых failed/processing_failed, worker жив; после каждого обычная загрузка ready; штатные 448 MiB/30 с/concurrency=2 восстановлены JSON, условия после
targeted.py png-http: точный tRNS, Adam7/filter=4/EXIF=6 8 fixtures / 48 сравнений v1/v2 с независимым эталоном, 8 инвариантов PASS; 8 ID / 56 объектов команда, JSON
Sweep и SQL/S3 inventory обеих серий Нет pending outbox/staging/дублей для новых ID; 19 ID / 115 объектов согласованы. Историческая DLQ=16 не выросла Инварианты в двух JSON выше

Все 30 SHA пяти файлов × двух версий × трёх вариантов совпали между Linux и HTTP. Peak RSS Linux-процесса — 342 956–406 312 KiB; это не cgroup memory и не виртуальный адресный предел. Диагностический параллельный пробник с дополнительным управляющим процессом дал cgroup peak 1 026 285 568 байт; он отделён от штатных HTTP jobs. Все memory.events=0. Исходные четыре FAIL V закрыты новым динамическим PASS F при неизменных лимитах.

Условия F: тот же project и сохранённые volumes, Docker VM 16 CPU / 8 217 190 400 байт, worker 2 CPU / 1 GiB. В снимках нет чужих контейнеров; специальный фон не запускался, непрерывного контроля хоста нет. Throughput/SLO не заявляются. Начальные условия, итоговые. Стенд F остановлен через make down без -v: команда, пустой project, четыре volumes. Push и Telegram не выполнялись.

Вопросы защиты

  • Что сохранено к 202? Проверенный оригинал staging, вложение queued, job и outbox после COMMIT. Быстрота worker не меняет снимок ответа.
  • Confirm и ack — в чём разница? Confirm подтверждает приём брокером; ack подтверждает устойчивый результат обработки. Между ними возможны дубли.
  • Почему дубль безопасен? Job/версия идентифицируются в БД, lease сериализует работу, fencing отвергает старого держателя, уникальный ключ эффекта защищает варианты.
  • Как отличить долгую работу от смерти? Живая работа продлевает lease; истёкшую восстанавливает relay. Поздняя фиксация не проходит lease_token.
  • Почему v1 не затирает v2? Versioned ключи и условие монотонного published_version; ready v1 остаётся доступной до успешной публикации v2.
  • Что ещё не доказано? Потеря confirm, все сбои диска/сети, производительность под изолированной нагрузкой. Граничные 40 Мп tRNS не прошли на V; исправление M подтверждено Linux/HTTP на F. Validation завершена; публикация требует отдельной фазы.

Документация сверена через Context7: SQLAlchemy 2.0.45 async, Alembic 1.16.5 async migrations, FastStream 0.7.2 manual ack. API 0.7.2 сопоставлен с используемым FastStream 0.7.8; прикладной порядок COMMIT/ack проверяется кодом и evidence, а не одной документацией.