Files
mtusi2026lab5/REPORT.md
T
2026-10-31 16:51:29 +03:00

74 KiB
Raw Blame History

Отчёт — лабораторная 5

  • Автор, группа: Сафронов Роман Николаевич, БВТ2301
  • Целевая оценка; выбранный трек 5: оценка 5, трек 1 «Очередь под перегрузкой»
  • Состояние отчёта: закрыты уровень 3 (change async-attachments) и уровень 4 (change pipeline-reliability). Раздел уровня 5 закрывает track1-queue-overload
  • Commit/PR: измеренное состояние — e2a6427 (ветка feat/pipeline-reliability); снятое на прежнем ff1a83b названо в разделе доказательств; PR — TODO после публикации
  • Источники, библиотеки и помощь ИИ — последний раздел

Запуск из чистого clone

Версии. Образ API: python:3.12.14-slim-trixie, uv 0.12.17. LB: haproxy:3.4.6-trixie. PostgreSQL: postgres:18.6-trixie. Valkey: valkey/valkey:9.1.2-trixie. S3: chrislusf/seaweedfs:4.48. Брокер: rabbitmq:4.3.7. Все закреплены тегом и digest в Dockerfile и docker-compose.yml. Приложение: Python 3.12, FastAPI, aio-pika 10.2.1 (aiormq 7.2.4), Pillow 13.0.0, aiobotocore; остальное строго по uv.lock. Проверено на Docker 29.9.2, Compose 5.6.1, macOS на Apple M3 Pro.

Нужно на машине: Docker с BuildKit и Compose v2, make, openssl, curl, python3 3.9+ (публичные проверки и драйвер скилла), uv (make validate, make student_test, make test_isolated, make failure_checks, make bench*, make run_dev). Свободные порты 127.0.0.1: 8080 (LB), 5433 (PostgreSQL), 6380 (Valkey), 8334 (S3), 5673 (AMQP), 18088 (make test_isolated).

Действий оператора нет. make env_setup создаёт .env и config.toml из шаблонов, подставляет случайные пароли и ключи и печатает только имена. В существующий .env он дописывает недостающие переменные (секреты брокера и ключи worker при переходе с лабы 4), прежние строки не меняет. Пароль брокера, как и пароль PostgreSQL, задаётся при первом создании volume.

Способ 1: всё в compose — make run_docker

git clone <fork> && cd <каталог clone> && git checkout solution/bvt2301-safronov
make run_docker       # env_setup + build + up -d: postgres, valkey, s3, rabbitmq → migrate, s3-bootstrap → api × 2, relay, worker, cleaner → haproxy
make replicas         # дождаться healthy реплик; готовность стенда — haproxy (healthy) и /health/ready через LB
make check
uv sync && make validate PYTHON=.venv/bin/python
make test             # публичный smoke: 202, опрос до ready, оригинал и настоящий JPEG thumbnail
make instances        # ≥2 X-Instance-Id одной сессии через LB
make s3_check         # приватность bucket: права ключей API, уборщика и worker
make student_test
make test-persistence ACTION_SCRIPT=scripts/restart.sh
make test-failover ACTION_SCRIPT=scripts/stop-one.sh && make replicas
python3 .claude/skills/run-mtusi-messenger/driver.py --port 8080 defense-scenario
python3 .claude/skills/run-mtusi-messenger/driver.py --port 8080 defense-faults   # шаг 4 защиты, ~2–4 мин
make replay           # реестр failed, только показ; APPLY=1 ATTACHMENT=<id> — вернуть в работу
make failure_checks   # отдельный стенд <проект>-failures, ~40 мин; рабочий стенд не трогается

Миграции применяет одноразовый сервис migrate, bucket и пользователей S3 — s3-bootstrap; реплики, relay, уборщик и worker их ждут. Очередь объявляют relay и worker при подключении: отдельного bootstrap брокера нет, реплики API к брокеру не обращаются.

Способ 2: сервис на хосте — make run_dev, make run_worker, make run_relay

make run_dev          # терминал 1: Postgres и миграции с хоста, Valkey, S3 с bootstrap, брокер в compose; API на 127.0.0.1:8080 с reload
make run_worker       # терминал 2: worker на хосте; ключи worker — из .env в окружение процесса, значения не печатаются
make run_relay        # терминал 3: relay на хосте; без него задания ждут в PostgreSQL
curl -s http://127.0.0.1:8080/health/ready
make test
EXPECT_REPLICAS=1 make student_test

Ожидание готовности — /health/ready отвечает 200. Остановка процессов — Ctrl+C.

Вариант README без make: make env_setup, docker compose --env-file .env config --quiet, docker compose --env-file .env up -d --build.

Остановка и удаление данных

  • make stop — остановить контейнеры; make down — удалить контейнеры. Volumes postgres_data, s3_data, rabbitmq_data остаются.
  • make wipe_data — намеренное удаление учебных данных и volumes (спрашивает yes).

Архитектура и решения

клиент → HAProxy (127.0.0.1:8080) → api × 2 ──┬─ PostgreSQL (источник истины: метаданные, задания = outbox, варианты)
                                              ├─ Valkey (кэш карточек чатов)
                                              └─ S3: <база>/staging/<id>/original
relay → PostgreSQL: state = 'queued' AND published_at IS NULL, срок наступил; истёкшие аренды
      → RabbitMQ: durable-очередь <база>.attachment.process.v1, publisher confirm, затем отметка published_at
                    │ job_id, attachment_id, pipeline_version, attempt…
                    ▼
worker → PostgreSQL: claim с арендой и номером попытки → render: отдельный процесс на задание, лимиты, без секретов
       → S3: <база>/attachments/<id>/original, …/v1-thumbnail, v1-crop, v1-optimized
       → PostgreSQL: ready или failed с fencing, затем ack
cleaner → PostgreSQL + S3 (pending, staging у ready и по сроку у failed, сверка bucket и БД)
make replay → relay replay: реестр failed и возврат работы с аудитом

Перенесено из лаб 2–4 без изменения поведения (подробности — REPORT.md репозитория mtusi2026lab4-safronov): вход Basic → Bearer-сессия в PostgreSQL, пароль — Argon2id (RFC_9106_LOW_MEMORY: t=3, m=64 MiB, p=4), SHA-256 токена в БД; кэш карточек; реплики без состояния за HAProxy, идемпотентность сообщений, make rolling_update; приватный S3 с тремя пользователями, места загрузки, уборщик и сверка.

Изменено на уровне 3 (design change async-attachments):

  • POST …/attachments — 202 со снимком queued;
  • worker: claim задания под FOR UPDATE, чтение staging и сверка размера и SHA-256 со строкой, PUT оригинала в конечный ключ, варианты, фиксация ready вместе с вариантами и заданием одной транзакцией, ack;
  • состояния queued, processing, ready, failed в API; pending наружу не виден (404);
  • скачивание не готового вложения — 409, отсутствующий вариант готового — 404; failed в сообщении — 409, а повтор отправленного сообщения с тем же ключом — тот же 201;
  • схема только расширена: attachment_jobs, attachment_variants, attachments.staging_key и error_code, более широкий CHECK статуса (NOT VALID).

Изменено на уровне 4 (design change pipeline-reliability):

  • порядок приёма: строка pending с ключами → PUT в staging → queued с заданием одной транзакцией → 202. Брокера в пути запроса нет, у реплик ни клиента, ни пароля;
  • outbox — те же строки attachment_jobs (state = 'queued' AND published_at IS NULL); relay публикует с подтверждением под FOR UPDATE SKIP LOCKED, отмечает только подтверждённые, возвращает истёкшие аренды и потерянные сообщения;
  • сообщение — подсказка, истина в строке задания: дубль при живой аренде и сообщение раньше срока подтверждаются без эффекта; аренда job_timeout + lease_margin без пульса, номер попытки — fencing;
  • варианты crop и optimized; декодирует только отдельный процесс на задание с лимитами;
  • backoff с jitter, постоянные и временные ошибки, реестр failed в PostgreSQL и make replay с аудитом (attachment_job_replays, attempt_base);
  • prefetch отдельно от concurrency; очистка staging уборщиком, класс сверки orphan_staging;
  • схема только расширена: ревизии c7e2f1a04b56 и d3f9a6b2c1e7.

Транзакционные границы. Ключ эффекта — первичный ключ attachment_variants (attachment_id, pipeline_version, variant), логическая работа — UNIQUE (attachment_id, pipeline_version) в attachment_jobs. Вызовов S3 и брокера внутри транзакций нет, кроме двух осознанных исключений с коротким сроком: публикация relay (2 с < срока шага 6 с < простоя транзакции 10 с: блокировка строки и есть признак «публикует другой relay») и DELETE уборщика под блокировкой строки.

Варианты и лимиты обработки

Вариант Формат Размер Параметры Метаданные
thumbnail JPEG вписан в 256 × 256, вниз, без увеличения quality=85 EXIF и ICC не пишутся
crop JPEG 128 × 128, центр, маленькие растягиваются quality=85, альфа на белый то же
optimized WebP вписан в 1280 × 1280, без увеличения quality=80, method=4 (method=6 на пробе в 3,5 раза дольше без выигрыша) EXIF, XMP, ICC нет; ориентация применена; прозрачность сохранена

Все три — из одного декодирования, результат детерминирован (design, таблица «Пробы»). Pillow нет ни в репликах, ни в процессе 1 worker (evidence/worker/process.md).

Лимит Механизм Значение Превышение
байты размер объекта против строки до чтения тела; CHECK контракта 10 MiB source_corrupted, processing_failed, постоянная
пиксели width × height до декодирования 40 млн limit_pixels, invalid_image, постоянная
память RLIMIT_AS процесса обработки 450 МиБ limit_memory, invalid_image, постоянная
CPU RLIMIT_CPU, RLIMIT_CORE = 0 15 с limit_cpu, invalid_image, постоянная
время родитель убивает процесс 40 с, меньше срока попытки 60 с timeout, временная

Настоящий случай «дорогого» файла — прогрессивный JPEG в пределах контракта, один скан повторён 445 227 раз: test_limit_cpu_scan_bomb.

Бюджет памяти контейнера worker (1 ГБ). Замер двух PNG 10 MiB одновременно: VmHWM процесса 1 — 158 МиБ, render_peak_kib ~84 МиБ на файл, memory.peak контейнера 261 МиБ (design, «Уточнения apply», п. 13). На худшем файле, PNG RGBA 40 Мпкс с пиком процесса ~410 МиБ: 158 + 2 × 410 = 978 МиБ < 1 ГБ. Если памяти всё же не хватит, ядро убьёт самый большой процесс обработки, а не worker (проба), это временная ошибка.

Сервисы стенда и лимиты

Сервис Роль CPU Память Порт на хосте
haproxy LB, единственная публичная точка 1 256 МБ 127.0.0.1:8080
api × 2 приём, без состояния 1 на реплику 512 МБ на реплику нет
relay публикация намерений, истёкшие аренды, python -m src.relay, без healthcheck 0,25 256 МБ нет
worker обработка, python -m src.worker, без healthcheck 1 1 ГБ нет
cleaner незавершённые загрузки, очистка staging, сверка 0,25 256 МБ нет
postgres источник истины, volume 2 1 ГБ loopback 5433
valkey кэш, без persistence 0,5 128 МБ loopback 6380
s3 SeaweedFS, volume 1 512 МБ loopback 8334
rabbitmq брокер, volume, предел памяти 400 МиБ 1 512 МБ loopback 5673
migrate (разовый) миграции 0,5 256 МБ нет
s3-bootstrap (разовый) bucket, политики, пользователи 0,5 128 МБ нет

Сумма постоянных сервисов: 9,0 CPU, 4992 МБ при двух репликах; вместе с разовыми — 10,0 CPU, 5376 МБ.

Соединения PostgreSQL: API_REPLICAS × 10 + migrate 1 + cleaner 1 + worker 2 + relay 1. При двух репликах 25; во время поочерёдной замены (третья реплика) 35; max_connections 100. Переполнения пула нет (max_overflow 0).

Лимит worker 1 ГБ: расчёт — раздел «Варианты и лимиты обработки», проверяет test_max_pixels_fit_worker_memory.

Соответствие переменных .env.example

Имена лаб 1–4 — без изменений, таблицы в отчёте лабы 4 («Соответствие переменных», «Соответствие имён skeleton S3_*»). Новые имена лабы 5:

Имя skeleton Где у нас Почему так
BROKER_URL_FILE [broker] мостами из RABBITMQ_* (BROKER__HOST, BROKER__PORT, BROKER__USER, BROKER__PASSWORD) значения, а не файл, как DATABASE_URL_FILE: пароль нужен и контейнеру брокера, строка URL с паролем не собирается
WORKER_CONCURRENCY [worker] concurrency (2) читает только worker
JOB_MAX_ATTEMPTS [worker] max_attempts (5) то же
JOB_TIMEOUT_SECONDS [worker] job_timeout_seconds (60) то же
STAGING_RETENTION_SECONDS [cleaner] staging_retention_seconds (86400) читает только уборщик; значение из .env.example skeleton

Новые настройки уровня 4 (значения по умолчанию, вывод записи о старте — evidence/worker/process.md, evidence/relay/process.md):

  • [worker]: prefetch 2, lease_margin_seconds 10, retry_base_delay_seconds 5, retry_max_delay_seconds 300, render_timeout_seconds 40, render_cpu_limit_seconds 15, render_memory_limit_mib 450, graceful_shutdown_seconds 8 (не больше 8);
  • [relay]: poll_interval_seconds 0,25, batch_size 100, max_published_backlog 1000 (0 — без предела), republish_after_seconds 300, failure_pause_seconds 2.

Секреты по сервисам: пароль брокера — только rabbitmq, relay, worker, у api настроек брокера нет; ключи S3_WORKER_* — только s3-bootstrap и worker; у worker нет пароля Valkey и ключей API и уборщика; у relay нет S3 и Valkey; в окружении процесса обработки секретов нет.

Критичные и некритичные зависимости /health/ready

Зависимость В готовности Причина и поведение при отказе
PostgreSQL да без него не работают сессии и данные: обязательный путь стоит, 503
Valkey нет кэш: отказ — обход, чтение из PostgreSQL
S3 нет нужен только путям байтов вложений: они отвечают 503, текст и история работают
Брокер нет брокера в пути запроса нет: загрузка отвечает 202, намерение ждёт в PostgreSQL
Relay нет без него задания ждут в PostgreSQL, приём не страдает
Worker нет к синхронному пути не относится

Отказ брокера. Загрузка — 202, а не 503 (на уровне 3 было 503): намерение уже в PostgreSQL, relay пишет «Broker is unavailable» и опубликует после возврата; 503 на загрузке теперь только от S3 и PostgreSQL. Проверки: test_upload_with_broker_stopped, test_upload_with_broker_paused. Отказ relay. Загрузка — 202, задание queued с пустой отметкой, следующий запуск публикует (test_relay_killed_before_publish). Отказ worker. API принимает, relay публикует; resize синхронно не делается: Pillow в процессе API не загружен (_imaging нет в /proc/1/maps, evidence/worker/process.md).

Разрыв COMMIT и publish и окна отказа

Разрыв закрыт transactional outbox на тех же строках: намерение и queued — одна транзакция, публикует отдельный relay по этим строкам, а не процесс запроса. Отдельной таблицы нет: это было бы второе состояние той же работы. LISTEN/NOTIFY отвергнут: опрос всё равно нужен для сроков, а пустая выборка стоит 0,05 мс.

Окно Что происходит Что видит клиент
после staging до записи задания pending и объект staging; их убирает уборщик 503 или обрыв
после COMMIT queued до ответа работа идёт: relay опубликует обрыв; вложение станет ready, клиент о нём не знает, как и в лабе 4
после COMMIT до publish (relay упал) намерение в БД, следующий проход публикует 202 уже получен
после publish до confirm исход неизвестен: новая публикация, возможен дубль опрос queued
после confirm до отметки published_at откат отметки, новая публикация, дубль — no-op опрос queued или processing
после записи S3 до COMMIT результата аренда истекает, новая попытка пишет те же ключи опрос processing, затем queued
после COMMIT результата до ack повторная доставка — no-op с ack опрос ready

Сбои внедрены снаружи, без точек сбоя в коде (триггер на filename прогона, docker kill): driver.py defense-faults на рабочем стенде → evidence/attachments/defense-faults.md, те же окна — test_defense_faults. Запись «Разрыв COMMIT и publish» из KNOWN_ISSUES.md удалена.

Смесь версий и порядок обновления (design, Migration Plan). Шага оператора нет: секретов не прибавилось. Без простоя: docker compose up -d s3-bootstrap, make rolling_update (две ревизии, затем реплики), docker compose up -d --no-deps worker cleaner, затем docker compose up -d --no-deps relay; до запуска relay загрузки отвечают 202 и ждут. Worker обновляется раньше relay: прежний worker делает только thumbnail. Откат: make rolling_update COMMIT=<прежний> MIGRATE=0 COMPOSE_FILE=docker-compose.yml:infra/rollback/broker.compose.yml (прежним репликам нужен пароль брокера, только на время отката), прежние worker и уборщик, relay останавливается, схема остаётся. Новых статусов и error_code нет, поэтому 500 на чтении, как при переходе 201 → 202, здесь нет; проба — evidence/migrations/pipeline-reliability.md.

Согласования с преподавателем

Дата Договорённость Где учтено
2026-09-26 Лабы можно делать на FastAPI, несмотря на расхождения с контрактом (лишний 422, другой порядок кодов ошибок). Публичный smoke при этом должен проходить .claude/rules/api-contract.md, раздел «FastAPI»
2026-09-29 Конфиг через pydantic-settings: окружение → .env → config.toml → дефолты. config.toml не в git и не в образе, монтируется read-only при запуске. Это подходит под «конфигурация приходит из окружения» (README лабы 1, п. 3) и п. 6 Dockerfile.example. Требование «только env» — упрощение курса, config.toml можно использовать .claude/rules/settings.md, .claude/rules/docker.md
2026-10-20 Лаба 4: «пустой текст» сообщения — это и "", и текст только из пробельных символов. Допустимы: вложение + непустой текст, без вложения + непустой текст, вложение + пустой текст. Значит, " " с хотя бы одним вложением — 201, без вложений — 400 спек messages (change attachments, сценарий «Пробелы с вложением»), design attachments, решение 8; .claude/rules/api-contract.md

Расхождения FastAPI, разрешённые согласованием: 422 переведён в 400; битый JSON — 400 раньше 401, остальная валидация — после зависимостей.

Открытые вопросы преподавателю

Контракт допускает несколько трактовок, ответа пока нет. Взята самая строгая, проходящая публичные тесты. Подход от ответа не зависит. Вопросы 1 и 2 перенесены из лабы 4, полный разбор — в её отчёте.

  1. Все места загрузки реплики заняты: 429 или 503? Сделано: 429 rate_limited с Retry-After: 1.
  2. Что отвечает API на вложение, чей оригинал по сверке потерян? Сделано: метаданные — 200, байты — 404, ссылка в новом сообщении — 201; до пометки сверкой байты — 500.
  3. Failed-вложение прикреплять нельзя (409), а повтор с тем же Idempotency-Key обязан вернуть тот же 201. Что отвечать на повтор сообщения, чьё вложение стало failed уже после отправки? Сделано: новое сообщение — 409, повтор с ключом — 201 с тем же Message. Другой ответ меняет одну ветку send_message и сценарий idempotency.
  4. contracts/attachment-states.md требует документированный retention и cleanup неуспешных исходников без указания уровня, а README.md относит очистку к уровню 4. Закрыт уровнем 4: [cleaner] staging_retention_seconds 86400 с, очистка у ready следующим проходом, у failed по сроку. На уровне 3 очистки не было.
  5. Допустим ли на уровне 3 ответ 503 при недоступном брокере? Закрыт уровнем 4: отказ брокера больше не даёт 503, на загрузке 503 только от S3 и PostgreSQL. На уровне 3 был 503: relay ещё не было.
  6. Контракт требует EXIF orientation и alpha на белый только у thumbnail. Как с crop и optimized? Сделано: ориентация применяется у обоих (иначе EXIF, удалённый из WebP, повернул бы изображение), crop компонуется на белый (JPEG), optimized сохраняет прозрачность. Другой ответ правит одну функцию и сценарий.
  7. Контракт называет replay «явным операторским», но не говорит, как его вызывать. Достаточно ли команды в контейнере? Сделано: make replay, HTTP-ручки нет: в API нет роли оператора. Другой ответ добавляет ручку поверх той же транзакции.
  8. Изображение, не уложившееся в лимиты времени или памяти обработки, — это invalid_image или отдельный код? Сделано: invalid_image, точная причина — в записи для оператора. Другой ответ добавляет значение enum и требует обновить реплики раньше worker.
  9. Контракт требует retention «неуспешных и непривязанных исходников», но молчит о конечных объектах, которые успела записать неудачная попытка. Сделано: по истечении срока удаляются и они, метаданные failed остаются. Другой ответ убирает один шаг очистки.

Ответы на вопросы защиты

Чем publisher confirm отличается от consumer ack? Confirm — брокер сообщает издателю, что принял сообщение на себя: durable-очередь, persistent-сообщение, записано. Это граница между relay и брокером: только после неё relay ставит отметку published_at, неподтверждённое остаётся намерением и публикуется снова. Ack — потребитель сообщает брокеру, что сообщение можно удалить. Worker шлёт его только после фиксации исхода в PostgreSQL (ready, failed, queued со сроком следующей попытки) или решения «эффекта не нужно». Это разные участки пути: confirm ничего не говорит об обработке, ack — о доставке. Ни тот, ни другой больше не определяют ответ клиенту: 202 — это COMMIT в PostgreSQL.

Что именно уже сохранено в момент 202? Проверенный оригинал целиком в staging приватного S3, строка вложения и намерение обработки в PostgreSQL (queued, attempt 0, одна транзакция). Сообщения в очереди может ещё не быть: его опубликует relay, и брокер в этот момент может быть недоступен. Вариантов и объекта в конечном ключе ещё нет. Проверка — test_durable_state_at_202, переживание — test_api_killed_after_202, test_relay_killed_before_publish, test_broker_restart_keeps_job, test_broker_kill_keeps_confirmed.

Почему повторная доставка нормальна и где ключ идемпотентности job? Подтверждение и результат работы нельзя зафиксировать атомарно: процесс может умереть между COMMIT и ack, relay — между confirm и отметкой, и сообщение придёт снова. Это at least once, а не exactly once. Эффект идемпотентен: ключ — (attachment_id, pipeline_version, variant), первичный ключ attachment_variants, вставка ON CONFLICT DO NOTHING; ключи объектов одни и те же при каждом повторе, логическая работа — UNIQUE (attachment_id, pipeline_version). Сообщение — подсказка, истина в строке: доставка готовой работы подтверждается без записи (test_redelivery_of_ready_is_noop, test_crash_after_commit_before_ack: attempt 1, тот же updated_at), ready не откатывается, replay готового — отказ already_ready.

Как отличить зависший worker от долго работающего и не запустить два неконтролируемых дубля? Только сроком: флаг redelivered этого не доказывает, брокер ставит его и после nack. Попытка жёстко ограничена: шаги прерывает asyncio.timeout(job_timeout_seconds), процесс обработки убивается, поэтому аренда job_timeout + lease_margin (70 с) обходится без пульса. Истёкшая аренда значит «мёртв или заморожен», такую попытку возвращает relay. Пока аренда жива, дубль подтверждается без эффекта и без траты номера (busy, test_duplicate_during_processing), долгая живая попытка не теряет работу (test_long_attempt_keeps_lease). Новая попытка получает новый номер, и фиксация условна: state = 'processing' AND attempt = :своя. Размороженный прежний процесс получает superseded и ничего не меняет (test_hung_worker_lease_fencing). Цена — после KILL следующая попытка ждёт аренду, до 70 с (наблюдали 70 с, evidence/attachments/defense-faults.md). Пульс отвергнут: запись на задание каждые несколько секунд, зависимость от event loop и ложные срабатывания под перегрузкой.

Сценарий защиты

Порядок автоматизирован: driver.py --port 8080 defense-scenario → evidence/attachments/defense.md, тот же порядок на стенде отказов — test_defense_scenario.

  1. make test: 202, опрос до ready, оригинал и настоящий JPEG thumbnail.
  2. docker compose stop worker, загрузка — 202, снимок queued; сообщение с вложением — 201; скачивание — 409; текстовое сообщение — 201; в очереди ≥ 1 сообщение, потребителей 0.
  3. scripts/restart.sh — рестарт LB, реплик, PostgreSQL, Valkey, S3 и брокера с сохранением volumes; сообщение в очереди, прежний токен читает queued. docker compose start worker — та же запись ready; оригинал с тем же SHA-256, thumbnail 256 × 160, crop 128 × 128, optimized WebP 320 × 200. В файле — ID и StartedAt до и после, без токенов. Relay не трогается.
  4. driver.py --port 8080 defense-faults → evidence/attachments/defense-faults.md: шесть окон на рабочем стенде (таблица ниже). Триггеры — только на уникальный filename прогона, после прогона их нет, worker и relay запущены при любом исходе.
Окно Действие Начато попыток Итог
после записи объектов до COMMIT kill worker, ожидание аренды 2 ready через 70 с, те же SHA-256 в S3 и метаданных
после COMMIT до ack заморозка и kill worker, сообщение вернулось 1 ready, no-op, тот же updated_at, очередь пуста
после COMMIT queued до publish kill relay, загрузка 202, 0 сообщений, запуск 1 ready без ручного задания
после confirm до отметки kill relay, сообщение есть, отметки нет, запуск — 2 сообщения 1 ready, дубль без эффекта
replay failed staging подменён, failed source_corrupted, реестр без изменений, объект возвращён, --apply 2 ready, то же задание, attempt_base 1, запись аудита
replay готового --apply на ready 1 код 3, already_ready, ничего не изменилось

Выбранный эксперимент уровня 5 — track1-queue-overload.

Доказательства критериев

Снято на e2a6427, в шапке каждого файла — команда, дата и стенд. Остались снятыми на прежнем коде ff1a83b и названы так в шапках: метка evidence/uploads/baseline/, evidence/rollout/async-attachments/, evidence/migrations/async-attachments.md, evidence/s3/worker-key.md: это доказательства перехода уровня 3, их поведение уровень 4 не менял.

Уровень 3

Критерий README Команда/сценарий Наблюдаемый результат Файл доказательства
Публичный smoke make test PASS: lab5 public API scenario evidence/tests/test-isolated.md
Минимум лаб 1–4 сохранён с переходом 201 → 202 make student_test через LB 218 passed, 1 failed (test_exclusion_evidence_exists: только файлы последнего шага прогона), реплики выполнены; сверка: 370 сценариев, 348 проверены, 22 исключения evidence/tests/student-test-lb.md
Тот же набор на временной базе make test_isolated smoke PASS; 212 passed, 6 skipped (реплики), 1 failed — то же; уборка полная evidence/tests/test-isolated.md
Отказы make failure_checks 140 passed, pytest 2373 с, crash markers 0 evidence/tests/failure-checks.md
202 только после устойчивого приёма и сохранения задания test_durable_state_at_202, test_upload_with_broker_stopped, test_upload_with_broker_paused к 202 объект в staging, строка и намерение в одной транзакции; брокер остановлен или заморожен — по-прежнему 202, намерение ждёт (на уровне 3 было 503) evidence/tests/failure-checks.md
Остановка API после ответа не теряет работу test_api_killed_after_202 реплика убита после 202, вложение становится ready evidence/tests/failure-checks.md
Отдельные broker и worker в общем compose driver.py broker-check, driver.py worker-process образ с тегом и digest, volume, AMQP только на loopback; PID 1 python -m src.worker, лимиты 1 CPU / 1 ГБ evidence/broker/stand.md, evidence/worker/process.md
Сообщения durable broker-check, test_queue_durable очередь durable, сообщение persistent evidence/broker/stand.md, evidence/tests/failure-checks.md
Доставка at least once, ack после устойчивого эффекта test_worker_killed_during_processing, test_redelivery_of_ready_is_noop worker убит посреди обработки — задание доводится; регрессия «ack до фиксации» делает тест красным (design, «Уточнения apply», п. 12) evidence/tests/failure-checks.md
Недоступность worker не вызывает синхронный resize test_worker_down_api_serves, worker-process API принимает и отвечает, _imaging нет в процессах реплик evidence/tests/failure-checks.md, evidence/worker/process.md
Состояния в API test_attachment_becomes_ready, test_queued_while_worker_stopped, test_processing_visible, test_undecodable_becomes_failed queued, processing, ready, failed видны в метаданных evidence/tests/student-test-lb.md, evidence/tests/failure-checks.md
Оригинал неизменен test_original_published_unchanged, driver.py attachment-storage те же байты и SHA-256; байты только в приватном bucket evidence/tests/failure-checks.md, evidence/attachments/storage.md
Thumbnail по контракту test_thumbnail_*, test_download_thumbnail 256 × 160 у fixture, округление вниз, минимум 1 px, EXIF, alpha на белый, настоящий JPEG, размеры и SHA-256 сходятся с метаданными evidence/tests/student-test-lb.md, evidence/attachments/defense.md
Ограниченный retry [worker] max_attempts = 5, test_transient_error_retried, test_attempts_exhausted временная ошибка повторяется под тем же job_id, исчерпание — failed с retry_exhausted evidence/worker/process.md, evidence/tests/failure-checks.md
Финальное failed с безопасным error_code test_undecodable_becomes_failed, test_staging_corrupted, журнал invalid_image, processing_failed; причина для оператора — в задании и журнале evidence/worker/logs.md, evidence/tests/failure-checks.md
Повтор не создаёт второго набора вариантов test_ready_failure_retried, test_redelivery_of_ready_is_noop; проба ограничения второй вариант с тем же именем — 23505 pk_attachment_variants evidence/attachments/storage.md, evidence/migrations/async-attachments.md
В сообщении нет bytes и credentials test_job_message_matches_schema сообщение проходит contracts/jobs.schema.json, только ID и служебные поля evidence/tests/failure-checks.md
Демонстрация: worker остановлен → … → ready driver.py --port 8080 defense-scenario все строки expected = got, StartedAt API и брокера новые, у relay прежний; thumbnail 256 × 160, crop 128 × 128, optimized 320 × 200 evidence/attachments/defense.md
Принятое задание переживает рестарт брокера с volume test_broker_restart_keeps_job, test_broker_kill_keeps_confirmed, test_broker_recreated сообщения на месте после stop, KILL и up --force-recreate evidence/tests/failure-checks.md
Очереди разных баз разделены make test_isolated KEEP_TEST_DB=1, broker-check --require-test-queue, make test_isolated очередь временной базы есть после первого и нет после второго evidence/broker/isolated.md
Сохранность и hook make test-persistence ACTION_SCRIPT=scripts/restart.sh PASS; api, haproxy, postgres, rabbitmq, s3, valkey — те же ID и новый StartedAt, relay, worker и cleaner прежние evidence/replicas/test-persistence.md
Отказ реплики make test-failover stop и kill failed_attempts 0, восстановление 1,07 и 0,87 с evidence/failover/test-failover.md
Принявшая реплика остановлена driver.py attachment-failover --mode stop|kill файл отдаёт другая реплика, SHA-256 тот же, постороннему 404 evidence/attachments/failover.md
Согласованность БД и S3 driver.py upload-consistency 503, строки pending не видны, уборщик убрал по ключу staging, объектов без строки 0 evidence/attachments/consistency.md
Приватность S3, права worker make s3_check PASS: 90 checks; worker: запись и чтение — да, удаление, список, админ — 403 evidence/s3/cleaner-staging.md (и evidence/s3/worker-key.md, ff1a83b)
Журнал worker проба на стенде общий request_id записей задания, filename 0 раз, сообщение не по схеме — error без содержимого evidence/worker/logs.md
Миграция только расширяет, откат без отката схемы проба на временной базе, make rolling_update COMMIT=cc33a03 MIGRATE=0 и возврат (ff1a83b) CHECK NOT VALID, по lock_timeout — без изменений; прежний образ работает, чтение нового статуса — 500 evidence/migrations/async-attachments.md
Сроки LB пути загрузки driver.py lb-upload-timeouts 202 после 12 с молчания, 504 через 10 и 30 с, 400 в формате контракта evidence/uploads/lb-timeouts.md
Замена реплик под нагрузкой make bench_rollout ROLLOUT_LABEL=async-attachments (ff1a83b), ROLLOUT_LABEL=pipeline-reliability (e2a6427) 8,52 и 8,67 с, ошибок 0, новые миграции, записей 12000 = ключей 12000 evidence/rollout/async-attachments/summary.md, evidence/rollout/pipeline-reliability/summary.md
Память реплики при загрузках make bench_uploads (ff1a83b) «с лимитом» 10 MiB: пик 172,9 / 180,1 / 185,6 MiB при 10 / 20 / 40 клиентах, OOM 0, 5xx 0 evidence/uploads/baseline/summary.md
Секретов в доказательствах нет поиск значений из .env по evidence/ 17 значений, 0 совпадений evidence/tests/secrets.md

На этом шаге test_exclusion_evidence_exists ожидаемо красный: файлы evidence/cache/hits.md, evidence/auth/passwords-and-tokens.md и evidence/idempotency/replay-after-restart.md снимаются на последнем шаге всего прогона лабы.

Уровень 4

Критерий README Команда/сценарий Наблюдаемый результат Файл доказательства
Crop 128 × 128 по контракту test_crop_center, test_crop_small, test_crop_orientation_alpha, test_download_crop_optimized центр, маленькие растягиваются, ориентация, alpha на белый, JPEG; размеры и SHA-256 по байтам evidence/tests/student-test-lb.md, evidence/attachments/defense.md
Optimized WebP, параметры качества и удаление метаданных описаны test_optimized_fit, test_optimized_small, test_optimized_no_metadata, test_optimized_alpha; раздел «Варианты и лимиты обработки» вписан в 1280, без увеличения; quality=80, method=4; EXIF, XMP, ICC нет; прозрачность цела evidence/tests/student-test-lb.md, evidence/attachments/defense.md
Лимит по bytes test_limit_oversized_staging объект больше строки не читается: processing_failed evidence/tests/failure-checks.md
Лимит по пикселям test_limit_pixels invalid_image, причина limit_pixels evidence/tests/failure-checks.md
Лимит по времени test_limit_cpu_scan_bomb, test_limit_render_timeout настоящий дорогой JPEG прерван по CPU: invalid_image; срок процесса — временная ошибка evidence/tests/failure-checks.md
Лимит по памяти worker test_limit_memory, test_max_pixels_fit_worker_memory, test_render_killed, driver.py worker-process RLIMIT_AS — invalid_image; 40 Мпкс укладывается; убитый процесс обработки не роняет worker; лимиты 1 CPU / 1 ГБ evidence/tests/failure-checks.md, evidence/worker/process.md
Разрыв PostgreSQL и брокера закрыт outbox test_upload_with_broker_stopped, test_upload_with_broker_paused, test_relay_survives_broker_outage, test_relay_survives_database_outage, driver.py relay-process, broker-check 202 без брокера; у реплик нет настроек брокера; relay переживает отказы (тот же StartedAt, RestartCount 0) evidence/tests/failure-checks.md, evidence/relay/process.md, evidence/broker/stand.md
Crash между COMMIT и publish, задача доходит до ready без ручного задания driver.py defense-faults, окна «после COMMIT queued до publish» и «после подтверждения до отметки»; test_relay_killed_before_publish, test_relay_killed_after_confirm published_at пуст, 0 сообщений, после запуска relay — ready, attempt 1; при KILL после confirm — 2 сообщения, ready, attempt 1, очередь пуста evidence/attachments/defense-faults.md, evidence/tests/failure-checks.md
Состояние намерений видно оператору driver.py pipeline-state, в том числе при замороженном брокере задания по состояниям, due, аренды; брокер заморожен — available: false, код 0 evidence/relay/pipeline-state.md
Backoff с jitter test_retry_backoff_with_jitter, test_retry_waits_outside_worker, test_relay_respects_next_attempt пауза растёт случайно в [d/2, d], не занимает место конкуренции, попытка не раньше срока; регрессия «фиксированная пауза» — красный evidence/tests/failure-checks.md
Различие постоянных и временных ошибок test_undecodable_becomes_failed, test_staging_corrupted, test_transient_error_retried, test_attempts_exhausted постоянная — failed сразу (attempt 1); временная повторяется, затем retry_exhausted evidence/tests/failure-checks.md, evidence/worker/logs.md
Реестр failed make replay, test_replay_registry_dry_run, test_replay_by_code показ без изменений; выбор по коду и причине; реестр — строки PostgreSQL, отдельной DLQ нет evidence/relay/logs.md, evidence/attachments/defense-faults.md
Безопасный явный replay, не дубль успешной job driver.py defense-faults, окна replay; test_replay_returns_work, test_replay_ready_refused, test_replay_in_progress_refused, test_replay_without_source_refused, test_replay_new_budget --apply с выбором, то же задание, attempt 2, attempt_base 1, запись аудита; ready — код 3 already_ready, ничего не изменилось evidence/attachments/defense-faults.md, evidence/relay/logs.md
Остановка worker после записи объекта до ack, повтор завершает тот же результат driver.py defense-faults, окна «после записи объектов до COMMIT» и «после COMMIT до ack»; test_crash_after_objects_before_commit, test_crash_after_commit_before_ack те же SHA-256 трёх объектов в S3 и метаданных, attempt 2; после COMMIT — no-op, тот же updated_at evidence/attachments/defense-faults.md, evidence/tests/failure-checks.md
Timeout и lease зависшего processing test_hung_worker_lease_fencing, test_long_attempt_keeps_lease, test_duplicate_during_processing, test_last_attempt_lost, test_worker_killed_during_processing истёкшую аренду возвращает relay; прежняя попытка после разморозки — superseded; живая не теряется, дубль без эффекта evidence/tests/failure-checks.md
Ограниченная конкуренция и prefetch test_concurrency_bounded, test_prefetch_bounded, test_published_backlog_limit, test_broker_memory_alarm prefetch 2 + конкуренция 2, сообщения сверх них у брокера; предел опубликованных 1000 evidence/tests/failure-checks.md, evidence/worker/process.md
Очистка staging после безопасной фиксации test_staging_removed_after_ready, test_staging_retention, test_staging_keeps_current_work, test_staging_cleanup_survives_outage, test_staging_foreign_key_kept, test_reconcile_orphan_staging, driver.py upload-consistency, make s3_check у ready убран следующим проходом (removed_ready), у failed по сроку; текущая работа цела; отказ S3 не держит сообщения; список уборщика только по двум префиксам evidence/tests/failure-checks.md, evidence/attachments/consistency.md, evidence/s3/cleaner-staging.md
Шаг 4 сценария защиты driver.py --port 8080 defense-faults шесть окон, все строки expected = got, триггеров не осталось evidence/attachments/defense-faults.md
Тесты ловят нарушение десять временных регрессий задачи 10.9 каждая даёт названный красный, откачена, хэши src совпали evidence/tests/failure-checks.md, раздел «Красные прогоны»
Журнал relay и worker, без filename и секретов проба на стенде общий request_id, причина и оператор replay, метка filename 0 раз evidence/worker/logs.md, evidence/relay/logs.md
Миграции расширяют, откат работает проба на временной базе, откат на 7f38948 и возврат CHECK NOT VALID, индексы indisvalid, планы по индексам решения 10, по lock_timeout без изменений; прежний образ работает; вложение прежнего образа — один thumbnail, crop 404, сверка без находок evidence/migrations/pipeline-reliability.md
Сроки LB после отказа от публикации driver.py lb-upload-timeouts 202 после 12 с молчания, 504 через 10 и 30 с, 400 в формате контракта; цепочка 26 с и 73 с evidence/uploads/lb-timeouts.md
Очереди разных баз разделены make test_isolated KEEP_TEST_DB=1, broker-check --require-test-queue, make test_isolated очередь временной базы есть после первого и нет после второго evidence/broker/isolated.md
Замена реплик с двумя ревизиями под нагрузкой make bench_rollout ROLLOUT_LABEL=pipeline-reliability 8,67 с, ошибок 0, a1d4c7e90b23 → d3f9a6b2c1e7, записей 12000 = ключей 12000, dirty false evidence/rollout/pipeline-reliability/summary.md

Трек 1 уровня 5

Не закрыт на этом шаге: закрывает change track1-queue-overload.

Эксперименты и отказы

Поочерёдная замена на версию с брокером: метка async-attachments

Гипотеза: миграция и замена реплик с 04f8592 на ff1a83b идут без ошибок клиента, потому что схема только расширяется, а публикация ленива и не нужна чтениям и записи сообщений.

Методика — make bench_rollout: git.dirty false, swapouts_delta 0, посторонних контейнеров нет. Две реплики API 1 CPU / 512 МБ, PostgreSQL 2 CPU / 1 ГБ, Valkey 0,5 CPU / 128 МБ, HAProxy 1 CPU / 256 МБ, k6: 100 записей с ключом и 100 чтений в секунду, один прогон. В профиле только сообщения и история: загрузки не участвуют, поэтому смесь 201 и 202 он не показывает.

Замена Сборка / миграция Ревизия Ошибки до / во время / после Успешных в секунду p95 до / макс. во время Записи
8,52 с 1 / 1 с 5c3e1f0a9b7d → a1d4c7e90b23 0 / 0 / 0 200 / мин. 200 4 / 8 мс 12000 сообщений = 12000 ключей, повторов 0

CPU API всего: 0,54 ядра до и 0,55 после, 0,78 во время. Гипотеза подтверждена. Сырые данные — evidence/rollout/async-attachments/.

Поочерёдная замена на версию с relay: метка pipeline-reliability

Гипотеза: две ревизии (атомарная и индексы CONCURRENTLY) и замена реплик с 7f38948 на e2a6427 идут без ошибок клиента: схема только расширяется, а новым репликам брокер не нужен. Методика та же: git.dirty false, swapouts_delta 0, посторонних контейнеров нет, питание от сети. Загрузки в профиле не участвуют.

Замена Сборка / миграция Ревизия Ошибки до / во время / после Успешных в секунду p95 до / макс. во время Записи
8,67 с 1 / 2 с a1d4c7e90b23 → d3f9a6b2c1e7 0 / 0 / 0 200 / мин. 200 5 / 72 мс 12000 сообщений = 12000 ключей, повторов 0

CPU API всего: 0,61 ядра до, 0,95 во время, 0,62 после. Гипотеза подтверждена. Сырые данные — evidence/rollout/pipeline-reliability/.

Память реплики при загрузках: метка baseline

Снята на ff1a83b, потому что на неё ссылаются исключения сверки лабы 4; с этой меткой новые не сравниваются (с уровня 4 профиль не запускает брокер). Методика — make bench_uploads: одна реплика 1 CPU / 512 МБ без swap, 72 прогона, 50 мин, медиана из 3 повторов; worker не запущен, задания ждут в очереди. Поправки к чтению — evidence/uploads/README.md.

Вариант, 10 MiB C = 10: пик, MiB C = 20 C = 40 OOM при 40 Загрузок/с при 10 p95 при 10, мс
с лимитом 172,9 180,1 185,6 0/3 10,50 1253
без лимита 227,6 331,0 OOM 3/3 9,00 1480

H1 (пик ограничен местами) и H4 (нет 503 по сроку S3) выполнены. H2 в сводке — «нет»: вариант «до» теперь 04f8592, где места уже есть, поэтому прежнее поведение он не показывает; настоящее «до» — отчёт лабы 4. H3 в сводке — «нет»: на 1 MiB «с лимитом» даёт 85–89 % «без лимита» при пороге 90 %, на 10 MiB — 117–121 %. Память приёма после перехода на брокер в границах прежних сценариев спека: ~185 MiB из 512 при 40 клиентах.

Отказы

Воздействие Что ожидаем Что наблюдали Время восстановления / потеря данных
Worker остановлен, рестарт API и хранилищ, worker запущен принятая работа дожидается queued → ready, те же байты (defense.md) потерь нет
Брокер остановлен при загрузке 202, намерение ждёт, остальное API работает так (test_upload_with_broker_stopped, test_readiness_without_broker_and_worker) после возврата relay публикует, потерь нет
Брокер заморожен 202 без ожидания брокера так (test_upload_with_broker_paused) потерь нет
Relay убит до публикации 202, сообщения нет, следующий запуск публикует так (defense-faults.md, test_relay_killed_before_publish) потерь нет, ручного задания нет
Relay убит после confirm до отметки дубль сообщения без второго эффекта так (defense-faults.md, test_relay_killed_after_confirm) attempt 1, потерь нет
KILL брокера и up --force-recreate с volume подтверждённые сообщения на месте так (test_broker_kill_keeps_confirmed, test_broker_recreated) потерь нет
Сообщение потеряно вместе с очередью relay публикует снова, при непустой очереди копий нет так (test_lost_message_republished, test_no_copies_while_queue_has_messages) через republish_after_seconds, 300 с
Worker убит посреди обработки или после записи объектов следующая попытка по аренде, те же ключи так (defense-faults.md, test_worker_killed_during_processing) 70 с на рабочем стенде, потерь нет, попытка посчитана
Worker убит после COMMIT до ack повторная доставка, no-op так (defense-faults.md, test_crash_after_commit_before_ack) сразу после запуска, потерь нет
Worker заморожен дольше аренды новая попытка, прежняя не фиксирует так (test_hung_worker_lease_fencing) по аренде, дублей эффекта нет
Дорогой файл в пределах контракта процесс обработки прерван по CPU, worker цел так (test_limit_cpu_scan_bomb) 15 с CPU на рабочем стенде, invalid_image
S3 недоступен при обработке повторы с backoff под одним job_id, затем ready или retry_exhausted так (test_transient_error_retried, test_attempts_exhausted) рабочий стенд выдерживает сумму пауз 37,5–75 с и сроки попыток (расчёт по настройкам, design, решение 4; тесты — на коротких сроках стенда отказов); дольше — failed, возврат make replay
S3 недоступен при очистке staging проход прерван, сообщения не ждут так (test_staging_cleanup_survives_outage) следующий проход повторяет
PostgreSQL недоступен при обработке задание ждёт, попытка не считается так (test_database_outage_during_processing) потерь нет
Сообщение не по схеме отброшено, error без содержимого так (test_malformed_message_dropped, logs.md) следующие задания идут
Реплика API остановлена или убита запись через другую failed_attempts 0 (test-failover.md) 1,09 и 0,74 с, потерь нет

Ограничения и следующие шаги

Ограничения этого уровня, названные спеками:

  • Отказ S3 дольше бюджета. Сумма пауз 37,5–75 с и сроки попыток: рестарт S3 (~25 с) укладывается, более долгий отказ переводит взятые задания в failed retry_exhausted. Лечит make replay ERROR_CODE=retry_exhausted APPLY=1: это явный шаг оператора, а не автоматика.
  • Восстановление после KILL по аренде. После KILL worker следующая попытка начинается по истечении аренды, до 70 с (наблюдали 70 с). Пульс отвергнут (раздел «Ответы на вопросы защиты»). Повторная доставка уже готовой работы — сразу.
  • Дубли сообщений. Неизвестный исход публикации, crash до отметки и потерянные сообщения дают дубли: at least once. Каждый дубль — SELECT … FOR UPDATE и ack, эффект защищён ключом и fencing. Сообщения, которые держит большой prefetch дольше republish_after_seconds, брокер готовыми не считает: они могут получить копию.
  • Объект, дописанный прежней попыткой. Фиксацию fencing прежней попытке запрещает, но замороженный процесс после разморозки может записать объект теми же байтами: ключ тот же, версия декодера та же.
  • Профиль ICC отбрасывается. Учебные данные — sRGB; изображение с другим профилем изменит цвет в вариантах.
  • Лимит памяти на macOS. setrlimit(RLIMIT_AS) на хосте macOS отказывает, консольный worker это пишет в журнал (render_memory_limit_applied); на стенде Linux лимит действует.
  • Цена процесса на задание. ~100 мс CPU на маленьком файле; forkserver (9 мс) отвергнут сейчас: секреты родителя в окружении и свой жизненный цикл. Граница — один модуль, цену меряет трек 1.
  • Дорогие файлы тратят CPU до лимита. 15 с CPU на файл, при конкуренции 2 такой поток занимает worker; скорость подачи ограничивают только места загрузки. Ограничение принятой работы — трек 1.
  • Сверка не проверяет объекты вариантов. Наличие и размер объектов вариантов сверка не проверяет: вариант без объекта даёт 500 на скачивание и error в журнале (test_missing_variant). Объекты staging она с этого уровня видит (orphan_staging).
  • Удаление очереди при работающем worker. Потребитель этого не замечает: relay создаст очередь заново, worker нужно перезапустить. На стенде такого нет, кроме уборки своей очереди после остановки своего worker.
  • Старые ready без crop и optimized. Вложения уровня 3 остаются с одним thumbnail, скачивание этих вариантов — 404; replay ready запрещён намеренно. Показано в evidence/migrations/pipeline-reliability.md.
  • Staging и конечный префикс на одном сервере S3. Устойчивость staging — устойчивость этого сервера и bucket: отказ диска или ВМ теряет и то, и другое.
  • Отставание очистки staging. Объект живёт до следующего прохода уборщика (60 с); под нагрузкой при 0,25 CPU он может отставать, отставание меряет трек 1.
  • Смесь версий при замене на уровень 3 и новые статусы. С версии лабы 4: прежняя реплика отвечает 201 ready и даёт 500 на чтении строки нового статуса (evidence/migrations/async-attachments.md). Для загрузок реплик прежней версии, переживших grace, защита пометкой уборщика не гарантирована: они пометку не проверяют. Запись — KNOWN_ISSUES.md. Порядок обновления с уровня 3 — раздел «Разрыв COMMIT и publish и окна отказа».
  • Прерванное остановкой задание. Задание, прерванное docker stop дольше graceful_shutdown_seconds (8 с), считается начатой попыткой и продолжается по аренде: release на пути отмены ненадёжен. Худший случай остановки 8 + 0,5 + 0,5 + 0,5 = 9,5 с < 10 с.
  • Искажения данных скана JPEG. Структурная проверка и libjpeg байт внутри данных скана ошибкой не считают: такое вложение становится ready, а варианты будут с мусором. Проверка не декодирует пиксели при приёме намеренно.
  • Цепочка LB. Брокера в пути нет, поэтому самым долгим снова стал путь компенсации: после тела проверка ~4 + tx1 6 + PUT 5 + tx2 6 ≈ 21 с, с DELETE компенсации + 5 ≈ 26 с < timeout server 30 с. Наибольшая длительность живой загрузки U = 17 + 30 + 26 ≈ 73 с < дренаж замены 90 с: до тела 2 × request_timeout_seconds + wait_timeout_seconds = 17 с; тело — [uploads] body_timeout_seconds 30 с.

Другие ограничения:

  • CHECK статуса, ck_attachments_error_code_failed и ck_attachment_jobs_attempt_base остаются NOT VALID: VALIDATE держал бы блокировку на время просмотра таблицы, а прежние строки условиям отвечают.
  • Один пользователь брокера на relay и worker; разделение прав — лаба 7.
  • Предел памяти брокера 400 МиБ блокирует публикацию: relay получает отказ по сроку 2 с, загрузка по-прежнему 202, намерения копятся в PostgreSQL (test_broker_memory_alarm). Ограничения принятой работы на входе API нет, это трек 1.
  • Ранний ответ при загрузке: urllib напрямую к реплике на большом теле теряет ранний ответ; через LB и с httpx или curl — получает.
  • Keyset-пагинация: порядок задаёт (created_at, id); created_at назначает сервер, при расхождении часов реплик порядок вставки возможен только по этому ключу.

Следующие шаги. unit-of-work (указание пользователя, QUESTIONS.md), затем track1-queue-overload (уровень 5): сравнение concurrency и prefetch на разных размерах, throughput, queue lag, p95 времени до ready, RSS, backpressure, ограничение принятой работы и восстановление. Подтверждено замером только то, что есть в разделах выше; поведение под перегрузкой очереди пока гипотеза.

Источники, библиотеки и использование ИИ

Документация: RabbitMQ reliability, Publisher confirms and acknowledgements (из README.md задания); aio-pika — https://docs.aio-pika.com/; Pillow — https://pillow.readthedocs.io/ (Image.draft, resize с reducing_gap, EXIF); PostgreSQL 18 — NOT VALID, FOR UPDATE, lock_timeout; источники лаб 2–4 — в их отчётах. Поведение брокера и Pillow проверено пробами: таблица «Пробы» в openspec/changes/archive/2026-10-31-async-attachments/design.md.

Библиотеки: новые — aio-pika 10.2.1, Pillow 13.0.0 (из dev-группы в основную); уровень 4 новых не добавил: WebP уже есть в Pillow (libwebp 1.6.0). Остальное — uv.lock. Пробы уровня 4 — таблица «Пробы» openspec/changes/pipeline-reliability/design.md.

ИИ. Код, тесты, инструменты, спеки, снятие доказательств и этот отчёт сделаны с помощью Claude Code (Anthropic) по циклу OpenSpec: предложение, реализация, проверка; решения и отвергнутые варианты — design.md, принятые без пользователя — QUESTIONS.md. Числа в отчёте перенесены из выводов команд на названном commit.