76 KiB
Отчёт — лабораторная 5
- Автор, группа: Сафронов Роман Николаевич, БВТ2301
- Целевая оценка; выбранный трек 5: оценка 5, трек 1 «Очередь под перегрузкой»
- Состояние отчёта: закрыты уровень 3 (change
async-attachments) и уровень 4 (changepipeline-reliability). Раздел уровня 5 закрываетtrack1-queue-overload - Commit/PR: измеренное состояние —
399da05(веткаfeat/pipeline-reliability); снятое на прежнихe2a6427иff1a83bназвано в разделе доказательств; PR — TODO после публикации - Источники, библиотеки и помощь ИИ — последний раздел
Запуск из чистого clone
Версии. Образ API: python:3.12.14-slim-trixie, uv 0.12.17. LB: haproxy:3.4.6-trixie. PostgreSQL: postgres:18.6-trixie. Valkey: valkey/valkey:9.1.2-trixie. S3: chrislusf/seaweedfs:4.48. Брокер: rabbitmq:4.3.7. Все закреплены тегом и digest в Dockerfile и docker-compose.yml. Приложение: Python 3.12, FastAPI, aio-pika 10.2.1 (aiormq 7.2.4), Pillow 13.0.0, aiobotocore; остальное строго по uv.lock. Проверено на Docker 29.9.2, Compose 5.6.1, macOS на Apple M3 Pro.
Нужно на машине: Docker с BuildKit и Compose v2, make, openssl, curl, python3 3.9+ (публичные проверки и драйвер скилла), uv (make validate, make student_test, make test_isolated, make failure_checks, make bench*, make run_dev). Свободные порты 127.0.0.1: 8080 (LB), 5433 (PostgreSQL), 6380 (Valkey), 8334 (S3), 5673 (AMQP), 18088 (make test_isolated).
Действий оператора нет. make env_setup создаёт .env и config.toml из шаблонов, подставляет случайные пароли и ключи и печатает только имена. В существующий .env он дописывает недостающие переменные (секреты брокера и ключи worker при переходе с лабы 4), прежние строки не меняет. Пароль брокера, как и пароль PostgreSQL, задаётся при первом создании volume.
Способ 1: всё в compose — make run_docker
git clone <fork> && cd <каталог clone> && git checkout solution/bvt2301-safronov
make run_docker # env_setup + build + up -d: postgres, valkey, s3, rabbitmq → migrate, s3-bootstrap → api × 2, relay, worker, cleaner → haproxy
make replicas # дождаться healthy реплик; готовность стенда — haproxy (healthy) и /health/ready через LB
make check
uv sync && make validate PYTHON=.venv/bin/python
make test # публичный smoke: 202, опрос до ready, оригинал и настоящий JPEG thumbnail
make instances # ≥2 X-Instance-Id одной сессии через LB
make s3_check # приватность bucket: права ключей API, уборщика и worker
make student_test
make test-persistence ACTION_SCRIPT=scripts/restart.sh
make test-failover ACTION_SCRIPT=scripts/stop-one.sh && make replicas
python3 .claude/skills/run-mtusi-messenger/driver.py --port 8080 defense-scenario
python3 .claude/skills/run-mtusi-messenger/driver.py --port 8080 defense-faults # шаг 4 защиты, ~2–4 мин
make replay # реестр failed, только показ; APPLY=1 ATTACHMENT=<id> — вернуть в работу
make failure_checks # отдельный стенд <проект>-failures, ~40 мин; рабочий стенд не трогается
Миграции применяет одноразовый сервис migrate, bucket и пользователей S3 — s3-bootstrap; реплики, relay, уборщик и worker их ждут. Очередь объявляют relay и worker при подключении: отдельного bootstrap брокера нет, реплики API к брокеру не обращаются.
Способ 2: сервис на хосте — make run_dev, make run_worker, make run_relay
make run_dev # терминал 1: Postgres и миграции с хоста, Valkey, S3 с bootstrap, брокер в compose; API на 127.0.0.1:8080 с reload
make run_worker # терминал 2: worker на хосте; ключи worker — из .env в окружение процесса, значения не печатаются
make run_relay # терминал 3: relay на хосте; без него задания ждут в PostgreSQL
curl -s http://127.0.0.1:8080/health/ready
make test
EXPECT_REPLICAS=1 make student_test
Ожидание готовности — /health/ready отвечает 200. Остановка процессов — Ctrl+C.
Вариант README без make: make env_setup, docker compose --env-file .env config --quiet, docker compose --env-file .env up -d --build.
Остановка и удаление данных
make stop— остановить контейнеры;make down— удалить контейнеры. Volumespostgres_data,s3_data,rabbitmq_dataостаются.make wipe_data— намеренное удаление учебных данных и volumes (спрашиваетyes).
Архитектура и решения
клиент → HAProxy (127.0.0.1:8080) → api × 2 ──┬─ PostgreSQL (источник истины: метаданные, задания = outbox, варианты)
├─ Valkey (кэш карточек чатов)
└─ S3: <база>/staging/<id>/original
relay → PostgreSQL: state = 'queued' AND published_at IS NULL, срок наступил; истёкшие аренды
→ RabbitMQ: durable-очередь <база>.attachment.process.v1, publisher confirm, затем отметка published_at
│ job_id, attachment_id, pipeline_version, attempt…
▼
worker → PostgreSQL: claim с арендой и номером попытки → render: отдельный процесс на задание, лимиты, без секретов
→ S3: <база>/attachments/<id>/original, …/v1-thumbnail, v1-crop, v1-optimized
→ PostgreSQL: ready или failed с fencing, затем ack
cleaner → PostgreSQL + S3 (pending, staging у ready и по сроку у failed, сверка bucket и БД)
make replay → relay replay: реестр failed и возврат работы с аудитом
Перенесено из лаб 2–4 без изменения поведения (подробности — REPORT.md репозитория mtusi2026lab4-safronov): вход Basic → Bearer-сессия в PostgreSQL, пароль — Argon2id (RFC_9106_LOW_MEMORY: t=3, m=64 MiB, p=4), SHA-256 токена в БД; кэш карточек; реплики без состояния за HAProxy, идемпотентность сообщений, make rolling_update; приватный S3 с тремя пользователями, места загрузки, уборщик и сверка.
Изменено на уровне 3 (design change async-attachments):
POST …/attachments— 202 со снимкомqueued;- worker: claim задания под
FOR UPDATE, чтение staging и сверка размера и SHA-256 со строкой, PUT оригинала в конечный ключ, варианты, фиксацияreadyвместе с вариантами и заданием одной транзакцией, ack; - состояния
queued,processing,ready,failedв API;pendingнаружу не виден (404); - скачивание не готового вложения — 409, отсутствующий вариант готового — 404;
failedв сообщении — 409, а повтор отправленного сообщения с тем же ключом — тот же 201; - схема только расширена:
attachment_jobs,attachment_variants,attachments.staging_keyиerror_code, более широкий CHECK статуса (NOT VALID).
Изменено на уровне 4 (design change pipeline-reliability):
- порядок приёма: строка
pendingс ключами → PUT в staging →queuedс заданием одной транзакцией → 202. Брокера в пути запроса нет, у реплик ни клиента, ни пароля; - outbox — те же строки
attachment_jobs(state = 'queued' AND published_at IS NULL); relay публикует с подтверждением подFOR UPDATE SKIP LOCKED, отмечает только подтверждённые, возвращает истёкшие аренды и потерянные сообщения; - сообщение — подсказка, истина в строке задания: дубль при живой аренде и сообщение раньше срока подтверждаются без эффекта; аренда
job_timeout + lease_marginбез пульса, номер попытки — fencing; - варианты
cropиoptimized; декодирует только отдельный процесс на задание с лимитами; - backoff с jitter, постоянные и временные ошибки, реестр
failedв PostgreSQL иmake replayс аудитом (attachment_job_replays,attempt_base); prefetchотдельно отconcurrency; очистка staging уборщиком, класс сверкиorphan_staging;- схема только расширена: ревизии
c7e2f1a04b56иd3f9a6b2c1e7.
Транзакционные границы. Ключ эффекта — первичный ключ attachment_variants (attachment_id, pipeline_version, variant), логическая работа — UNIQUE (attachment_id, pipeline_version) в attachment_jobs. Вызовов S3 и брокера внутри транзакций нет, кроме двух осознанных исключений с коротким сроком: публикация relay (2 с < срока шага 6 с < простоя транзакции 10 с: блокировка строки и есть признак «публикует другой relay») и DELETE уборщика под блокировкой строки.
Варианты и лимиты обработки
| Вариант | Формат | Размер | Параметры | Метаданные |
|---|---|---|---|---|
thumbnail |
JPEG | вписан в 256 × 256, вниз, без увеличения | quality=85 |
EXIF и ICC не пишутся |
crop |
JPEG | 128 × 128, центр, маленькие растягиваются | quality=85, альфа на белый |
то же |
optimized |
WebP | вписан в 1280 × 1280, без увеличения | quality=80, method=4 (method=6 на пробе в 3,5 раза дольше без выигрыша) |
EXIF, XMP, ICC нет; ориентация применена; прозрачность сохранена |
Все три — из одного декодирования, результат детерминирован (design, таблица «Пробы»). Pillow нет ни в репликах, ни в процессе 1 worker (evidence/worker/process.md).
| Лимит | Механизм | Значение | Превышение |
|---|---|---|---|
| байты | размер объекта против строки до чтения тела; CHECK контракта | 10 MiB | source_corrupted, processing_failed, постоянная |
| пиксели | width × height до декодирования |
40 млн | limit_pixels, invalid_image, постоянная |
| память | RLIMIT_AS процесса обработки |
450 МиБ | limit_memory, invalid_image, постоянная |
| CPU | RLIMIT_CPU, RLIMIT_CORE = 0 |
15 с | limit_cpu, invalid_image, постоянная |
| время | родитель убивает процесс | 40 с, меньше срока попытки 60 с | timeout, временная |
Настоящий случай «дорогого» файла — прогрессивный JPEG в пределах контракта, один скан повторён 445 227 раз: test_limit_cpu_scan_bomb.
Бюджет памяти контейнера worker (1 ГБ). Замер двух файлов разом на 399da05 (evidence/worker/memory.md): пик процесса обработки на 40 Мпкс (render_peak_kib, лимит 450 МиБ) зависит от типа файла: PNG RGBA и всё, что переводится в RGBA (серый с альфой, RGB с tRNS, палитра с tRNS), — 357 МиБ, серый 16 бит — 404 МиБ, а на обеих границах контракта сразу, 40 Мпкс и ~10 MiB файла, — 366 и 414 МиБ. VmHWM процесса 1 при двух телах ~10 MiB — до 159 МиБ. Самый дорогой случай, два серых 16 бит на обеих границах: memory.peak контейнера 905 МиБ, oom_kill 0; у двух PNG 10 MiB из шума — 261 МиБ. Верхняя оценка суммой пиков: 159 + 2 × 414 = 987 МиБ < 1 ГБ. Если памяти всё же не хватит, ядро убьёт самый большой процесс обработки, а не worker (проба), это временная ошибка.
Сервисы стенда и лимиты
| Сервис | Роль | CPU | Память | Порт на хосте |
|---|---|---|---|---|
haproxy |
LB, единственная публичная точка | 1 | 256 МБ | 127.0.0.1:8080 |
api × 2 |
приём, без состояния | 1 на реплику | 512 МБ на реплику | нет |
relay |
публикация намерений, истёкшие аренды, python -m src.relay, без healthcheck |
0,25 | 256 МБ | нет |
worker |
обработка, python -m src.worker, без healthcheck |
1 | 1 ГБ | нет |
cleaner |
незавершённые загрузки, очистка staging, сверка | 0,25 | 256 МБ | нет |
postgres |
источник истины, volume | 2 | 1 ГБ | loopback 5433 |
valkey |
кэш, без persistence | 0,5 | 128 МБ | loopback 6380 |
s3 |
SeaweedFS, volume | 1 | 512 МБ | loopback 8334 |
rabbitmq |
брокер, volume, предел памяти 400 МиБ | 1 | 512 МБ | loopback 5673 |
migrate (разовый) |
миграции | 0,5 | 256 МБ | нет |
s3-bootstrap (разовый) |
bucket, политики, пользователи | 0,5 | 128 МБ | нет |
Сумма постоянных сервисов: 9,0 CPU, 4992 МБ при двух репликах; вместе с разовыми — 10,0 CPU, 5376 МБ.
Соединения PostgreSQL: API_REPLICAS × 10 + migrate 1 + cleaner 1 + worker 2 + relay 1. При двух репликах 25; во время поочерёдной замены (третья реплика) 35; max_connections 100. Переполнения пула нет (max_overflow 0).
Лимит worker 1 ГБ: расчёт — раздел «Варианты и лимиты обработки», проверяет test_max_pixels_fit_worker_memory.
Соответствие переменных .env.example
Имена лаб 1–4 — без изменений, таблицы в отчёте лабы 4 («Соответствие переменных», «Соответствие имён skeleton S3_*»). Новые имена лабы 5:
| Имя skeleton | Где у нас | Почему так |
|---|---|---|
BROKER_URL_FILE |
[broker] мостами из RABBITMQ_* (BROKER__HOST, BROKER__PORT, BROKER__USER, BROKER__PASSWORD) |
значения, а не файл, как DATABASE_URL_FILE: пароль нужен и контейнеру брокера, строка URL с паролем не собирается |
WORKER_CONCURRENCY |
[worker] concurrency (2) |
читает только worker |
JOB_MAX_ATTEMPTS |
[worker] max_attempts (5) |
то же |
JOB_TIMEOUT_SECONDS |
[worker] job_timeout_seconds (60) |
то же |
STAGING_RETENTION_SECONDS |
[cleaner] staging_retention_seconds (86400) |
читает только уборщик; значение из .env.example skeleton |
Новые настройки уровня 4 (значения по умолчанию, вывод записи о старте — evidence/worker/process.md, evidence/relay/process.md):
[worker]:prefetch2,lease_margin_seconds10,retry_base_delay_seconds5,retry_max_delay_seconds300,render_timeout_seconds40,render_cpu_limit_seconds15,render_memory_limit_mib450,graceful_shutdown_seconds8 (не больше 8);[relay]:poll_interval_seconds0,25,batch_size100,max_published_backlog1000 (0 — без предела),republish_after_seconds300,failure_pause_seconds2.
Секреты по сервисам: пароль брокера — только rabbitmq, relay, worker, у api настроек брокера нет; ключи S3_WORKER_* — только s3-bootstrap и worker; у worker нет пароля Valkey и ключей API и уборщика; у relay нет S3 и Valkey; в окружении процесса обработки секретов нет.
Критичные и некритичные зависимости /health/ready
| Зависимость | В готовности | Причина и поведение при отказе |
|---|---|---|
| PostgreSQL | да | без него не работают сессии и данные: обязательный путь стоит, 503 |
| Valkey | нет | кэш: отказ — обход, чтение из PostgreSQL |
| S3 | нет | нужен только путям байтов вложений: они отвечают 503, текст и история работают |
| Брокер | нет | брокера в пути запроса нет: загрузка отвечает 202, намерение ждёт в PostgreSQL |
| Relay | нет | без него задания ждут в PostgreSQL, приём не страдает |
| Worker | нет | к синхронному пути не относится |
Отказ брокера. Загрузка — 202, а не 503 (на уровне 3 было 503): намерение уже в PostgreSQL, relay пишет «Broker is unavailable» и опубликует после возврата; 503 на загрузке теперь только от S3 и PostgreSQL. Проверки: test_upload_with_broker_stopped, test_upload_with_broker_paused. Отказ relay. Загрузка — 202, задание queued с пустой отметкой, следующий запуск публикует (test_relay_killed_before_publish). Отказ worker. API принимает, relay публикует; resize синхронно не делается: Pillow в процессе API не загружен (_imaging нет в /proc/1/maps, evidence/worker/process.md).
Разрыв COMMIT и publish и окна отказа
Разрыв закрыт transactional outbox на тех же строках: намерение и queued — одна транзакция, публикует отдельный relay по этим строкам, а не процесс запроса. Отдельной таблицы нет: это было бы второе состояние той же работы. LISTEN/NOTIFY отвергнут: опрос всё равно нужен для сроков, а пустая выборка стоит 0,05 мс.
| Окно | Что происходит | Что видит клиент |
|---|---|---|
| после staging до записи задания | pending и объект staging; их убирает уборщик |
503 или обрыв |
после COMMIT queued до ответа |
работа идёт: relay опубликует | обрыв; вложение станет ready, клиент о нём не знает, как и в лабе 4 |
| после COMMIT до publish (relay упал) | намерение в БД, следующий проход публикует | 202 уже получен |
| после publish до confirm | исход неизвестен: новая публикация, возможен дубль | опрос queued |
после confirm до отметки published_at |
откат отметки, новая публикация, дубль — no-op | опрос queued или processing |
| после записи S3 до COMMIT результата | аренда истекает, новая попытка пишет те же ключи | опрос processing, затем queued |
| после COMMIT результата до ack | повторная доставка — no-op с ack | опрос ready |
Сбои внедрены снаружи, без точек сбоя в коде (триггер на filename прогона, docker kill): driver.py defense-faults на рабочем стенде → evidence/attachments/defense-faults.md, те же окна — test_defense_faults. Запись «Разрыв COMMIT и publish» из KNOWN_ISSUES.md удалена.
Смесь версий и порядок обновления (design, Migration Plan). Шага оператора нет: секретов не прибавилось. Без простоя: docker compose up -d s3-bootstrap, make rolling_update (две ревизии, затем реплики), docker compose up -d --no-deps worker cleaner, затем docker compose up -d --no-deps relay; до запуска relay загрузки отвечают 202 и ждут. Worker обновляется раньше relay: прежний worker делает только thumbnail. Откат: make rolling_update COMMIT=<прежний> MIGRATE=0 COMPOSE_FILE=docker-compose.yml:infra/rollback/broker.compose.yml (прежним репликам нужен пароль брокера, только на время отката), прежние worker и уборщик, relay останавливается, схема остаётся. Новых статусов и error_code нет, поэтому 500 на чтении, как при переходе 201 → 202, здесь нет; проба — evidence/migrations/pipeline-reliability.md.
Согласования с преподавателем
| Дата | Договорённость | Где учтено |
|---|---|---|
| 2026-09-26 | Лабы можно делать на FastAPI, несмотря на расхождения с контрактом (лишний 422, другой порядок кодов ошибок). Публичный smoke при этом должен проходить | .claude/rules/api-contract.md, раздел «FastAPI» |
| 2026-09-29 | Конфиг через pydantic-settings: окружение → .env → config.toml → дефолты. config.toml не в git и не в образе, монтируется read-only при запуске. Это подходит под «конфигурация приходит из окружения» (README лабы 1, п. 3) и п. 6 Dockerfile.example. Требование «только env» — упрощение курса, config.toml можно использовать |
.claude/rules/settings.md, .claude/rules/docker.md |
| 2026-10-20 | Лаба 4: «пустой текст» сообщения — это и "", и текст только из пробельных символов. Допустимы: вложение + непустой текст, без вложения + непустой текст, вложение + пустой текст. Значит, " " с хотя бы одним вложением — 201, без вложений — 400 |
спек messages (change attachments, сценарий «Пробелы с вложением»), design attachments, решение 8; .claude/rules/api-contract.md |
Расхождения FastAPI, разрешённые согласованием: 422 переведён в 400; битый JSON — 400 раньше 401, остальная валидация — после зависимостей.
Открытые вопросы преподавателю
Контракт допускает несколько трактовок, ответа пока нет. Взята самая строгая, проходящая публичные тесты. Подход от ответа не зависит. Вопросы 1 и 2 перенесены из лабы 4, полный разбор — в её отчёте.
- Все места загрузки реплики заняты: 429 или 503? Сделано: 429
rate_limitedсRetry-After: 1. - Что отвечает API на вложение, чей оригинал по сверке потерян? Сделано: метаданные — 200, байты — 404, ссылка в новом сообщении — 201; до пометки сверкой байты — 500.
- Failed-вложение прикреплять нельзя (409), а повтор с тем же
Idempotency-Keyобязан вернуть тот же 201. Что отвечать на повтор сообщения, чьё вложение сталоfailedуже после отправки? Сделано: новое сообщение — 409, повтор с ключом — 201 с тем жеMessage. Другой ответ меняет одну веткуsend_messageи сценарийidempotency. contracts/attachment-states.mdтребует документированный retention и cleanup неуспешных исходников без указания уровня, аREADME.mdотносит очистку к уровню 4. Закрыт уровнем 4:[cleaner] staging_retention_seconds86400 с, очистка уreadyследующим проходом, уfailedпо сроку. На уровне 3 очистки не было.- Допустим ли на уровне 3 ответ 503 при недоступном брокере? Закрыт уровнем 4: отказ брокера больше не даёт 503, на загрузке 503 только от S3 и PostgreSQL. На уровне 3 был 503: relay ещё не было.
- Контракт требует EXIF orientation и alpha на белый только у thumbnail. Как с
cropиoptimized? Сделано: ориентация применяется у обоих (иначе EXIF, удалённый из WebP, повернул бы изображение),cropкомпонуется на белый (JPEG),optimizedсохраняет прозрачность. Другой ответ правит одну функцию и сценарий. - Контракт называет replay «явным операторским», но не говорит, как его вызывать. Достаточно ли команды в контейнере? Сделано:
make replay, HTTP-ручки нет: в API нет роли оператора. Другой ответ добавляет ручку поверх той же транзакции. - Изображение, не уложившееся в лимиты времени или памяти обработки, — это
invalid_imageили отдельный код? Сделано:invalid_image, точная причина — в записи для оператора. Другой ответ добавляет значение enum и требует обновить реплики раньше worker. - Контракт требует retention «неуспешных и непривязанных исходников», но молчит о конечных объектах, которые успела записать неудачная попытка. Сделано: по истечении срока удаляются и они, метаданные
failedостаются. Другой ответ убирает один шаг очистки.
Ответы на вопросы защиты
Чем publisher confirm отличается от consumer ack? Confirm — брокер сообщает издателю, что принял сообщение на себя: durable-очередь, persistent-сообщение, записано. Это граница между relay и брокером: только после неё relay ставит отметку published_at, неподтверждённое остаётся намерением и публикуется снова. Ack — потребитель сообщает брокеру, что сообщение можно удалить. Worker шлёт его только после фиксации исхода в PostgreSQL (ready, failed, queued со сроком следующей попытки) или решения «эффекта не нужно». Это разные участки пути: confirm ничего не говорит об обработке, ack — о доставке. Ни тот, ни другой больше не определяют ответ клиенту: 202 — это COMMIT в PostgreSQL.
Что именно уже сохранено в момент 202? Проверенный оригинал целиком в staging приватного S3, строка вложения и намерение обработки в PostgreSQL (queued, attempt 0, одна транзакция). Сообщения в очереди может ещё не быть: его опубликует relay, и брокер в этот момент может быть недоступен. Вариантов и объекта в конечном ключе ещё нет. Проверка — test_durable_state_at_202, переживание — test_api_killed_after_202, test_relay_killed_before_publish, test_broker_restart_keeps_job, test_broker_kill_keeps_confirmed.
Почему повторная доставка нормальна и где ключ идемпотентности job? Подтверждение и результат работы нельзя зафиксировать атомарно: процесс может умереть между COMMIT и ack, relay — между confirm и отметкой, и сообщение придёт снова. Это at least once, а не exactly once. Эффект идемпотентен: ключ — (attachment_id, pipeline_version, variant), первичный ключ attachment_variants, вставка ON CONFLICT DO NOTHING; ключи объектов одни и те же при каждом повторе, логическая работа — UNIQUE (attachment_id, pipeline_version). Сообщение — подсказка, истина в строке: доставка готовой работы подтверждается без записи (test_redelivery_of_ready_is_noop, test_crash_after_commit_before_ack: attempt 1, тот же updated_at), ready не откатывается, replay готового — отказ already_ready.
Как отличить зависший worker от долго работающего и не запустить два неконтролируемых дубля? Только сроком: флаг redelivered этого не доказывает, брокер ставит его и после nack. Попытка жёстко ограничена: шаги прерывает asyncio.timeout(job_timeout_seconds), процесс обработки убивается, поэтому аренда job_timeout + lease_margin (70 с) обходится без пульса. Истёкшая аренда значит «мёртв или заморожен», такую попытку возвращает relay. Пока аренда жива, дубль подтверждается без эффекта и без траты номера (busy, test_duplicate_during_processing), долгая живая попытка не теряет работу (test_long_attempt_keeps_lease). Новая попытка получает новый номер, и фиксация условна: state = 'processing' AND attempt = :своя. Размороженный прежний процесс получает superseded и ничего не меняет, в том числе пока новая попытка ещё идёт: тогда решает только номер (test_hung_worker_lease_fencing). Цена — после KILL следующая попытка ждёт аренду, до 70 с (наблюдали 70 с, evidence/attachments/defense-faults.md). Пульс отвергнут: запись на задание каждые несколько секунд, зависимость от event loop и ложные срабатывания под перегрузкой.
Сценарий защиты
Порядок автоматизирован: driver.py --port 8080 defense-scenario → evidence/attachments/defense.md, тот же порядок на стенде отказов — test_defense_scenario.
make test: 202, опрос доready, оригинал и настоящий JPEG thumbnail.docker compose stop worker, загрузка — 202, снимокqueued; сообщение с вложением — 201; скачивание — 409; текстовое сообщение — 201; в очереди ≥ 1 сообщение, потребителей 0.scripts/restart.sh— рестарт LB, реплик, PostgreSQL, Valkey, S3 и брокера с сохранением volumes; сообщение в очереди, прежний токен читаетqueued.docker compose start worker— та же записьready; оригинал с тем же SHA-256, thumbnail 256 × 160, crop 128 × 128, optimized WebP 320 × 200. В файле — ID иStartedAtдо и после, без токенов. Relay не трогается.driver.py --port 8080 defense-faults→evidence/attachments/defense-faults.md: шесть окон на рабочем стенде (таблица ниже). Триггеры — только на уникальныйfilenameпрогона, после прогона их нет, worker и relay запущены при любом исходе.
| Окно | Действие | Начато попыток | Итог |
|---|---|---|---|
| после записи объектов до COMMIT | kill worker, ожидание аренды |
2 | ready через 70 с, те же SHA-256 в S3 и метаданных |
| после COMMIT до ack | заморозка и kill worker, сообщение вернулось |
1 | ready, no-op, тот же updated_at, очередь пуста |
после COMMIT queued до publish |
kill relay, загрузка 202, 0 сообщений, запуск |
1 | ready без ручного задания |
| после confirm до отметки | kill relay, сообщение есть, отметки нет, запуск — 2 сообщения |
1 | ready, дубль без эффекта |
replay failed |
staging подменён, failed source_corrupted, реестр без изменений, объект возвращён, --apply |
2 | ready, то же задание, attempt_base 1, запись аудита |
| replay готового | --apply на ready |
1 | код 3, already_ready, ничего не изменилось |
Выбранный эксперимент уровня 5 — track1-queue-overload.
Доказательства критериев
В шапке каждого файла — команда, дата, commit и стенд. На 399da05 (правки по проверке: _prepared, тесты, драйвер) сняты evidence/worker/memory.md, evidence/worker/process.md, evidence/relay/process.md, evidence/attachments/defense-faults.md, evidence/tests/failure-checks.md. Остальные файлы уровня 4 и evidence/tests/student-test-lb.md, evidence/tests/test-isolated.md сняты на e2a6427: из кода приложения 399da05 меняет только src/utils/image_variants.py, одну ветку перевода в RGBA, поэтому test_pixel_limit_png_modes в этих прогонах набора ещё нет, его сценарий на 399da05 доказывает evidence/worker/memory.md. Остались снятыми на прежнем коде ff1a83b и названы так в шапках: метка evidence/uploads/baseline/, evidence/rollout/async-attachments/, evidence/migrations/async-attachments.md, evidence/s3/worker-key.md: это доказательства перехода уровня 3, их поведение уровень 4 не менял.
Уровень 3
| Критерий README | Команда/сценарий | Наблюдаемый результат | Файл доказательства |
|---|---|---|---|
| Публичный smoke | make test |
PASS: lab5 public API scenario |
evidence/tests/test-isolated.md |
| Минимум лаб 1–4 сохранён с переходом 201 → 202 | make student_test через LB |
218 passed, 1 failed (test_exclusion_evidence_exists: только файлы последнего шага прогона), реплики выполнены; сверка: 370 сценариев, 348 проверены, 22 исключения |
evidence/tests/student-test-lb.md |
| Тот же набор на временной базе | make test_isolated |
smoke PASS; 212 passed, 6 skipped (реплики), 1 failed — то же; уборка полная | evidence/tests/test-isolated.md |
| Отказы | make failure_checks (399da05) |
141 passed, pytest 2302 с, crash markers 0 |
evidence/tests/failure-checks.md |
| 202 только после устойчивого приёма и сохранения задания | test_durable_state_at_202, test_upload_with_broker_stopped, test_upload_with_broker_paused |
к 202 объект в staging, строка и намерение в одной транзакции; брокер остановлен или заморожен — по-прежнему 202, намерение ждёт (на уровне 3 было 503) | evidence/tests/failure-checks.md |
| Остановка API после ответа не теряет работу | test_api_killed_after_202 |
реплика убита после 202, вложение становится ready |
evidence/tests/failure-checks.md |
| Отдельные broker и worker в общем compose | driver.py broker-check, driver.py worker-process |
образ с тегом и digest, volume, AMQP только на loopback; PID 1 python -m src.worker, лимиты 1 CPU / 1 ГБ |
evidence/broker/stand.md, evidence/worker/process.md |
| Сообщения durable | broker-check, test_queue_durable |
очередь durable, сообщение persistent | evidence/broker/stand.md, evidence/tests/failure-checks.md |
| Доставка at least once, ack после устойчивого эффекта | test_worker_killed_during_processing, test_redelivery_of_ready_is_noop |
worker убит посреди обработки — задание доводится; регрессия «ack до фиксации» делает тест красным (design, «Уточнения apply», п. 12) | evidence/tests/failure-checks.md |
| Недоступность worker не вызывает синхронный resize | test_worker_down_api_serves, worker-process |
API принимает и отвечает, _imaging нет в процессах реплик |
evidence/tests/failure-checks.md, evidence/worker/process.md |
| Состояния в API | test_attachment_becomes_ready, test_queued_while_worker_stopped, test_processing_visible, test_undecodable_becomes_failed |
queued, processing, ready, failed видны в метаданных |
evidence/tests/student-test-lb.md, evidence/tests/failure-checks.md |
| Оригинал неизменен | test_original_published_unchanged, driver.py attachment-storage |
те же байты и SHA-256; байты только в приватном bucket | evidence/tests/failure-checks.md, evidence/attachments/storage.md |
| Thumbnail по контракту | test_thumbnail_*, test_download_thumbnail |
256 × 160 у fixture, округление вниз, минимум 1 px, EXIF, alpha на белый, настоящий JPEG, размеры и SHA-256 сходятся с метаданными | evidence/tests/student-test-lb.md, evidence/attachments/defense.md |
| Ограниченный retry | [worker] max_attempts = 5, test_transient_error_retried, test_attempts_exhausted |
временная ошибка повторяется под тем же job_id, исчерпание — failed с retry_exhausted |
evidence/worker/process.md, evidence/tests/failure-checks.md |
Финальное failed с безопасным error_code |
test_undecodable_becomes_failed, test_staging_corrupted, журнал |
invalid_image, processing_failed; причина для оператора — в задании и журнале |
evidence/worker/logs.md, evidence/tests/failure-checks.md |
| Повтор не создаёт второго набора вариантов | test_ready_failure_retried, test_redelivery_of_ready_is_noop; проба ограничения |
второй вариант с тем же именем — 23505 pk_attachment_variants |
evidence/attachments/storage.md, evidence/migrations/async-attachments.md |
| В сообщении нет bytes и credentials | test_job_message_matches_schema |
сообщение проходит contracts/jobs.schema.json, только ID и служебные поля |
evidence/tests/failure-checks.md |
Демонстрация: worker остановлен → … → ready |
driver.py --port 8080 defense-scenario |
все строки expected = got, StartedAt API и брокера новые, у relay прежний; thumbnail 256 × 160, crop 128 × 128, optimized 320 × 200 |
evidence/attachments/defense.md |
| Принятое задание переживает рестарт брокера с volume | test_broker_restart_keeps_job, test_broker_kill_keeps_confirmed, test_broker_recreated |
сообщения на месте после stop, KILL и up --force-recreate |
evidence/tests/failure-checks.md |
| Очереди разных баз разделены | make test_isolated KEEP_TEST_DB=1, broker-check --require-test-queue, make test_isolated |
очередь временной базы есть после первого и нет после второго | evidence/broker/isolated.md |
| Сохранность и hook | make test-persistence ACTION_SCRIPT=scripts/restart.sh |
PASS; api, haproxy, postgres, rabbitmq, s3, valkey — те же ID и новый StartedAt, relay, worker и cleaner прежние |
evidence/replicas/test-persistence.md |
| Отказ реплики | make test-failover stop и kill |
failed_attempts 0, восстановление 1,07 и 0,87 с |
evidence/failover/test-failover.md |
| Принявшая реплика остановлена | driver.py attachment-failover --mode stop|kill |
файл отдаёт другая реплика, SHA-256 тот же, постороннему 404 | evidence/attachments/failover.md |
| Согласованность БД и S3 | driver.py upload-consistency |
503, строки pending не видны, уборщик убрал по ключу staging, объектов без строки 0 |
evidence/attachments/consistency.md |
| Приватность S3, права worker | make s3_check |
PASS: 90 checks; worker: запись и чтение — да, удаление, список, админ — 403 |
evidence/s3/cleaner-staging.md (и evidence/s3/worker-key.md, ff1a83b) |
| Журнал worker | проба на стенде | общий request_id записей задания, filename 0 раз, сообщение не по схеме — error без содержимого |
evidence/worker/logs.md |
| Миграция только расширяет, откат без отката схемы | проба на временной базе, make rolling_update COMMIT=cc33a03 MIGRATE=0 и возврат (ff1a83b) |
CHECK NOT VALID, по lock_timeout — без изменений; прежний образ работает, чтение нового статуса — 500 |
evidence/migrations/async-attachments.md |
| Сроки LB пути загрузки | driver.py lb-upload-timeouts |
202 после 12 с молчания, 504 через 10 и 30 с, 400 в формате контракта | evidence/uploads/lb-timeouts.md |
| Замена реплик под нагрузкой | make bench_rollout ROLLOUT_LABEL=async-attachments (ff1a83b), ROLLOUT_LABEL=pipeline-reliability (e2a6427) |
8,52 и 8,67 с, ошибок 0, новые миграции, записей 12000 = ключей 12000 | evidence/rollout/async-attachments/summary.md, evidence/rollout/pipeline-reliability/summary.md |
| Память реплики при загрузках | make bench_uploads (ff1a83b) |
«с лимитом» 10 MiB: пик 172,9 / 180,1 / 185,6 MiB при 10 / 20 / 40 клиентах, OOM 0, 5xx 0 | evidence/uploads/baseline/summary.md |
| Секретов в доказательствах нет | поиск значений из .env по evidence/ |
17 значений, 0 совпадений | evidence/tests/secrets.md |
На этом шаге test_exclusion_evidence_exists ожидаемо красный: файлы evidence/cache/hits.md, evidence/auth/passwords-and-tokens.md и evidence/idempotency/replay-after-restart.md снимаются на последнем шаге всего прогона лабы.
Уровень 4
| Критерий README | Команда/сценарий | Наблюдаемый результат | Файл доказательства |
|---|---|---|---|
| Crop 128 × 128 по контракту | test_crop_center, test_crop_small, test_crop_orientation_alpha, test_download_crop_optimized |
центр, маленькие растягиваются, ориентация, alpha на белый, JPEG; размеры и SHA-256 по байтам | evidence/tests/student-test-lb.md, evidence/attachments/defense.md |
| Optimized WebP, параметры качества и удаление метаданных описаны | test_optimized_fit, test_optimized_small, test_optimized_no_metadata, test_optimized_alpha; раздел «Варианты и лимиты обработки» |
вписан в 1280, без увеличения; quality=80, method=4; EXIF, XMP, ICC нет; прозрачность цела |
evidence/tests/student-test-lb.md, evidence/attachments/defense.md |
| Лимит по bytes | test_limit_oversized_staging |
объект больше строки не читается: processing_failed |
evidence/tests/failure-checks.md |
| Лимит по пикселям | test_limit_pixels |
invalid_image, причина limit_pixels |
evidence/tests/failure-checks.md |
| Лимит по времени | test_limit_cpu_scan_bomb, test_limit_render_timeout |
настоящий дорогой JPEG прерван по CPU: invalid_image; срок процесса — временная ошибка |
evidence/tests/failure-checks.md |
| Лимит по памяти worker | test_limit_memory, test_max_pixels_fit_worker_memory, test_pixel_limit_png_modes, test_render_killed, driver.py worker-process |
RLIMIT_AS — invalid_image; 40 Мпкс укладывается в любом типе PNG, включая серый с альфой и RGB с tRNS; убитый процесс обработки не роняет worker; лимиты 1 CPU / 1 ГБ; два файла на обеих границах — memory.peak 905 МиБ, OOM нет |
evidence/tests/failure-checks.md, evidence/worker/process.md, evidence/worker/memory.md |
| Разрыв PostgreSQL и брокера закрыт outbox | test_upload_with_broker_stopped, test_upload_with_broker_paused, test_relay_survives_broker_outage, test_relay_survives_database_outage, driver.py relay-process, broker-check |
202 без брокера; у реплик нет настроек брокера; relay переживает отказы (тот же StartedAt, RestartCount 0) |
evidence/tests/failure-checks.md, evidence/relay/process.md, evidence/broker/stand.md |
Crash между COMMIT и publish, задача доходит до ready без ручного задания |
driver.py defense-faults, окна «после COMMIT queued до publish» и «после подтверждения до отметки»; test_relay_killed_before_publish, test_relay_killed_after_confirm |
published_at пуст, 0 сообщений, после запуска relay — ready, attempt 1; при KILL после confirm — 2 сообщения, ready, attempt 1, очередь пуста |
evidence/attachments/defense-faults.md, evidence/tests/failure-checks.md |
| Состояние намерений видно оператору | driver.py pipeline-state, в том числе при замороженном брокере |
задания по состояниям, due, аренды; брокер заморожен — available: false, код 0 |
evidence/relay/pipeline-state.md |
| Backoff с jitter | test_retry_backoff_with_jitter, test_retry_waits_outside_worker, test_relay_respects_next_attempt |
пауза растёт случайно в [d/2, d], не занимает место конкуренции, попытка не раньше срока; регрессия «фиксированная пауза» — красный |
evidence/tests/failure-checks.md |
| Различие постоянных и временных ошибок | test_undecodable_becomes_failed, test_staging_corrupted, test_transient_error_retried, test_attempts_exhausted |
постоянная — failed сразу (attempt 1); временная повторяется, затем retry_exhausted |
evidence/tests/failure-checks.md, evidence/worker/logs.md |
Реестр failed |
make replay, test_replay_registry_dry_run, test_replay_by_code |
показ без изменений; выбор по коду и причине; реестр — строки PostgreSQL, отдельной DLQ нет | evidence/relay/logs.md, evidence/attachments/defense-faults.md |
| Безопасный явный replay, не дубль успешной job | driver.py defense-faults, окна replay; test_replay_returns_work, test_replay_ready_refused, test_replay_in_progress_refused, test_replay_without_source_refused, test_replay_new_budget |
--apply с выбором, то же задание, attempt 2, attempt_base 1, запись аудита; ready — код 3 already_ready, ничего не изменилось |
evidence/attachments/defense-faults.md, evidence/relay/logs.md |
| Остановка worker после записи объекта до ack, повтор завершает тот же результат | driver.py defense-faults, окна «после записи объектов до COMMIT» и «после COMMIT до ack»; test_crash_after_objects_before_commit, test_crash_after_commit_before_ack |
те же SHA-256 трёх объектов в S3 и метаданных, attempt 2; после COMMIT — no-op, тот же updated_at |
evidence/attachments/defense-faults.md, evidence/tests/failure-checks.md |
Timeout и lease зависшего processing |
test_hung_worker_lease_fencing, test_hung_worker_thawed_after_ready, test_long_attempt_keeps_lease, test_duplicate_during_processing, test_last_attempt_lost, test_worker_killed_during_processing |
истёкшую аренду возвращает relay; прежняя попытка после разморозки — superseded; живая не теряется, дубль без эффекта |
evidence/tests/failure-checks.md |
| Ограниченная конкуренция и prefetch | test_concurrency_bounded, test_prefetch_bounded, test_published_backlog_limit, test_broker_memory_alarm |
prefetch 2 + конкуренция 2, сообщения сверх них у брокера; предел опубликованных 1000 | evidence/tests/failure-checks.md, evidence/worker/process.md |
| Очистка staging после безопасной фиксации | test_staging_removed_after_ready, test_staging_retention, test_staging_keeps_current_work, test_staging_cleanup_survives_outage, test_staging_foreign_key_kept, test_reconcile_orphan_staging, driver.py upload-consistency, make s3_check |
у ready убран следующим проходом (removed_ready), у failed по сроку; текущая работа цела; отказ S3 не держит сообщения; список уборщика только по двум префиксам |
evidence/tests/failure-checks.md, evidence/attachments/consistency.md, evidence/s3/cleaner-staging.md |
| Шаг 4 сценария защиты | driver.py --port 8080 defense-faults |
шесть окон, все строки expected = got, триггеров не осталось |
evidence/attachments/defense-faults.md |
| Тесты ловят нарушение | десять временных регрессий задачи 10.9 | каждая даёт названный красный, откачена, хэши src совпали |
evidence/tests/failure-checks.md, раздел «Красные прогоны» |
Журнал relay и worker, без filename и секретов |
проба на стенде | общий request_id, причина и оператор replay, метка filename 0 раз |
evidence/worker/logs.md, evidence/relay/logs.md |
| Миграции расширяют, откат работает | проба на временной базе, откат на 7f38948 и возврат |
CHECK NOT VALID, индексы indisvalid, планы по индексам решения 10, по lock_timeout без изменений; прежний образ работает; вложение прежнего образа — один thumbnail, crop 404, сверка без находок |
evidence/migrations/pipeline-reliability.md |
| Сроки LB после отказа от публикации | driver.py lb-upload-timeouts |
202 после 12 с молчания, 504 через 10 и 30 с, 400 в формате контракта; цепочка 26 с и 73 с | evidence/uploads/lb-timeouts.md |
| Очереди разных баз разделены | make test_isolated KEEP_TEST_DB=1, broker-check --require-test-queue, make test_isolated |
очередь временной базы есть после первого и нет после второго | evidence/broker/isolated.md |
| Замена реплик с двумя ревизиями под нагрузкой | make bench_rollout ROLLOUT_LABEL=pipeline-reliability |
8,67 с, ошибок 0, a1d4c7e90b23 → d3f9a6b2c1e7, записей 12000 = ключей 12000, dirty false |
evidence/rollout/pipeline-reliability/summary.md |
Трек 1 уровня 5
Не закрыт на этом шаге: закрывает change track1-queue-overload.
Эксперименты и отказы
Поочерёдная замена на версию с брокером: метка async-attachments
Гипотеза: миграция и замена реплик с 04f8592 на ff1a83b идут без ошибок клиента, потому что схема только расширяется, а публикация ленива и не нужна чтениям и записи сообщений.
Методика — make bench_rollout: git.dirty false, swapouts_delta 0, посторонних контейнеров нет. Две реплики API 1 CPU / 512 МБ, PostgreSQL 2 CPU / 1 ГБ, Valkey 0,5 CPU / 128 МБ, HAProxy 1 CPU / 256 МБ, k6: 100 записей с ключом и 100 чтений в секунду, один прогон. В профиле только сообщения и история: загрузки не участвуют, поэтому смесь 201 и 202 он не показывает.
| Замена | Сборка / миграция | Ревизия | Ошибки до / во время / после | Успешных в секунду | p95 до / макс. во время | Записи |
|---|---|---|---|---|---|---|
| 8,52 с | 1 / 1 с | 5c3e1f0a9b7d → a1d4c7e90b23 |
0 / 0 / 0 | 200 / мин. 200 | 4 / 8 мс | 12000 сообщений = 12000 ключей, повторов 0 |
CPU API всего: 0,54 ядра до и 0,55 после, 0,78 во время. Гипотеза подтверждена. Сырые данные — evidence/rollout/async-attachments/.
Поочерёдная замена на версию с relay: метка pipeline-reliability
Гипотеза: две ревизии (атомарная и индексы CONCURRENTLY) и замена реплик с 7f38948 на e2a6427 идут без ошибок клиента: схема только расширяется, а новым репликам брокер не нужен. Методика та же: git.dirty false, swapouts_delta 0, посторонних контейнеров нет, питание от сети. Загрузки в профиле не участвуют.
| Замена | Сборка / миграция | Ревизия | Ошибки до / во время / после | Успешных в секунду | p95 до / макс. во время | Записи |
|---|---|---|---|---|---|---|
| 8,67 с | 1 / 2 с | a1d4c7e90b23 → d3f9a6b2c1e7 |
0 / 0 / 0 | 200 / мин. 200 | 5 / 72 мс | 12000 сообщений = 12000 ключей, повторов 0 |
CPU API всего: 0,61 ядра до, 0,95 во время, 0,62 после. Гипотеза подтверждена. Сырые данные — evidence/rollout/pipeline-reliability/.
Память реплики при загрузках: метка baseline
Снята на ff1a83b, потому что на неё ссылаются исключения сверки лабы 4; с этой меткой новые не сравниваются (с уровня 4 профиль не запускает брокер). Методика — make bench_uploads: одна реплика 1 CPU / 512 МБ без swap, 72 прогона, 50 мин, медиана из 3 повторов; worker не запущен, задания ждут в очереди. Поправки к чтению — evidence/uploads/README.md.
| Вариант, 10 MiB | C = 10: пик, MiB | C = 20 | C = 40 | OOM при 40 | Загрузок/с при 10 | p95 при 10, мс |
|---|---|---|---|---|---|---|
| с лимитом | 172,9 | 180,1 | 185,6 | 0/3 | 10,50 | 1253 |
| без лимита | 227,6 | 331,0 | OOM | 3/3 | 9,00 | 1480 |
H1 (пик ограничен местами) и H4 (нет 503 по сроку S3) выполнены. H2 в сводке — «нет»: вариант «до» теперь 04f8592, где места уже есть, поэтому прежнее поведение он не показывает; настоящее «до» — отчёт лабы 4. H3 в сводке — «нет»: на 1 MiB «с лимитом» даёт 85–89 % «без лимита» при пороге 90 %, на 10 MiB — 117–121 %. Память приёма после перехода на брокер в границах прежних сценариев спека: ~185 MiB из 512 при 40 клиентах.
Отказы
| Воздействие | Что ожидаем | Что наблюдали | Время восстановления / потеря данных |
|---|---|---|---|
| Worker остановлен, рестарт API и хранилищ, worker запущен | принятая работа дожидается | queued → ready, те же байты (defense.md) |
потерь нет |
| Брокер остановлен при загрузке | 202, намерение ждёт, остальное API работает | так (test_upload_with_broker_stopped, test_readiness_without_broker_and_worker) |
после возврата relay публикует, потерь нет |
| Брокер заморожен | 202 без ожидания брокера | так (test_upload_with_broker_paused) |
потерь нет |
| Relay убит до публикации | 202, сообщения нет, следующий запуск публикует | так (defense-faults.md, test_relay_killed_before_publish) |
потерь нет, ручного задания нет |
| Relay убит после confirm до отметки | дубль сообщения без второго эффекта | так (defense-faults.md, test_relay_killed_after_confirm) |
attempt 1, потерь нет |
KILL брокера и up --force-recreate с volume |
подтверждённые сообщения на месте | так (test_broker_kill_keeps_confirmed, test_broker_recreated) |
потерь нет |
| Сообщение потеряно вместе с очередью | relay публикует снова, при непустой очереди копий нет | так (test_lost_message_republished, test_no_copies_while_queue_has_messages) |
через republish_after_seconds, 300 с |
| Worker убит посреди обработки или после записи объектов | следующая попытка по аренде, те же ключи | так (defense-faults.md, test_worker_killed_during_processing) |
70 с на рабочем стенде, потерь нет, попытка посчитана |
| Worker убит после COMMIT до ack | повторная доставка, no-op | так (defense-faults.md, test_crash_after_commit_before_ack) |
сразу после запуска, потерь нет |
| Worker заморожен дольше аренды | новая попытка, прежняя не фиксирует ни при живой новой, ни после её итога | так (test_hung_worker_lease_fencing, test_hung_worker_thawed_after_ready) |
по аренде, дублей эффекта нет |
| Дорогой файл в пределах контракта | процесс обработки прерван по CPU, worker цел | так (test_limit_cpu_scan_bomb) |
15 с CPU на рабочем стенде, invalid_image |
| S3 недоступен при обработке | повторы с backoff под одним job_id, затем ready или retry_exhausted |
так (test_transient_error_retried, test_attempts_exhausted) |
рабочий стенд выдерживает сумму пауз 37,5–75 с и сроки попыток (расчёт по настройкам, design, решение 4; тесты — на коротких сроках стенда отказов); дольше — failed, возврат make replay |
| S3 недоступен при очистке staging | проход прерван, сообщения не ждут | так (test_staging_cleanup_survives_outage) |
следующий проход повторяет |
| PostgreSQL недоступен при обработке | задание ждёт, попытка не считается | так (test_database_outage_during_processing) |
потерь нет |
| Сообщение не по схеме | отброшено, error без содержимого |
так (test_malformed_message_dropped, logs.md) |
следующие задания идут |
| Реплика API остановлена или убита | запись через другую | failed_attempts 0 (test-failover.md) |
1,09 и 0,74 с, потерь нет |
Ограничения и следующие шаги
Ограничения этого уровня, названные спеками:
- Отказ S3 дольше бюджета. Сумма пауз 37,5–75 с и сроки попыток: рестарт S3 (~25 с) укладывается, более долгий отказ переводит взятые задания в
failedretry_exhausted. Лечитmake replay ERROR_CODE=retry_exhausted APPLY=1: это явный шаг оператора, а не автоматика. - Восстановление после KILL по аренде. После KILL worker следующая попытка начинается по истечении аренды, до 70 с (наблюдали 70 с). Пульс отвергнут (раздел «Ответы на вопросы защиты»). Повторная доставка уже готовой работы — сразу.
- Дубли сообщений. Неизвестный исход публикации, crash до отметки и потерянные сообщения дают дубли: at least once. Каждый дубль —
SELECT … FOR UPDATEи ack, эффект защищён ключом и fencing. Сообщения, которые держит большой prefetch дольшеrepublish_after_seconds, брокер готовыми не считает: они могут получить копию. - Объект, дописанный прежней попыткой. Фиксацию fencing прежней попытке запрещает, но замороженный процесс после разморозки может записать объект теми же байтами: ключ тот же, версия декодера та же.
- Профиль ICC отбрасывается. Учебные данные — sRGB; изображение с другим профилем изменит цвет в вариантах.
- Лимит памяти на macOS.
setrlimit(RLIMIT_AS)на хосте macOS отказывает, консольный worker это пишет в журнал (render_memory_limit_applied); на стенде Linux лимит действует. - Цена процесса на задание. ~100 мс CPU на маленьком файле; forkserver (9 мс) отвергнут сейчас: секреты родителя в окружении и свой жизненный цикл. Граница — один модуль, цену меряет трек 1.
- Изоляция секретов процесса обработки неполная. В его окружении секретов нет, но он идёт под тем же UID, что процесс 1 worker, и может прочитать
/proc/1/environс ключами S3 и паролями PostgreSQL и брокера. От случайной утечки это защищает, после эксплойта декодера — нет. Предложение —PR_SET_DUMPABLE=0в процессе worker, вопрос преподавателю (QUESTIONS.md,## pipeline-reliability). - Дорогие файлы тратят CPU до лимита. 15 с CPU на файл, при конкуренции 2 такой поток занимает worker; скорость подачи ограничивают только места загрузки. Ограничение принятой работы — трек 1.
- Сверка не проверяет объекты вариантов. Наличие и размер объектов вариантов сверка не проверяет: вариант без объекта даёт 500 на скачивание и
errorв журнале (test_missing_variant). Объекты staging она с этого уровня видит (orphan_staging). - Удаление очереди при работающем worker. Потребитель этого не замечает: relay создаст очередь заново, worker нужно перезапустить. На стенде такого нет, кроме уборки своей очереди после остановки своего worker.
- Старые
readyбезcropиoptimized. Вложения уровня 3 остаются с одним thumbnail, скачивание этих вариантов — 404; replayreadyзапрещён намеренно. Показано вevidence/migrations/pipeline-reliability.md. - Staging и конечный префикс на одном сервере S3. Устойчивость staging — устойчивость этого сервера и bucket: отказ диска или ВМ теряет и то, и другое.
- Отставание очистки staging. Объект живёт до следующего прохода уборщика (60 с); под нагрузкой при 0,25 CPU он может отставать, отставание меряет трек 1.
- Смесь версий при замене на уровень 3 и новые статусы. С версии лабы 4: прежняя реплика отвечает 201
readyи даёт 500 на чтении строки нового статуса (evidence/migrations/async-attachments.md). Для загрузок реплик прежней версии, переживших grace, защита пометкой уборщика не гарантирована: они пометку не проверяют. Запись —KNOWN_ISSUES.md. Порядок обновления с уровня 3 — раздел «Разрыв COMMIT и publish и окна отказа». - Прерванное остановкой задание. Задание, прерванное
docker stopдольшеgraceful_shutdown_seconds(8 с), считается начатой попыткой и продолжается по аренде: release на пути отмены ненадёжен. Замер на двух дорогих JPEG: 8,15 с, при замороженных PostgreSQL и брокере 9,18 с (evidence/worker/process.md). Худший случай остановки 8 + 0,5 + 0,5 + 0,5 = 9,5 с < 10 с. - Искажения данных скана JPEG. Структурная проверка и libjpeg байт внутри данных скана ошибкой не считают: такое вложение становится
ready, а варианты будут с мусором. Проверка не декодирует пиксели при приёме намеренно. - Цепочка LB. Брокера в пути нет, поэтому самым долгим снова стал путь компенсации: после тела
проверка ~4 + tx1 6 + PUT 5 + tx2 6 ≈ 21 с, с DELETE компенсации+ 5 ≈ 26 с<timeout server30 с. Наибольшая длительность живой загрузкиU = 17 + 30 + 26 ≈ 73 с< дренаж замены 90 с: до тела2 × request_timeout_seconds + wait_timeout_seconds= 17 с; тело —[uploads] body_timeout_seconds30 с.
Другие ограничения:
- CHECK статуса,
ck_attachments_error_code_failedиck_attachment_jobs_attempt_baseостаютсяNOT VALID:VALIDATEдержал бы блокировку на время просмотра таблицы, а прежние строки условиям отвечают. - Один пользователь брокера на relay и worker; разделение прав — лаба 7.
- Предел памяти брокера 400 МиБ блокирует публикацию: relay получает отказ по сроку 2 с, загрузка по-прежнему 202, намерения копятся в PostgreSQL (
test_broker_memory_alarm). Ограничения принятой работы на входе API нет, это трек 1. - Ранний ответ при загрузке:
urllibнапрямую к реплике на большом теле теряет ранний ответ; через LB и с httpx или curl — получает. - Keyset-пагинация: порядок задаёт
(created_at, id);created_atназначает сервер, при расхождении часов реплик порядок вставки возможен только по этому ключу.
Следующие шаги. unit-of-work (указание пользователя, QUESTIONS.md), затем track1-queue-overload (уровень 5): сравнение concurrency и prefetch на разных размерах, throughput, queue lag, p95 времени до ready, RSS, backpressure, ограничение принятой работы и восстановление. Подтверждено замером только то, что есть в разделах выше; поведение под перегрузкой очереди пока гипотеза.
Источники, библиотеки и использование ИИ
Документация: RabbitMQ reliability, Publisher confirms and acknowledgements (из README.md задания); aio-pika — https://docs.aio-pika.com/; Pillow — https://pillow.readthedocs.io/ (Image.draft, resize с reducing_gap, EXIF); PostgreSQL 18 — NOT VALID, FOR UPDATE, lock_timeout; источники лаб 2–4 — в их отчётах. Поведение брокера и Pillow проверено пробами: таблица «Пробы» в openspec/changes/archive/2026-10-31-async-attachments/design.md.
Библиотеки: новые — aio-pika 10.2.1, Pillow 13.0.0 (из dev-группы в основную); уровень 4 новых не добавил: WebP уже есть в Pillow (libwebp 1.6.0). Остальное — uv.lock. Пробы уровня 4 — таблица «Пробы» openspec/changes/pipeline-reliability/design.md.
ИИ. Код, тесты, инструменты, спеки, снятие доказательств и этот отчёт сделаны с помощью Claude Code (Anthropic) по циклу OpenSpec: предложение, реализация, проверка; решения и отвергнутые варианты — design.md, принятые без пользователя — QUESTIONS.md. Числа в отчёте перенесены из выводов команд на названном commit.