POST /chats/{chat_id}/attachments?filename= – сырые bytes, PNG/JPEG, ≤10 MiB, ≤40 млн пикселей, MIME по содержимому, опасный filename → 400. Пишет staging в S3 и в одной транзакции создаёт attachments (status=queued), jobs, outbox, затем возвращает 202 queued.
outbox_relay читает неопубликованные записи, публикует job в durable очередь RabbitMQ, помечает published_at. Разрыв COMMIT↔publish закрыт.
worker читает очередь (PREFETCH_COUNT из env), переводит queued → processing, ставит lease_until, пишет оригинал и варианты, обновляет attachments.variants/variant_keys, ставит ready, удаляет staging. Ack – только после устойчивого эффекта.
Варианты: thumbnail JPEG q85, fit 256×256, EXIF transpose, alpha→белый; crop JPEG q85, центр 128×128; optimized WebP q80, вписан 1280×1280 без увеличения.
is_permanent в worker: UnidentifiedImageError, битые/truncated данные → failed invalid_image + DLQ без retry. Временные (сеть, MinIO, RabbitMQ) → backoff с jitter до MAX_ATTEMPTS=5, затем failed retry_exhausted + DLQ.
lease_checker возвращает зависшие processing в queued по lease_until.
POST /attachments/{id}/replay – только для failed; ready → 409 already_ready, queued/processing → 409 not_failed; внутри FOR UPDATE, новый job+outbox, attempt=1.
GET /attachments/{id} и /content – только участникам чата, без redirect. Для queued/processing/failed content → 409. Посторонний → 404.
Message с attachment_ids обязателен в ответе; failed-вложение прикреплять нельзя → 409.
Потоковое чтение _read_limited – лимит RAM на одну загрузку.
Трек 1 – очередь под перегрузкой
student-tests/queue_benchmark.py – prefetch × размер изображения, замер throughput, queue lag (t_processing - t_upload), time-to-ready (t_ready - t_upload), RSS worker; перезапуск worker через docker compose up -d --force-recreate worker с PREFETCH_COUNT из env.
student-tests/queue_recovery.py – восстановление после перегрузки: 100 medium при остановленном worker, затем старт worker, замер времени до обработки всех.
Гипотеза: prefetch повышает throughput на малых, но на large упирается в CPU/RAM; backpressure отсутствует.
Результаты – в REPORT.md; JSON-доказательства в evidence/queue-prefetch{P}-{size}.json, evidence/queue-recovery.json.
Ключевое наблюдение: на small оптимум prefetch=5; на medium prefetch=1 даёт лучший throughput и минимальный RSS; на large prefetch=5 даёт RSS 511.7 MiB (почти лимит 512 MiB) при падении throughput; prefetch=20 large не завершил 15 файлов за 600 с – скрипт зафиксировал files_ok=0, по логам worker доработал после таймаута, OOMKilled: false. Backpressure не реализован, цена названа.
Команды запуска
cp .env.example .env
docker compose --env-file .env up -d --build
Blocking a user prevents them from interacting with repositories, such as opening or commenting on pull requests or issues. Learn more about blocking a user.
Лабораторная 5
Автор / группа: Кузнецова Марина / БВТ2304
Целевая оценка: 5, трек 1 «Очередь под перегрузкой»
Что реализовано
Инфраструктура
compose.yaml), durable очередьattachment.process.v1, dlq.dlq, volumerabbitmq_data.worker,outbox_relay,lease_checker;worker– не в API-контейнере, resize не выполняется синхронно в API.attachments; staging-префиксstaging/{chat_id}/{uuid}, финальныеoriginals/,thumbnails/,crops/,optimizeds/.attachments,jobs,outbox,message_attachments). Байты – в MinIO. В БД и на диске API байтов нет.api-user), консоль MinIO наружу не публикуется.client_max_body_size 11m, таймауты 60 с,proxy_next_upstream.Код приложения
POST /chats/{chat_id}/attachments?filename=– сырые bytes, PNG/JPEG, ≤10 MiB, ≤40 млн пикселей, MIME по содержимому, опасный filename → 400. Пишет staging в S3 и в одной транзакции создаётattachments(status=queued),jobs,outbox, затем возвращает202 queued.outbox_relayчитает неопубликованные записи, публикует job в durable очередь RabbitMQ, помечаетpublished_at. Разрыв COMMIT↔publish закрыт.workerчитает очередь (PREFETCH_COUNTиз env), переводитqueued → processing, ставитlease_until, пишет оригинал и варианты, обновляетattachments.variants/variant_keys, ставитready, удаляет staging. Ack – только после устойчивого эффекта.thumbnailJPEG q85, fit 256×256, EXIF transpose, alpha→белый;cropJPEG q85, центр 128×128;optimizedWebP q80, вписан 1280×1280 без увеличения.is_permanentв worker:UnidentifiedImageError, битые/truncated данные →failed invalid_image+ DLQ без retry. Временные (сеть, MinIO, RabbitMQ) → backoff с jitter доMAX_ATTEMPTS=5, затемfailed retry_exhausted+ DLQ.lease_checkerвозвращает зависшиеprocessingвqueuedпоlease_until.POST /attachments/{id}/replay– только дляfailed;ready→ 409already_ready,queued/processing→ 409not_failed; внутриFOR UPDATE, новый job+outbox,attempt=1.GET /attachments/{id}и/content– только участникам чата, без redirect. Дляqueued/processing/failedcontent → 409. Посторонний → 404.attachment_idsобязателен в ответе;failed-вложение прикреплять нельзя → 409._read_limited– лимит RAM на одну загрузку.Трек 1 – очередь под перегрузкой
student-tests/queue_benchmark.py– prefetch × размер изображения, замер throughput, queue lag (t_processing - t_upload), time-to-ready (t_ready - t_upload), RSS worker; перезапуск worker черезdocker compose up -d --force-recreate workerсPREFETCH_COUNTиз env.student-tests/queue_recovery.py– восстановление после перегрузки: 100 medium при остановленном worker, затем старт worker, замер времени до обработки всех.REPORT.md; JSON-доказательства вevidence/queue-prefetch{P}-{size}.json,evidence/queue-recovery.json.files_ok=0, по логам worker доработал после таймаута,OOMKilled: false. Backpressure не реализован, цена названа.Команды запуска
Проверка готовности:
Проверки:
Сценарий защиты уровня 3:
Replay failed:
Результаты
Уровень 3
PASS: lab5 public API scenario.202,status=queued. Состоянияqueued/processing/ready/failedдоступны в API.99EA…BD75).MAX_ATTEMPTS=5; финальныйfailedс безопаснымerror_code.status=readyсохраняется.Уровень 4
variants.MAX_BYTES=10 MiB,MAX_PIXELS=40Mна входе; worker обрабатывает только провалидированные.storage.create_attachment_with_job_and_outbox.is_permanent; битые →failed invalid_imageбез retry.POST /replay→ ready 409, failed 202 и ready.pytest student-tests/test_worker_crash.py -v→1 passed; variants совпадают.Трек 1
REPORT.md.prefetch=20 large: таймаут скрипта,OOMKilled: false, worker доработал после таймаута – граница применимости на этом стенде.Ограничения
outbox_relayиlease_checkerв одном экземпляре.(attachment_id, pipeline_version, variant)обеспечен детерминированными ключами объектов, а не отдельной таблицей.UPDATE status='failed', а неSIGKILLв моментack.Ссылка на отчёт
REPORT.mdв корне репозитория. Доказательства – вevidence/:smoke.txt,demo-ids.txt,thumb-demo.jpg,orig-demo.png,replay.txt,worker-crash.txt,queue-prefetch{P}-{size}.json,queue-recovery.json.Чек-лист
View command line instructions
Checkout
From your project repository, check out a new branch and test the changes.