Upload answers 202 after staging, a queued job in PostgreSQL and a broker confirm; a separate worker publishes the original and a thumbnail with bounded retries. Adds the job and variant tables, the broker service, the worker S3 user, cleanup and reconcile support for staging and variants, the failure stand with broker and worker, bench and driver updates. Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
11 KiB
11 KiB
Вопросы и решения лабы 5
Решения, принятые без пользователя, и вопросы, которые не блокируют работу.
Раздел на каждый change: ## <change>, внутри «Решения» и «Вопросы».
Вопросы преподавателю дублируются в REPORT.md.
Ответы пользователя перед прогоном (2026-10-31)
- Оценка — 5, трек 1 «Очередь под перегрузкой».
- Брокер — RabbitMQ 4.
- Без пользователя можно: коммиты на ветках
feat/<change>, ff-merge вsolution/bvt2301-safronov, архивация, установка зависимостей и образов, запуск стенда и замеров, в концеgit pushветки решения в свой fork. PR не открывать. - Противоречие в контракте: брать самую строгую трактовку, которая проходит
публичные тесты, контракт и тесты не менять, записать решение и вопрос
преподавателю здесь и в
REPORT.md, прогон не останавливать. - Предупреждения о хосте, явно не влияющие на результат замера, прогон не останавливают.
Для пользователя после прогона
- Остался volume пробы
asyncprobe_rabbitmq_data(стадия proposeasync-attachments, контейнеров и сети нет). Агенту отказали вdocker compose down -v, поэтому прогон его не удалял. Удалить вручную:docker volume rm asyncprobe_rabbitmq_data.
Перенос из лабы 4
Решения
- Три изменения по уровням рубрики:
async-attachments(3),pipeline-reliability(4),track1-queue-overload(5). Makefile,.gitignore,.dockerignoreлабы 4 совпадают с новым skeleton плюс свои секции, поэтому взяты целиком..env.example— свой файл лабы 4: новые имена skeleton (BROKER_URL_FILE,WORKER_CONCURRENCY,JOB_MAX_ATTEMPTS,JOB_TIMEOUT_SECONDS,STAGING_RETENTION_SECONDS) сопоставляет changeasync-attachments.evidence/не переносится: сверка покрытияmake student_testкрасная поtest_exclusion_evidence_exists, пока файлы не сняты заново на стенде лабы 5 (последний шаг прогона).- Commit «до» профилей
rollout,uploadsиreconcileстендаbench/— commit переноса: коммитов лабы 4 в истории лабы 5 нет. Вариант «до» уuploadsиreconcileбольше не показывает старое поведение, эти профили остались как инструменты, их результаты — в отчёте лабы 4.
Вопросы
Пока нет.
async-attachments
Подробности и отвергнутые варианты — openspec/changes/async-attachments/design.md.
Решения
- Очередь — классическая durable, а не quorum: на одном узле реплик нет, задержка на
пробе выше, счётчик доставок и at-least-once dead-lettering не нужны, реестр
failedи счёт попыток — в PostgreSQL (решение 4). Аргументов у очереди нет: DLX и пределы следующие изменения ставят политиками. - Образ брокера —
rabbitmq:4.3.7, а не свежий 4.4.0; предел памяти задан явно: брокер не видит лимит контейнера (проба: 4760 МиБ при лимите 512 МБ);hostnameпостоянный, иначе пересозданный контейнер не находит данные в volume. - Staging — приватный префикс того же bucket,
<база>/staging/<id>/original. Сверка его не видит: её префикс —<база>/attachments/. Конечный ключ оригинала назначается при вставке; отдельная колонкаstaging_keyоставляет очистку staging следующему изменению. - Запись намерения:
queuedи задание — одна транзакция; это и есть будущий outbox (state = 'queued' AND published_at IS NULL). Отдельной таблицы outbox и relay на этом уровне нет. - Брокер недоступен — 503, не 202 (решение 3): без relay намерение никто не доставит. Отмена —
условной транзакцией: задание уже взято — 202, иначе вложение возвращается в
pendingи уходит к уборщику. Разрыв COMMIT и publish назван в спеке, design иREPORT.md. /health/ready— только PostgreSQL: брокер и worker не входят, как S3 (решение 10). Иначе отказ брокера вывел бы все реплики из LB.- Повтор — фиксированная пауза (
[worker] retry_delay_seconds) и новое сообщение сattempt + 1, а неnack: контракт требует, чтобыattemptотражал управляемую попытку. Backoff с jitter — следующее изменение. Каждая начатая попытка считается; при недоступном PostgreSQL записать нечего, задание ждёт в очереди. - Коды:
invalid_image,processing_failed(объект staging отсутствует или испорчен),retry_exhausted. Причина для оператора —attachment_jobs.last_error_codeи журнал worker. - Порядок проверок сообщения: неизвестное, чужое и
pending— 404 до ключа;failed— 409 после захвата ключа, с откатом. В списке есть и то и другое — 404. - Ключ эффекта
(attachment_id, pipeline_version, variant)— первичный ключattachment_variants. Оригинал — не строка этой таблицы: схемаVariantконтракта не знает имениoriginal, его итог — поля самого вложения. - Thumbnail считается своим кодом, а не
Image.thumbnail: Pillow округляет к ближайшей пропорции, контракт — вниз. Лимит worker 1 ГБ — по замеру: две задачи PNG RGBA на 40 Мпкс ≈ 800 МиБ. - Один пользователь брокера на API и worker: разделение прав — лаба 7. Management-плагина нет, состояние
очереди —
rabbitmqctlв контейнере. - Сопоставление имён skeleton:
BROKER_URL_FILE→[broker]мостами изRABBITMQ_*;WORKER_CONCURRENCY→[worker] concurrency;JOB_MAX_ATTEMPTS→max_attempts;JOB_TIMEOUT_SECONDS→job_timeout_seconds;STAGING_RETENTION_SECONDS— поля пока нет, появляется с очисткой staging. - Цепочка LB: срок публикации 2 с: после тела 29 с <
timeout server30 с, наибольшая длительность загрузки 76 с < дренаж 90 с. Прежние значения LB не меняются. - Apply:
request_idзаписей задания ставит сервис обработки сразу после разбора сообщения (а неmain.py): разбор — его шаг, задача доставки своя, контекст не течёт.DROP— третий исходJobOutcomeрядом сACKиREQUEUEдизайна: сообщение не по схеме возвращать в очередь нельзя. Сообщение задания сattachment_idне своей строки считается неизвестным (ACK). Подробности — design, «Уточнения apply».
Вопросы
Вопросы преподавателю, переносятся в REPORT.md (tasks.md, задача 15.5). Прогон не останавливают: взята самая
строгая трактовка, которая проходит публичные тесты, контракт и тесты не менялись.
- Failed-вложение прикреплять нельзя (409), а повтор с тем же
Idempotency-Keyобязан вернуть тот же 201. Что отвечать на повтор сообщения, чьё вложение сталоfailedуже после отправки? Сделано: новое сообщение — 409, повтор с ключом — 201 с тем жеMessage. Другой ответ меняет одну веткуsend_messageи сценарийidempotency. contracts/attachment-states.md: «неуспешные и непривязанные исходники имеют документированный retention и cleanup» — без уровня рубрики, а вREADME.mdочистка относится к уровню 4. Сделано: на уровне 3 очистки нет, ограничение названо вREPORT.md, очистка иSTAGING_RETENTION_SECONDS— вpipeline-reliability. Другой ответ переносит задачу очистки на этот уровень; схема к ней готова.- Допустим ли на уровне 3 ответ 503 при недоступном брокере? Контракт требует 202 только после устойчивой передачи; на уровне 3 нет relay, поэтому намерение в БД само не доставится. Сделано: 503 с понятным отказом, на уровне 4 с relay станет 202. Другой ответ требует relay уже здесь.