Files
mtusi2026lab5/QUESTIONS.md
T
ricoromaandClaude Opus 5.5 ff1a83b6ff feat: process attachments asynchronously with RabbitMQ and a worker
Upload answers 202 after staging, a queued job in PostgreSQL and a broker
confirm; a separate worker publishes the original and a thumbnail with
bounded retries. Adds the job and variant tables, the broker service, the
worker S3 user, cleanup and reconcile support for staging and variants,
the failure stand with broker and worker, bench and driver updates.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
2026-10-31 06:48:20 +03:00

11 KiB
Raw Blame History

Вопросы и решения лабы 5

Решения, принятые без пользователя, и вопросы, которые не блокируют работу. Раздел на каждый change: ## <change>, внутри «Решения» и «Вопросы». Вопросы преподавателю дублируются в REPORT.md.

Ответы пользователя перед прогоном (2026-10-31)

  • Оценка — 5, трек 1 «Очередь под перегрузкой».
  • Брокер — RabbitMQ 4.
  • Без пользователя можно: коммиты на ветках feat/<change>, ff-merge в solution/bvt2301-safronov, архивация, установка зависимостей и образов, запуск стенда и замеров, в конце git push ветки решения в свой fork. PR не открывать.
  • Противоречие в контракте: брать самую строгую трактовку, которая проходит публичные тесты, контракт и тесты не менять, записать решение и вопрос преподавателю здесь и в REPORT.md, прогон не останавливать.
  • Предупреждения о хосте, явно не влияющие на результат замера, прогон не останавливают.

Для пользователя после прогона

  • Остался volume пробы asyncprobe_rabbitmq_data (стадия propose async-attachments, контейнеров и сети нет). Агенту отказали в docker compose down -v, поэтому прогон его не удалял. Удалить вручную: docker volume rm asyncprobe_rabbitmq_data.

Перенос из лабы 4

Решения

  • Три изменения по уровням рубрики: async-attachments (3), pipeline-reliability (4), track1-queue-overload (5).
  • Makefile, .gitignore, .dockerignore лабы 4 совпадают с новым skeleton плюс свои секции, поэтому взяты целиком. .env.example — свой файл лабы 4: новые имена skeleton (BROKER_URL_FILE, WORKER_CONCURRENCY, JOB_MAX_ATTEMPTS, JOB_TIMEOUT_SECONDS, STAGING_RETENTION_SECONDS) сопоставляет change async-attachments.
  • evidence/ не переносится: сверка покрытия make student_test красная по test_exclusion_evidence_exists, пока файлы не сняты заново на стенде лабы 5 (последний шаг прогона).
  • Commit «до» профилей rollout, uploads и reconcile стенда bench/ — commit переноса: коммитов лабы 4 в истории лабы 5 нет. Вариант «до» у uploads и reconcile больше не показывает старое поведение, эти профили остались как инструменты, их результаты — в отчёте лабы 4.

Вопросы

Пока нет.

async-attachments

Подробности и отвергнутые варианты — openspec/changes/async-attachments/design.md.

Решения

  • Очередь — классическая durable, а не quorum: на одном узле реплик нет, задержка на пробе выше, счётчик доставок и at-least-once dead-lettering не нужны, реестр failed и счёт попыток — в PostgreSQL (решение 4). Аргументов у очереди нет: DLX и пределы следующие изменения ставят политиками.
  • Образ брокера — rabbitmq:4.3.7, а не свежий 4.4.0; предел памяти задан явно: брокер не видит лимит контейнера (проба: 4760 МиБ при лимите 512 МБ); hostname постоянный, иначе пересозданный контейнер не находит данные в volume.
  • Staging — приватный префикс того же bucket, <база>/staging/<id>/original. Сверка его не видит: её префикс — <база>/attachments/. Конечный ключ оригинала назначается при вставке; отдельная колонка staging_key оставляет очистку staging следующему изменению.
  • Запись намерения: queued и задание — одна транзакция; это и есть будущий outbox (state = 'queued' AND published_at IS NULL). Отдельной таблицы outbox и relay на этом уровне нет.
  • Брокер недоступен — 503, не 202 (решение 3): без relay намерение никто не доставит. Отмена — условной транзакцией: задание уже взято — 202, иначе вложение возвращается в pending и уходит к уборщику. Разрыв COMMIT и publish назван в спеке, design и REPORT.md.
  • /health/ready — только PostgreSQL: брокер и worker не входят, как S3 (решение 10). Иначе отказ брокера вывел бы все реплики из LB.
  • Повтор — фиксированная пауза ([worker] retry_delay_seconds) и новое сообщение с attempt + 1, а не nack: контракт требует, чтобы attempt отражал управляемую попытку. Backoff с jitter — следующее изменение. Каждая начатая попытка считается; при недоступном PostgreSQL записать нечего, задание ждёт в очереди.
  • Коды: invalid_image, processing_failed (объект staging отсутствует или испорчен), retry_exhausted. Причина для оператора — attachment_jobs.last_error_code и журнал worker.
  • Порядок проверок сообщения: неизвестное, чужое и pending — 404 до ключа; failed — 409 после захвата ключа, с откатом. В списке есть и то и другое — 404.
  • Ключ эффекта (attachment_id, pipeline_version, variant) — первичный ключ attachment_variants. Оригинал — не строка этой таблицы: схема Variant контракта не знает имени original, его итог — поля самого вложения.
  • Thumbnail считается своим кодом, а не Image.thumbnail: Pillow округляет к ближайшей пропорции, контракт — вниз. Лимит worker 1 ГБ — по замеру: две задачи PNG RGBA на 40 Мпкс ≈ 800 МиБ.
  • Один пользователь брокера на API и worker: разделение прав — лаба 7. Management-плагина нет, состояние очереди — rabbitmqctl в контейнере.
  • Сопоставление имён skeleton: BROKER_URL_FILE → [broker] мостами из RABBITMQ_*; WORKER_CONCURRENCY → [worker] concurrency; JOB_MAX_ATTEMPTS → max_attempts; JOB_TIMEOUT_SECONDS → job_timeout_seconds; STAGING_RETENTION_SECONDS — поля пока нет, появляется с очисткой staging.
  • Цепочка LB: срок публикации 2 с: после тела 29 с < timeout server 30 с, наибольшая длительность загрузки 76 с < дренаж 90 с. Прежние значения LB не меняются.
  • Apply: request_id записей задания ставит сервис обработки сразу после разбора сообщения (а не main.py): разбор — его шаг, задача доставки своя, контекст не течёт. DROP — третий исход JobOutcome рядом с ACK и REQUEUE дизайна: сообщение не по схеме возвращать в очередь нельзя. Сообщение задания с attachment_id не своей строки считается неизвестным (ACK). Подробности — design, «Уточнения apply».

Вопросы

Вопросы преподавателю, переносятся в REPORT.md (tasks.md, задача 15.5). Прогон не останавливают: взята самая строгая трактовка, которая проходит публичные тесты, контракт и тесты не менялись.

  1. Failed-вложение прикреплять нельзя (409), а повтор с тем же Idempotency-Key обязан вернуть тот же 201. Что отвечать на повтор сообщения, чьё вложение стало failed уже после отправки? Сделано: новое сообщение — 409, повтор с ключом — 201 с тем же Message. Другой ответ меняет одну ветку send_message и сценарий idempotency.
  2. contracts/attachment-states.md: «неуспешные и непривязанные исходники имеют документированный retention и cleanup» — без уровня рубрики, а в README.md очистка относится к уровню 4. Сделано: на уровне 3 очистки нет, ограничение названо в REPORT.md, очистка и STAGING_RETENTION_SECONDS — в pipeline-reliability. Другой ответ переносит задачу очистки на этот уровень; схема к ней готова.
  3. Допустим ли на уровне 3 ответ 503 при недоступном брокере? Контракт требует 202 только после устойчивой передачи; на уровне 3 нет relay, поэтому намерение в БД само не доставится. Сделано: 503 с понятным отказом, на уровне 4 с relay станет 202. Другой ответ требует relay уже здесь.