Files
mtusi2026lab5/QUESTIONS.md
T
ricoromaandClaude Opus 5.5 ff1a83b6ff feat: process attachments asynchronously with RabbitMQ and a worker
Upload answers 202 after staging, a queued job in PostgreSQL and a broker
confirm; a separate worker publishes the original and a thumbnail with
bounded retries. Adds the job and variant tables, the broker service, the
worker S3 user, cleanup and reconcile support for staging and variants,
the failure stand with broker and worker, bench and driver updates.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
2026-10-31 06:48:20 +03:00

114 lines
11 KiB
Markdown
Raw Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
# Вопросы и решения лабы 5
Решения, принятые без пользователя, и вопросы, которые не блокируют работу.
Раздел на каждый change: `## <change>`, внутри «Решения» и «Вопросы».
Вопросы преподавателю дублируются в `REPORT.md`.
## Ответы пользователя перед прогоном (2026-10-31)
- Оценка — 5, трек 1 «Очередь под перегрузкой».
- Брокер — RabbitMQ 4.
- Без пользователя можно: коммиты на ветках `feat/<change>`, ff-merge в
`solution/bvt2301-safronov`, архивация, установка зависимостей и образов,
запуск стенда и замеров, в конце `git push` ветки решения в свой fork.
PR не открывать.
- Противоречие в контракте: брать самую строгую трактовку, которая проходит
публичные тесты, контракт и тесты не менять, записать решение и вопрос
преподавателю здесь и в `REPORT.md`, прогон не останавливать.
- Предупреждения о хосте, явно не влияющие на результат замера, прогон не
останавливают.
## Для пользователя после прогона
- Остался volume пробы `asyncprobe_rabbitmq_data` (стадия propose
`async-attachments`, контейнеров и сети нет). Агенту отказали в
`docker compose down -v`, поэтому прогон его не удалял. Удалить вручную:
`docker volume rm asyncprobe_rabbitmq_data`.
## Перенос из лабы 4
### Решения
- Три изменения по уровням рубрики: `async-attachments` (3),
`pipeline-reliability` (4), `track1-queue-overload` (5).
- `Makefile`, `.gitignore`, `.dockerignore` лабы 4 совпадают с новым skeleton
плюс свои секции, поэтому взяты целиком. `.env.example` — свой файл лабы 4:
новые имена skeleton (`BROKER_URL_FILE`, `WORKER_CONCURRENCY`,
`JOB_MAX_ATTEMPTS`, `JOB_TIMEOUT_SECONDS`, `STAGING_RETENTION_SECONDS`)
сопоставляет change `async-attachments`.
- `evidence/` не переносится: сверка покрытия `make student_test` красная по
`test_exclusion_evidence_exists`, пока файлы не сняты заново на стенде лабы 5
(последний шаг прогона).
- Commit «до» профилей `rollout`, `uploads` и `reconcile` стенда `bench/` —
commit переноса: коммитов лабы 4 в истории лабы 5 нет. Вариант «до» у
`uploads` и `reconcile` больше не показывает старое поведение, эти профили
остались как инструменты, их результаты — в отчёте лабы 4.
### Вопросы
Пока нет.
## async-attachments
Подробности и отвергнутые варианты — `openspec/changes/async-attachments/design.md`.
### Решения
- **Очередь — классическая durable**, а не quorum: на одном узле реплик нет, задержка на
пробе выше, счётчик доставок и at-least-once dead-lettering не нужны, реестр `failed` и
счёт попыток — в PostgreSQL (решение 4). Аргументов у очереди нет: DLX и пределы следующие
изменения ставят политиками.
- **Образ брокера — `rabbitmq:4.3.7`**, а не свежий 4.4.0; предел памяти задан явно: брокер не
видит лимит контейнера (проба: 4760 МиБ при лимите 512 МБ); `hostname` постоянный, иначе
пересозданный контейнер не находит данные в volume.
- **Staging — приватный префикс того же bucket**, `<база>/staging/<id>/original`. Сверка его не
видит: её префикс — `<база>/attachments/`. Конечный ключ оригинала назначается при вставке;
отдельная колонка `staging_key` оставляет очистку staging следующему изменению.
- **Запись намерения:** `queued` и задание — одна транзакция; это и есть будущий outbox
(`state = 'queued' AND published_at IS NULL`). Отдельной таблицы outbox и relay на этом уровне
нет.
- **Брокер недоступен — 503, не 202** (решение 3): без relay намерение никто не доставит. Отмена —
условной транзакцией: задание уже взято — 202, иначе вложение возвращается в `pending` и уходит
к уборщику. Разрыв COMMIT и publish назван в спеке, design и `REPORT.md`.
- **`/health/ready` — только PostgreSQL:** брокер и worker не входят, как S3 (решение 10). Иначе отказ
брокера вывел бы все реплики из LB.
- **Повтор — фиксированная пауза** (`[worker] retry_delay_seconds`) и новое сообщение с `attempt + 1`, а не
`nack`: контракт требует, чтобы `attempt` отражал управляемую попытку. Backoff с jitter — следующее
изменение. Каждая начатая попытка считается; при недоступном PostgreSQL записать нечего, задание ждёт в
очереди.
- **Коды:** `invalid_image`, `processing_failed` (объект staging отсутствует или испорчен), `retry_exhausted`.
Причина для оператора — `attachment_jobs.last_error_code` и журнал worker.
- **Порядок проверок сообщения:** неизвестное, чужое и `pending` — 404 до ключа; `failed` — 409 после захвата
ключа, с откатом. В списке есть и то и другое — 404.
- **Ключ эффекта** `(attachment_id, pipeline_version, variant)` — первичный ключ `attachment_variants`. Оригинал —
не строка этой таблицы: схема `Variant` контракта не знает имени `original`, его итог — поля самого вложения.
- **Thumbnail считается своим кодом,** а не `Image.thumbnail`: Pillow округляет к ближайшей пропорции, контракт
— вниз. Лимит worker 1 ГБ — по замеру: две задачи PNG RGBA на 40 Мпкс ≈ 800 МиБ.
- **Один пользователь брокера на API и worker:** разделение прав — лаба 7. Management-плагина нет, состояние
очереди — `rabbitmqctl` в контейнере.
- **Сопоставление имён skeleton:** `BROKER_URL_FILE` → `[broker]` мостами из `RABBITMQ_*`; `WORKER_CONCURRENCY` →
`[worker] concurrency`; `JOB_MAX_ATTEMPTS` → `max_attempts`; `JOB_TIMEOUT_SECONDS` → `job_timeout_seconds`;
`STAGING_RETENTION_SECONDS` — поля пока нет, появляется с очисткой staging.
- **Цепочка LB:** срок публикации 2 с: после тела 29 с < `timeout server` 30 с, наибольшая длительность загрузки 76 с
< дренаж 90 с. Прежние значения LB не меняются.
- **Apply:** `request_id` записей задания ставит сервис обработки сразу после разбора сообщения (а не `main.py`): разбор — его
шаг, задача доставки своя, контекст не течёт. `DROP` — третий исход `JobOutcome` рядом с `ACK` и `REQUEUE` дизайна: сообщение не
по схеме возвращать в очередь нельзя. Сообщение задания с `attachment_id` не своей строки считается неизвестным (`ACK`).
Подробности — design, «Уточнения apply».
### Вопросы
Вопросы преподавателю, переносятся в `REPORT.md` (`tasks.md`, задача 15.5). Прогон не останавливают: взята самая
строгая трактовка, которая проходит публичные тесты, контракт и тесты не менялись.
1. Failed-вложение прикреплять нельзя (409), а повтор с тем же `Idempotency-Key` обязан вернуть тот же 201. Что отвечать на
повтор сообщения, чьё вложение стало `failed` уже после отправки? Сделано: новое сообщение — 409, повтор с ключом — 201 с
тем же `Message`. Другой ответ меняет одну ветку `send_message` и сценарий `idempotency`.
2. `contracts/attachment-states.md`: «неуспешные и непривязанные исходники имеют документированный retention и cleanup» — без
уровня рубрики, а в `README.md` очистка относится к уровню 4. Сделано: на уровне 3 очистки нет, ограничение названо в
`REPORT.md`, очистка и `STAGING_RETENTION_SECONDS` — в `pipeline-reliability`. Другой ответ переносит задачу очистки на этот
уровень; схема к ней готова.
3. Допустим ли на уровне 3 ответ 503 при недоступном брокере? Контракт требует 202 только после устойчивой передачи; на уровне 3 нет
relay, поэтому намерение в БД само не доставится. Сделано: 503 с понятным отказом, на уровне 4 с relay станет 202. Другой ответ
требует relay уже здесь.