14 KiB
14 KiB
Вопросы и решения лабы 5
Решения, принятые без пользователя, и вопросы, которые не блокируют работу.
Раздел на каждый change: ## <change>, внутри «Решения» и «Вопросы».
Вопросы преподавателю дублируются в REPORT.md.
Ответы пользователя перед прогоном (2026-10-31)
- Оценка — 5, трек 1 «Очередь под перегрузкой».
- Брокер — RabbitMQ 4.
- Без пользователя можно: коммиты на ветках
feat/<change>, ff-merge вsolution/bvt2301-safronov, архивация, установка зависимостей и образов, запуск стенда и замеров, в концеgit pushветки решения в свой fork. PR не открывать. - Противоречие в контракте: брать самую строгую трактовку, которая проходит
публичные тесты, контракт и тесты не менять, записать решение и вопрос
преподавателю здесь и в
REPORT.md, прогон не останавливать. - Предупреждения о хосте, явно не влияющие на результат замера, прогон не останавливают.
Для пользователя после прогона
- Остался volume пробы
asyncprobe_rabbitmq_data(стадия proposeasync-attachments, контейнеров и сети нет). Агенту отказали вdocker compose down -v, поэтому прогон его не удалял. Удалить вручную:docker volume rm asyncprobe_rabbitmq_data.
Перенос из лабы 4
Решения
- Три изменения по уровням рубрики:
async-attachments(3),pipeline-reliability(4),track1-queue-overload(5). Makefile,.gitignore,.dockerignoreлабы 4 совпадают с новым skeleton плюс свои секции, поэтому взяты целиком..env.example— свой файл лабы 4: новые имена skeleton (BROKER_URL_FILE,WORKER_CONCURRENCY,JOB_MAX_ATTEMPTS,JOB_TIMEOUT_SECONDS,STAGING_RETENTION_SECONDS) сопоставляет changeasync-attachments.evidence/не переносится: сверка покрытияmake student_testкрасная поtest_exclusion_evidence_exists, пока файлы не сняты заново на стенде лабы 5 (последний шаг прогона).- Commit «до» профилей
rollout,uploadsиreconcileстендаbench/— commit переноса: коммитов лабы 4 в истории лабы 5 нет. Вариант «до» уuploadsиreconcileбольше не показывает старое поведение, эти профили остались как инструменты, их результаты — в отчёте лабы 4.
Вопросы
Пока нет.
async-attachments
Подробности и отвергнутые варианты — openspec/changes/async-attachments/design.md.
Решения
- Очередь — классическая durable, а не quorum: на одном узле реплик нет, задержка на
пробе выше, счётчик доставок и at-least-once dead-lettering не нужны, реестр
failedи счёт попыток — в PostgreSQL (решение 4). Аргументов у очереди нет: DLX и пределы следующие изменения ставят политиками. - Образ брокера —
rabbitmq:4.3.7, а не свежий 4.4.0; предел памяти задан явно: брокер не видит лимит контейнера (проба: 4760 МиБ при лимите 512 МБ);hostnameпостоянный, иначе пересозданный контейнер не находит данные в volume. - Staging — приватный префикс того же bucket,
<база>/staging/<id>/original. Сверка его не видит: её префикс —<база>/attachments/. Конечный ключ оригинала назначается при вставке; отдельная колонкаstaging_keyоставляет очистку staging следующему изменению. - Запись намерения:
queuedи задание — одна транзакция; это и есть будущий outbox (state = 'queued' AND published_at IS NULL). Отдельной таблицы outbox и relay на этом уровне нет. - Брокер недоступен — 503, не 202 (решение 3): без relay намерение никто не доставит. Отмена —
условной транзакцией: задание уже взято — 202, иначе вложение возвращается в
pendingи уходит к уборщику. Разрыв COMMIT и publish назван в спеке, design иREPORT.md. /health/ready— только PostgreSQL: брокер и worker не входят, как S3 (решение 10). Иначе отказ брокера вывел бы все реплики из LB.- Повтор — фиксированная пауза (
[worker] retry_delay_seconds) и новое сообщение сattempt + 1, а неnack: контракт требует, чтобыattemptотражал управляемую попытку. Backoff с jitter — следующее изменение. Каждая начатая попытка считается; при недоступном PostgreSQL записать нечего, задание ждёт в очереди. - Коды:
invalid_image,processing_failed(объект staging отсутствует или испорчен),retry_exhausted. Причина для оператора —attachment_jobs.last_error_codeи журнал worker. - Порядок проверок сообщения: неизвестное, чужое и
pending— 404 до ключа;failed— 409 после захвата ключа, с откатом. В списке есть и то и другое — 404. - Ключ эффекта
(attachment_id, pipeline_version, variant)— первичный ключattachment_variants. Оригинал — не строка этой таблицы: схемаVariantконтракта не знает имениoriginal, его итог — поля самого вложения. - Thumbnail считается своим кодом, а не
Image.thumbnail: Pillow округляет к ближайшей пропорции, контракт — вниз. Лимит worker 1 ГБ — по замеру: две задачи PNG RGBA на 40 Мпкс ≈ 800 МиБ. - Один пользователь брокера на API и worker: разделение прав — лаба 7. Management-плагина нет, состояние
очереди —
rabbitmqctlв контейнере. - Сопоставление имён skeleton:
BROKER_URL_FILE→[broker]мостами изRABBITMQ_*;WORKER_CONCURRENCY→[worker] concurrency;JOB_MAX_ATTEMPTS→max_attempts;JOB_TIMEOUT_SECONDS→job_timeout_seconds;STAGING_RETENTION_SECONDS— поля пока нет, появляется с очисткой staging. - Цепочка LB: срок публикации 2 с: после тела 29 с <
timeout server30 с, наибольшая длительность загрузки 76 с < дренаж 90 с. Прежние значения LB не меняются. - Apply:
request_idзаписей задания ставит сервис обработки сразу после разбора сообщения (а неmain.py): разбор — его шаг, задача доставки своя, контекст не течёт.DROP— третий исходJobOutcomeрядом сACKиREQUEUEдизайна: сообщение не по схеме возвращать в очередь нельзя. Сообщение задания сattachment_idне своей строки считается неизвестным (ACK). Подробности — design, «Уточнения apply». - Группа 15: снят ещё
make bench_uploads(меткаbaseline): на неё ссылаются два исключения сверки, а в плане снятия её не было. Новые файлыevidence/на время замеров вынесены из дерева, чтобы паспорта не получили ложныйdirty: true. Design, «Уточнения apply», п. 16–17. - Найдено при снятии, не исправлено (код в группе 15 не меняется, запись в
KNOWN_ISSUES.md— за основной сессией): в записи «Uploaded attachment» полеcontent_typeпишется как<ImageType.PNG: 'image/png'>, а неimage/png(src/core/services/attachment.py,_store;evidence/worker/logs.md). Секретов там нет, запись читается хуже.
Предложения на потом
Найдено проверкой async-attachments, код src/ здесь не менялся: evidence снят на ff1a83b. Берёт pipeline-reliability.
- S5, срок закрытия worker: комментарий
_CLOSE_TIMEOUT_SECONDS(src/worker/main.py:41-43) обещает сумму меньше срока остановки контейнера 10 с, а худший случай — 8 + 5 × 0,5 = 10,5 с, приgraceful_shutdown_seconds9 — 11,5 с. Либо уменьшить составляющие, либо поправить комментарий и верхнюю границу настройки. - S6, пауза повтора и сигнал: сигнал прерывает паузу и даёт
REQUEUE, а claim не смотритnext_attempt_at: перезапущенный worker начнёт попытку раньше паузы (attachment_processing.py). - W2, дубль после
busy:redeliveredстоит и послеnack(requeue=True), поэтому при попытке дольше паузы дубль возьмёт задание параллельно живой попытке и потратит её номер, а на последней попытке дастretry_exhausted, пока первая ещё идёт (attachment_processing.py:230; design, решение 7). Эффект не дублируется. Закрывается lease: живую попытку отличать поlease_expires_at, а не по флагу. - Спек
load-benchmark, «Профиль сверки»: там всё ещё «на образе до change», аreconcile_before=04f8592: та же неточность, что исправлена у профиля загрузок. Требования нет в дельте этого change, поэтому оно здесь не менялось. bench/run.py:1744, 2941: в паспорт пишется.Imageкакidобраза, а сравнивать образы надо по меткеcom.docker.compose.image(.claude/rules/docker.md).
Вопросы
Вопросы преподавателю, переносятся в REPORT.md (tasks.md, задача 15.5). Прогон не останавливают: взята самая
строгая трактовка, которая проходит публичные тесты, контракт и тесты не менялись.
- Failed-вложение прикреплять нельзя (409), а повтор с тем же
Idempotency-Keyобязан вернуть тот же 201. Что отвечать на повтор сообщения, чьё вложение сталоfailedуже после отправки? Сделано: новое сообщение — 409, повтор с ключом — 201 с тем жеMessage. Другой ответ меняет одну веткуsend_messageи сценарийidempotency. contracts/attachment-states.md: «неуспешные и непривязанные исходники имеют документированный retention и cleanup» — без уровня рубрики, а вREADME.mdочистка относится к уровню 4. Сделано: на уровне 3 очистки нет, ограничение названо вREPORT.md, очистка иSTAGING_RETENTION_SECONDS— вpipeline-reliability. Другой ответ переносит задачу очистки на этот уровень; схема к ней готова.- Допустим ли на уровне 3 ответ 503 при недоступном брокере? Контракт требует 202 только после устойчивой передачи; на уровне 3 нет relay, поэтому намерение в БД само не доставится. Сделано: 503 с понятным отказом, на уровне 4 с relay станет 202. Другой ответ требует relay уже здесь.