Files
mtusi2026lab5/QUESTIONS.md
T
2026-10-31 09:13:33 +03:00

14 KiB
Raw Blame History

Вопросы и решения лабы 5

Решения, принятые без пользователя, и вопросы, которые не блокируют работу. Раздел на каждый change: ## <change>, внутри «Решения» и «Вопросы». Вопросы преподавателю дублируются в REPORT.md.

Ответы пользователя перед прогоном (2026-10-31)

  • Оценка — 5, трек 1 «Очередь под перегрузкой».
  • Брокер — RabbitMQ 4.
  • Без пользователя можно: коммиты на ветках feat/<change>, ff-merge в solution/bvt2301-safronov, архивация, установка зависимостей и образов, запуск стенда и замеров, в конце git push ветки решения в свой fork. PR не открывать.
  • Противоречие в контракте: брать самую строгую трактовку, которая проходит публичные тесты, контракт и тесты не менять, записать решение и вопрос преподавателю здесь и в REPORT.md, прогон не останавливать.
  • Предупреждения о хосте, явно не влияющие на результат замера, прогон не останавливают.

Для пользователя после прогона

  • Остался volume пробы asyncprobe_rabbitmq_data (стадия propose async-attachments, контейнеров и сети нет). Агенту отказали в docker compose down -v, поэтому прогон его не удалял. Удалить вручную: docker volume rm asyncprobe_rabbitmq_data.

Перенос из лабы 4

Решения

  • Три изменения по уровням рубрики: async-attachments (3), pipeline-reliability (4), track1-queue-overload (5).
  • Makefile, .gitignore, .dockerignore лабы 4 совпадают с новым skeleton плюс свои секции, поэтому взяты целиком. .env.example — свой файл лабы 4: новые имена skeleton (BROKER_URL_FILE, WORKER_CONCURRENCY, JOB_MAX_ATTEMPTS, JOB_TIMEOUT_SECONDS, STAGING_RETENTION_SECONDS) сопоставляет change async-attachments.
  • evidence/ не переносится: сверка покрытия make student_test красная по test_exclusion_evidence_exists, пока файлы не сняты заново на стенде лабы 5 (последний шаг прогона).
  • Commit «до» профилей rollout, uploads и reconcile стенда bench/ — commit переноса: коммитов лабы 4 в истории лабы 5 нет. Вариант «до» у uploads и reconcile больше не показывает старое поведение, эти профили остались как инструменты, их результаты — в отчёте лабы 4.

Вопросы

Пока нет.

async-attachments

Подробности и отвергнутые варианты — openspec/changes/async-attachments/design.md.

Решения

  • Очередь — классическая durable, а не quorum: на одном узле реплик нет, задержка на пробе выше, счётчик доставок и at-least-once dead-lettering не нужны, реестр failed и счёт попыток — в PostgreSQL (решение 4). Аргументов у очереди нет: DLX и пределы следующие изменения ставят политиками.
  • Образ брокера — rabbitmq:4.3.7, а не свежий 4.4.0; предел памяти задан явно: брокер не видит лимит контейнера (проба: 4760 МиБ при лимите 512 МБ); hostname постоянный, иначе пересозданный контейнер не находит данные в volume.
  • Staging — приватный префикс того же bucket, <база>/staging/<id>/original. Сверка его не видит: её префикс — <база>/attachments/. Конечный ключ оригинала назначается при вставке; отдельная колонка staging_key оставляет очистку staging следующему изменению.
  • Запись намерения: queued и задание — одна транзакция; это и есть будущий outbox (state = 'queued' AND published_at IS NULL). Отдельной таблицы outbox и relay на этом уровне нет.
  • Брокер недоступен — 503, не 202 (решение 3): без relay намерение никто не доставит. Отмена — условной транзакцией: задание уже взято — 202, иначе вложение возвращается в pending и уходит к уборщику. Разрыв COMMIT и publish назван в спеке, design и REPORT.md.
  • /health/ready — только PostgreSQL: брокер и worker не входят, как S3 (решение 10). Иначе отказ брокера вывел бы все реплики из LB.
  • Повтор — фиксированная пауза ([worker] retry_delay_seconds) и новое сообщение с attempt + 1, а не nack: контракт требует, чтобы attempt отражал управляемую попытку. Backoff с jitter — следующее изменение. Каждая начатая попытка считается; при недоступном PostgreSQL записать нечего, задание ждёт в очереди.
  • Коды: invalid_image, processing_failed (объект staging отсутствует или испорчен), retry_exhausted. Причина для оператора — attachment_jobs.last_error_code и журнал worker.
  • Порядок проверок сообщения: неизвестное, чужое и pending — 404 до ключа; failed — 409 после захвата ключа, с откатом. В списке есть и то и другое — 404.
  • Ключ эффекта (attachment_id, pipeline_version, variant) — первичный ключ attachment_variants. Оригинал — не строка этой таблицы: схема Variant контракта не знает имени original, его итог — поля самого вложения.
  • Thumbnail считается своим кодом, а не Image.thumbnail: Pillow округляет к ближайшей пропорции, контракт — вниз. Лимит worker 1 ГБ — по замеру: две задачи PNG RGBA на 40 Мпкс ≈ 800 МиБ.
  • Один пользователь брокера на API и worker: разделение прав — лаба 7. Management-плагина нет, состояние очереди — rabbitmqctl в контейнере.
  • Сопоставление имён skeleton: BROKER_URL_FILE → [broker] мостами из RABBITMQ_*; WORKER_CONCURRENCY → [worker] concurrency; JOB_MAX_ATTEMPTS → max_attempts; JOB_TIMEOUT_SECONDS → job_timeout_seconds; STAGING_RETENTION_SECONDS — поля пока нет, появляется с очисткой staging.
  • Цепочка LB: срок публикации 2 с: после тела 29 с < timeout server 30 с, наибольшая длительность загрузки 76 с < дренаж 90 с. Прежние значения LB не меняются.
  • Apply: request_id записей задания ставит сервис обработки сразу после разбора сообщения (а не main.py): разбор — его шаг, задача доставки своя, контекст не течёт. DROP — третий исход JobOutcome рядом с ACK и REQUEUE дизайна: сообщение не по схеме возвращать в очередь нельзя. Сообщение задания с attachment_id не своей строки считается неизвестным (ACK). Подробности — design, «Уточнения apply».
  • Группа 15: снят ещё make bench_uploads (метка baseline): на неё ссылаются два исключения сверки, а в плане снятия её не было. Новые файлы evidence/ на время замеров вынесены из дерева, чтобы паспорта не получили ложный dirty: true. Design, «Уточнения apply», п. 16–17.
  • Найдено при снятии, не исправлено (код в группе 15 не меняется, запись в KNOWN_ISSUES.md — за основной сессией): в записи «Uploaded attachment» поле content_type пишется как <ImageType.PNG: 'image/png'>, а не image/png (src/core/services/attachment.py, _store; evidence/worker/logs.md). Секретов там нет, запись читается хуже.

Предложения на потом

Найдено проверкой async-attachments, код src/ здесь не менялся: evidence снят на ff1a83b. Берёт pipeline-reliability.

  • S5, срок закрытия worker: комментарий _CLOSE_TIMEOUT_SECONDS (src/worker/main.py:41-43) обещает сумму меньше срока остановки контейнера 10 с, а худший случай — 8 + 5 × 0,5 = 10,5 с, при graceful_shutdown_seconds 9 — 11,5 с. Либо уменьшить составляющие, либо поправить комментарий и верхнюю границу настройки.
  • S6, пауза повтора и сигнал: сигнал прерывает паузу и даёт REQUEUE, а claim не смотрит next_attempt_at: перезапущенный worker начнёт попытку раньше паузы (attachment_processing.py).
  • W2, дубль после busy: redelivered стоит и после nack(requeue=True), поэтому при попытке дольше паузы дубль возьмёт задание параллельно живой попытке и потратит её номер, а на последней попытке даст retry_exhausted, пока первая ещё идёт (attachment_processing.py:230; design, решение 7). Эффект не дублируется. Закрывается lease: живую попытку отличать по lease_expires_at, а не по флагу.
  • Спек load-benchmark, «Профиль сверки»: там всё ещё «на образе до change», а reconcile_before = 04f8592: та же неточность, что исправлена у профиля загрузок. Требования нет в дельте этого change, поэтому оно здесь не менялось.
  • bench/run.py:1744, 2941: в паспорт пишется .Image как id образа, а сравнивать образы надо по метке com.docker.compose.image (.claude/rules/docker.md).

Вопросы

Вопросы преподавателю, переносятся в REPORT.md (tasks.md, задача 15.5). Прогон не останавливают: взята самая строгая трактовка, которая проходит публичные тесты, контракт и тесты не менялись.

  1. Failed-вложение прикреплять нельзя (409), а повтор с тем же Idempotency-Key обязан вернуть тот же 201. Что отвечать на повтор сообщения, чьё вложение стало failed уже после отправки? Сделано: новое сообщение — 409, повтор с ключом — 201 с тем же Message. Другой ответ меняет одну ветку send_message и сценарий idempotency.
  2. contracts/attachment-states.md: «неуспешные и непривязанные исходники имеют документированный retention и cleanup» — без уровня рубрики, а в README.md очистка относится к уровню 4. Сделано: на уровне 3 очистки нет, ограничение названо в REPORT.md, очистка и STAGING_RETENTION_SECONDS — в pipeline-reliability. Другой ответ переносит задачу очистки на этот уровень; схема к ней готова.
  3. Допустим ли на уровне 3 ответ 503 при недоступном брокере? Контракт требует 202 только после устойчивой передачи; на уровне 3 нет relay, поэтому намерение в БД само не доставится. Сделано: 503 с понятным отказом, на уровне 4 с relay станет 202. Другой ответ требует relay уже здесь.