# Вопросы и решения лабы 5 Решения, принятые без пользователя, и вопросы, которые не блокируют работу. Раздел на каждый change: `## `, внутри «Решения» и «Вопросы». Вопросы преподавателю дублируются в `REPORT.md`. ## Ответы пользователя перед прогоном (2026-10-31) - Оценка — 5, трек 1 «Очередь под перегрузкой». - Брокер — RabbitMQ 4. - Без пользователя можно: коммиты на ветках `feat/`, ff-merge в `solution/bvt2301-safronov`, архивация, установка зависимостей и образов, запуск стенда и замеров, в конце `git push` ветки решения в свой fork. PR не открывать. - Противоречие в контракте: брать самую строгую трактовку, которая проходит публичные тесты, контракт и тесты не менять, записать решение и вопрос преподавателю здесь и в `REPORT.md`, прогон не останавливать. - Предупреждения о хосте, явно не влияющие на результат замера, прогон не останавливают. ## Ответы пользователя во время прогона (2026-10-31) - Паттерн Unit of Work входит в лабу: полный вариант для всех сервисов (API, worker, relay, уборщик, replay): сервисы получают UoW вместо `AsyncSession` и `db_scope`, repo доступны через него. Поведение и контракт не меняются. - UoW — полноценно по Cosmic Python (указание пользователя). Прогон понимает это как главы 2 и 6: абстрактные repo и UoW, реализации на SQLAlchemy, `async with uow` в сервисе, откат при выходе без `commit`, фейки и быстрые тесты сервисов на них. Фейковые тесты — новый каталог вне `student-tests/`, правило black-box там остаётся. Не входят: доменная модель с classical mapping, агрегаты, события и message bus. - Порядок: отдельный change `unit-of-work` после архивации `pipeline-reliability` и до `track1-queue-overload`: трек 1 измеряет итоговый код. ## Для пользователя после прогона - Остался volume пробы `asyncprobe_rabbitmq_data` (стадия propose `async-attachments`, контейнеров и сети нет). Агенту отказали в `docker compose down -v`, поэтому прогон его не удалял. Удалить вручную: `docker volume rm asyncprobe_rabbitmq_data`. - Остались volumes проб и временных проектов этого прогона: `bootprobe_s3_data`, `mtusi-lab5-rs_postgres_data`, `mtusi-lab5-rs_s3_data`, `mtusi-rsig_postgres_data`, `mtusi-rsig_rabbitmq_data`, `mtusi-rsig_s3_data`. Прогон их не удалял. Перед удалением убедиться, что контейнеров на них нет (`docker ps -a --filter volume=<имя>`), затем `docker volume rm <имя>`. - На хосте 150 анонимных volumes. Чьи они, не проверялось, часть может быть чужой, поэтому `docker volume prune` без просмотра запускать не стоит. ## Перенос из лабы 4 ### Решения - Три изменения по уровням рубрики: `async-attachments` (3), `pipeline-reliability` (4), `track1-queue-overload` (5). - `Makefile`, `.gitignore`, `.dockerignore` лабы 4 совпадают с новым skeleton плюс свои секции, поэтому взяты целиком. `.env.example` — свой файл лабы 4: новые имена skeleton (`BROKER_URL_FILE`, `WORKER_CONCURRENCY`, `JOB_MAX_ATTEMPTS`, `JOB_TIMEOUT_SECONDS`, `STAGING_RETENTION_SECONDS`) сопоставляет change `async-attachments`. - `evidence/` не переносится: сверка покрытия `make student_test` красная по `test_exclusion_evidence_exists`, пока файлы не сняты заново на стенде лабы 5 (последний шаг прогона). - Commit «до» профилей `rollout`, `uploads` и `reconcile` стенда `bench/` — commit переноса: коммитов лабы 4 в истории лабы 5 нет. Вариант «до» у `uploads` и `reconcile` больше не показывает старое поведение, эти профили остались как инструменты, их результаты — в отчёте лабы 4. ### Вопросы Пока нет. ## async-attachments Подробности и отвергнутые варианты — `openspec/changes/archive/2026-10-31-async-attachments/design.md`. ### Решения - **Очередь — классическая durable**, а не quorum: на одном узле реплик нет, задержка на пробе выше, счётчик доставок и at-least-once dead-lettering не нужны, реестр `failed` и счёт попыток — в PostgreSQL (решение 4). Аргументов у очереди нет: DLX и пределы следующие изменения ставят политиками. - **Образ брокера — `rabbitmq:4.3.7`**, а не свежий 4.4.0; предел памяти задан явно: брокер не видит лимит контейнера (проба: 4760 МиБ при лимите 512 МБ); `hostname` постоянный, иначе пересозданный контейнер не находит данные в volume. - **Staging — приватный префикс того же bucket**, `<база>/staging//original`. Сверка его не видит: её префикс — `<база>/attachments/`. Конечный ключ оригинала назначается при вставке; отдельная колонка `staging_key` оставляет очистку staging следующему изменению. - **Запись намерения:** `queued` и задание — одна транзакция; это и есть будущий outbox (`state = 'queued' AND published_at IS NULL`). Отдельной таблицы outbox и relay на этом уровне нет. - **Брокер недоступен — 503, не 202** (решение 3): без relay намерение никто не доставит. Отмена — условной транзакцией: задание уже взято — 202, иначе вложение возвращается в `pending` и уходит к уборщику. Разрыв COMMIT и publish назван в спеке, design и `REPORT.md`. - **`/health/ready` — только PostgreSQL:** брокер и worker не входят, как S3 (решение 10). Иначе отказ брокера вывел бы все реплики из LB. - **Повтор — фиксированная пауза** (`[worker] retry_delay_seconds`) и новое сообщение с `attempt + 1`, а не `nack`: контракт требует, чтобы `attempt` отражал управляемую попытку. Backoff с jitter — следующее изменение. Каждая начатая попытка считается; при недоступном PostgreSQL записать нечего, задание ждёт в очереди. - **Коды:** `invalid_image`, `processing_failed` (объект staging отсутствует или испорчен), `retry_exhausted`. Причина для оператора — `attachment_jobs.last_error_code` и журнал worker. - **Порядок проверок сообщения:** неизвестное, чужое и `pending` — 404 до ключа; `failed` — 409 после захвата ключа, с откатом. В списке есть и то и другое — 404. - **Ключ эффекта** `(attachment_id, pipeline_version, variant)` — первичный ключ `attachment_variants`. Оригинал — не строка этой таблицы: схема `Variant` контракта не знает имени `original`, его итог — поля самого вложения. - **Thumbnail считается своим кодом,** а не `Image.thumbnail`: Pillow округляет к ближайшей пропорции, контракт — вниз. Лимит worker 1 ГБ — по замеру: две задачи PNG RGBA на 40 Мпкс ≈ 800 МиБ. - **Один пользователь брокера на API и worker:** разделение прав — лаба 7. Management-плагина нет, состояние очереди — `rabbitmqctl` в контейнере. - **Сопоставление имён skeleton:** `BROKER_URL_FILE` → `[broker]` мостами из `RABBITMQ_*`; `WORKER_CONCURRENCY` → `[worker] concurrency`; `JOB_MAX_ATTEMPTS` → `max_attempts`; `JOB_TIMEOUT_SECONDS` → `job_timeout_seconds`; `STAGING_RETENTION_SECONDS` — поля пока нет, появляется с очисткой staging. - **Цепочка LB:** срок публикации 2 с: после тела 29 с < `timeout server` 30 с, наибольшая длительность загрузки 76 с < дренаж 90 с. Прежние значения LB не меняются. - **Apply:** `request_id` записей задания ставит сервис обработки сразу после разбора сообщения (а не `main.py`): разбор — его шаг, задача доставки своя, контекст не течёт. `DROP` — третий исход `JobOutcome` рядом с `ACK` и `REQUEUE` дизайна: сообщение не по схеме возвращать в очередь нельзя. Сообщение задания с `attachment_id` не своей строки считается неизвестным (`ACK`). Подробности — design, «Уточнения apply». - **Группа 15:** снят ещё `make bench_uploads` (метка `baseline`): на неё ссылаются два исключения сверки, а в плане снятия её не было. Новые файлы `evidence/` на время замеров вынесены из дерева, чтобы паспорта не получили ложный `dirty: true`. Design, «Уточнения apply», п. 16–17. - **Найдено при снятии, не исправлено** (код в группе 15 не меняется, запись в `KNOWN_ISSUES.md` — за основной сессией): в записи «Uploaded attachment» поле `content_type` пишется как ``, а не `image/png` (`src/core/services/attachment.py`, `_store`; `evidence/worker/logs.md`). Секретов там нет, запись читается хуже. ### Предложения на потом Найдено проверкой `async-attachments`, код `src/` здесь не менялся: evidence снят на `ff1a83b`. Все пять закрыты изменением `pipeline-reliability` (S5, S6, W2 — кодом worker; два последних пункта — дельтой `load-benchmark` и `bench/run.py`). - **S5, срок закрытия worker:** комментарий `_CLOSE_TIMEOUT_SECONDS` (`src/worker/main.py:41-43`) обещает сумму меньше срока остановки контейнера 10 с, а худший случай — 8 + 5 × 0,5 = 10,5 с, при `graceful_shutdown_seconds` 9 — 11,5 с. Либо уменьшить составляющие, либо поправить комментарий и верхнюю границу настройки. - **S6, пауза повтора и сигнал:** сигнал прерывает паузу и даёт `REQUEUE`, а claim не смотрит `next_attempt_at`: перезапущенный worker начнёт попытку раньше паузы (`attachment_processing.py`). - **W2, дубль после `busy`:** `redelivered` стоит и после `nack(requeue=True)`, поэтому при попытке дольше паузы дубль возьмёт задание параллельно живой попытке и потратит её номер, а на последней попытке даст `retry_exhausted`, пока первая ещё идёт (`attachment_processing.py:230`; design, решение 7). Эффект не дублируется. Закрывается lease: живую попытку отличать по `lease_expires_at`, а не по флагу. - **Спек `load-benchmark`, «Профиль сверки»:** там всё ещё «на образе до change», а `reconcile_before` = `04f8592`: та же неточность, что исправлена у профиля загрузок. Требования нет в дельте этого change, поэтому оно здесь не менялось. - **`bench/run.py:1744, 2941`:** в паспорт пишется `.Image` как `id` образа, а сравнивать образы надо по метке `com.docker.compose.image` (`.claude/rules/docker.md`). ### Вопросы Вопросы преподавателю, переносятся в `REPORT.md` (`tasks.md`, задача 15.5). Прогон не останавливают: взята самая строгая трактовка, которая проходит публичные тесты, контракт и тесты не менялись. 1. Failed-вложение прикреплять нельзя (409), а повтор с тем же `Idempotency-Key` обязан вернуть тот же 201. Что отвечать на повтор сообщения, чьё вложение стало `failed` уже после отправки? Сделано: новое сообщение — 409, повтор с ключом — 201 с тем же `Message`. Другой ответ меняет одну ветку `send_message` и сценарий `idempotency`. 2. `contracts/attachment-states.md`: «неуспешные и непривязанные исходники имеют документированный retention и cleanup» — без уровня рубрики, а в `README.md` очистка относится к уровню 4. Сделано: на уровне 3 очистки нет, ограничение названо в `REPORT.md`, очистка и `STAGING_RETENTION_SECONDS` — в `pipeline-reliability`. Другой ответ переносит задачу очистки на этот уровень; схема к ней готова. 3. Допустим ли на уровне 3 ответ 503 при недоступном брокере? Контракт требует 202 только после устойчивой передачи; на уровне 3 нет relay, поэтому намерение в БД само не доставится. Сделано: 503 с понятным отказом, на уровне 4 с relay станет 202. Другой ответ требует relay уже здесь. ## pipeline-reliability Подробности и отвергнутые варианты — `openspec/changes/pipeline-reliability/design.md`; пробы — его таблица «Пробы» (проект compose `plprobe`, volumes не создавались, после проб ничего не осталось). ### Решения - **Вопросы №2 и №3 раздела `async-attachments` закрывает это изменение.** №3: отказ брокера больше не даёт 503, на загрузке 503 только от S3 и PostgreSQL; реплики API вообще не обращаются к брокеру и не получают его пароль. №2: срок хранения `[cleaner] staging_retention_seconds`, 86400 с — значение из `.env.example` skeleton. - **Relay — отдельный сервис** на образе API (`python -m src.relay`, 0,25 CPU / 256 МБ, пул 1), а не задача реплик, worker или уборщика: остановка worker на защите не должна останавливать публикацию, плановая сверка уборщика не должна её задерживать. Намерения — те же строки `attachment_jobs`, отдельной таблицы outbox нет. - **Публикация внутри транзакции** — исключение из правила «брокера в транзакции нет», как DELETE уборщика: `FOR UPDATE SKIP LOCKED` на пакет и есть защита двух relay от дублей. Срок 2 с меньше срока шага 6 с и простоя транзакции 10 с. - **Опрос 0,25 с, а не LISTEN/NOTIFY:** опрос всё равно нужен для сроков, а пустая выборка стоит 0,05 мс (проба). - **Сообщение — подсказка, истина в строке задания.** Worker больше не публикует и не ждёт паузу в месте конкуренции: следующую попытку публикует relay по `next_attempt_at`. Дубль при живой аренде и сообщение раньше срока подтверждаются без эффекта. Это закрывает W2 и S6. - **Аренда без пульса:** срок = `job_timeout_seconds` + `lease_margin_seconds` (70 с). Попытка теперь жёстко ограничена сроком, поэтому истёкшая аренда значит «мёртв или заморожен». Цена — после KILL worker следующая попытка ждёт до 70 с. - **Fencing номером попытки:** результат прежней попытки больше не принимается (на уровне 3 принимался). Поэтому номер `attempt` монотонен, а бюджет после replay — колонка `attempt_base`. - **Backoff:** случайная величина из `[d / 2, d]`, `d = min(300, 5 × 2^(N−1))`. Полный jitter отвергнут: нижняя граница суммы пауз стремилась бы к нулю, и рестарт S3 (~25 с) мог бы исчерпать попытки; сейчас сумма 37,5–75 с. - **Реестр `failed` — в PostgreSQL, DLQ брокера нет:** всё принятое живёт в БД, а сообщение не по схеме работы не несёт. Replay — операторская команда `make replay` (dry-run по умолчанию, с `--apply` выбор обязателен), аудит — таблица `attachment_job_replays`. - **Декодирование — новый процесс на задание:** без секретов в окружении, с `RLIMIT_AS`, `RLIMIT_CPU` и сроком. Проба нашла JPEG в пределах контракта, который не декодируется за 60 с: 10 MiB повторённых сканов. Цена — ~100 мс CPU на маленьком файле; forkserver (9 мс) отвергнут сейчас, граница — один модуль, если трек 1 покажет необходимость. - **Лимиты по умолчанию:** память 450 МиБ (наибольший `VmPeak` на пробе 417), CPU 15 с (наибольшее законное 0,55 с), срок 40 с, меньше срока попытки. Лимит памяти не действует на хосте macOS: `setrlimit` отказывает, в журнале это видно. - **Новых значений `error_code` нет:** лимиты дают `invalid_image`, причина — в `last_error_code`. Реплика прежней версии упала бы на незнакомом значении enum. - **Варианты:** `thumbnail` и `crop` — JPEG, `quality` 85; `optimized` — WebP, `quality` 80, `method` 4 (`method` 6 на пробе в 3,5 раза дольше без выигрыша), без EXIF, XMP и ICC. Crop из основы 1280 только при короткой стороне не меньше 256, иначе из декодированного: у 5000 × 10 иначе квадрат в 2 px. Профиль ICC отбрасывается, ограничение в отчёте. - **Staging удаляет уборщик, не worker:** право удаления у него уже есть, а worker читает и пишет весь bucket. Цена — объект живёт до следующего прохода, 60 с. - **Сверка** видит объекты staging: `orphan_staging` с порогом срока хранения, а не grace: база, восстановленная из копии, иначе быстро сделала бы staging живых строк «объектами без метаданных». Наличие объектов вариантов не проверяет: действия нет, рубрика не требует; ограничение остаётся в отчёте. - **Точек сбоя в коде нет:** самое узкое окно «после COMMIT до ack» снимается снаружи: отложенный триггер, `pg_stat_activity`, `docker kill -s STOP`, `docker kill` (проба). - **Остановка worker (S5):** верхняя граница `graceful_shutdown_seconds` — 8, закрытие клиентов одним сроком, худший случай 9,5 с. - **`bench/`:** профиль загрузок больше не запускает брокер, `Profile.rollout_from` → `7f38948`, образ в паспорте — метка `com.docker.compose.image`. - **Сценарии «Брокер не подтвердил задание» и «Загрузка без подтверждения брокера убрана» сохранены именем:** `openspec validate --strict` не даёт убрать сценарий правкой дельты. Первый теперь про 202 при остановленном брокере, второй — про реплику прежней версии на время замены. - **Решения apply (подробно — design, «Уточнения apply»):** у `make replay` `--attachment-id` и фильтр по коду или причине вместе нельзя (код 2); `FOR NO KEY UPDATE` и ack после фиксации проверяются пробой блокировки строки и счётчиком `messages_unacknowledged`: прежний вид тестов этих регрессий не замечал; откат реплик на прежний образ — с `infra/rollback/broker.compose.yml`, без него загрузка 503; зависший worker в тесте — отдельный процесс с длинными сроками и `expire-lease`, иначе его прерывал бы таймер, а не fencing. - **Удалено при коммите:** `src/utils/thumbnail.py` и `src/infra/broker/instance.py` без импортов удалила основная сессия, вошло в `e2a6427`. - **Группа 15:** метка `bench_rollout` снята первой, на чистом дереве, остальные доказательства — после: новые файлы `evidence/` выносить из дерева не пришлось (`git.dirty` false). Полный `make failure_checks` — при остановленном рабочем стенде, чтобы не сужать малый запас времени к концу набора: 140 из 140, тесты не правились. `driver.py pipeline-state` при замороженном брокере — отдельный файл `evidence/relay/pipeline-state.md`; `broker-check --require-test-queue` снят между двумя `make test_isolated`. `evidence/s3/worker-key.md`, `evidence/migrations/async-attachments.md`, метки `evidence/rollout/async-attachments`, `evidence/uploads/baseline` остаются со своим `ff1a83b`: это переход уровня 3, новые снимки — `evidence/s3/cleaner-staging.md`, `evidence/migrations/pipeline-reliability.md`, метка `evidence/rollout/pipeline-reliability`. - **Правки по проверке (группа 16):** исходник закрывается только при переводе в RGBA: остальные ветки `_prepared` на границе и так укладываются в лимит (пробы, design, «Уточнения apply», п. 19). Тест типов PNG — в обычном наборе (`test_pixel_limit_png_modes`), а не в проверках отказов: особого стенда ему не нужно. Прежний поток зависшего worker сохранён отдельным тестом `test_hung_worker_thawed_after_ready`: усиленный `test_hung_worker_lease_fencing` его не заменяет, сценарий «Зависший worker» проверяет другое окно. Для второй попытки hook получил `run-worker-second`: основной worker стенда со сроком 10 с при разморозке прервал бы таймер. ### Вопросы Вопросы преподавателю, переносятся в `REPORT.md` (`tasks.md`, задача 15.5). Прогон не останавливают: взята самая строгая трактовка, которая проходит публичные тесты, контракт и тесты не менялись. 1. Контракт требует применять EXIF orientation и компоновать alpha на белый только у thumbnail. Как с `crop` и `optimized`? Сделано: ориентация применяется у обоих (иначе EXIF, удалённый из WebP, повернул бы изображение), `crop` компонуется на белый (JPEG), а `optimized` сохраняет прозрачность (WebP её умеет). Другой ответ правит одну функцию и сценарий. 2. Контракт называет replay «явным операторским», но не говорит, как его вызывать, а новые возможности просит добавлять в `contracts/extensions.openapi.json`. Достаточно ли команды в контейнере? Сделано: `make replay`, HTTP-ручки нет: в API нет роли оператора. Другой ответ добавляет ручку поверх той же транзакции. 3. Изображение, которое не уложилось в лимиты времени или памяти обработки, — это `invalid_image` или отдельный код? Контракт приводит коды как пример. Сделано: `invalid_image`, точная причина — в записи для оператора. Другой ответ добавляет значение enum и требует порядка обновления реплик раньше worker. 4. Контракт требует retention для «неуспешных и непривязанных исходников», но молчит о конечных объектах, которые успела записать неудачная попытка. Сделано: по истечении срока удаляются и они, метаданные `failed` остаются. Другой ответ убирает один шаг очистки. 5. Секреты worker читаются процессом обработки через `/proc/1/environ` под тем же UID: окружение самого процесса обработки их не содержит, но после эксплойта декодера защиты нет. Кодом не исправлено, ограничение названо в `REPORT.md` и `worker.md`. Предложение: `prctl(PR_SET_DUMPABLE, 0)` в процессе worker до запуска процессов обработки: тогда чужой процесс того же UID не откроет его `/proc//environ` и `mem`. Требуется ли это на уровне лабы?