28 KiB
Вопросы и решения лабы 5
Решения, принятые без пользователя, и вопросы, которые не блокируют работу.
Раздел на каждый change: ## <change>, внутри «Решения» и «Вопросы».
Вопросы преподавателю дублируются в REPORT.md.
Ответы пользователя перед прогоном (2026-10-31)
- Оценка — 5, трек 1 «Очередь под перегрузкой».
- Брокер — RabbitMQ 4.
- Без пользователя можно: коммиты на ветках
feat/<change>, ff-merge вsolution/bvt2301-safronov, архивация, установка зависимостей и образов, запуск стенда и замеров, в концеgit pushветки решения в свой fork. PR не открывать. - Противоречие в контракте: брать самую строгую трактовку, которая проходит
публичные тесты, контракт и тесты не менять, записать решение и вопрос
преподавателю здесь и в
REPORT.md, прогон не останавливать. - Предупреждения о хосте, явно не влияющие на результат замера, прогон не останавливают.
Ответы пользователя во время прогона (2026-10-31)
- Паттерн Unit of Work входит в лабу: полный вариант для всех сервисов (API,
worker, relay, уборщик, replay): сервисы получают UoW вместо
AsyncSessionиdb_scope, repo доступны через него. Поведение и контракт не меняются. - UoW — полноценно по Cosmic Python (указание пользователя). Прогон понимает это как
главы 2 и 6: абстрактные repo и UoW, реализации на SQLAlchemy,
async with uowв сервисе, откат при выходе безcommit, фейки и быстрые тесты сервисов на них. Фейковые тесты — новый каталог внеstudent-tests/, правило black-box там остаётся. Не входят: доменная модель с classical mapping, агрегаты, события и message bus. - Порядок: отдельный change
unit-of-workпосле архивацииpipeline-reliabilityи доtrack1-queue-overload: трек 1 измеряет итоговый код.
Для пользователя после прогона
- Остался volume пробы
asyncprobe_rabbitmq_data(стадия proposeasync-attachments, контейнеров и сети нет). Агенту отказали вdocker compose down -v, поэтому прогон его не удалял. Удалить вручную:docker volume rm asyncprobe_rabbitmq_data. - Остались volumes проб и временных проектов этого прогона:
bootprobe_s3_data,mtusi-lab5-rs_postgres_data,mtusi-lab5-rs_s3_data,mtusi-rsig_postgres_data,mtusi-rsig_rabbitmq_data,mtusi-rsig_s3_data. Прогон их не удалял. Перед удалением убедиться, что контейнеров на них нет (docker ps -a --filter volume=<имя>), затемdocker volume rm <имя>. - На хосте 150 анонимных volumes. Чьи они, не проверялось, часть может быть
чужой, поэтому
docker volume pruneбез просмотра запускать не стоит.
Перенос из лабы 4
Решения
- Три изменения по уровням рубрики:
async-attachments(3),pipeline-reliability(4),track1-queue-overload(5). Makefile,.gitignore,.dockerignoreлабы 4 совпадают с новым skeleton плюс свои секции, поэтому взяты целиком..env.example— свой файл лабы 4: новые имена skeleton (BROKER_URL_FILE,WORKER_CONCURRENCY,JOB_MAX_ATTEMPTS,JOB_TIMEOUT_SECONDS,STAGING_RETENTION_SECONDS) сопоставляет changeasync-attachments.evidence/не переносится: сверка покрытияmake student_testкрасная поtest_exclusion_evidence_exists, пока файлы не сняты заново на стенде лабы 5 (последний шаг прогона).- Commit «до» профилей
rollout,uploadsиreconcileстендаbench/— commit переноса: коммитов лабы 4 в истории лабы 5 нет. Вариант «до» уuploadsиreconcileбольше не показывает старое поведение, эти профили остались как инструменты, их результаты — в отчёте лабы 4.
Вопросы
Пока нет.
async-attachments
Подробности и отвергнутые варианты — openspec/changes/archive/2026-10-31-async-attachments/design.md.
Решения
- Очередь — классическая durable, а не quorum: на одном узле реплик нет, задержка на
пробе выше, счётчик доставок и at-least-once dead-lettering не нужны, реестр
failedи счёт попыток — в PostgreSQL (решение 4). Аргументов у очереди нет: DLX и пределы следующие изменения ставят политиками. - Образ брокера —
rabbitmq:4.3.7, а не свежий 4.4.0; предел памяти задан явно: брокер не видит лимит контейнера (проба: 4760 МиБ при лимите 512 МБ);hostnameпостоянный, иначе пересозданный контейнер не находит данные в volume. - Staging — приватный префикс того же bucket,
<база>/staging/<id>/original. Сверка его не видит: её префикс —<база>/attachments/. Конечный ключ оригинала назначается при вставке; отдельная колонкаstaging_keyоставляет очистку staging следующему изменению. - Запись намерения:
queuedи задание — одна транзакция; это и есть будущий outbox (state = 'queued' AND published_at IS NULL). Отдельной таблицы outbox и relay на этом уровне нет. - Брокер недоступен — 503, не 202 (решение 3): без relay намерение никто не доставит. Отмена —
условной транзакцией: задание уже взято — 202, иначе вложение возвращается в
pendingи уходит к уборщику. Разрыв COMMIT и publish назван в спеке, design иREPORT.md. /health/ready— только PostgreSQL: брокер и worker не входят, как S3 (решение 10). Иначе отказ брокера вывел бы все реплики из LB.- Повтор — фиксированная пауза (
[worker] retry_delay_seconds) и новое сообщение сattempt + 1, а неnack: контракт требует, чтобыattemptотражал управляемую попытку. Backoff с jitter — следующее изменение. Каждая начатая попытка считается; при недоступном PostgreSQL записать нечего, задание ждёт в очереди. - Коды:
invalid_image,processing_failed(объект staging отсутствует или испорчен),retry_exhausted. Причина для оператора —attachment_jobs.last_error_codeи журнал worker. - Порядок проверок сообщения: неизвестное, чужое и
pending— 404 до ключа;failed— 409 после захвата ключа, с откатом. В списке есть и то и другое — 404. - Ключ эффекта
(attachment_id, pipeline_version, variant)— первичный ключattachment_variants. Оригинал — не строка этой таблицы: схемаVariantконтракта не знает имениoriginal, его итог — поля самого вложения. - Thumbnail считается своим кодом, а не
Image.thumbnail: Pillow округляет к ближайшей пропорции, контракт — вниз. Лимит worker 1 ГБ — по замеру: две задачи PNG RGBA на 40 Мпкс ≈ 800 МиБ. - Один пользователь брокера на API и worker: разделение прав — лаба 7. Management-плагина нет, состояние
очереди —
rabbitmqctlв контейнере. - Сопоставление имён skeleton:
BROKER_URL_FILE→[broker]мостами изRABBITMQ_*;WORKER_CONCURRENCY→[worker] concurrency;JOB_MAX_ATTEMPTS→max_attempts;JOB_TIMEOUT_SECONDS→job_timeout_seconds;STAGING_RETENTION_SECONDS— поля пока нет, появляется с очисткой staging. - Цепочка LB: срок публикации 2 с: после тела 29 с <
timeout server30 с, наибольшая длительность загрузки 76 с < дренаж 90 с. Прежние значения LB не меняются. - Apply:
request_idзаписей задания ставит сервис обработки сразу после разбора сообщения (а неmain.py): разбор — его шаг, задача доставки своя, контекст не течёт.DROP— третий исходJobOutcomeрядом сACKиREQUEUEдизайна: сообщение не по схеме возвращать в очередь нельзя. Сообщение задания сattachment_idне своей строки считается неизвестным (ACK). Подробности — design, «Уточнения apply». - Группа 15: снят ещё
make bench_uploads(меткаbaseline): на неё ссылаются два исключения сверки, а в плане снятия её не было. Новые файлыevidence/на время замеров вынесены из дерева, чтобы паспорта не получили ложныйdirty: true. Design, «Уточнения apply», п. 16–17. - Найдено при снятии, не исправлено (код в группе 15 не меняется, запись в
KNOWN_ISSUES.md— за основной сессией): в записи «Uploaded attachment» полеcontent_typeпишется как<ImageType.PNG: 'image/png'>, а неimage/png(src/core/services/attachment.py,_store;evidence/worker/logs.md). Секретов там нет, запись читается хуже.
Предложения на потом
Найдено проверкой async-attachments, код src/ здесь не менялся: evidence снят на ff1a83b. Все пять закрыты изменением pipeline-reliability (S5, S6, W2 — кодом worker; два последних пункта — дельтой load-benchmark и bench/run.py).
- S5, срок закрытия worker: комментарий
_CLOSE_TIMEOUT_SECONDS(src/worker/main.py:41-43) обещает сумму меньше срока остановки контейнера 10 с, а худший случай — 8 + 5 × 0,5 = 10,5 с, приgraceful_shutdown_seconds9 — 11,5 с. Либо уменьшить составляющие, либо поправить комментарий и верхнюю границу настройки. - S6, пауза повтора и сигнал: сигнал прерывает паузу и даёт
REQUEUE, а claim не смотритnext_attempt_at: перезапущенный worker начнёт попытку раньше паузы (attachment_processing.py). - W2, дубль после
busy:redeliveredстоит и послеnack(requeue=True), поэтому при попытке дольше паузы дубль возьмёт задание параллельно живой попытке и потратит её номер, а на последней попытке дастretry_exhausted, пока первая ещё идёт (attachment_processing.py:230; design, решение 7). Эффект не дублируется. Закрывается lease: живую попытку отличать поlease_expires_at, а не по флагу. - Спек
load-benchmark, «Профиль сверки»: там всё ещё «на образе до change», аreconcile_before=04f8592: та же неточность, что исправлена у профиля загрузок. Требования нет в дельте этого change, поэтому оно здесь не менялось. bench/run.py:1744, 2941: в паспорт пишется.Imageкакidобраза, а сравнивать образы надо по меткеcom.docker.compose.image(.claude/rules/docker.md).
Вопросы
Вопросы преподавателю, переносятся в REPORT.md (tasks.md, задача 15.5). Прогон не останавливают: взята самая
строгая трактовка, которая проходит публичные тесты, контракт и тесты не менялись.
- Failed-вложение прикреплять нельзя (409), а повтор с тем же
Idempotency-Keyобязан вернуть тот же 201. Что отвечать на повтор сообщения, чьё вложение сталоfailedуже после отправки? Сделано: новое сообщение — 409, повтор с ключом — 201 с тем жеMessage. Другой ответ меняет одну веткуsend_messageи сценарийidempotency. contracts/attachment-states.md: «неуспешные и непривязанные исходники имеют документированный retention и cleanup» — без уровня рубрики, а вREADME.mdочистка относится к уровню 4. Сделано: на уровне 3 очистки нет, ограничение названо вREPORT.md, очистка иSTAGING_RETENTION_SECONDS— вpipeline-reliability. Другой ответ переносит задачу очистки на этот уровень; схема к ней готова.- Допустим ли на уровне 3 ответ 503 при недоступном брокере? Контракт требует 202 только после устойчивой передачи; на уровне 3 нет relay, поэтому намерение в БД само не доставится. Сделано: 503 с понятным отказом, на уровне 4 с relay станет 202. Другой ответ требует relay уже здесь.
pipeline-reliability
Подробности и отвергнутые варианты — openspec/changes/pipeline-reliability/design.md; пробы — его таблица «Пробы» (проект compose plprobe, volumes не создавались, после проб ничего не осталось).
Решения
- Вопросы №2 и №3 раздела
async-attachmentsзакрывает это изменение. №3: отказ брокера больше не даёт 503, на загрузке 503 только от S3 и PostgreSQL; реплики API вообще не обращаются к брокеру и не получают его пароль. №2: срок хранения[cleaner] staging_retention_seconds, 86400 с — значение из.env.exampleskeleton. - Relay — отдельный сервис на образе API (
python -m src.relay, 0,25 CPU / 256 МБ, пул 1), а не задача реплик, worker или уборщика: остановка worker на защите не должна останавливать публикацию, плановая сверка уборщика не должна её задерживать. Намерения — те же строкиattachment_jobs, отдельной таблицы outbox нет. - Публикация внутри транзакции — исключение из правила «брокера в транзакции нет», как DELETE уборщика:
FOR UPDATE SKIP LOCKEDна пакет и есть защита двух relay от дублей. Срок 2 с меньше срока шага 6 с и простоя транзакции 10 с. - Опрос 0,25 с, а не LISTEN/NOTIFY: опрос всё равно нужен для сроков, а пустая выборка стоит 0,05 мс (проба).
- Сообщение — подсказка, истина в строке задания. Worker больше не публикует и не ждёт паузу в месте конкуренции: следующую попытку публикует relay по
next_attempt_at. Дубль при живой аренде и сообщение раньше срока подтверждаются без эффекта. Это закрывает W2 и S6. - Аренда без пульса: срок =
job_timeout_seconds+lease_margin_seconds(70 с). Попытка теперь жёстко ограничена сроком, поэтому истёкшая аренда значит «мёртв или заморожен». Цена — после KILL worker следующая попытка ждёт до 70 с. - Fencing номером попытки: результат прежней попытки больше не принимается (на уровне 3 принимался). Поэтому номер
attemptмонотонен, а бюджет после replay — колонкаattempt_base. - Backoff: случайная величина из
[d / 2, d],d = min(300, 5 × 2^(N−1)). Полный jitter отвергнут: нижняя граница суммы пауз стремилась бы к нулю, и рестарт S3 (~25 с) мог бы исчерпать попытки; сейчас сумма 37,5–75 с. - Реестр
failed— в PostgreSQL, DLQ брокера нет: всё принятое живёт в БД, а сообщение не по схеме работы не несёт. Replay — операторская командаmake replay(dry-run по умолчанию, с--applyвыбор обязателен), аудит — таблицаattachment_job_replays. - Декодирование — новый процесс на задание: без секретов в окружении, с
RLIMIT_AS,RLIMIT_CPUи сроком. Проба нашла JPEG в пределах контракта, который не декодируется за 60 с: 10 MiB повторённых сканов. Цена — ~100 мс CPU на маленьком файле; forkserver (9 мс) отвергнут сейчас, граница — один модуль, если трек 1 покажет необходимость. - Лимиты по умолчанию: память 450 МиБ (наибольший
VmPeakна пробе 417), CPU 15 с (наибольшее законное 0,55 с), срок 40 с, меньше срока попытки. Лимит памяти не действует на хосте macOS:setrlimitотказывает, в журнале это видно. - Новых значений
error_codeнет: лимиты даютinvalid_image, причина — вlast_error_code. Реплика прежней версии упала бы на незнакомом значении enum. - Варианты:
thumbnailиcrop— JPEG,quality85;optimized— WebP,quality80,method4 (method6 на пробе в 3,5 раза дольше без выигрыша), без EXIF, XMP и ICC. Crop из основы 1280 только при короткой стороне не меньше 256, иначе из декодированного: у 5000 × 10 иначе квадрат в 2 px. Профиль ICC отбрасывается, ограничение в отчёте. - Staging удаляет уборщик, не worker: право удаления у него уже есть, а worker читает и пишет весь bucket. Цена — объект живёт до следующего прохода, 60 с.
- Сверка видит объекты staging:
orphan_stagingс порогом срока хранения, а не grace: база, восстановленная из копии, иначе быстро сделала бы staging живых строк «объектами без метаданных». Наличие объектов вариантов не проверяет: действия нет, рубрика не требует; ограничение остаётся в отчёте. - Точек сбоя в коде нет: самое узкое окно «после COMMIT до ack» снимается снаружи: отложенный триггер,
pg_stat_activity,docker kill -s STOP,docker kill(проба). - Остановка worker (S5): верхняя граница
graceful_shutdown_seconds— 8, закрытие клиентов одним сроком, худший случай 9,5 с. bench/: профиль загрузок больше не запускает брокер,Profile.rollout_from→7f38948, образ в паспорте — меткаcom.docker.compose.image.- Сценарии «Брокер не подтвердил задание» и «Загрузка без подтверждения брокера убрана» сохранены именем:
openspec validate --strictне даёт убрать сценарий правкой дельты. Первый теперь про 202 при остановленном брокере, второй — про реплику прежней версии на время замены. - Решения apply (подробно — design, «Уточнения apply»): у
make replay--attachment-idи фильтр по коду или причине вместе нельзя (код 2);FOR NO KEY UPDATEи ack после фиксации проверяются пробой блокировки строки и счётчикомmessages_unacknowledged: прежний вид тестов этих регрессий не замечал; откат реплик на прежний образ — сinfra/rollback/broker.compose.yml, без него загрузка 503; зависший worker в тесте — отдельный процесс с длинными сроками иexpire-lease, иначе его прерывал бы таймер, а не fencing. - Удалено при коммите:
src/utils/thumbnail.pyиsrc/infra/broker/instance.pyбез импортов удалила основная сессия, вошло вe2a6427. - Группа 15: метка
bench_rolloutснята первой, на чистом дереве, остальные доказательства — после: новые файлыevidence/выносить из дерева не пришлось (git.dirtyfalse). Полныйmake failure_checks— при остановленном рабочем стенде, чтобы не сужать малый запас времени к концу набора: 140 из 140, тесты не правились.driver.py pipeline-stateпри замороженном брокере — отдельный файлevidence/relay/pipeline-state.md;broker-check --require-test-queueснят между двумяmake test_isolated.evidence/s3/worker-key.md,evidence/migrations/async-attachments.md, меткиevidence/rollout/async-attachments,evidence/uploads/baselineостаются со своимff1a83b: это переход уровня 3, новые снимки —evidence/s3/cleaner-staging.md,evidence/migrations/pipeline-reliability.md, меткаevidence/rollout/pipeline-reliability.
Вопросы
Вопросы преподавателю, переносятся в REPORT.md (tasks.md, задача 15.5). Прогон не останавливают: взята самая строгая трактовка, которая проходит публичные тесты, контракт и тесты не менялись.
- Контракт требует применять EXIF orientation и компоновать alpha на белый только у thumbnail. Как с
cropиoptimized? Сделано: ориентация применяется у обоих (иначе EXIF, удалённый из WebP, повернул бы изображение),cropкомпонуется на белый (JPEG), аoptimizedсохраняет прозрачность (WebP её умеет). Другой ответ правит одну функцию и сценарий. - Контракт называет replay «явным операторским», но не говорит, как его вызывать, а новые возможности просит добавлять в
contracts/extensions.openapi.json. Достаточно ли команды в контейнере? Сделано:make replay, HTTP-ручки нет: в API нет роли оператора. Другой ответ добавляет ручку поверх той же транзакции. - Изображение, которое не уложилось в лимиты времени или памяти обработки, — это
invalid_imageили отдельный код? Контракт приводит коды как пример. Сделано:invalid_image, точная причина — в записи для оператора. Другой ответ добавляет значение enum и требует порядка обновления реплик раньше worker. - Контракт требует retention для «неуспешных и непривязанных исходников», но молчит о конечных объектах, которые успела записать неудачная попытка. Сделано: по истечении срока удаляются и они, метаданные
failedостаются. Другой ответ убирает один шаг очистки.