Files
mtusi2026lab5/QUESTIONS.md
T
2026-10-31 16:51:29 +03:00

28 KiB
Raw Blame History

Вопросы и решения лабы 5

Решения, принятые без пользователя, и вопросы, которые не блокируют работу. Раздел на каждый change: ## <change>, внутри «Решения» и «Вопросы». Вопросы преподавателю дублируются в REPORT.md.

Ответы пользователя перед прогоном (2026-10-31)

  • Оценка — 5, трек 1 «Очередь под перегрузкой».
  • Брокер — RabbitMQ 4.
  • Без пользователя можно: коммиты на ветках feat/<change>, ff-merge в solution/bvt2301-safronov, архивация, установка зависимостей и образов, запуск стенда и замеров, в конце git push ветки решения в свой fork. PR не открывать.
  • Противоречие в контракте: брать самую строгую трактовку, которая проходит публичные тесты, контракт и тесты не менять, записать решение и вопрос преподавателю здесь и в REPORT.md, прогон не останавливать.
  • Предупреждения о хосте, явно не влияющие на результат замера, прогон не останавливают.

Ответы пользователя во время прогона (2026-10-31)

  • Паттерн Unit of Work входит в лабу: полный вариант для всех сервисов (API, worker, relay, уборщик, replay): сервисы получают UoW вместо AsyncSession и db_scope, repo доступны через него. Поведение и контракт не меняются.
  • UoW — полноценно по Cosmic Python (указание пользователя). Прогон понимает это как главы 2 и 6: абстрактные repo и UoW, реализации на SQLAlchemy, async with uow в сервисе, откат при выходе без commit, фейки и быстрые тесты сервисов на них. Фейковые тесты — новый каталог вне student-tests/, правило black-box там остаётся. Не входят: доменная модель с classical mapping, агрегаты, события и message bus.
  • Порядок: отдельный change unit-of-work после архивации pipeline-reliability и до track1-queue-overload: трек 1 измеряет итоговый код.

Для пользователя после прогона

  • Остался volume пробы asyncprobe_rabbitmq_data (стадия propose async-attachments, контейнеров и сети нет). Агенту отказали в docker compose down -v, поэтому прогон его не удалял. Удалить вручную: docker volume rm asyncprobe_rabbitmq_data.
  • Остались volumes проб и временных проектов этого прогона: bootprobe_s3_data, mtusi-lab5-rs_postgres_data, mtusi-lab5-rs_s3_data, mtusi-rsig_postgres_data, mtusi-rsig_rabbitmq_data, mtusi-rsig_s3_data. Прогон их не удалял. Перед удалением убедиться, что контейнеров на них нет (docker ps -a --filter volume=<имя>), затем docker volume rm <имя>.
  • На хосте 150 анонимных volumes. Чьи они, не проверялось, часть может быть чужой, поэтому docker volume prune без просмотра запускать не стоит.

Перенос из лабы 4

Решения

  • Три изменения по уровням рубрики: async-attachments (3), pipeline-reliability (4), track1-queue-overload (5).
  • Makefile, .gitignore, .dockerignore лабы 4 совпадают с новым skeleton плюс свои секции, поэтому взяты целиком. .env.example — свой файл лабы 4: новые имена skeleton (BROKER_URL_FILE, WORKER_CONCURRENCY, JOB_MAX_ATTEMPTS, JOB_TIMEOUT_SECONDS, STAGING_RETENTION_SECONDS) сопоставляет change async-attachments.
  • evidence/ не переносится: сверка покрытия make student_test красная по test_exclusion_evidence_exists, пока файлы не сняты заново на стенде лабы 5 (последний шаг прогона).
  • Commit «до» профилей rollout, uploads и reconcile стенда bench/ — commit переноса: коммитов лабы 4 в истории лабы 5 нет. Вариант «до» у uploads и reconcile больше не показывает старое поведение, эти профили остались как инструменты, их результаты — в отчёте лабы 4.

Вопросы

Пока нет.

async-attachments

Подробности и отвергнутые варианты — openspec/changes/archive/2026-10-31-async-attachments/design.md.

Решения

  • Очередь — классическая durable, а не quorum: на одном узле реплик нет, задержка на пробе выше, счётчик доставок и at-least-once dead-lettering не нужны, реестр failed и счёт попыток — в PostgreSQL (решение 4). Аргументов у очереди нет: DLX и пределы следующие изменения ставят политиками.
  • Образ брокера — rabbitmq:4.3.7, а не свежий 4.4.0; предел памяти задан явно: брокер не видит лимит контейнера (проба: 4760 МиБ при лимите 512 МБ); hostname постоянный, иначе пересозданный контейнер не находит данные в volume.
  • Staging — приватный префикс того же bucket, <база>/staging/<id>/original. Сверка его не видит: её префикс — <база>/attachments/. Конечный ключ оригинала назначается при вставке; отдельная колонка staging_key оставляет очистку staging следующему изменению.
  • Запись намерения: queued и задание — одна транзакция; это и есть будущий outbox (state = 'queued' AND published_at IS NULL). Отдельной таблицы outbox и relay на этом уровне нет.
  • Брокер недоступен — 503, не 202 (решение 3): без relay намерение никто не доставит. Отмена — условной транзакцией: задание уже взято — 202, иначе вложение возвращается в pending и уходит к уборщику. Разрыв COMMIT и publish назван в спеке, design и REPORT.md.
  • /health/ready — только PostgreSQL: брокер и worker не входят, как S3 (решение 10). Иначе отказ брокера вывел бы все реплики из LB.
  • Повтор — фиксированная пауза ([worker] retry_delay_seconds) и новое сообщение с attempt + 1, а не nack: контракт требует, чтобы attempt отражал управляемую попытку. Backoff с jitter — следующее изменение. Каждая начатая попытка считается; при недоступном PostgreSQL записать нечего, задание ждёт в очереди.
  • Коды: invalid_image, processing_failed (объект staging отсутствует или испорчен), retry_exhausted. Причина для оператора — attachment_jobs.last_error_code и журнал worker.
  • Порядок проверок сообщения: неизвестное, чужое и pending — 404 до ключа; failed — 409 после захвата ключа, с откатом. В списке есть и то и другое — 404.
  • Ключ эффекта (attachment_id, pipeline_version, variant) — первичный ключ attachment_variants. Оригинал — не строка этой таблицы: схема Variant контракта не знает имени original, его итог — поля самого вложения.
  • Thumbnail считается своим кодом, а не Image.thumbnail: Pillow округляет к ближайшей пропорции, контракт — вниз. Лимит worker 1 ГБ — по замеру: две задачи PNG RGBA на 40 Мпкс ≈ 800 МиБ.
  • Один пользователь брокера на API и worker: разделение прав — лаба 7. Management-плагина нет, состояние очереди — rabbitmqctl в контейнере.
  • Сопоставление имён skeleton: BROKER_URL_FILE → [broker] мостами из RABBITMQ_*; WORKER_CONCURRENCY → [worker] concurrency; JOB_MAX_ATTEMPTS → max_attempts; JOB_TIMEOUT_SECONDS → job_timeout_seconds; STAGING_RETENTION_SECONDS — поля пока нет, появляется с очисткой staging.
  • Цепочка LB: срок публикации 2 с: после тела 29 с < timeout server 30 с, наибольшая длительность загрузки 76 с < дренаж 90 с. Прежние значения LB не меняются.
  • Apply: request_id записей задания ставит сервис обработки сразу после разбора сообщения (а не main.py): разбор — его шаг, задача доставки своя, контекст не течёт. DROP — третий исход JobOutcome рядом с ACK и REQUEUE дизайна: сообщение не по схеме возвращать в очередь нельзя. Сообщение задания с attachment_id не своей строки считается неизвестным (ACK). Подробности — design, «Уточнения apply».
  • Группа 15: снят ещё make bench_uploads (метка baseline): на неё ссылаются два исключения сверки, а в плане снятия её не было. Новые файлы evidence/ на время замеров вынесены из дерева, чтобы паспорта не получили ложный dirty: true. Design, «Уточнения apply», п. 16–17.
  • Найдено при снятии, не исправлено (код в группе 15 не меняется, запись в KNOWN_ISSUES.md — за основной сессией): в записи «Uploaded attachment» поле content_type пишется как <ImageType.PNG: 'image/png'>, а не image/png (src/core/services/attachment.py, _store; evidence/worker/logs.md). Секретов там нет, запись читается хуже.

Предложения на потом

Найдено проверкой async-attachments, код src/ здесь не менялся: evidence снят на ff1a83b. Все пять закрыты изменением pipeline-reliability (S5, S6, W2 — кодом worker; два последних пункта — дельтой load-benchmark и bench/run.py).

  • S5, срок закрытия worker: комментарий _CLOSE_TIMEOUT_SECONDS (src/worker/main.py:41-43) обещает сумму меньше срока остановки контейнера 10 с, а худший случай — 8 + 5 × 0,5 = 10,5 с, при graceful_shutdown_seconds 9 — 11,5 с. Либо уменьшить составляющие, либо поправить комментарий и верхнюю границу настройки.
  • S6, пауза повтора и сигнал: сигнал прерывает паузу и даёт REQUEUE, а claim не смотрит next_attempt_at: перезапущенный worker начнёт попытку раньше паузы (attachment_processing.py).
  • W2, дубль после busy: redelivered стоит и после nack(requeue=True), поэтому при попытке дольше паузы дубль возьмёт задание параллельно живой попытке и потратит её номер, а на последней попытке даст retry_exhausted, пока первая ещё идёт (attachment_processing.py:230; design, решение 7). Эффект не дублируется. Закрывается lease: живую попытку отличать по lease_expires_at, а не по флагу.
  • Спек load-benchmark, «Профиль сверки»: там всё ещё «на образе до change», а reconcile_before = 04f8592: та же неточность, что исправлена у профиля загрузок. Требования нет в дельте этого change, поэтому оно здесь не менялось.
  • bench/run.py:1744, 2941: в паспорт пишется .Image как id образа, а сравнивать образы надо по метке com.docker.compose.image (.claude/rules/docker.md).

Вопросы

Вопросы преподавателю, переносятся в REPORT.md (tasks.md, задача 15.5). Прогон не останавливают: взята самая строгая трактовка, которая проходит публичные тесты, контракт и тесты не менялись.

  1. Failed-вложение прикреплять нельзя (409), а повтор с тем же Idempotency-Key обязан вернуть тот же 201. Что отвечать на повтор сообщения, чьё вложение стало failed уже после отправки? Сделано: новое сообщение — 409, повтор с ключом — 201 с тем же Message. Другой ответ меняет одну ветку send_message и сценарий idempotency.
  2. contracts/attachment-states.md: «неуспешные и непривязанные исходники имеют документированный retention и cleanup» — без уровня рубрики, а в README.md очистка относится к уровню 4. Сделано: на уровне 3 очистки нет, ограничение названо в REPORT.md, очистка и STAGING_RETENTION_SECONDS — в pipeline-reliability. Другой ответ переносит задачу очистки на этот уровень; схема к ней готова.
  3. Допустим ли на уровне 3 ответ 503 при недоступном брокере? Контракт требует 202 только после устойчивой передачи; на уровне 3 нет relay, поэтому намерение в БД само не доставится. Сделано: 503 с понятным отказом, на уровне 4 с relay станет 202. Другой ответ требует relay уже здесь.

pipeline-reliability

Подробности и отвергнутые варианты — openspec/changes/pipeline-reliability/design.md; пробы — его таблица «Пробы» (проект compose plprobe, volumes не создавались, после проб ничего не осталось).

Решения

  • Вопросы №2 и №3 раздела async-attachments закрывает это изменение. №3: отказ брокера больше не даёт 503, на загрузке 503 только от S3 и PostgreSQL; реплики API вообще не обращаются к брокеру и не получают его пароль. №2: срок хранения [cleaner] staging_retention_seconds, 86400 с — значение из .env.example skeleton.
  • Relay — отдельный сервис на образе API (python -m src.relay, 0,25 CPU / 256 МБ, пул 1), а не задача реплик, worker или уборщика: остановка worker на защите не должна останавливать публикацию, плановая сверка уборщика не должна её задерживать. Намерения — те же строки attachment_jobs, отдельной таблицы outbox нет.
  • Публикация внутри транзакции — исключение из правила «брокера в транзакции нет», как DELETE уборщика: FOR UPDATE SKIP LOCKED на пакет и есть защита двух relay от дублей. Срок 2 с меньше срока шага 6 с и простоя транзакции 10 с.
  • Опрос 0,25 с, а не LISTEN/NOTIFY: опрос всё равно нужен для сроков, а пустая выборка стоит 0,05 мс (проба).
  • Сообщение — подсказка, истина в строке задания. Worker больше не публикует и не ждёт паузу в месте конкуренции: следующую попытку публикует relay по next_attempt_at. Дубль при живой аренде и сообщение раньше срока подтверждаются без эффекта. Это закрывает W2 и S6.
  • Аренда без пульса: срок = job_timeout_seconds + lease_margin_seconds (70 с). Попытка теперь жёстко ограничена сроком, поэтому истёкшая аренда значит «мёртв или заморожен». Цена — после KILL worker следующая попытка ждёт до 70 с.
  • Fencing номером попытки: результат прежней попытки больше не принимается (на уровне 3 принимался). Поэтому номер attempt монотонен, а бюджет после replay — колонка attempt_base.
  • Backoff: случайная величина из [d / 2, d], d = min(300, 5 × 2^(N−1)). Полный jitter отвергнут: нижняя граница суммы пауз стремилась бы к нулю, и рестарт S3 (~25 с) мог бы исчерпать попытки; сейчас сумма 37,5–75 с.
  • Реестр failed — в PostgreSQL, DLQ брокера нет: всё принятое живёт в БД, а сообщение не по схеме работы не несёт. Replay — операторская команда make replay (dry-run по умолчанию, с --apply выбор обязателен), аудит — таблица attachment_job_replays.
  • Декодирование — новый процесс на задание: без секретов в окружении, с RLIMIT_AS, RLIMIT_CPU и сроком. Проба нашла JPEG в пределах контракта, который не декодируется за 60 с: 10 MiB повторённых сканов. Цена — ~100 мс CPU на маленьком файле; forkserver (9 мс) отвергнут сейчас, граница — один модуль, если трек 1 покажет необходимость.
  • Лимиты по умолчанию: память 450 МиБ (наибольший VmPeak на пробе 417), CPU 15 с (наибольшее законное 0,55 с), срок 40 с, меньше срока попытки. Лимит памяти не действует на хосте macOS: setrlimit отказывает, в журнале это видно.
  • Новых значений error_code нет: лимиты дают invalid_image, причина — в last_error_code. Реплика прежней версии упала бы на незнакомом значении enum.
  • Варианты: thumbnail и crop — JPEG, quality 85; optimized — WebP, quality 80, method 4 (method 6 на пробе в 3,5 раза дольше без выигрыша), без EXIF, XMP и ICC. Crop из основы 1280 только при короткой стороне не меньше 256, иначе из декодированного: у 5000 × 10 иначе квадрат в 2 px. Профиль ICC отбрасывается, ограничение в отчёте.
  • Staging удаляет уборщик, не worker: право удаления у него уже есть, а worker читает и пишет весь bucket. Цена — объект живёт до следующего прохода, 60 с.
  • Сверка видит объекты staging: orphan_staging с порогом срока хранения, а не grace: база, восстановленная из копии, иначе быстро сделала бы staging живых строк «объектами без метаданных». Наличие объектов вариантов не проверяет: действия нет, рубрика не требует; ограничение остаётся в отчёте.
  • Точек сбоя в коде нет: самое узкое окно «после COMMIT до ack» снимается снаружи: отложенный триггер, pg_stat_activity, docker kill -s STOP, docker kill (проба).
  • Остановка worker (S5): верхняя граница graceful_shutdown_seconds — 8, закрытие клиентов одним сроком, худший случай 9,5 с.
  • bench/: профиль загрузок больше не запускает брокер, Profile.rollout_from → 7f38948, образ в паспорте — метка com.docker.compose.image.
  • Сценарии «Брокер не подтвердил задание» и «Загрузка без подтверждения брокера убрана» сохранены именем: openspec validate --strict не даёт убрать сценарий правкой дельты. Первый теперь про 202 при остановленном брокере, второй — про реплику прежней версии на время замены.
  • Решения apply (подробно — design, «Уточнения apply»): у make replay --attachment-id и фильтр по коду или причине вместе нельзя (код 2); FOR NO KEY UPDATE и ack после фиксации проверяются пробой блокировки строки и счётчиком messages_unacknowledged: прежний вид тестов этих регрессий не замечал; откат реплик на прежний образ — с infra/rollback/broker.compose.yml, без него загрузка 503; зависший worker в тесте — отдельный процесс с длинными сроками и expire-lease, иначе его прерывал бы таймер, а не fencing.
  • Удалено при коммите: src/utils/thumbnail.py и src/infra/broker/instance.py без импортов удалила основная сессия, вошло в e2a6427.
  • Группа 15: метка bench_rollout снята первой, на чистом дереве, остальные доказательства — после: новые файлы evidence/ выносить из дерева не пришлось (git.dirty false). Полный make failure_checks — при остановленном рабочем стенде, чтобы не сужать малый запас времени к концу набора: 140 из 140, тесты не правились. driver.py pipeline-state при замороженном брокере — отдельный файл evidence/relay/pipeline-state.md; broker-check --require-test-queue снят между двумя make test_isolated. evidence/s3/worker-key.md, evidence/migrations/async-attachments.md, метки evidence/rollout/async-attachments, evidence/uploads/baseline остаются со своим ff1a83b: это переход уровня 3, новые снимки — evidence/s3/cleaner-staging.md, evidence/migrations/pipeline-reliability.md, метка evidence/rollout/pipeline-reliability.

Вопросы

Вопросы преподавателю, переносятся в REPORT.md (tasks.md, задача 15.5). Прогон не останавливают: взята самая строгая трактовка, которая проходит публичные тесты, контракт и тесты не менялись.

  1. Контракт требует применять EXIF orientation и компоновать alpha на белый только у thumbnail. Как с crop и optimized? Сделано: ориентация применяется у обоих (иначе EXIF, удалённый из WebP, повернул бы изображение), crop компонуется на белый (JPEG), а optimized сохраняет прозрачность (WebP её умеет). Другой ответ правит одну функцию и сценарий.
  2. Контракт называет replay «явным операторским», но не говорит, как его вызывать, а новые возможности просит добавлять в contracts/extensions.openapi.json. Достаточно ли команды в контейнере? Сделано: make replay, HTTP-ручки нет: в API нет роли оператора. Другой ответ добавляет ручку поверх той же транзакции.
  3. Изображение, которое не уложилось в лимиты времени или памяти обработки, — это invalid_image или отдельный код? Контракт приводит коды как пример. Сделано: invalid_image, точная причина — в записи для оператора. Другой ответ добавляет значение enum и требует порядка обновления реплик раньше worker.
  4. Контракт требует retention для «неуспешных и непривязанных исходников», но молчит о конечных объектах, которые успела записать неудачная попытка. Сделано: по истечении срока удаляются и они, метаданные failed остаются. Другой ответ убирает один шаг очистки.