184 lines
28 KiB
Markdown
184 lines
28 KiB
Markdown
# Вопросы и решения лабы 5
|
||
|
||
Решения, принятые без пользователя, и вопросы, которые не блокируют работу.
|
||
Раздел на каждый change: `## <change>`, внутри «Решения» и «Вопросы».
|
||
Вопросы преподавателю дублируются в `REPORT.md`.
|
||
|
||
## Ответы пользователя перед прогоном (2026-10-31)
|
||
|
||
- Оценка — 5, трек 1 «Очередь под перегрузкой».
|
||
- Брокер — RabbitMQ 4.
|
||
- Без пользователя можно: коммиты на ветках `feat/<change>`, ff-merge в
|
||
`solution/bvt2301-safronov`, архивация, установка зависимостей и образов,
|
||
запуск стенда и замеров, в конце `git push` ветки решения в свой fork.
|
||
PR не открывать.
|
||
- Противоречие в контракте: брать самую строгую трактовку, которая проходит
|
||
публичные тесты, контракт и тесты не менять, записать решение и вопрос
|
||
преподавателю здесь и в `REPORT.md`, прогон не останавливать.
|
||
- Предупреждения о хосте, явно не влияющие на результат замера, прогон не
|
||
останавливают.
|
||
|
||
## Ответы пользователя во время прогона (2026-10-31)
|
||
|
||
- Паттерн Unit of Work входит в лабу: полный вариант для всех сервисов (API,
|
||
worker, relay, уборщик, replay): сервисы получают UoW вместо `AsyncSession` и
|
||
`db_scope`, repo доступны через него. Поведение и контракт не меняются.
|
||
- UoW — полноценно по Cosmic Python (указание пользователя). Прогон понимает это как
|
||
главы 2 и 6: абстрактные repo и UoW, реализации на SQLAlchemy, `async with uow`
|
||
в сервисе, откат при выходе без `commit`, фейки и быстрые тесты сервисов на них.
|
||
Фейковые тесты — новый каталог вне `student-tests/`, правило black-box там остаётся.
|
||
Не входят: доменная модель с classical mapping, агрегаты, события и message bus.
|
||
- Порядок: отдельный change `unit-of-work` после архивации
|
||
`pipeline-reliability` и до `track1-queue-overload`: трек 1 измеряет итоговый код.
|
||
|
||
## Для пользователя после прогона
|
||
|
||
- Остался volume пробы `asyncprobe_rabbitmq_data` (стадия propose
|
||
`async-attachments`, контейнеров и сети нет). Агенту отказали в
|
||
`docker compose down -v`, поэтому прогон его не удалял. Удалить вручную:
|
||
`docker volume rm asyncprobe_rabbitmq_data`.
|
||
- Остались volumes проб и временных проектов этого прогона: `bootprobe_s3_data`,
|
||
`mtusi-lab5-rs_postgres_data`, `mtusi-lab5-rs_s3_data`,
|
||
`mtusi-rsig_postgres_data`, `mtusi-rsig_rabbitmq_data`, `mtusi-rsig_s3_data`.
|
||
Прогон их не удалял. Перед удалением убедиться, что контейнеров на них нет
|
||
(`docker ps -a --filter volume=<имя>`), затем `docker volume rm <имя>`.
|
||
- На хосте 150 анонимных volumes. Чьи они, не проверялось, часть может быть
|
||
чужой, поэтому `docker volume prune` без просмотра запускать не стоит.
|
||
|
||
## Перенос из лабы 4
|
||
|
||
### Решения
|
||
|
||
- Три изменения по уровням рубрики: `async-attachments` (3),
|
||
`pipeline-reliability` (4), `track1-queue-overload` (5).
|
||
- `Makefile`, `.gitignore`, `.dockerignore` лабы 4 совпадают с новым skeleton
|
||
плюс свои секции, поэтому взяты целиком. `.env.example` — свой файл лабы 4:
|
||
новые имена skeleton (`BROKER_URL_FILE`, `WORKER_CONCURRENCY`,
|
||
`JOB_MAX_ATTEMPTS`, `JOB_TIMEOUT_SECONDS`, `STAGING_RETENTION_SECONDS`)
|
||
сопоставляет change `async-attachments`.
|
||
- `evidence/` не переносится: сверка покрытия `make student_test` красная по
|
||
`test_exclusion_evidence_exists`, пока файлы не сняты заново на стенде лабы 5
|
||
(последний шаг прогона).
|
||
- Commit «до» профилей `rollout`, `uploads` и `reconcile` стенда `bench/` —
|
||
commit переноса: коммитов лабы 4 в истории лабы 5 нет. Вариант «до» у
|
||
`uploads` и `reconcile` больше не показывает старое поведение, эти профили
|
||
остались как инструменты, их результаты — в отчёте лабы 4.
|
||
|
||
### Вопросы
|
||
|
||
Пока нет.
|
||
|
||
## async-attachments
|
||
|
||
Подробности и отвергнутые варианты — `openspec/changes/archive/2026-10-31-async-attachments/design.md`.
|
||
|
||
### Решения
|
||
|
||
- **Очередь — классическая durable**, а не quorum: на одном узле реплик нет, задержка на
|
||
пробе выше, счётчик доставок и at-least-once dead-lettering не нужны, реестр `failed` и
|
||
счёт попыток — в PostgreSQL (решение 4). Аргументов у очереди нет: DLX и пределы следующие
|
||
изменения ставят политиками.
|
||
- **Образ брокера — `rabbitmq:4.3.7`**, а не свежий 4.4.0; предел памяти задан явно: брокер не
|
||
видит лимит контейнера (проба: 4760 МиБ при лимите 512 МБ); `hostname` постоянный, иначе
|
||
пересозданный контейнер не находит данные в volume.
|
||
- **Staging — приватный префикс того же bucket**, `<база>/staging/<id>/original`. Сверка его не
|
||
видит: её префикс — `<база>/attachments/`. Конечный ключ оригинала назначается при вставке;
|
||
отдельная колонка `staging_key` оставляет очистку staging следующему изменению.
|
||
- **Запись намерения:** `queued` и задание — одна транзакция; это и есть будущий outbox
|
||
(`state = 'queued' AND published_at IS NULL`). Отдельной таблицы outbox и relay на этом уровне
|
||
нет.
|
||
- **Брокер недоступен — 503, не 202** (решение 3): без relay намерение никто не доставит. Отмена —
|
||
условной транзакцией: задание уже взято — 202, иначе вложение возвращается в `pending` и уходит
|
||
к уборщику. Разрыв COMMIT и publish назван в спеке, design и `REPORT.md`.
|
||
- **`/health/ready` — только PostgreSQL:** брокер и worker не входят, как S3 (решение 10). Иначе отказ
|
||
брокера вывел бы все реплики из LB.
|
||
- **Повтор — фиксированная пауза** (`[worker] retry_delay_seconds`) и новое сообщение с `attempt + 1`, а не
|
||
`nack`: контракт требует, чтобы `attempt` отражал управляемую попытку. Backoff с jitter — следующее
|
||
изменение. Каждая начатая попытка считается; при недоступном PostgreSQL записать нечего, задание ждёт в
|
||
очереди.
|
||
- **Коды:** `invalid_image`, `processing_failed` (объект staging отсутствует или испорчен), `retry_exhausted`.
|
||
Причина для оператора — `attachment_jobs.last_error_code` и журнал worker.
|
||
- **Порядок проверок сообщения:** неизвестное, чужое и `pending` — 404 до ключа; `failed` — 409 после захвата
|
||
ключа, с откатом. В списке есть и то и другое — 404.
|
||
- **Ключ эффекта** `(attachment_id, pipeline_version, variant)` — первичный ключ `attachment_variants`. Оригинал —
|
||
не строка этой таблицы: схема `Variant` контракта не знает имени `original`, его итог — поля самого вложения.
|
||
- **Thumbnail считается своим кодом,** а не `Image.thumbnail`: Pillow округляет к ближайшей пропорции, контракт
|
||
— вниз. Лимит worker 1 ГБ — по замеру: две задачи PNG RGBA на 40 Мпкс ≈ 800 МиБ.
|
||
- **Один пользователь брокера на API и worker:** разделение прав — лаба 7. Management-плагина нет, состояние
|
||
очереди — `rabbitmqctl` в контейнере.
|
||
- **Сопоставление имён skeleton:** `BROKER_URL_FILE` → `[broker]` мостами из `RABBITMQ_*`; `WORKER_CONCURRENCY` →
|
||
`[worker] concurrency`; `JOB_MAX_ATTEMPTS` → `max_attempts`; `JOB_TIMEOUT_SECONDS` → `job_timeout_seconds`;
|
||
`STAGING_RETENTION_SECONDS` — поля пока нет, появляется с очисткой staging.
|
||
- **Цепочка LB:** срок публикации 2 с: после тела 29 с < `timeout server` 30 с, наибольшая длительность загрузки 76 с
|
||
< дренаж 90 с. Прежние значения LB не меняются.
|
||
- **Apply:** `request_id` записей задания ставит сервис обработки сразу после разбора сообщения (а не `main.py`): разбор — его
|
||
шаг, задача доставки своя, контекст не течёт. `DROP` — третий исход `JobOutcome` рядом с `ACK` и `REQUEUE` дизайна: сообщение не
|
||
по схеме возвращать в очередь нельзя. Сообщение задания с `attachment_id` не своей строки считается неизвестным (`ACK`).
|
||
Подробности — design, «Уточнения apply».
|
||
- **Группа 15:** снят ещё `make bench_uploads` (метка `baseline`): на неё ссылаются два исключения сверки, а в плане снятия её не было. Новые файлы `evidence/` на время замеров вынесены из дерева, чтобы паспорта не получили ложный `dirty: true`. Design, «Уточнения apply», п. 16–17.
|
||
- **Найдено при снятии, не исправлено** (код в группе 15 не меняется, запись в `KNOWN_ISSUES.md` — за основной сессией): в записи «Uploaded attachment» поле `content_type` пишется как `<ImageType.PNG: 'image/png'>`, а не `image/png` (`src/core/services/attachment.py`, `_store`; `evidence/worker/logs.md`). Секретов там нет, запись читается хуже.
|
||
|
||
### Предложения на потом
|
||
|
||
Найдено проверкой `async-attachments`, код `src/` здесь не менялся: evidence снят на `ff1a83b`. Все пять закрыты изменением `pipeline-reliability` (S5, S6, W2 — кодом worker; два последних пункта — дельтой `load-benchmark` и `bench/run.py`).
|
||
|
||
- **S5, срок закрытия worker:** комментарий `_CLOSE_TIMEOUT_SECONDS` (`src/worker/main.py:41-43`) обещает сумму меньше срока остановки контейнера 10 с, а худший случай — 8 + 5 × 0,5 = 10,5 с, при `graceful_shutdown_seconds` 9 — 11,5 с. Либо уменьшить составляющие, либо поправить комментарий и верхнюю границу настройки.
|
||
- **S6, пауза повтора и сигнал:** сигнал прерывает паузу и даёт `REQUEUE`, а claim не смотрит `next_attempt_at`: перезапущенный worker начнёт попытку раньше паузы (`attachment_processing.py`).
|
||
- **W2, дубль после `busy`:** `redelivered` стоит и после `nack(requeue=True)`, поэтому при попытке дольше паузы дубль возьмёт задание параллельно живой попытке и потратит её номер, а на последней попытке даст `retry_exhausted`, пока первая ещё идёт (`attachment_processing.py:230`; design, решение 7). Эффект не дублируется. Закрывается lease: живую попытку отличать по `lease_expires_at`, а не по флагу.
|
||
- **Спек `load-benchmark`, «Профиль сверки»:** там всё ещё «на образе до change», а `reconcile_before` = `04f8592`: та же неточность, что исправлена у профиля загрузок. Требования нет в дельте этого change, поэтому оно здесь не менялось.
|
||
- **`bench/run.py:1744, 2941`:** в паспорт пишется `.Image` как `id` образа, а сравнивать образы надо по метке `com.docker.compose.image` (`.claude/rules/docker.md`).
|
||
|
||
### Вопросы
|
||
|
||
Вопросы преподавателю, переносятся в `REPORT.md` (`tasks.md`, задача 15.5). Прогон не останавливают: взята самая
|
||
строгая трактовка, которая проходит публичные тесты, контракт и тесты не менялись.
|
||
|
||
1. Failed-вложение прикреплять нельзя (409), а повтор с тем же `Idempotency-Key` обязан вернуть тот же 201. Что отвечать на
|
||
повтор сообщения, чьё вложение стало `failed` уже после отправки? Сделано: новое сообщение — 409, повтор с ключом — 201 с
|
||
тем же `Message`. Другой ответ меняет одну ветку `send_message` и сценарий `idempotency`.
|
||
2. `contracts/attachment-states.md`: «неуспешные и непривязанные исходники имеют документированный retention и cleanup» — без
|
||
уровня рубрики, а в `README.md` очистка относится к уровню 4. Сделано: на уровне 3 очистки нет, ограничение названо в
|
||
`REPORT.md`, очистка и `STAGING_RETENTION_SECONDS` — в `pipeline-reliability`. Другой ответ переносит задачу очистки на этот
|
||
уровень; схема к ней готова.
|
||
3. Допустим ли на уровне 3 ответ 503 при недоступном брокере? Контракт требует 202 только после устойчивой передачи; на уровне 3 нет
|
||
relay, поэтому намерение в БД само не доставится. Сделано: 503 с понятным отказом, на уровне 4 с relay станет 202. Другой ответ
|
||
требует relay уже здесь.
|
||
|
||
## pipeline-reliability
|
||
|
||
Подробности и отвергнутые варианты — `openspec/changes/pipeline-reliability/design.md`; пробы — его таблица «Пробы» (проект compose `plprobe`, volumes не создавались, после проб ничего не осталось).
|
||
|
||
### Решения
|
||
|
||
- **Вопросы №2 и №3 раздела `async-attachments` закрывает это изменение.** №3: отказ брокера больше не даёт 503, на загрузке 503 только от S3 и PostgreSQL; реплики API вообще не обращаются к брокеру и не получают его пароль. №2: срок хранения `[cleaner] staging_retention_seconds`, 86400 с — значение из `.env.example` skeleton.
|
||
- **Relay — отдельный сервис** на образе API (`python -m src.relay`, 0,25 CPU / 256 МБ, пул 1), а не задача реплик, worker или уборщика: остановка worker на защите не должна останавливать публикацию, плановая сверка уборщика не должна её задерживать. Намерения — те же строки `attachment_jobs`, отдельной таблицы outbox нет.
|
||
- **Публикация внутри транзакции** — исключение из правила «брокера в транзакции нет», как DELETE уборщика: `FOR UPDATE SKIP LOCKED` на пакет и есть защита двух relay от дублей. Срок 2 с меньше срока шага 6 с и простоя транзакции 10 с.
|
||
- **Опрос 0,25 с, а не LISTEN/NOTIFY:** опрос всё равно нужен для сроков, а пустая выборка стоит 0,05 мс (проба).
|
||
- **Сообщение — подсказка, истина в строке задания.** Worker больше не публикует и не ждёт паузу в месте конкуренции: следующую попытку публикует relay по `next_attempt_at`. Дубль при живой аренде и сообщение раньше срока подтверждаются без эффекта. Это закрывает W2 и S6.
|
||
- **Аренда без пульса:** срок = `job_timeout_seconds` + `lease_margin_seconds` (70 с). Попытка теперь жёстко ограничена сроком, поэтому истёкшая аренда значит «мёртв или заморожен». Цена — после KILL worker следующая попытка ждёт до 70 с.
|
||
- **Fencing номером попытки:** результат прежней попытки больше не принимается (на уровне 3 принимался). Поэтому номер `attempt` монотонен, а бюджет после replay — колонка `attempt_base`.
|
||
- **Backoff:** случайная величина из `[d / 2, d]`, `d = min(300, 5 × 2^(N−1))`. Полный jitter отвергнут: нижняя граница суммы пауз стремилась бы к нулю, и рестарт S3 (~25 с) мог бы исчерпать попытки; сейчас сумма 37,5–75 с.
|
||
- **Реестр `failed` — в PostgreSQL, DLQ брокера нет:** всё принятое живёт в БД, а сообщение не по схеме работы не несёт. Replay — операторская команда `make replay` (dry-run по умолчанию, с `--apply` выбор обязателен), аудит — таблица `attachment_job_replays`.
|
||
- **Декодирование — новый процесс на задание:** без секретов в окружении, с `RLIMIT_AS`, `RLIMIT_CPU` и сроком. Проба нашла JPEG в пределах контракта, который не декодируется за 60 с: 10 MiB повторённых сканов. Цена — ~100 мс CPU на маленьком файле; forkserver (9 мс) отвергнут сейчас, граница — один модуль, если трек 1 покажет необходимость.
|
||
- **Лимиты по умолчанию:** память 450 МиБ (наибольший `VmPeak` на пробе 417), CPU 15 с (наибольшее законное 0,55 с), срок 40 с, меньше срока попытки. Лимит памяти не действует на хосте macOS: `setrlimit` отказывает, в журнале это видно.
|
||
- **Новых значений `error_code` нет:** лимиты дают `invalid_image`, причина — в `last_error_code`. Реплика прежней версии упала бы на незнакомом значении enum.
|
||
- **Варианты:** `thumbnail` и `crop` — JPEG, `quality` 85; `optimized` — WebP, `quality` 80, `method` 4 (`method` 6 на пробе в 3,5 раза дольше без выигрыша), без EXIF, XMP и ICC. Crop из основы 1280 только при короткой стороне не меньше 256, иначе из декодированного: у 5000 × 10 иначе квадрат в 2 px. Профиль ICC отбрасывается, ограничение в отчёте.
|
||
- **Staging удаляет уборщик, не worker:** право удаления у него уже есть, а worker читает и пишет весь bucket. Цена — объект живёт до следующего прохода, 60 с.
|
||
- **Сверка** видит объекты staging: `orphan_staging` с порогом срока хранения, а не grace: база, восстановленная из копии, иначе быстро сделала бы staging живых строк «объектами без метаданных». Наличие объектов вариантов не проверяет: действия нет, рубрика не требует; ограничение остаётся в отчёте.
|
||
- **Точек сбоя в коде нет:** самое узкое окно «после COMMIT до ack» снимается снаружи: отложенный триггер, `pg_stat_activity`, `docker kill -s STOP`, `docker kill` (проба).
|
||
- **Остановка worker (S5):** верхняя граница `graceful_shutdown_seconds` — 8, закрытие клиентов одним сроком, худший случай 9,5 с.
|
||
- **`bench/`:** профиль загрузок больше не запускает брокер, `Profile.rollout_from` → `7f38948`, образ в паспорте — метка `com.docker.compose.image`.
|
||
- **Сценарии «Брокер не подтвердил задание» и «Загрузка без подтверждения брокера убрана» сохранены именем:** `openspec validate --strict` не даёт убрать сценарий правкой дельты. Первый теперь про 202 при остановленном брокере, второй — про реплику прежней версии на время замены.
|
||
- **Решения apply (подробно — design, «Уточнения apply»):** у `make replay` `--attachment-id` и фильтр по коду или причине вместе нельзя (код 2); `FOR NO KEY UPDATE` и ack после фиксации проверяются пробой блокировки строки и счётчиком `messages_unacknowledged`: прежний вид тестов этих регрессий не замечал; откат реплик на прежний образ — с `infra/rollback/broker.compose.yml`, без него загрузка 503; зависший worker в тесте — отдельный процесс с длинными сроками и `expire-lease`, иначе его прерывал бы таймер, а не fencing.
|
||
- **Удалено при коммите:** `src/utils/thumbnail.py` и `src/infra/broker/instance.py` без импортов удалила основная сессия, вошло в `e2a6427`.
|
||
- **Группа 15:** метка `bench_rollout` снята первой, на чистом дереве, остальные доказательства — после: новые файлы `evidence/` выносить из дерева не пришлось (`git.dirty` false). Полный `make failure_checks` — при остановленном рабочем стенде, чтобы не сужать малый запас времени к концу набора: 140 из 140, тесты не правились. `driver.py pipeline-state` при замороженном брокере — отдельный файл `evidence/relay/pipeline-state.md`; `broker-check --require-test-queue` снят между двумя `make test_isolated`. `evidence/s3/worker-key.md`, `evidence/migrations/async-attachments.md`, метки `evidence/rollout/async-attachments`, `evidence/uploads/baseline` остаются со своим `ff1a83b`: это переход уровня 3, новые снимки — `evidence/s3/cleaner-staging.md`, `evidence/migrations/pipeline-reliability.md`, метка `evidence/rollout/pipeline-reliability`.
|
||
|
||
### Вопросы
|
||
|
||
Вопросы преподавателю, переносятся в `REPORT.md` (`tasks.md`, задача 15.5). Прогон не останавливают: взята самая строгая трактовка, которая проходит публичные тесты, контракт и тесты не менялись.
|
||
|
||
1. Контракт требует применять EXIF orientation и компоновать alpha на белый только у thumbnail. Как с `crop` и `optimized`? Сделано: ориентация применяется у обоих (иначе EXIF, удалённый из WebP, повернул бы изображение), `crop` компонуется на белый (JPEG), а `optimized` сохраняет прозрачность (WebP её умеет). Другой ответ правит одну функцию и сценарий.
|
||
2. Контракт называет replay «явным операторским», но не говорит, как его вызывать, а новые возможности просит добавлять в `contracts/extensions.openapi.json`. Достаточно ли команды в контейнере? Сделано: `make replay`, HTTP-ручки нет: в API нет роли оператора. Другой ответ добавляет ручку поверх той же транзакции.
|
||
3. Изображение, которое не уложилось в лимиты времени или памяти обработки, — это `invalid_image` или отдельный код? Контракт приводит коды как пример. Сделано: `invalid_image`, точная причина — в записи для оператора. Другой ответ добавляет значение enum и требует порядка обновления реплик раньше worker.
|
||
4. Контракт требует retention для «неуспешных и непривязанных исходников», но молчит о конечных объектах, которые успела записать неудачная попытка. Сделано: по истечении срока удаляются и они, метаданные `failed` остаются. Другой ответ убирает один шаг очистки.
|