Files
mtusi2026lab5/QUESTIONS.md
T
ricoromaandClaude Opus 5.5 d68a016f7f docs: record queue overload baseline3 label on 1373e7d
The host swapped out 26046 pages, all in one cell. A further label,
baseline4, follows by the user's decision; the main one is picked by the
number of affected cells, not by verdicts.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
2026-11-02 05:05:24 +03:00

273 lines
58 KiB
Markdown
Raw Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
# Вопросы и решения лабы 5
Решения, принятые без пользователя, и вопросы, которые не блокируют работу.
Раздел на каждый change: `## <change>`, внутри «Решения» и «Вопросы».
Вопросы преподавателю дублируются в `REPORT.md`.
## Ответы пользователя перед прогоном (2026-10-31)
- Оценка — 5, трек 1 «Очередь под перегрузкой».
- Брокер — RabbitMQ 4.
- Без пользователя можно: коммиты на ветках `feat/<change>`, ff-merge в
`solution/bvt2301-safronov`, архивация, установка зависимостей и образов,
запуск стенда и замеров, в конце `git push` ветки решения в свой fork.
PR не открывать.
- Противоречие в контракте: брать самую строгую трактовку, которая проходит
публичные тесты, контракт и тесты не менять, записать решение и вопрос
преподавателю здесь и в `REPORT.md`, прогон не останавливать.
- Предупреждения о хосте, явно не влияющие на результат замера, прогон не
останавливают.
## Ответы пользователя во время прогона (2026-10-31)
- Паттерн Unit of Work входит в лабу: полный вариант для всех сервисов (API,
worker, relay, уборщик, replay): сервисы получают UoW вместо `AsyncSession` и
`db_scope`, repo доступны через него. Поведение и контракт не меняются.
- UoW — полноценно по Cosmic Python (указание пользователя). Прогон понимает это как
главы 2 и 6: абстрактные repo и UoW, реализации на SQLAlchemy, `async with uow`
в сервисе, откат при выходе без `commit`, фейки и быстрые тесты сервисов на них.
Фейковые тесты — новый каталог вне `student-tests/`, правило black-box там остаётся.
Не входят: доменная модель с classical mapping, агрегаты, события и message bus.
- Порядок: отдельный change `unit-of-work` после архивации
`pipeline-reliability` и до `track1-queue-overload`: трек 1 измеряет итоговый код.
## Для пользователя после прогона
- Остался volume пробы `asyncprobe_rabbitmq_data` (стадия propose
`async-attachments`, контейнеров и сети нет). Агенту отказали в
`docker compose down -v`, поэтому прогон его не удалял. Удалить вручную:
`docker volume rm asyncprobe_rabbitmq_data`.
- Остались volumes проб и временных проектов этого прогона: `bootprobe_s3_data`,
`mtusi-lab5-rs_postgres_data`, `mtusi-lab5-rs_s3_data`,
`mtusi-rsig_postgres_data`, `mtusi-rsig_rabbitmq_data`, `mtusi-rsig_s3_data`.
Прогон их не удалял. Перед удалением убедиться, что контейнеров на них нет
(`docker ps -a --filter volume=<имя>`), затем `docker volume rm <имя>`.
- На хосте 150 анонимных volumes. Чьи они, не проверялось, часть может быть
чужой, поэтому `docker volume prune` без просмотра запускать не стоит.
- Остались volumes пробы стадии propose `track1-queue-overload`:
`q1probe_postgres_data`, `q1probe_rabbitmq_data`, `q1probe_s3_data` (контейнеров,
сетей и образов нет). При уборке автопроверка отказала в команде с `docker compose
… down -v`, поэтому прогон их не удалял. Удалить вручную: `docker volume rm
q1probe_postgres_data q1probe_rabbitmq_data q1probe_s3_data`.
## Перенос из лабы 4
### Решения
- Три изменения по уровням рубрики: `async-attachments` (3),
`pipeline-reliability` (4), `track1-queue-overload` (5).
- `Makefile`, `.gitignore`, `.dockerignore` лабы 4 совпадают с новым skeleton
плюс свои секции, поэтому взяты целиком. `.env.example` — свой файл лабы 4:
новые имена skeleton (`BROKER_URL_FILE`, `WORKER_CONCURRENCY`,
`JOB_MAX_ATTEMPTS`, `JOB_TIMEOUT_SECONDS`, `STAGING_RETENTION_SECONDS`)
сопоставляет change `async-attachments`.
- `evidence/` не переносится: сверка покрытия `make student_test` красная по
`test_exclusion_evidence_exists`, пока файлы не сняты заново на стенде лабы 5
(последний шаг прогона).
- Commit «до» профилей `rollout`, `uploads` и `reconcile` стенда `bench/` —
commit переноса: коммитов лабы 4 в истории лабы 5 нет. Вариант «до» у
`uploads` и `reconcile` больше не показывает старое поведение, эти профили
остались как инструменты, их результаты — в отчёте лабы 4.
### Вопросы
Пока нет.
## async-attachments
Подробности и отвергнутые варианты — `openspec/changes/archive/2026-10-31-async-attachments/design.md`.
### Решения
- **Очередь — классическая durable**, а не quorum: на одном узле реплик нет, задержка на
пробе выше, счётчик доставок и at-least-once dead-lettering не нужны, реестр `failed` и
счёт попыток — в PostgreSQL (решение 4). Аргументов у очереди нет: DLX и пределы следующие
изменения ставят политиками.
- **Образ брокера — `rabbitmq:4.3.7`**, а не свежий 4.4.0; предел памяти задан явно: брокер не
видит лимит контейнера (проба: 4760 МиБ при лимите 512 МБ); `hostname` постоянный, иначе
пересозданный контейнер не находит данные в volume.
- **Staging — приватный префикс того же bucket**, `<база>/staging/<id>/original`. Сверка его не
видит: её префикс — `<база>/attachments/`. Конечный ключ оригинала назначается при вставке;
отдельная колонка `staging_key` оставляет очистку staging следующему изменению.
- **Запись намерения:** `queued` и задание — одна транзакция; это и есть будущий outbox
(`state = 'queued' AND published_at IS NULL`). Отдельной таблицы outbox и relay на этом уровне
нет.
- **Брокер недоступен — 503, не 202** (решение 3): без relay намерение никто не доставит. Отмена —
условной транзакцией: задание уже взято — 202, иначе вложение возвращается в `pending` и уходит
к уборщику. Разрыв COMMIT и publish назван в спеке, design и `REPORT.md`.
- **`/health/ready` — только PostgreSQL:** брокер и worker не входят, как S3 (решение 10). Иначе отказ
брокера вывел бы все реплики из LB.
- **Повтор — фиксированная пауза** (`[worker] retry_delay_seconds`) и новое сообщение с `attempt + 1`, а не
`nack`: контракт требует, чтобы `attempt` отражал управляемую попытку. Backoff с jitter — следующее
изменение. Каждая начатая попытка считается; при недоступном PostgreSQL записать нечего, задание ждёт в
очереди.
- **Коды:** `invalid_image`, `processing_failed` (объект staging отсутствует или испорчен), `retry_exhausted`.
Причина для оператора — `attachment_jobs.last_error_code` и журнал worker.
- **Порядок проверок сообщения:** неизвестное, чужое и `pending` — 404 до ключа; `failed` — 409 после захвата
ключа, с откатом. В списке есть и то и другое — 404.
- **Ключ эффекта** `(attachment_id, pipeline_version, variant)` — первичный ключ `attachment_variants`. Оригинал —
не строка этой таблицы: схема `Variant` контракта не знает имени `original`, его итог — поля самого вложения.
- **Thumbnail считается своим кодом,** а не `Image.thumbnail`: Pillow округляет к ближайшей пропорции, контракт
— вниз. Лимит worker 1 ГБ — по замеру: две задачи PNG RGBA на 40 Мпкс ≈ 800 МиБ.
- **Один пользователь брокера на API и worker:** разделение прав — лаба 7. Management-плагина нет, состояние
очереди — `rabbitmqctl` в контейнере.
- **Сопоставление имён skeleton:** `BROKER_URL_FILE` → `[broker]` мостами из `RABBITMQ_*`; `WORKER_CONCURRENCY` →
`[worker] concurrency`; `JOB_MAX_ATTEMPTS` → `max_attempts`; `JOB_TIMEOUT_SECONDS` → `job_timeout_seconds`;
`STAGING_RETENTION_SECONDS` — поля пока нет, появляется с очисткой staging.
- **Цепочка LB:** срок публикации 2 с: после тела 29 с < `timeout server` 30 с, наибольшая длительность загрузки 76 с
< дренаж 90 с. Прежние значения LB не меняются.
- **Apply:** `request_id` записей задания ставит сервис обработки сразу после разбора сообщения (а не `main.py`): разбор — его
шаг, задача доставки своя, контекст не течёт. `DROP` — третий исход `JobOutcome` рядом с `ACK` и `REQUEUE` дизайна: сообщение не
по схеме возвращать в очередь нельзя. Сообщение задания с `attachment_id` не своей строки считается неизвестным (`ACK`).
Подробности — design, «Уточнения apply».
- **Группа 15:** снят ещё `make bench_uploads` (метка `baseline`): на неё ссылаются два исключения сверки, а в плане снятия её не было. Новые файлы `evidence/` на время замеров вынесены из дерева, чтобы паспорта не получили ложный `dirty: true`. Design, «Уточнения apply», п. 16–17.
- **Найдено при снятии, не исправлено** (код в группе 15 не меняется, запись в `KNOWN_ISSUES.md` — за основной сессией): в записи «Uploaded attachment» поле `content_type` пишется как `<ImageType.PNG: 'image/png'>`, а не `image/png` (`src/core/services/attachment.py`, `_store`; `evidence/worker/logs.md`). Секретов там нет, запись читается хуже.
### Предложения на потом
Найдено проверкой `async-attachments`, код `src/` здесь не менялся: evidence снят на `ff1a83b`. Все пять закрыты изменением `pipeline-reliability` (S5, S6, W2 — кодом worker; два последних пункта — дельтой `load-benchmark` и `bench/run.py`).
- **S5, срок закрытия worker:** комментарий `_CLOSE_TIMEOUT_SECONDS` (`src/worker/main.py:41-43`) обещает сумму меньше срока остановки контейнера 10 с, а худший случай — 8 + 5 × 0,5 = 10,5 с, при `graceful_shutdown_seconds` 9 — 11,5 с. Либо уменьшить составляющие, либо поправить комментарий и верхнюю границу настройки.
- **S6, пауза повтора и сигнал:** сигнал прерывает паузу и даёт `REQUEUE`, а claim не смотрит `next_attempt_at`: перезапущенный worker начнёт попытку раньше паузы (`attachment_processing.py`).
- **W2, дубль после `busy`:** `redelivered` стоит и после `nack(requeue=True)`, поэтому при попытке дольше паузы дубль возьмёт задание параллельно живой попытке и потратит её номер, а на последней попытке даст `retry_exhausted`, пока первая ещё идёт (`attachment_processing.py:230`; design, решение 7). Эффект не дублируется. Закрывается lease: живую попытку отличать по `lease_expires_at`, а не по флагу.
- **Спек `load-benchmark`, «Профиль сверки»:** там всё ещё «на образе до change», а `reconcile_before` = `04f8592`: та же неточность, что исправлена у профиля загрузок. Требования нет в дельте этого change, поэтому оно здесь не менялось.
- **`bench/run.py:1744, 2941`:** в паспорт пишется `.Image` как `id` образа, а сравнивать образы надо по метке `com.docker.compose.image` (`.claude/rules/docker.md`).
### Вопросы
Вопросы преподавателю, переносятся в `REPORT.md` (`tasks.md`, задача 15.5). Прогон не останавливают: взята самая
строгая трактовка, которая проходит публичные тесты, контракт и тесты не менялись.
1. Failed-вложение прикреплять нельзя (409), а повтор с тем же `Idempotency-Key` обязан вернуть тот же 201. Что отвечать на
повтор сообщения, чьё вложение стало `failed` уже после отправки? Сделано: новое сообщение — 409, повтор с ключом — 201 с
тем же `Message`. Другой ответ меняет одну ветку `send_message` и сценарий `idempotency`.
2. `contracts/attachment-states.md`: «неуспешные и непривязанные исходники имеют документированный retention и cleanup» — без
уровня рубрики, а в `README.md` очистка относится к уровню 4. Сделано: на уровне 3 очистки нет, ограничение названо в
`REPORT.md`, очистка и `STAGING_RETENTION_SECONDS` — в `pipeline-reliability`. Другой ответ переносит задачу очистки на этот
уровень; схема к ней готова.
3. Допустим ли на уровне 3 ответ 503 при недоступном брокере? Контракт требует 202 только после устойчивой передачи; на уровне 3 нет
relay, поэтому намерение в БД само не доставится. Сделано: 503 с понятным отказом, на уровне 4 с relay станет 202. Другой ответ
требует relay уже здесь.
## pipeline-reliability
Подробности и отвергнутые варианты — `openspec/changes/archive/2026-10-31-pipeline-reliability/design.md`; пробы — его таблица «Пробы» (проект compose `plprobe`, volumes не создавались, после проб ничего не осталось).
### Решения
- **Вопросы №2 и №3 раздела `async-attachments` закрывает это изменение.** №3: отказ брокера больше не даёт 503, на загрузке 503 только от S3 и PostgreSQL; реплики API вообще не обращаются к брокеру и не получают его пароль. №2: срок хранения `[cleaner] staging_retention_seconds`, 86400 с — значение из `.env.example` skeleton.
- **Relay — отдельный сервис** на образе API (`python -m src.relay`, 0,25 CPU / 256 МБ, пул 1), а не задача реплик, worker или уборщика: остановка worker на защите не должна останавливать публикацию, плановая сверка уборщика не должна её задерживать. Намерения — те же строки `attachment_jobs`, отдельной таблицы outbox нет.
- **Публикация внутри транзакции** — исключение из правила «брокера в транзакции нет», как DELETE уборщика: `FOR UPDATE SKIP LOCKED` на пакет и есть защита двух relay от дублей. Срок 2 с меньше срока шага 6 с и простоя транзакции 10 с.
- **Опрос 0,25 с, а не LISTEN/NOTIFY:** опрос всё равно нужен для сроков, а пустая выборка стоит 0,05 мс (проба).
- **Сообщение — подсказка, истина в строке задания.** Worker больше не публикует и не ждёт паузу в месте конкуренции: следующую попытку публикует relay по `next_attempt_at`. Дубль при живой аренде и сообщение раньше срока подтверждаются без эффекта. Это закрывает W2 и S6.
- **Аренда без пульса:** срок = `job_timeout_seconds` + `lease_margin_seconds` (70 с). Попытка теперь жёстко ограничена сроком, поэтому истёкшая аренда значит «мёртв или заморожен». Цена — после KILL worker следующая попытка ждёт до 70 с.
- **Fencing номером попытки:** результат прежней попытки больше не принимается (на уровне 3 принимался). Поэтому номер `attempt` монотонен, а бюджет после replay — колонка `attempt_base`.
- **Backoff:** случайная величина из `[d / 2, d]`, `d = min(300, 5 × 2^(N−1))`. Полный jitter отвергнут: нижняя граница суммы пауз стремилась бы к нулю, и рестарт S3 (~25 с) мог бы исчерпать попытки; сейчас сумма 37,5–75 с.
- **Реестр `failed` — в PostgreSQL, DLQ брокера нет:** всё принятое живёт в БД, а сообщение не по схеме работы не несёт. Replay — операторская команда `make replay` (dry-run по умолчанию, с `--apply` выбор обязателен), аудит — таблица `attachment_job_replays`.
- **Декодирование — новый процесс на задание:** без секретов в окружении, с `RLIMIT_AS`, `RLIMIT_CPU` и сроком. Проба нашла JPEG в пределах контракта, который не декодируется за 60 с: 10 MiB повторённых сканов. Цена — ~100 мс CPU на маленьком файле; forkserver (9 мс) отвергнут сейчас, граница — один модуль, если трек 1 покажет необходимость.
- **Лимиты по умолчанию:** память 450 МиБ (наибольший `VmPeak` на пробе 417), CPU 15 с (наибольшее законное 0,55 с), срок 40 с, меньше срока попытки. Лимит памяти не действует на хосте macOS: `setrlimit` отказывает, в журнале это видно.
- **Новых значений `error_code` нет:** лимиты дают `invalid_image`, причина — в `last_error_code`. Реплика прежней версии упала бы на незнакомом значении enum.
- **Варианты:** `thumbnail` и `crop` — JPEG, `quality` 85; `optimized` — WebP, `quality` 80, `method` 4 (`method` 6 на пробе в 3,5 раза дольше без выигрыша), без EXIF, XMP и ICC. Crop из основы 1280 только при короткой стороне не меньше 256, иначе из декодированного: у 5000 × 10 иначе квадрат в 2 px. Профиль ICC отбрасывается, ограничение в отчёте.
- **Staging удаляет уборщик, не worker:** право удаления у него уже есть, а worker читает и пишет весь bucket. Цена — объект живёт до следующего прохода, 60 с.
- **Сверка** видит объекты staging: `orphan_staging` с порогом срока хранения, а не grace: база, восстановленная из копии, иначе быстро сделала бы staging живых строк «объектами без метаданных». Наличие объектов вариантов не проверяет: действия нет, рубрика не требует; ограничение остаётся в отчёте.
- **Точек сбоя в коде нет:** самое узкое окно «после COMMIT до ack» снимается снаружи: отложенный триггер, `pg_stat_activity`, `docker kill -s STOP`, `docker kill` (проба).
- **Остановка worker (S5):** верхняя граница `graceful_shutdown_seconds` — 8, закрытие клиентов одним сроком, худший случай 9,5 с.
- **`bench/`:** профиль загрузок больше не запускает брокер, `Profile.rollout_from` → `7f38948`, образ в паспорте — метка `com.docker.compose.image`.
- **Сценарии «Брокер не подтвердил задание» и «Загрузка без подтверждения брокера убрана» сохранены именем:** `openspec validate --strict` не даёт убрать сценарий правкой дельты. Первый теперь про 202 при остановленном брокере, второй — про реплику прежней версии на время замены.
- **Решения apply (подробно — design, «Уточнения apply»):** у `make replay` `--attachment-id` и фильтр по коду или причине вместе нельзя (код 2); `FOR NO KEY UPDATE` и ack после фиксации проверяются пробой блокировки строки и счётчиком `messages_unacknowledged`: прежний вид тестов этих регрессий не замечал; откат реплик на прежний образ — с `infra/rollback/broker.compose.yml`, без него загрузка 503; зависший worker в тесте — отдельный процесс с длинными сроками и `expire-lease`, иначе его прерывал бы таймер, а не fencing.
- **Удалено при коммите:** `src/utils/thumbnail.py` и `src/infra/broker/instance.py` без импортов удалила основная сессия, вошло в `e2a6427`.
- **Группа 15:** метка `bench_rollout` снята первой, на чистом дереве, остальные доказательства — после: новые файлы `evidence/` выносить из дерева не пришлось (`git.dirty` false). Полный `make failure_checks` — при остановленном рабочем стенде, чтобы не сужать малый запас времени к концу набора: 140 из 140, тесты не правились. `driver.py pipeline-state` при замороженном брокере — отдельный файл `evidence/relay/pipeline-state.md`; `broker-check --require-test-queue` снят между двумя `make test_isolated`. `evidence/s3/worker-key.md`, `evidence/migrations/async-attachments.md`, метки `evidence/rollout/async-attachments`, `evidence/uploads/baseline` остаются со своим `ff1a83b`: это переход уровня 3, новые снимки — `evidence/s3/cleaner-staging.md`, `evidence/migrations/pipeline-reliability.md`, метка `evidence/rollout/pipeline-reliability`.
- **Правки по проверке (группа 16):** исходник закрывается только при переводе в RGBA: остальные ветки `_prepared` на границе и так укладываются в лимит (пробы, design, «Уточнения apply», п. 19). Тест типов PNG — в обычном наборе (`test_pixel_limit_png_modes`), а не в проверках отказов: особого стенда ему не нужно. Прежний поток зависшего worker сохранён отдельным тестом `test_hung_worker_thawed_after_ready`: усиленный `test_hung_worker_lease_fencing` его не заменяет, сценарий «Зависший worker» проверяет другое окно. Для второй попытки hook получил `run-worker-second`: основной worker стенда со сроком 10 с при разморозке прервал бы таймер.
- **Архив:** перед архивом основные спеки сверены с дельтами по требованиям, описаниям и сценариям, правок вне дельт от `99a222e` нет, поэтому синхронизация ничего не изменила. Каталог перенесён `mv` по шагу 5 `/opsx:archive`: `openspec archive` применил бы дельты повторно к уже обновлённым спекам. Запись «Три изменения по уровням рубрики» в разделе «Перенос из лабы 4» оставлена как решение своего времени; порядок после архива — `unit-of-work`, затем `track1-queue-overload` (`AGENTS.md`).
### Вопросы
Вопросы преподавателю, переносятся в `REPORT.md` (`tasks.md`, задача 15.5). Прогон не останавливают: взята самая строгая трактовка, которая проходит публичные тесты, контракт и тесты не менялись.
1. Контракт требует применять EXIF orientation и компоновать alpha на белый только у thumbnail. Как с `crop` и `optimized`? Сделано: ориентация применяется у обоих (иначе EXIF, удалённый из WebP, повернул бы изображение), `crop` компонуется на белый (JPEG), а `optimized` сохраняет прозрачность (WebP её умеет). Другой ответ правит одну функцию и сценарий.
2. Контракт называет replay «явным операторским», но не говорит, как его вызывать, а новые возможности просит добавлять в `contracts/extensions.openapi.json`. Достаточно ли команды в контейнере? Сделано: `make replay`, HTTP-ручки нет: в API нет роли оператора. Другой ответ добавляет ручку поверх той же транзакции.
3. Изображение, которое не уложилось в лимиты времени или памяти обработки, — это `invalid_image` или отдельный код? Контракт приводит коды как пример. Сделано: `invalid_image`, точная причина — в записи для оператора. Другой ответ добавляет значение enum и требует порядка обновления реплик раньше worker.
4. Контракт требует retention для «неуспешных и непривязанных исходников», но молчит о конечных объектах, которые успела записать неудачная попытка. Сделано: по истечении срока удаляются и они, метаданные `failed` остаются. Другой ответ убирает один шаг очистки.
5. Секреты worker читаются процессом обработки через `/proc/1/environ` под тем же UID: окружение самого процесса обработки их не содержит, но после эксплойта декодера защиты нет. Кодом не исправлено, ограничение названо в `REPORT.md` и `worker.md`. Предложение: `prctl(PR_SET_DUMPABLE, 0)` в процессе worker до запуска процессов обработки: тогда чужой процесс того же UID не откроет его `/proc/<pid>/environ` и `mem`. Требуется ли это на уровне лабы?
## unit-of-work
Подробности и отвергнутые варианты — `openspec/changes/archive/2026-11-01-unit-of-work/design.md`; пробы — его раздел «Пробы» (проект compose `uowprobe`, данные в tmpfs, volumes не создавались, после проб ничего не осталось).
### Решения
- **Общий срок JSON-запроса остался, это расхождение с буквальной постановкой** «`request_timeout_seconds` — срок UoW, а не запроса» (решение 6). Срок блока — как в постановке, но на роутерах пользователей, сессий, чатов и сообщений сверх него стоит зависимость `request_deadline` той же настройкой. Без неё проба дала 503 за 3,31 с вместо 2 с при сроке 2 с (при 6 с — до 12 с, больше `timeout server` 10 с: 504 от LB вместо 503 реплики), и очередь хэшей шла без срока: 40 входов ждали 4,69 с вместо отказа за 2 с. Отменить решение просто (убрать `dependencies=` у четырёх `include_router`), но тогда придётся менять цепочку LB и её спек.
- **Откат при выходе из блока — под сроком, отмена задачи сбрасывает соединение** (решение 4). Прежний `session_scope` откатывал уже вне срока: на JSON-ручках незаметно (после ответа), на шаге замороженный PostgreSQL повесил бы готовый ответ до разморозки (проба: 8,38 с и 8,64 с против 4,01 с). Цена: отказ БД при откате успешного чтения — 503, окно в один обмен.
- **Цена шага принята, проверка соединения при выдаче — одним запросом** (решение 7). На пробе вторая выдача опускает потолок реплики 1 CPU на истории и отправке на 10–25 %, CPU PostgreSQL поднимает на 13–51 %. Проверка диалекта asyncpg стоит три обмена (`BEGIN`, `;`, `ROLLBACK`, транзакция там ради pgbouncer, которого на стенде нет); с одним обменом CPU PostgreSQL около прежнего, потолок −1…−22 %, p50 +0,2…0,5 мс, удержание соединения на запрос −20…−36 % (шум прежнего кода между прогонами до 10 %). Это мера, а не часть паттерна; подмена опирается на внутренние имена адаптера, SQLAlchemy закреплён `<2.2`. Чтение без транзакции и соединение Core вместо сессии ORM отвергнуты и остаются готовыми мерами, если замер на коммите покажет больше.
- **Порты — `src/core/ports/`, реализации repo остаются в `src/core/repos/`, `SqlAlchemyUnitOfWork` — `src/infra/db/uow.py`** (решение 1). Атрибуты единицы работы: `users`, `sessions`, `chats`, `messages`, `idempotency`, `attachments`, `jobs`, `variants`, `job_replays`.
- **Строже книги:** вложенный вход и repo вне блока — ошибка, commit заканчивает блок (решение 2). Весь нынешний код и так фиксирует последним действием блока; autobegin `AsyncSession` иначе открыл бы молчаливую транзакцию без срока.
- **Экземпляр единицы работы — на задачу:** запрос в API, доставка в worker, сервис в последовательных процессах (решение 3).
- **`CurrentUserBrief` убран:** любой вход теперь короткий блок, а различие с JSON-ручками — только в общем сроке на роутере (решение 6). Свойство «соединение в пуле до тела запроса» сохраняется.
- **Кэш и S3 — те же модули с клиентом первым параметром;** в тестах настоящие функции поверх фейков клиентов (решение 8).
- **Фейки — по контракту метода, общий набор `service-tests/repo_contract.py` на фейке и на SQL** (решение 11). Отсюда вторая цель `make service_test_db` на временной базе: она же проверяет настоящую единицу работы и общий срок запроса, а замороженный сервер даёт TCP-прокси, без `docker pause` рабочего PostgreSQL.
- **Каталог `service-tests/`, цели `make service_test` и `make service_test_db`;** новых зависимостей нет: `async def` тесты запускает плагин `anyio`.
- **Новые сценарии — в capability `unit-of-work`, дельта `data-storage` только меняет текст:** `student-tests/` этим изменением не правятся, а сверка покрытия упала бы на сценарии без теста. `unit-of-work` в `CAPABILITIES` не входит: её проверяют `service-tests/`.
- **Замер «до» — из временного `git worktree` на commit до кода,** подряд с «после» и A/A (`tasks.md`, 13.1): `make bench_ab` требует коммита отката. Метки с профилем `quick` под своими именами идут в git, потому что на них ссылается отчёт. `Profile.rollout_from` не меняется, сравнение с предыдущей версией — аргументом `--from`.
- **Решения apply** (`design.md`, «Уточнения apply»): `commit` и `rollback` единицы работы — в базовом классе, реальные шаги `_commit` и `_rollback`, иначе правила блока дублировались бы в фейке; `rollback()` заканчивает блок, как и `commit()`; временная база — хуки pytest, а не фикстура, чтобы удаляться и при прерывании; замороженный прокси размораживается сторожем через 8 с, чтобы регрессия падала, а не висела.
- **`driver.py reconcile-cycle` на наполненном стенде даёт один ложный FAIL** («exit code after X and Y are removed»): на 11 тыс. объектов проход идёт ~5,8 с, и проба F (grace 30 с) стареет раньше проверки. От кода не зависит, записано в `KNOWN_ISSUES.md`, не чинилось: вне изменения.
- **Правки verify** (`design.md`, уточнения 17–20). `BoundedCloseConnection` обрывает транспорт сам: дешёвая проверка (решение 7) превращала старую утечку сокета после заморозки в сессии PostgreSQL сверх пула без срока, откатывать её не понадобилось. При общем сроке таймера блока нет (`ContextVar` с задачей, `asyncio.timeout(None)`): иначе вторая отмена прерывала закрытие соединения. Заметное следствие: 503 при заморозке теперь приходит за `T` + закрытие, 4 с при сроке 2 с (при 6 с — 8 с < `timeout server` 10 с), а не за `T`. `service_factory` worker вынесен из `run()`, чтобы тест ловил регрессию в самой сборке.
- **Архив:** синхронизацию и перенос каталога выполнил один вызов `openspec archive unit-of-work -y`, отдельного шага `/opsx:sync` не было: иначе `openspec archive` применил бы дельты повторно. Основные спеки затем сверены с дельтами: `unit-of-work` совпадает с дельтой, в `data-storage` изменилось только требование о пуле.
### Вопросы
Пока нет. Вопросов преподавателю это изменение не добавляет: контракт и поведение API те же.
### Для пользователя
Основная сессия приняла расхождения с первоначальной постановкой, потому что сама её сформулировала, а решения пользователя они не меняют: общий срок JSON-запроса (решение 6) и дешёвую проверку соединения при выдаче (решение 7). Условие для второго: `make service_test_db` проверяет обрыв соединения с подменённой проверкой, чтобы смена внутренних имён SQLAlchemy падала тестом. Цена паттерна на этом стенде, замер на коммите (`evidence/compare/unit-of-work-aa__unit-of-work-after.md` и `unit-of-work-before__unit-of-work-after.md`): потолок реплики на истории и отправке ниже, медианы −14,1 и −12,6 % от метки того же кода, снятой прямо перед «после» (ниже 18 ячеек из 18), −6,6 и −4,3 % от снятой позже (16 из 18). Один повтор на ячейку, две метки одного кода расходятся до 14–17 %: знак устойчив, точной величины нет. За оценку design (−1…−22 %) цена по ближней метке не вышла, число соединений то же. Рост CPU при 200/с (API +10,8 %) того же порядка, что расхождение двух прогонов одного кода (9,2 %). Вывод — `REPORT.md`.
## track1-queue-overload
Подробности и отвергнутые варианты — `openspec/changes/track1-queue-overload/design.md`; пробы — его раздел «Пробы» (проект compose `q1probe`, образ `git archive 5a97416`, файлы в scratchpad). Это пробы, а не результат: результат даст метка `evidence/queue/baseline2/` (`evidence/queue/baseline/` снята раньше правок verify).
### Решения
- **Граница принятой работы — предел незавершённых заданий (`queued` + `processing`), `[uploads] max_unfinished_jobs`, по умолчанию 250, 0 — без предела:** у предела загрузка получает 429 `rate_limited` с `Retry-After: 5`, сразу, без чтения тела и места. Без неё бэклог упирается только в диск: пробы показали, что брокер его не сдержит (200 000 сообщений — 106 МиБ анонимной памяти), а 202 отвечает всегда (решение 1).
- **Значение 250 — из потолка худшего класса:** PNG RGBA 40 Мпкс, 0,92 задания в секунду на 1 CPU: ожидание ~270 с, меньше порога потерянного сообщения 300 с; staging не больше ~2,4 ГиБ. Проверяется меткой, при другом числе worker предел другой (решение 2).
- **Предел один на стенд и мягкий:** считается в PostgreSQL, превышение — только загрузки в полёте, `реплик × (мест + ожидающих)`, на стенде 40. Жёсткий предел потребовал бы блокировки на фиксацию и компенсации записанного объекта. Не на чат и не на пользователя, и считает задания, а не байты: ограничения названы в отчёте.
- **Счёт — тремя существующими частичными индексами с `LIMIT` на группу:** 0,05–0,13 мс при любом бэклоге, под оборотом до ~1 мс; нового индекса и миграции нет. Счётчик одной строкой отвергнут пробой: −16…−49 % потолка оборота заданий. Проверка — в том же блоке, что членство: шаг с PostgreSQL не прибавляется, цепочка LB прежняя (решение 3). Цена на загрузку по прототипу: +0,9 мс p50, +0,8 мс CPU реплики, +0,4 мс CPU PostgreSQL; отказ — 1,9 и 0,3 мс.
- **Метрики очереди брокера — плагин `rabbitmq_prometheus` только в профиле:** `rabbitmqctl` стоит 0,52 с CPU в cgroup брокера на вызов и испортил бы замер (проба). На рабочем стенде плагина нет.
- **Истина о готовности — метаданные по HTTP после разбора очереди, а не живой опрос:** `updated_at` у `ready` не меняется, опрос нагружал бы API в замере. Счётчики очереди — `psql` сэмплера, только чтение.
- **Настройки метки:** (1, 1), (2, 2) по умолчанию, (4, 4), (2, 256), классы `s`, `m`, `lj`, `lp`; конкуренция сверх двух при 1 CPU на пробах не ускоряет, поэтому настоящее ускорение показывает блок второго worker. Значения по умолчанию меняются только по правилу решения 12, отдельным commit после метки.
- **Копии при большом prefetch в метку не входят:** опыт требует менять порог потерянного сообщения; проба — 188 копий на 150 заданий при пороге 15 с, эффект нулевой.
- **Профиль `uploads` и четыре прежних API стенда отказов — с выключенным пределом:** там задания копятся намеренно, предел мерил бы не то (решение 13). Пятый API — «узкий по заданиям».
- **Worker в профиле очереди перезапускается, как на рабочем стенде (`restart: unless-stopped`):** пробы — при (4, 4) на `lp` ядро может убить и процесс 1 (журнал ядра, `exit 137`), и с `restart: "no"` ячейка простаивала бы с ложными `stuck`. Перезапуски — столбец и пометка (решение 10). У S3 остаётся `"no"`: его гибель должна быть видна.
- **Блок приёма — `m`, 15/с, 45 с, с пределом по умолчанию:** пробы показали всю цепочку: S3, с ~10-й секунды 429 от мест, с ~35-й 429 от предела, а готовых/с падает с 2,9 до ~0,6. S3 — общий ресурс приёма и worker: гипотеза H9 (решения 4, 8, 12).
- **Время полной метки — ~2 ч 10 мин** при трёх повторах 19 конфигураций, `RESUME=1` как у серий: окна выбраны по пробам так, чтобы уложиться (решение 14).
- **Apply: перезапуск worker считается завершением ядром, пометка `oom`:** счётчик `oom_kill` умершей жизни прочитать нельзя, cgroup уходит раньше тика. Другие причины аварийного выхода в метке от него не отличаются (design, «Уточнения apply», п. 1).
- **Apply: доля второго worker считается только по разбору накопленного,** без окна `after`: иначе H3 ложно не подтверждалась бы. Порог не менялся (там же, п. 2).
- **Apply: CPU окна — с интерполяцией на краях;** разность только по внутренним отсчётам занижала его на ~10 % (там же, п. 3).
- **Apply: блоки, которых нет в быстром профиле, проверены разово** скриптом в scratchpad поверх `run.main` (там же, п. 4).
- **Правки verify: `oom` — только подтверждённое завершение ядром.** Причина — события Docker (`oom`, `kill`, `die` с кодом), столбцы `worker_die_*`; `oom_kill` больше не прибавляет каждый перезапуск. На этом считаются H2 и правило рекомендации; условия гипотез не менялись, а смысл стал тем, что в них написано (design, «Уточнения apply», п. 8). Осталось открытым: перезапуск не от ядра условия правила не нарушает, только пометка `worker_crash` (вопрос 3).
- **Правки verify: настройка, снятая не на всех классах, не кандидат в рекомендацию.** Порог 90 % не менялся. По плану это (1, 1) и (2, 256): «наименьшая конкуренция» теперь выбирается только между (2, 2) и (4, 4), а (1, 1) может быть только названа. Метка `baseline` даёт тот же итог (2, 2) (там же, п. 9).
- **Правки verify: лишняя строка в базе — отказ метки, как `lost`, но условие H6 не расширено:** пометка `unexpected` вне записанного до метки списка H6; строка, которую объясняет 5xx или обрыв, пометку не даёт (там же, п. 10).
- **Правки verify: `UP 1/2` — реплика ещё в балансировке:** она получает запросы, `lb_down` на неё не срабатывает. Опора — сценарий «реплики MUST NOT выводиться из балансировщика» (там же, п. 11).
- **Метка `baseline2` не основная, снимается `baseline3`:** за съёмку хост выгрузил в swap 309 432 страницы, пять ячеек с `host_swap`, в четырёх задержка вышла за разброс соседних повторов. Указание пользователя «забить» касается косяков хоста, явно не меняющих результат, а здесь результат ячеек изменился. Без пяти ячеек вердикты H1–H9 и рекомендация те же, но правило (design, решение 11; `bench.md`) записано до метки и не смягчается после. Каталог `baseline2` остаётся в git как запись. Если выгрузка повторится, третьей пересъёмки нет: основной станет метка с меньшим числом задетых ячеек, они будут названы в отчёте (задача 10.20а).
- **Решение пользователя (2026-11-02): при выгрузке результат сохраняется, после `baseline3` — ещё один прогон `baseline4`, больше пересъёмок нет.** Отступление от правила «переснять» (design, решение 11; `bench.md`) принято по этому решению. Основная — метка с меньшим числом задетых ячеек, при равенстве — с меньшим `swapouts_delta`, выбор не зависит от вердиктов (задача 10.20б). В `baseline3` — 26 046 страниц, одна задетая ячейка, и вердикт H2 «нет»: `lp`, duration (4,4)/(2,2) = 0,965; в `baseline` и `baseline2` он был «подтверждено». Эта ячейка (`lp-c2p256-r1`) в условие не входит.
- **Финальные доказательства вне бенчмарка, команды драйвера.** Разовые пробы перенесены тремя командами, а не двумя: `worker-memory` (рабочий стенд, через LB), `freeze-sessions` (работает и на рабочем стенде: заморожен только прокси пробы) и `freeze-lb` (`docker pause` — запрещён на рабочем PostgreSQL). `freeze-lb` сама поднимает и убирает временный проект `mtusi-lab5-freeze`, а не ждёт его по окружению, как `reconcile-signal`: иначе проверяющему пришлось бы собирать стенд руками; данные в tmpfs, поэтому `down` без `-v` ничего не оставляет. Значения — случайные, из `.env.example`: `.env` не читается.
- **`freeze-sessions` идёт в одноразовом контейнере `api`, а не из дерева кода через `uv run`:** так пробе не нужен `.env` и код образа совпадает со стендом. httpx в образе нет, вызовы ASGI — своим клиентом; остальная логика `double_cancel.py` та же. Прежний файл называл аргументы пробы неверно: `2 6 1` и `2 6 4` — пул 2 и 1 или 4 запроса, а не срок 2 и пул 1 или 4; добавлен режим с настоящим пулом 4.
- **`make test_isolated` перед `cache-check` при первой съёмке — код 2.** Его набор требует файлы, которых ещё нет, а ключи временной базы он при этом оставляет: команды шли не через `&&`, причина названа в шапке `evidence/cache/hits.md`.
- **Шаги `evidence/idempotency/replay-after-restart.md` — `driver.py req` и `docker compose`,** скрипт только соединил их: отдельной команды драйвера не заводилось, задача её не просила, а шаги повторяются руками.
- **Пересняты `evidence/tests/student-test-lb.md` и `evidence/tests/test-isolated.md`:** задача их не называла, но на `d8fe2e8` они показывали единственный красный тест, который эта задача закрыла. `evidence/tests/failure-checks.md` остаётся на `d8fe2e8`: полный прогон на ноутбуке запрещён условиями задачи.
- **В `REPORT.md` добавлен вопрос 12 (`PR_SET_DUMPABLE`):** он был вопросом преподавателю в `QUESTIONS.md`, но в нумерованный список отчёта не попал.
- **Секреты в новых файлах `evidence/` сверены по токенам и путям, не по значениям `.env`:** файл `.env` в этой работе не читается. `evidence/tests/secrets.md` остаётся на прежнем commit; поиск значений по всему `evidence/` — перед PR.
### Вопросы
Вопросы преподавателю, переносятся в `REPORT.md` («Открытые вопросы преподавателю»). Прогон не останавливают: взята самая строгая трактовка, которая проходит публичные тесты, контракт и тесты не менялись.
1. Предел незавершённых заданий: 429 или 503? Контракт называет 429 «ограничением частоты запросов», а здесь ограничено количество принятой работы; 503 в нём — «зависимость недоступна». Сделано: 429 `rate_limited` с `Retry-After` — как у занятых мест загрузки (вопрос 1 в отчёте), зависимости живы, и реплика остаётся готовой. Другой ответ меняет строку `DOMAIN_ERRORS` и сценарии.
2. Рубрика уровня 3 показывает «worker остановлен → upload 202», а трек 1 требует ограничить принятую работу. Как долго загрузка обязана отвечать 202 при остановленном worker? Сделано: пока незавершённых меньше предела (250); дальше 429, а текст, история, метаданные, готовые байты и `/health/ready` работают. Сценарий защиты грузит единицы файлов. Другой ответ — значение настройки.
Вопрос пользователю (основной сессии), прогон не останавливает:
3. Правило рекомендации требует «без `oom` и `failed`». После правки S5 аварийный перезапуск worker не от ядра (`worker_crash`) это условие не нарушает: раньше такой перезапуск считался `oom` косвенно. Условие не менялось, потому что записано до метки. В метке таких случаев не ждём (пробы: только ядро). Появится — считать настройку некандидатом? Сейчас: пометка в сводке, решение — в отчёте.
**Решение основной сессии:** правило не менять, оно записано до метки. Если `worker_crash` появится в основной метке, отчёт называет такую настройку отдельно и не рекомендует её, не перекрашивая вердикт правила. В `baseline` и `baseline2` таких случаев нет.