The host swapped out 26046 pages, all in one cell. A further label, baseline4, follows by the user's decision; the main one is picked by the number of affected cells, not by verdicts. Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
273 lines
58 KiB
Markdown
273 lines
58 KiB
Markdown
# Вопросы и решения лабы 5
|
||
|
||
Решения, принятые без пользователя, и вопросы, которые не блокируют работу.
|
||
Раздел на каждый change: `## <change>`, внутри «Решения» и «Вопросы».
|
||
Вопросы преподавателю дублируются в `REPORT.md`.
|
||
|
||
## Ответы пользователя перед прогоном (2026-10-31)
|
||
|
||
- Оценка — 5, трек 1 «Очередь под перегрузкой».
|
||
- Брокер — RabbitMQ 4.
|
||
- Без пользователя можно: коммиты на ветках `feat/<change>`, ff-merge в
|
||
`solution/bvt2301-safronov`, архивация, установка зависимостей и образов,
|
||
запуск стенда и замеров, в конце `git push` ветки решения в свой fork.
|
||
PR не открывать.
|
||
- Противоречие в контракте: брать самую строгую трактовку, которая проходит
|
||
публичные тесты, контракт и тесты не менять, записать решение и вопрос
|
||
преподавателю здесь и в `REPORT.md`, прогон не останавливать.
|
||
- Предупреждения о хосте, явно не влияющие на результат замера, прогон не
|
||
останавливают.
|
||
|
||
## Ответы пользователя во время прогона (2026-10-31)
|
||
|
||
- Паттерн Unit of Work входит в лабу: полный вариант для всех сервисов (API,
|
||
worker, relay, уборщик, replay): сервисы получают UoW вместо `AsyncSession` и
|
||
`db_scope`, repo доступны через него. Поведение и контракт не меняются.
|
||
- UoW — полноценно по Cosmic Python (указание пользователя). Прогон понимает это как
|
||
главы 2 и 6: абстрактные repo и UoW, реализации на SQLAlchemy, `async with uow`
|
||
в сервисе, откат при выходе без `commit`, фейки и быстрые тесты сервисов на них.
|
||
Фейковые тесты — новый каталог вне `student-tests/`, правило black-box там остаётся.
|
||
Не входят: доменная модель с classical mapping, агрегаты, события и message bus.
|
||
- Порядок: отдельный change `unit-of-work` после архивации
|
||
`pipeline-reliability` и до `track1-queue-overload`: трек 1 измеряет итоговый код.
|
||
|
||
## Для пользователя после прогона
|
||
|
||
- Остался volume пробы `asyncprobe_rabbitmq_data` (стадия propose
|
||
`async-attachments`, контейнеров и сети нет). Агенту отказали в
|
||
`docker compose down -v`, поэтому прогон его не удалял. Удалить вручную:
|
||
`docker volume rm asyncprobe_rabbitmq_data`.
|
||
- Остались volumes проб и временных проектов этого прогона: `bootprobe_s3_data`,
|
||
`mtusi-lab5-rs_postgres_data`, `mtusi-lab5-rs_s3_data`,
|
||
`mtusi-rsig_postgres_data`, `mtusi-rsig_rabbitmq_data`, `mtusi-rsig_s3_data`.
|
||
Прогон их не удалял. Перед удалением убедиться, что контейнеров на них нет
|
||
(`docker ps -a --filter volume=<имя>`), затем `docker volume rm <имя>`.
|
||
- На хосте 150 анонимных volumes. Чьи они, не проверялось, часть может быть
|
||
чужой, поэтому `docker volume prune` без просмотра запускать не стоит.
|
||
- Остались volumes пробы стадии propose `track1-queue-overload`:
|
||
`q1probe_postgres_data`, `q1probe_rabbitmq_data`, `q1probe_s3_data` (контейнеров,
|
||
сетей и образов нет). При уборке автопроверка отказала в команде с `docker compose
|
||
… down -v`, поэтому прогон их не удалял. Удалить вручную: `docker volume rm
|
||
q1probe_postgres_data q1probe_rabbitmq_data q1probe_s3_data`.
|
||
|
||
## Перенос из лабы 4
|
||
|
||
### Решения
|
||
|
||
- Три изменения по уровням рубрики: `async-attachments` (3),
|
||
`pipeline-reliability` (4), `track1-queue-overload` (5).
|
||
- `Makefile`, `.gitignore`, `.dockerignore` лабы 4 совпадают с новым skeleton
|
||
плюс свои секции, поэтому взяты целиком. `.env.example` — свой файл лабы 4:
|
||
новые имена skeleton (`BROKER_URL_FILE`, `WORKER_CONCURRENCY`,
|
||
`JOB_MAX_ATTEMPTS`, `JOB_TIMEOUT_SECONDS`, `STAGING_RETENTION_SECONDS`)
|
||
сопоставляет change `async-attachments`.
|
||
- `evidence/` не переносится: сверка покрытия `make student_test` красная по
|
||
`test_exclusion_evidence_exists`, пока файлы не сняты заново на стенде лабы 5
|
||
(последний шаг прогона).
|
||
- Commit «до» профилей `rollout`, `uploads` и `reconcile` стенда `bench/` —
|
||
commit переноса: коммитов лабы 4 в истории лабы 5 нет. Вариант «до» у
|
||
`uploads` и `reconcile` больше не показывает старое поведение, эти профили
|
||
остались как инструменты, их результаты — в отчёте лабы 4.
|
||
|
||
### Вопросы
|
||
|
||
Пока нет.
|
||
|
||
## async-attachments
|
||
|
||
Подробности и отвергнутые варианты — `openspec/changes/archive/2026-10-31-async-attachments/design.md`.
|
||
|
||
### Решения
|
||
|
||
- **Очередь — классическая durable**, а не quorum: на одном узле реплик нет, задержка на
|
||
пробе выше, счётчик доставок и at-least-once dead-lettering не нужны, реестр `failed` и
|
||
счёт попыток — в PostgreSQL (решение 4). Аргументов у очереди нет: DLX и пределы следующие
|
||
изменения ставят политиками.
|
||
- **Образ брокера — `rabbitmq:4.3.7`**, а не свежий 4.4.0; предел памяти задан явно: брокер не
|
||
видит лимит контейнера (проба: 4760 МиБ при лимите 512 МБ); `hostname` постоянный, иначе
|
||
пересозданный контейнер не находит данные в volume.
|
||
- **Staging — приватный префикс того же bucket**, `<база>/staging/<id>/original`. Сверка его не
|
||
видит: её префикс — `<база>/attachments/`. Конечный ключ оригинала назначается при вставке;
|
||
отдельная колонка `staging_key` оставляет очистку staging следующему изменению.
|
||
- **Запись намерения:** `queued` и задание — одна транзакция; это и есть будущий outbox
|
||
(`state = 'queued' AND published_at IS NULL`). Отдельной таблицы outbox и relay на этом уровне
|
||
нет.
|
||
- **Брокер недоступен — 503, не 202** (решение 3): без relay намерение никто не доставит. Отмена —
|
||
условной транзакцией: задание уже взято — 202, иначе вложение возвращается в `pending` и уходит
|
||
к уборщику. Разрыв COMMIT и publish назван в спеке, design и `REPORT.md`.
|
||
- **`/health/ready` — только PostgreSQL:** брокер и worker не входят, как S3 (решение 10). Иначе отказ
|
||
брокера вывел бы все реплики из LB.
|
||
- **Повтор — фиксированная пауза** (`[worker] retry_delay_seconds`) и новое сообщение с `attempt + 1`, а не
|
||
`nack`: контракт требует, чтобы `attempt` отражал управляемую попытку. Backoff с jitter — следующее
|
||
изменение. Каждая начатая попытка считается; при недоступном PostgreSQL записать нечего, задание ждёт в
|
||
очереди.
|
||
- **Коды:** `invalid_image`, `processing_failed` (объект staging отсутствует или испорчен), `retry_exhausted`.
|
||
Причина для оператора — `attachment_jobs.last_error_code` и журнал worker.
|
||
- **Порядок проверок сообщения:** неизвестное, чужое и `pending` — 404 до ключа; `failed` — 409 после захвата
|
||
ключа, с откатом. В списке есть и то и другое — 404.
|
||
- **Ключ эффекта** `(attachment_id, pipeline_version, variant)` — первичный ключ `attachment_variants`. Оригинал —
|
||
не строка этой таблицы: схема `Variant` контракта не знает имени `original`, его итог — поля самого вложения.
|
||
- **Thumbnail считается своим кодом,** а не `Image.thumbnail`: Pillow округляет к ближайшей пропорции, контракт
|
||
— вниз. Лимит worker 1 ГБ — по замеру: две задачи PNG RGBA на 40 Мпкс ≈ 800 МиБ.
|
||
- **Один пользователь брокера на API и worker:** разделение прав — лаба 7. Management-плагина нет, состояние
|
||
очереди — `rabbitmqctl` в контейнере.
|
||
- **Сопоставление имён skeleton:** `BROKER_URL_FILE` → `[broker]` мостами из `RABBITMQ_*`; `WORKER_CONCURRENCY` →
|
||
`[worker] concurrency`; `JOB_MAX_ATTEMPTS` → `max_attempts`; `JOB_TIMEOUT_SECONDS` → `job_timeout_seconds`;
|
||
`STAGING_RETENTION_SECONDS` — поля пока нет, появляется с очисткой staging.
|
||
- **Цепочка LB:** срок публикации 2 с: после тела 29 с < `timeout server` 30 с, наибольшая длительность загрузки 76 с
|
||
< дренаж 90 с. Прежние значения LB не меняются.
|
||
- **Apply:** `request_id` записей задания ставит сервис обработки сразу после разбора сообщения (а не `main.py`): разбор — его
|
||
шаг, задача доставки своя, контекст не течёт. `DROP` — третий исход `JobOutcome` рядом с `ACK` и `REQUEUE` дизайна: сообщение не
|
||
по схеме возвращать в очередь нельзя. Сообщение задания с `attachment_id` не своей строки считается неизвестным (`ACK`).
|
||
Подробности — design, «Уточнения apply».
|
||
- **Группа 15:** снят ещё `make bench_uploads` (метка `baseline`): на неё ссылаются два исключения сверки, а в плане снятия её не было. Новые файлы `evidence/` на время замеров вынесены из дерева, чтобы паспорта не получили ложный `dirty: true`. Design, «Уточнения apply», п. 16–17.
|
||
- **Найдено при снятии, не исправлено** (код в группе 15 не меняется, запись в `KNOWN_ISSUES.md` — за основной сессией): в записи «Uploaded attachment» поле `content_type` пишется как `<ImageType.PNG: 'image/png'>`, а не `image/png` (`src/core/services/attachment.py`, `_store`; `evidence/worker/logs.md`). Секретов там нет, запись читается хуже.
|
||
|
||
### Предложения на потом
|
||
|
||
Найдено проверкой `async-attachments`, код `src/` здесь не менялся: evidence снят на `ff1a83b`. Все пять закрыты изменением `pipeline-reliability` (S5, S6, W2 — кодом worker; два последних пункта — дельтой `load-benchmark` и `bench/run.py`).
|
||
|
||
- **S5, срок закрытия worker:** комментарий `_CLOSE_TIMEOUT_SECONDS` (`src/worker/main.py:41-43`) обещает сумму меньше срока остановки контейнера 10 с, а худший случай — 8 + 5 × 0,5 = 10,5 с, при `graceful_shutdown_seconds` 9 — 11,5 с. Либо уменьшить составляющие, либо поправить комментарий и верхнюю границу настройки.
|
||
- **S6, пауза повтора и сигнал:** сигнал прерывает паузу и даёт `REQUEUE`, а claim не смотрит `next_attempt_at`: перезапущенный worker начнёт попытку раньше паузы (`attachment_processing.py`).
|
||
- **W2, дубль после `busy`:** `redelivered` стоит и после `nack(requeue=True)`, поэтому при попытке дольше паузы дубль возьмёт задание параллельно живой попытке и потратит её номер, а на последней попытке даст `retry_exhausted`, пока первая ещё идёт (`attachment_processing.py:230`; design, решение 7). Эффект не дублируется. Закрывается lease: живую попытку отличать по `lease_expires_at`, а не по флагу.
|
||
- **Спек `load-benchmark`, «Профиль сверки»:** там всё ещё «на образе до change», а `reconcile_before` = `04f8592`: та же неточность, что исправлена у профиля загрузок. Требования нет в дельте этого change, поэтому оно здесь не менялось.
|
||
- **`bench/run.py:1744, 2941`:** в паспорт пишется `.Image` как `id` образа, а сравнивать образы надо по метке `com.docker.compose.image` (`.claude/rules/docker.md`).
|
||
|
||
### Вопросы
|
||
|
||
Вопросы преподавателю, переносятся в `REPORT.md` (`tasks.md`, задача 15.5). Прогон не останавливают: взята самая
|
||
строгая трактовка, которая проходит публичные тесты, контракт и тесты не менялись.
|
||
|
||
1. Failed-вложение прикреплять нельзя (409), а повтор с тем же `Idempotency-Key` обязан вернуть тот же 201. Что отвечать на
|
||
повтор сообщения, чьё вложение стало `failed` уже после отправки? Сделано: новое сообщение — 409, повтор с ключом — 201 с
|
||
тем же `Message`. Другой ответ меняет одну ветку `send_message` и сценарий `idempotency`.
|
||
2. `contracts/attachment-states.md`: «неуспешные и непривязанные исходники имеют документированный retention и cleanup» — без
|
||
уровня рубрики, а в `README.md` очистка относится к уровню 4. Сделано: на уровне 3 очистки нет, ограничение названо в
|
||
`REPORT.md`, очистка и `STAGING_RETENTION_SECONDS` — в `pipeline-reliability`. Другой ответ переносит задачу очистки на этот
|
||
уровень; схема к ней готова.
|
||
3. Допустим ли на уровне 3 ответ 503 при недоступном брокере? Контракт требует 202 только после устойчивой передачи; на уровне 3 нет
|
||
relay, поэтому намерение в БД само не доставится. Сделано: 503 с понятным отказом, на уровне 4 с relay станет 202. Другой ответ
|
||
требует relay уже здесь.
|
||
|
||
## pipeline-reliability
|
||
|
||
Подробности и отвергнутые варианты — `openspec/changes/archive/2026-10-31-pipeline-reliability/design.md`; пробы — его таблица «Пробы» (проект compose `plprobe`, volumes не создавались, после проб ничего не осталось).
|
||
|
||
### Решения
|
||
|
||
- **Вопросы №2 и №3 раздела `async-attachments` закрывает это изменение.** №3: отказ брокера больше не даёт 503, на загрузке 503 только от S3 и PostgreSQL; реплики API вообще не обращаются к брокеру и не получают его пароль. №2: срок хранения `[cleaner] staging_retention_seconds`, 86400 с — значение из `.env.example` skeleton.
|
||
- **Relay — отдельный сервис** на образе API (`python -m src.relay`, 0,25 CPU / 256 МБ, пул 1), а не задача реплик, worker или уборщика: остановка worker на защите не должна останавливать публикацию, плановая сверка уборщика не должна её задерживать. Намерения — те же строки `attachment_jobs`, отдельной таблицы outbox нет.
|
||
- **Публикация внутри транзакции** — исключение из правила «брокера в транзакции нет», как DELETE уборщика: `FOR UPDATE SKIP LOCKED` на пакет и есть защита двух relay от дублей. Срок 2 с меньше срока шага 6 с и простоя транзакции 10 с.
|
||
- **Опрос 0,25 с, а не LISTEN/NOTIFY:** опрос всё равно нужен для сроков, а пустая выборка стоит 0,05 мс (проба).
|
||
- **Сообщение — подсказка, истина в строке задания.** Worker больше не публикует и не ждёт паузу в месте конкуренции: следующую попытку публикует relay по `next_attempt_at`. Дубль при живой аренде и сообщение раньше срока подтверждаются без эффекта. Это закрывает W2 и S6.
|
||
- **Аренда без пульса:** срок = `job_timeout_seconds` + `lease_margin_seconds` (70 с). Попытка теперь жёстко ограничена сроком, поэтому истёкшая аренда значит «мёртв или заморожен». Цена — после KILL worker следующая попытка ждёт до 70 с.
|
||
- **Fencing номером попытки:** результат прежней попытки больше не принимается (на уровне 3 принимался). Поэтому номер `attempt` монотонен, а бюджет после replay — колонка `attempt_base`.
|
||
- **Backoff:** случайная величина из `[d / 2, d]`, `d = min(300, 5 × 2^(N−1))`. Полный jitter отвергнут: нижняя граница суммы пауз стремилась бы к нулю, и рестарт S3 (~25 с) мог бы исчерпать попытки; сейчас сумма 37,5–75 с.
|
||
- **Реестр `failed` — в PostgreSQL, DLQ брокера нет:** всё принятое живёт в БД, а сообщение не по схеме работы не несёт. Replay — операторская команда `make replay` (dry-run по умолчанию, с `--apply` выбор обязателен), аудит — таблица `attachment_job_replays`.
|
||
- **Декодирование — новый процесс на задание:** без секретов в окружении, с `RLIMIT_AS`, `RLIMIT_CPU` и сроком. Проба нашла JPEG в пределах контракта, который не декодируется за 60 с: 10 MiB повторённых сканов. Цена — ~100 мс CPU на маленьком файле; forkserver (9 мс) отвергнут сейчас, граница — один модуль, если трек 1 покажет необходимость.
|
||
- **Лимиты по умолчанию:** память 450 МиБ (наибольший `VmPeak` на пробе 417), CPU 15 с (наибольшее законное 0,55 с), срок 40 с, меньше срока попытки. Лимит памяти не действует на хосте macOS: `setrlimit` отказывает, в журнале это видно.
|
||
- **Новых значений `error_code` нет:** лимиты дают `invalid_image`, причина — в `last_error_code`. Реплика прежней версии упала бы на незнакомом значении enum.
|
||
- **Варианты:** `thumbnail` и `crop` — JPEG, `quality` 85; `optimized` — WebP, `quality` 80, `method` 4 (`method` 6 на пробе в 3,5 раза дольше без выигрыша), без EXIF, XMP и ICC. Crop из основы 1280 только при короткой стороне не меньше 256, иначе из декодированного: у 5000 × 10 иначе квадрат в 2 px. Профиль ICC отбрасывается, ограничение в отчёте.
|
||
- **Staging удаляет уборщик, не worker:** право удаления у него уже есть, а worker читает и пишет весь bucket. Цена — объект живёт до следующего прохода, 60 с.
|
||
- **Сверка** видит объекты staging: `orphan_staging` с порогом срока хранения, а не grace: база, восстановленная из копии, иначе быстро сделала бы staging живых строк «объектами без метаданных». Наличие объектов вариантов не проверяет: действия нет, рубрика не требует; ограничение остаётся в отчёте.
|
||
- **Точек сбоя в коде нет:** самое узкое окно «после COMMIT до ack» снимается снаружи: отложенный триггер, `pg_stat_activity`, `docker kill -s STOP`, `docker kill` (проба).
|
||
- **Остановка worker (S5):** верхняя граница `graceful_shutdown_seconds` — 8, закрытие клиентов одним сроком, худший случай 9,5 с.
|
||
- **`bench/`:** профиль загрузок больше не запускает брокер, `Profile.rollout_from` → `7f38948`, образ в паспорте — метка `com.docker.compose.image`.
|
||
- **Сценарии «Брокер не подтвердил задание» и «Загрузка без подтверждения брокера убрана» сохранены именем:** `openspec validate --strict` не даёт убрать сценарий правкой дельты. Первый теперь про 202 при остановленном брокере, второй — про реплику прежней версии на время замены.
|
||
- **Решения apply (подробно — design, «Уточнения apply»):** у `make replay` `--attachment-id` и фильтр по коду или причине вместе нельзя (код 2); `FOR NO KEY UPDATE` и ack после фиксации проверяются пробой блокировки строки и счётчиком `messages_unacknowledged`: прежний вид тестов этих регрессий не замечал; откат реплик на прежний образ — с `infra/rollback/broker.compose.yml`, без него загрузка 503; зависший worker в тесте — отдельный процесс с длинными сроками и `expire-lease`, иначе его прерывал бы таймер, а не fencing.
|
||
- **Удалено при коммите:** `src/utils/thumbnail.py` и `src/infra/broker/instance.py` без импортов удалила основная сессия, вошло в `e2a6427`.
|
||
- **Группа 15:** метка `bench_rollout` снята первой, на чистом дереве, остальные доказательства — после: новые файлы `evidence/` выносить из дерева не пришлось (`git.dirty` false). Полный `make failure_checks` — при остановленном рабочем стенде, чтобы не сужать малый запас времени к концу набора: 140 из 140, тесты не правились. `driver.py pipeline-state` при замороженном брокере — отдельный файл `evidence/relay/pipeline-state.md`; `broker-check --require-test-queue` снят между двумя `make test_isolated`. `evidence/s3/worker-key.md`, `evidence/migrations/async-attachments.md`, метки `evidence/rollout/async-attachments`, `evidence/uploads/baseline` остаются со своим `ff1a83b`: это переход уровня 3, новые снимки — `evidence/s3/cleaner-staging.md`, `evidence/migrations/pipeline-reliability.md`, метка `evidence/rollout/pipeline-reliability`.
|
||
- **Правки по проверке (группа 16):** исходник закрывается только при переводе в RGBA: остальные ветки `_prepared` на границе и так укладываются в лимит (пробы, design, «Уточнения apply», п. 19). Тест типов PNG — в обычном наборе (`test_pixel_limit_png_modes`), а не в проверках отказов: особого стенда ему не нужно. Прежний поток зависшего worker сохранён отдельным тестом `test_hung_worker_thawed_after_ready`: усиленный `test_hung_worker_lease_fencing` его не заменяет, сценарий «Зависший worker» проверяет другое окно. Для второй попытки hook получил `run-worker-second`: основной worker стенда со сроком 10 с при разморозке прервал бы таймер.
|
||
- **Архив:** перед архивом основные спеки сверены с дельтами по требованиям, описаниям и сценариям, правок вне дельт от `99a222e` нет, поэтому синхронизация ничего не изменила. Каталог перенесён `mv` по шагу 5 `/opsx:archive`: `openspec archive` применил бы дельты повторно к уже обновлённым спекам. Запись «Три изменения по уровням рубрики» в разделе «Перенос из лабы 4» оставлена как решение своего времени; порядок после архива — `unit-of-work`, затем `track1-queue-overload` (`AGENTS.md`).
|
||
|
||
### Вопросы
|
||
|
||
Вопросы преподавателю, переносятся в `REPORT.md` (`tasks.md`, задача 15.5). Прогон не останавливают: взята самая строгая трактовка, которая проходит публичные тесты, контракт и тесты не менялись.
|
||
|
||
1. Контракт требует применять EXIF orientation и компоновать alpha на белый только у thumbnail. Как с `crop` и `optimized`? Сделано: ориентация применяется у обоих (иначе EXIF, удалённый из WebP, повернул бы изображение), `crop` компонуется на белый (JPEG), а `optimized` сохраняет прозрачность (WebP её умеет). Другой ответ правит одну функцию и сценарий.
|
||
2. Контракт называет replay «явным операторским», но не говорит, как его вызывать, а новые возможности просит добавлять в `contracts/extensions.openapi.json`. Достаточно ли команды в контейнере? Сделано: `make replay`, HTTP-ручки нет: в API нет роли оператора. Другой ответ добавляет ручку поверх той же транзакции.
|
||
3. Изображение, которое не уложилось в лимиты времени или памяти обработки, — это `invalid_image` или отдельный код? Контракт приводит коды как пример. Сделано: `invalid_image`, точная причина — в записи для оператора. Другой ответ добавляет значение enum и требует порядка обновления реплик раньше worker.
|
||
4. Контракт требует retention для «неуспешных и непривязанных исходников», но молчит о конечных объектах, которые успела записать неудачная попытка. Сделано: по истечении срока удаляются и они, метаданные `failed` остаются. Другой ответ убирает один шаг очистки.
|
||
5. Секреты worker читаются процессом обработки через `/proc/1/environ` под тем же UID: окружение самого процесса обработки их не содержит, но после эксплойта декодера защиты нет. Кодом не исправлено, ограничение названо в `REPORT.md` и `worker.md`. Предложение: `prctl(PR_SET_DUMPABLE, 0)` в процессе worker до запуска процессов обработки: тогда чужой процесс того же UID не откроет его `/proc/<pid>/environ` и `mem`. Требуется ли это на уровне лабы?
|
||
|
||
## unit-of-work
|
||
|
||
Подробности и отвергнутые варианты — `openspec/changes/archive/2026-11-01-unit-of-work/design.md`; пробы — его раздел «Пробы» (проект compose `uowprobe`, данные в tmpfs, volumes не создавались, после проб ничего не осталось).
|
||
|
||
### Решения
|
||
|
||
- **Общий срок JSON-запроса остался, это расхождение с буквальной постановкой** «`request_timeout_seconds` — срок UoW, а не запроса» (решение 6). Срок блока — как в постановке, но на роутерах пользователей, сессий, чатов и сообщений сверх него стоит зависимость `request_deadline` той же настройкой. Без неё проба дала 503 за 3,31 с вместо 2 с при сроке 2 с (при 6 с — до 12 с, больше `timeout server` 10 с: 504 от LB вместо 503 реплики), и очередь хэшей шла без срока: 40 входов ждали 4,69 с вместо отказа за 2 с. Отменить решение просто (убрать `dependencies=` у четырёх `include_router`), но тогда придётся менять цепочку LB и её спек.
|
||
- **Откат при выходе из блока — под сроком, отмена задачи сбрасывает соединение** (решение 4). Прежний `session_scope` откатывал уже вне срока: на JSON-ручках незаметно (после ответа), на шаге замороженный PostgreSQL повесил бы готовый ответ до разморозки (проба: 8,38 с и 8,64 с против 4,01 с). Цена: отказ БД при откате успешного чтения — 503, окно в один обмен.
|
||
- **Цена шага принята, проверка соединения при выдаче — одним запросом** (решение 7). На пробе вторая выдача опускает потолок реплики 1 CPU на истории и отправке на 10–25 %, CPU PostgreSQL поднимает на 13–51 %. Проверка диалекта asyncpg стоит три обмена (`BEGIN`, `;`, `ROLLBACK`, транзакция там ради pgbouncer, которого на стенде нет); с одним обменом CPU PostgreSQL около прежнего, потолок −1…−22 %, p50 +0,2…0,5 мс, удержание соединения на запрос −20…−36 % (шум прежнего кода между прогонами до 10 %). Это мера, а не часть паттерна; подмена опирается на внутренние имена адаптера, SQLAlchemy закреплён `<2.2`. Чтение без транзакции и соединение Core вместо сессии ORM отвергнуты и остаются готовыми мерами, если замер на коммите покажет больше.
|
||
- **Порты — `src/core/ports/`, реализации repo остаются в `src/core/repos/`, `SqlAlchemyUnitOfWork` — `src/infra/db/uow.py`** (решение 1). Атрибуты единицы работы: `users`, `sessions`, `chats`, `messages`, `idempotency`, `attachments`, `jobs`, `variants`, `job_replays`.
|
||
- **Строже книги:** вложенный вход и repo вне блока — ошибка, commit заканчивает блок (решение 2). Весь нынешний код и так фиксирует последним действием блока; autobegin `AsyncSession` иначе открыл бы молчаливую транзакцию без срока.
|
||
- **Экземпляр единицы работы — на задачу:** запрос в API, доставка в worker, сервис в последовательных процессах (решение 3).
|
||
- **`CurrentUserBrief` убран:** любой вход теперь короткий блок, а различие с JSON-ручками — только в общем сроке на роутере (решение 6). Свойство «соединение в пуле до тела запроса» сохраняется.
|
||
- **Кэш и S3 — те же модули с клиентом первым параметром;** в тестах настоящие функции поверх фейков клиентов (решение 8).
|
||
- **Фейки — по контракту метода, общий набор `service-tests/repo_contract.py` на фейке и на SQL** (решение 11). Отсюда вторая цель `make service_test_db` на временной базе: она же проверяет настоящую единицу работы и общий срок запроса, а замороженный сервер даёт TCP-прокси, без `docker pause` рабочего PostgreSQL.
|
||
- **Каталог `service-tests/`, цели `make service_test` и `make service_test_db`;** новых зависимостей нет: `async def` тесты запускает плагин `anyio`.
|
||
- **Новые сценарии — в capability `unit-of-work`, дельта `data-storage` только меняет текст:** `student-tests/` этим изменением не правятся, а сверка покрытия упала бы на сценарии без теста. `unit-of-work` в `CAPABILITIES` не входит: её проверяют `service-tests/`.
|
||
- **Замер «до» — из временного `git worktree` на commit до кода,** подряд с «после» и A/A (`tasks.md`, 13.1): `make bench_ab` требует коммита отката. Метки с профилем `quick` под своими именами идут в git, потому что на них ссылается отчёт. `Profile.rollout_from` не меняется, сравнение с предыдущей версией — аргументом `--from`.
|
||
|
||
- **Решения apply** (`design.md`, «Уточнения apply»): `commit` и `rollback` единицы работы — в базовом классе, реальные шаги `_commit` и `_rollback`, иначе правила блока дублировались бы в фейке; `rollback()` заканчивает блок, как и `commit()`; временная база — хуки pytest, а не фикстура, чтобы удаляться и при прерывании; замороженный прокси размораживается сторожем через 8 с, чтобы регрессия падала, а не висела.
|
||
- **`driver.py reconcile-cycle` на наполненном стенде даёт один ложный FAIL** («exit code after X and Y are removed»): на 11 тыс. объектов проход идёт ~5,8 с, и проба F (grace 30 с) стареет раньше проверки. От кода не зависит, записано в `KNOWN_ISSUES.md`, не чинилось: вне изменения.
|
||
- **Правки verify** (`design.md`, уточнения 17–20). `BoundedCloseConnection` обрывает транспорт сам: дешёвая проверка (решение 7) превращала старую утечку сокета после заморозки в сессии PostgreSQL сверх пула без срока, откатывать её не понадобилось. При общем сроке таймера блока нет (`ContextVar` с задачей, `asyncio.timeout(None)`): иначе вторая отмена прерывала закрытие соединения. Заметное следствие: 503 при заморозке теперь приходит за `T` + закрытие, 4 с при сроке 2 с (при 6 с — 8 с < `timeout server` 10 с), а не за `T`. `service_factory` worker вынесен из `run()`, чтобы тест ловил регрессию в самой сборке.
|
||
- **Архив:** синхронизацию и перенос каталога выполнил один вызов `openspec archive unit-of-work -y`, отдельного шага `/opsx:sync` не было: иначе `openspec archive` применил бы дельты повторно. Основные спеки затем сверены с дельтами: `unit-of-work` совпадает с дельтой, в `data-storage` изменилось только требование о пуле.
|
||
|
||
### Вопросы
|
||
|
||
Пока нет. Вопросов преподавателю это изменение не добавляет: контракт и поведение API те же.
|
||
|
||
### Для пользователя
|
||
|
||
Основная сессия приняла расхождения с первоначальной постановкой, потому что сама её сформулировала, а решения пользователя они не меняют: общий срок JSON-запроса (решение 6) и дешёвую проверку соединения при выдаче (решение 7). Условие для второго: `make service_test_db` проверяет обрыв соединения с подменённой проверкой, чтобы смена внутренних имён SQLAlchemy падала тестом. Цена паттерна на этом стенде, замер на коммите (`evidence/compare/unit-of-work-aa__unit-of-work-after.md` и `unit-of-work-before__unit-of-work-after.md`): потолок реплики на истории и отправке ниже, медианы −14,1 и −12,6 % от метки того же кода, снятой прямо перед «после» (ниже 18 ячеек из 18), −6,6 и −4,3 % от снятой позже (16 из 18). Один повтор на ячейку, две метки одного кода расходятся до 14–17 %: знак устойчив, точной величины нет. За оценку design (−1…−22 %) цена по ближней метке не вышла, число соединений то же. Рост CPU при 200/с (API +10,8 %) того же порядка, что расхождение двух прогонов одного кода (9,2 %). Вывод — `REPORT.md`.
|
||
|
||
## track1-queue-overload
|
||
|
||
Подробности и отвергнутые варианты — `openspec/changes/track1-queue-overload/design.md`; пробы — его раздел «Пробы» (проект compose `q1probe`, образ `git archive 5a97416`, файлы в scratchpad). Это пробы, а не результат: результат даст метка `evidence/queue/baseline2/` (`evidence/queue/baseline/` снята раньше правок verify).
|
||
|
||
### Решения
|
||
|
||
- **Граница принятой работы — предел незавершённых заданий (`queued` + `processing`), `[uploads] max_unfinished_jobs`, по умолчанию 250, 0 — без предела:** у предела загрузка получает 429 `rate_limited` с `Retry-After: 5`, сразу, без чтения тела и места. Без неё бэклог упирается только в диск: пробы показали, что брокер его не сдержит (200 000 сообщений — 106 МиБ анонимной памяти), а 202 отвечает всегда (решение 1).
|
||
- **Значение 250 — из потолка худшего класса:** PNG RGBA 40 Мпкс, 0,92 задания в секунду на 1 CPU: ожидание ~270 с, меньше порога потерянного сообщения 300 с; staging не больше ~2,4 ГиБ. Проверяется меткой, при другом числе worker предел другой (решение 2).
|
||
- **Предел один на стенд и мягкий:** считается в PostgreSQL, превышение — только загрузки в полёте, `реплик × (мест + ожидающих)`, на стенде 40. Жёсткий предел потребовал бы блокировки на фиксацию и компенсации записанного объекта. Не на чат и не на пользователя, и считает задания, а не байты: ограничения названы в отчёте.
|
||
- **Счёт — тремя существующими частичными индексами с `LIMIT` на группу:** 0,05–0,13 мс при любом бэклоге, под оборотом до ~1 мс; нового индекса и миграции нет. Счётчик одной строкой отвергнут пробой: −16…−49 % потолка оборота заданий. Проверка — в том же блоке, что членство: шаг с PostgreSQL не прибавляется, цепочка LB прежняя (решение 3). Цена на загрузку по прототипу: +0,9 мс p50, +0,8 мс CPU реплики, +0,4 мс CPU PostgreSQL; отказ — 1,9 и 0,3 мс.
|
||
- **Метрики очереди брокера — плагин `rabbitmq_prometheus` только в профиле:** `rabbitmqctl` стоит 0,52 с CPU в cgroup брокера на вызов и испортил бы замер (проба). На рабочем стенде плагина нет.
|
||
- **Истина о готовности — метаданные по HTTP после разбора очереди, а не живой опрос:** `updated_at` у `ready` не меняется, опрос нагружал бы API в замере. Счётчики очереди — `psql` сэмплера, только чтение.
|
||
- **Настройки метки:** (1, 1), (2, 2) по умолчанию, (4, 4), (2, 256), классы `s`, `m`, `lj`, `lp`; конкуренция сверх двух при 1 CPU на пробах не ускоряет, поэтому настоящее ускорение показывает блок второго worker. Значения по умолчанию меняются только по правилу решения 12, отдельным commit после метки.
|
||
- **Копии при большом prefetch в метку не входят:** опыт требует менять порог потерянного сообщения; проба — 188 копий на 150 заданий при пороге 15 с, эффект нулевой.
|
||
- **Профиль `uploads` и четыре прежних API стенда отказов — с выключенным пределом:** там задания копятся намеренно, предел мерил бы не то (решение 13). Пятый API — «узкий по заданиям».
|
||
- **Worker в профиле очереди перезапускается, как на рабочем стенде (`restart: unless-stopped`):** пробы — при (4, 4) на `lp` ядро может убить и процесс 1 (журнал ядра, `exit 137`), и с `restart: "no"` ячейка простаивала бы с ложными `stuck`. Перезапуски — столбец и пометка (решение 10). У S3 остаётся `"no"`: его гибель должна быть видна.
|
||
- **Блок приёма — `m`, 15/с, 45 с, с пределом по умолчанию:** пробы показали всю цепочку: S3, с ~10-й секунды 429 от мест, с ~35-й 429 от предела, а готовых/с падает с 2,9 до ~0,6. S3 — общий ресурс приёма и worker: гипотеза H9 (решения 4, 8, 12).
|
||
- **Время полной метки — ~2 ч 10 мин** при трёх повторах 19 конфигураций, `RESUME=1` как у серий: окна выбраны по пробам так, чтобы уложиться (решение 14).
|
||
- **Apply: перезапуск worker считается завершением ядром, пометка `oom`:** счётчик `oom_kill` умершей жизни прочитать нельзя, cgroup уходит раньше тика. Другие причины аварийного выхода в метке от него не отличаются (design, «Уточнения apply», п. 1).
|
||
- **Apply: доля второго worker считается только по разбору накопленного,** без окна `after`: иначе H3 ложно не подтверждалась бы. Порог не менялся (там же, п. 2).
|
||
- **Apply: CPU окна — с интерполяцией на краях;** разность только по внутренним отсчётам занижала его на ~10 % (там же, п. 3).
|
||
- **Apply: блоки, которых нет в быстром профиле, проверены разово** скриптом в scratchpad поверх `run.main` (там же, п. 4).
|
||
- **Правки verify: `oom` — только подтверждённое завершение ядром.** Причина — события Docker (`oom`, `kill`, `die` с кодом), столбцы `worker_die_*`; `oom_kill` больше не прибавляет каждый перезапуск. На этом считаются H2 и правило рекомендации; условия гипотез не менялись, а смысл стал тем, что в них написано (design, «Уточнения apply», п. 8). Осталось открытым: перезапуск не от ядра условия правила не нарушает, только пометка `worker_crash` (вопрос 3).
|
||
- **Правки verify: настройка, снятая не на всех классах, не кандидат в рекомендацию.** Порог 90 % не менялся. По плану это (1, 1) и (2, 256): «наименьшая конкуренция» теперь выбирается только между (2, 2) и (4, 4), а (1, 1) может быть только названа. Метка `baseline` даёт тот же итог (2, 2) (там же, п. 9).
|
||
- **Правки verify: лишняя строка в базе — отказ метки, как `lost`, но условие H6 не расширено:** пометка `unexpected` вне записанного до метки списка H6; строка, которую объясняет 5xx или обрыв, пометку не даёт (там же, п. 10).
|
||
- **Правки verify: `UP 1/2` — реплика ещё в балансировке:** она получает запросы, `lb_down` на неё не срабатывает. Опора — сценарий «реплики MUST NOT выводиться из балансировщика» (там же, п. 11).
|
||
- **Метка `baseline2` не основная, снимается `baseline3`:** за съёмку хост выгрузил в swap 309 432 страницы, пять ячеек с `host_swap`, в четырёх задержка вышла за разброс соседних повторов. Указание пользователя «забить» касается косяков хоста, явно не меняющих результат, а здесь результат ячеек изменился. Без пяти ячеек вердикты H1–H9 и рекомендация те же, но правило (design, решение 11; `bench.md`) записано до метки и не смягчается после. Каталог `baseline2` остаётся в git как запись. Если выгрузка повторится, третьей пересъёмки нет: основной станет метка с меньшим числом задетых ячеек, они будут названы в отчёте (задача 10.20а).
|
||
- **Решение пользователя (2026-11-02): при выгрузке результат сохраняется, после `baseline3` — ещё один прогон `baseline4`, больше пересъёмок нет.** Отступление от правила «переснять» (design, решение 11; `bench.md`) принято по этому решению. Основная — метка с меньшим числом задетых ячеек, при равенстве — с меньшим `swapouts_delta`, выбор не зависит от вердиктов (задача 10.20б). В `baseline3` — 26 046 страниц, одна задетая ячейка, и вердикт H2 «нет»: `lp`, duration (4,4)/(2,2) = 0,965; в `baseline` и `baseline2` он был «подтверждено». Эта ячейка (`lp-c2p256-r1`) в условие не входит.
|
||
- **Финальные доказательства вне бенчмарка, команды драйвера.** Разовые пробы перенесены тремя командами, а не двумя: `worker-memory` (рабочий стенд, через LB), `freeze-sessions` (работает и на рабочем стенде: заморожен только прокси пробы) и `freeze-lb` (`docker pause` — запрещён на рабочем PostgreSQL). `freeze-lb` сама поднимает и убирает временный проект `mtusi-lab5-freeze`, а не ждёт его по окружению, как `reconcile-signal`: иначе проверяющему пришлось бы собирать стенд руками; данные в tmpfs, поэтому `down` без `-v` ничего не оставляет. Значения — случайные, из `.env.example`: `.env` не читается.
|
||
- **`freeze-sessions` идёт в одноразовом контейнере `api`, а не из дерева кода через `uv run`:** так пробе не нужен `.env` и код образа совпадает со стендом. httpx в образе нет, вызовы ASGI — своим клиентом; остальная логика `double_cancel.py` та же. Прежний файл называл аргументы пробы неверно: `2 6 1` и `2 6 4` — пул 2 и 1 или 4 запроса, а не срок 2 и пул 1 или 4; добавлен режим с настоящим пулом 4.
|
||
- **`make test_isolated` перед `cache-check` при первой съёмке — код 2.** Его набор требует файлы, которых ещё нет, а ключи временной базы он при этом оставляет: команды шли не через `&&`, причина названа в шапке `evidence/cache/hits.md`.
|
||
- **Шаги `evidence/idempotency/replay-after-restart.md` — `driver.py req` и `docker compose`,** скрипт только соединил их: отдельной команды драйвера не заводилось, задача её не просила, а шаги повторяются руками.
|
||
- **Пересняты `evidence/tests/student-test-lb.md` и `evidence/tests/test-isolated.md`:** задача их не называла, но на `d8fe2e8` они показывали единственный красный тест, который эта задача закрыла. `evidence/tests/failure-checks.md` остаётся на `d8fe2e8`: полный прогон на ноутбуке запрещён условиями задачи.
|
||
- **В `REPORT.md` добавлен вопрос 12 (`PR_SET_DUMPABLE`):** он был вопросом преподавателю в `QUESTIONS.md`, но в нумерованный список отчёта не попал.
|
||
- **Секреты в новых файлах `evidence/` сверены по токенам и путям, не по значениям `.env`:** файл `.env` в этой работе не читается. `evidence/tests/secrets.md` остаётся на прежнем commit; поиск значений по всему `evidence/` — перед PR.
|
||
|
||
### Вопросы
|
||
|
||
Вопросы преподавателю, переносятся в `REPORT.md` («Открытые вопросы преподавателю»). Прогон не останавливают: взята самая строгая трактовка, которая проходит публичные тесты, контракт и тесты не менялись.
|
||
|
||
1. Предел незавершённых заданий: 429 или 503? Контракт называет 429 «ограничением частоты запросов», а здесь ограничено количество принятой работы; 503 в нём — «зависимость недоступна». Сделано: 429 `rate_limited` с `Retry-After` — как у занятых мест загрузки (вопрос 1 в отчёте), зависимости живы, и реплика остаётся готовой. Другой ответ меняет строку `DOMAIN_ERRORS` и сценарии.
|
||
2. Рубрика уровня 3 показывает «worker остановлен → upload 202», а трек 1 требует ограничить принятую работу. Как долго загрузка обязана отвечать 202 при остановленном worker? Сделано: пока незавершённых меньше предела (250); дальше 429, а текст, история, метаданные, готовые байты и `/health/ready` работают. Сценарий защиты грузит единицы файлов. Другой ответ — значение настройки.
|
||
|
||
Вопрос пользователю (основной сессии), прогон не останавливает:
|
||
|
||
3. Правило рекомендации требует «без `oom` и `failed`». После правки S5 аварийный перезапуск worker не от ядра (`worker_crash`) это условие не нарушает: раньше такой перезапуск считался `oom` косвенно. Условие не менялось, потому что записано до метки. В метке таких случаев не ждём (пробы: только ядро). Появится — считать настройку некандидатом? Сейчас: пометка в сводке, решение — в отчёте.
|
||
|
||
**Решение основной сессии:** правило не менять, оно записано до метки. Если `worker_crash` появится в основной метке, отчёт называет такую настройку отдельно и не рекомендует её, не перекрашивая вердикт правила. В `baseline` и `baseline2` таких случаев нет.
|