Files
mtusi2026lab5/QUESTIONS.md
T
2026-11-02 08:23:06 +03:00

60 KiB
Raw Blame History

Вопросы и решения лабы 5

Решения, принятые без пользователя, и вопросы, которые не блокируют работу. Раздел на каждый change: ## <change>, внутри «Решения» и «Вопросы». Вопросы преподавателю дублируются в REPORT.md.

Ответы пользователя перед прогоном (2026-10-31)

  • Оценка — 5, трек 1 «Очередь под перегрузкой».
  • Брокер — RabbitMQ 4.
  • Без пользователя можно: коммиты на ветках feat/<change>, ff-merge в solution/bvt2301-safronov, архивация, установка зависимостей и образов, запуск стенда и замеров, в конце git push ветки решения в свой fork. PR не открывать.
  • Противоречие в контракте: брать самую строгую трактовку, которая проходит публичные тесты, контракт и тесты не менять, записать решение и вопрос преподавателю здесь и в REPORT.md, прогон не останавливать.
  • Предупреждения о хосте, явно не влияющие на результат замера, прогон не останавливают.

Ответы пользователя во время прогона (2026-10-31)

  • Паттерн Unit of Work входит в лабу: полный вариант для всех сервисов (API, worker, relay, уборщик, replay): сервисы получают UoW вместо AsyncSession и db_scope, repo доступны через него. Поведение и контракт не меняются.
  • UoW — полноценно по Cosmic Python (указание пользователя). Прогон понимает это как главы 2 и 6: абстрактные repo и UoW, реализации на SQLAlchemy, async with uow в сервисе, откат при выходе без commit, фейки и быстрые тесты сервисов на них. Фейковые тесты — новый каталог вне student-tests/, правило black-box там остаётся. Не входят: доменная модель с classical mapping, агрегаты, события и message bus.
  • Порядок: отдельный change unit-of-work после архивации pipeline-reliability и до track1-queue-overload: трек 1 измеряет итоговый код.

Для пользователя после прогона

  • Остался volume пробы asyncprobe_rabbitmq_data (стадия propose async-attachments, контейнеров и сети нет). Агенту отказали в docker compose down -v, поэтому прогон его не удалял. Удалить вручную: docker volume rm asyncprobe_rabbitmq_data.
  • Остались volumes проб и временных проектов этого прогона: bootprobe_s3_data, mtusi-lab5-rs_postgres_data, mtusi-lab5-rs_s3_data, mtusi-rsig_postgres_data, mtusi-rsig_rabbitmq_data, mtusi-rsig_s3_data. Прогон их не удалял. Перед удалением убедиться, что контейнеров на них нет (docker ps -a --filter volume=<имя>), затем docker volume rm <имя>.
  • На хосте 150 анонимных volumes. Чьи они, не проверялось, часть может быть чужой, поэтому docker volume prune без просмотра запускать не стоит.
  • Остались volumes пробы стадии propose track1-queue-overload: q1probe_postgres_data, q1probe_rabbitmq_data, q1probe_s3_data (контейнеров, сетей и образов нет). При уборке автопроверка отказала в команде с docker compose … down -v, поэтому прогон их не удалял. Удалить вручную: docker volume rm q1probe_postgres_data q1probe_rabbitmq_data q1probe_s3_data.

Перенос из лабы 4

Решения

  • Три изменения по уровням рубрики: async-attachments (3), pipeline-reliability (4), track1-queue-overload (5).
  • Makefile, .gitignore, .dockerignore лабы 4 совпадают с новым skeleton плюс свои секции, поэтому взяты целиком. .env.example — свой файл лабы 4: новые имена skeleton (BROKER_URL_FILE, WORKER_CONCURRENCY, JOB_MAX_ATTEMPTS, JOB_TIMEOUT_SECONDS, STAGING_RETENTION_SECONDS) сопоставляет change async-attachments.
  • evidence/ не переносится: сверка покрытия make student_test красная по test_exclusion_evidence_exists, пока файлы не сняты заново на стенде лабы 5 (последний шаг прогона).
  • Commit «до» профилей rollout, uploads и reconcile стенда bench/ — commit переноса: коммитов лабы 4 в истории лабы 5 нет. Вариант «до» у uploads и reconcile больше не показывает старое поведение, эти профили остались как инструменты, их результаты — в отчёте лабы 4.

Вопросы

Пока нет.

async-attachments

Подробности и отвергнутые варианты — openspec/changes/archive/2026-10-31-async-attachments/design.md.

Решения

  • Очередь — классическая durable, а не quorum: на одном узле реплик нет, задержка на пробе выше, счётчик доставок и at-least-once dead-lettering не нужны, реестр failed и счёт попыток — в PostgreSQL (решение 4). Аргументов у очереди нет: DLX и пределы следующие изменения ставят политиками.
  • Образ брокера — rabbitmq:4.3.7, а не свежий 4.4.0; предел памяти задан явно: брокер не видит лимит контейнера (проба: 4760 МиБ при лимите 512 МБ); hostname постоянный, иначе пересозданный контейнер не находит данные в volume.
  • Staging — приватный префикс того же bucket, <база>/staging/<id>/original. Сверка его не видит: её префикс — <база>/attachments/. Конечный ключ оригинала назначается при вставке; отдельная колонка staging_key оставляет очистку staging следующему изменению.
  • Запись намерения: queued и задание — одна транзакция; это и есть будущий outbox (state = 'queued' AND published_at IS NULL). Отдельной таблицы outbox и relay на этом уровне нет.
  • Брокер недоступен — 503, не 202 (решение 3): без relay намерение никто не доставит. Отмена — условной транзакцией: задание уже взято — 202, иначе вложение возвращается в pending и уходит к уборщику. Разрыв COMMIT и publish назван в спеке, design и REPORT.md.
  • /health/ready — только PostgreSQL: брокер и worker не входят, как S3 (решение 10). Иначе отказ брокера вывел бы все реплики из LB.
  • Повтор — фиксированная пауза ([worker] retry_delay_seconds) и новое сообщение с attempt + 1, а не nack: контракт требует, чтобы attempt отражал управляемую попытку. Backoff с jitter — следующее изменение. Каждая начатая попытка считается; при недоступном PostgreSQL записать нечего, задание ждёт в очереди.
  • Коды: invalid_image, processing_failed (объект staging отсутствует или испорчен), retry_exhausted. Причина для оператора — attachment_jobs.last_error_code и журнал worker.
  • Порядок проверок сообщения: неизвестное, чужое и pending — 404 до ключа; failed — 409 после захвата ключа, с откатом. В списке есть и то и другое — 404.
  • Ключ эффекта (attachment_id, pipeline_version, variant) — первичный ключ attachment_variants. Оригинал — не строка этой таблицы: схема Variant контракта не знает имени original, его итог — поля самого вложения.
  • Thumbnail считается своим кодом, а не Image.thumbnail: Pillow округляет к ближайшей пропорции, контракт — вниз. Лимит worker 1 ГБ — по замеру: две задачи PNG RGBA на 40 Мпкс ≈ 800 МиБ.
  • Один пользователь брокера на API и worker: разделение прав — лаба 7. Management-плагина нет, состояние очереди — rabbitmqctl в контейнере.
  • Сопоставление имён skeleton: BROKER_URL_FILE → [broker] мостами из RABBITMQ_*; WORKER_CONCURRENCY → [worker] concurrency; JOB_MAX_ATTEMPTS → max_attempts; JOB_TIMEOUT_SECONDS → job_timeout_seconds; STAGING_RETENTION_SECONDS — поля пока нет, появляется с очисткой staging.
  • Цепочка LB: срок публикации 2 с: после тела 29 с < timeout server 30 с, наибольшая длительность загрузки 76 с < дренаж 90 с. Прежние значения LB не меняются.
  • Apply: request_id записей задания ставит сервис обработки сразу после разбора сообщения (а не main.py): разбор — его шаг, задача доставки своя, контекст не течёт. DROP — третий исход JobOutcome рядом с ACK и REQUEUE дизайна: сообщение не по схеме возвращать в очередь нельзя. Сообщение задания с attachment_id не своей строки считается неизвестным (ACK). Подробности — design, «Уточнения apply».
  • Группа 15: снят ещё make bench_uploads (метка baseline): на неё ссылаются два исключения сверки, а в плане снятия её не было. Новые файлы evidence/ на время замеров вынесены из дерева, чтобы паспорта не получили ложный dirty: true. Design, «Уточнения apply», п. 16–17.
  • Найдено при снятии, не исправлено (код в группе 15 не меняется, запись в KNOWN_ISSUES.md — за основной сессией): в записи «Uploaded attachment» поле content_type пишется как <ImageType.PNG: 'image/png'>, а не image/png (src/core/services/attachment.py, _store; evidence/worker/logs.md). Секретов там нет, запись читается хуже.

Предложения на потом

Найдено проверкой async-attachments, код src/ здесь не менялся: evidence снят на ff1a83b. Все пять закрыты изменением pipeline-reliability (S5, S6, W2 — кодом worker; два последних пункта — дельтой load-benchmark и bench/run.py).

  • S5, срок закрытия worker: комментарий _CLOSE_TIMEOUT_SECONDS (src/worker/main.py:41-43) обещает сумму меньше срока остановки контейнера 10 с, а худший случай — 8 + 5 × 0,5 = 10,5 с, при graceful_shutdown_seconds 9 — 11,5 с. Либо уменьшить составляющие, либо поправить комментарий и верхнюю границу настройки.
  • S6, пауза повтора и сигнал: сигнал прерывает паузу и даёт REQUEUE, а claim не смотрит next_attempt_at: перезапущенный worker начнёт попытку раньше паузы (attachment_processing.py).
  • W2, дубль после busy: redelivered стоит и после nack(requeue=True), поэтому при попытке дольше паузы дубль возьмёт задание параллельно живой попытке и потратит её номер, а на последней попытке даст retry_exhausted, пока первая ещё идёт (attachment_processing.py:230; design, решение 7). Эффект не дублируется. Закрывается lease: живую попытку отличать по lease_expires_at, а не по флагу.
  • Спек load-benchmark, «Профиль сверки»: там всё ещё «на образе до change», а reconcile_before = 04f8592: та же неточность, что исправлена у профиля загрузок. Требования нет в дельте этого change, поэтому оно здесь не менялось.
  • bench/run.py:1744, 2941: в паспорт пишется .Image как id образа, а сравнивать образы надо по метке com.docker.compose.image (.claude/rules/docker.md).

Вопросы

Вопросы преподавателю, переносятся в REPORT.md (tasks.md, задача 15.5). Прогон не останавливают: взята самая строгая трактовка, которая проходит публичные тесты, контракт и тесты не менялись.

  1. Failed-вложение прикреплять нельзя (409), а повтор с тем же Idempotency-Key обязан вернуть тот же 201. Что отвечать на повтор сообщения, чьё вложение стало failed уже после отправки? Сделано: новое сообщение — 409, повтор с ключом — 201 с тем же Message. Другой ответ меняет одну ветку send_message и сценарий idempotency.
  2. contracts/attachment-states.md: «неуспешные и непривязанные исходники имеют документированный retention и cleanup» — без уровня рубрики, а в README.md очистка относится к уровню 4. Сделано: на уровне 3 очистки нет, ограничение названо в REPORT.md, очистка и STAGING_RETENTION_SECONDS — в pipeline-reliability. Другой ответ переносит задачу очистки на этот уровень; схема к ней готова.
  3. Допустим ли на уровне 3 ответ 503 при недоступном брокере? Контракт требует 202 только после устойчивой передачи; на уровне 3 нет relay, поэтому намерение в БД само не доставится. Сделано: 503 с понятным отказом, на уровне 4 с relay станет 202. Другой ответ требует relay уже здесь.

pipeline-reliability

Подробности и отвергнутые варианты — openspec/changes/archive/2026-10-31-pipeline-reliability/design.md; пробы — его таблица «Пробы» (проект compose plprobe, volumes не создавались, после проб ничего не осталось).

Решения

  • Вопросы №2 и №3 раздела async-attachments закрывает это изменение. №3: отказ брокера больше не даёт 503, на загрузке 503 только от S3 и PostgreSQL; реплики API вообще не обращаются к брокеру и не получают его пароль. №2: срок хранения [cleaner] staging_retention_seconds, 86400 с — значение из .env.example skeleton.
  • Relay — отдельный сервис на образе API (python -m src.relay, 0,25 CPU / 256 МБ, пул 1), а не задача реплик, worker или уборщика: остановка worker на защите не должна останавливать публикацию, плановая сверка уборщика не должна её задерживать. Намерения — те же строки attachment_jobs, отдельной таблицы outbox нет.
  • Публикация внутри транзакции — исключение из правила «брокера в транзакции нет», как DELETE уборщика: FOR UPDATE SKIP LOCKED на пакет и есть защита двух relay от дублей. Срок 2 с меньше срока шага 6 с и простоя транзакции 10 с.
  • Опрос 0,25 с, а не LISTEN/NOTIFY: опрос всё равно нужен для сроков, а пустая выборка стоит 0,05 мс (проба).
  • Сообщение — подсказка, истина в строке задания. Worker больше не публикует и не ждёт паузу в месте конкуренции: следующую попытку публикует relay по next_attempt_at. Дубль при живой аренде и сообщение раньше срока подтверждаются без эффекта. Это закрывает W2 и S6.
  • Аренда без пульса: срок = job_timeout_seconds + lease_margin_seconds (70 с). Попытка теперь жёстко ограничена сроком, поэтому истёкшая аренда значит «мёртв или заморожен». Цена — после KILL worker следующая попытка ждёт до 70 с.
  • Fencing номером попытки: результат прежней попытки больше не принимается (на уровне 3 принимался). Поэтому номер attempt монотонен, а бюджет после replay — колонка attempt_base.
  • Backoff: случайная величина из [d / 2, d], d = min(300, 5 × 2^(N−1)). Полный jitter отвергнут: нижняя граница суммы пауз стремилась бы к нулю, и рестарт S3 (~25 с) мог бы исчерпать попытки; сейчас сумма 37,5–75 с.
  • Реестр failed — в PostgreSQL, DLQ брокера нет: всё принятое живёт в БД, а сообщение не по схеме работы не несёт. Replay — операторская команда make replay (dry-run по умолчанию, с --apply выбор обязателен), аудит — таблица attachment_job_replays.
  • Декодирование — новый процесс на задание: без секретов в окружении, с RLIMIT_AS, RLIMIT_CPU и сроком. Проба нашла JPEG в пределах контракта, который не декодируется за 60 с: 10 MiB повторённых сканов. Цена — ~100 мс CPU на маленьком файле; forkserver (9 мс) отвергнут сейчас, граница — один модуль, если трек 1 покажет необходимость.
  • Лимиты по умолчанию: память 450 МиБ (наибольший VmPeak на пробе 417), CPU 15 с (наибольшее законное 0,55 с), срок 40 с, меньше срока попытки. Лимит памяти не действует на хосте macOS: setrlimit отказывает, в журнале это видно.
  • Новых значений error_code нет: лимиты дают invalid_image, причина — в last_error_code. Реплика прежней версии упала бы на незнакомом значении enum.
  • Варианты: thumbnail и crop — JPEG, quality 85; optimized — WebP, quality 80, method 4 (method 6 на пробе в 3,5 раза дольше без выигрыша), без EXIF, XMP и ICC. Crop из основы 1280 только при короткой стороне не меньше 256, иначе из декодированного: у 5000 × 10 иначе квадрат в 2 px. Профиль ICC отбрасывается, ограничение в отчёте.
  • Staging удаляет уборщик, не worker: право удаления у него уже есть, а worker читает и пишет весь bucket. Цена — объект живёт до следующего прохода, 60 с.
  • Сверка видит объекты staging: orphan_staging с порогом срока хранения, а не grace: база, восстановленная из копии, иначе быстро сделала бы staging живых строк «объектами без метаданных». Наличие объектов вариантов не проверяет: действия нет, рубрика не требует; ограничение остаётся в отчёте.
  • Точек сбоя в коде нет: самое узкое окно «после COMMIT до ack» снимается снаружи: отложенный триггер, pg_stat_activity, docker kill -s STOP, docker kill (проба).
  • Остановка worker (S5): верхняя граница graceful_shutdown_seconds — 8, закрытие клиентов одним сроком, худший случай 9,5 с.
  • bench/: профиль загрузок больше не запускает брокер, Profile.rollout_from → 7f38948, образ в паспорте — метка com.docker.compose.image.
  • Сценарии «Брокер не подтвердил задание» и «Загрузка без подтверждения брокера убрана» сохранены именем: openspec validate --strict не даёт убрать сценарий правкой дельты. Первый теперь про 202 при остановленном брокере, второй — про реплику прежней версии на время замены.
  • Решения apply (подробно — design, «Уточнения apply»): у make replay --attachment-id и фильтр по коду или причине вместе нельзя (код 2); FOR NO KEY UPDATE и ack после фиксации проверяются пробой блокировки строки и счётчиком messages_unacknowledged: прежний вид тестов этих регрессий не замечал; откат реплик на прежний образ — с infra/rollback/broker.compose.yml, без него загрузка 503; зависший worker в тесте — отдельный процесс с длинными сроками и expire-lease, иначе его прерывал бы таймер, а не fencing.
  • Удалено при коммите: src/utils/thumbnail.py и src/infra/broker/instance.py без импортов удалила основная сессия, вошло в e2a6427.
  • Группа 15: метка bench_rollout снята первой, на чистом дереве, остальные доказательства — после: новые файлы evidence/ выносить из дерева не пришлось (git.dirty false). Полный make failure_checks — при остановленном рабочем стенде, чтобы не сужать малый запас времени к концу набора: 140 из 140, тесты не правились. driver.py pipeline-state при замороженном брокере — отдельный файл evidence/relay/pipeline-state.md; broker-check --require-test-queue снят между двумя make test_isolated. evidence/s3/worker-key.md, evidence/migrations/async-attachments.md, метки evidence/rollout/async-attachments, evidence/uploads/baseline остаются со своим ff1a83b: это переход уровня 3, новые снимки — evidence/s3/cleaner-staging.md, evidence/migrations/pipeline-reliability.md, метка evidence/rollout/pipeline-reliability.
  • Правки по проверке (группа 16): исходник закрывается только при переводе в RGBA: остальные ветки _prepared на границе и так укладываются в лимит (пробы, design, «Уточнения apply», п. 19). Тест типов PNG — в обычном наборе (test_pixel_limit_png_modes), а не в проверках отказов: особого стенда ему не нужно. Прежний поток зависшего worker сохранён отдельным тестом test_hung_worker_thawed_after_ready: усиленный test_hung_worker_lease_fencing его не заменяет, сценарий «Зависший worker» проверяет другое окно. Для второй попытки hook получил run-worker-second: основной worker стенда со сроком 10 с при разморозке прервал бы таймер.
  • Архив: перед архивом основные спеки сверены с дельтами по требованиям, описаниям и сценариям, правок вне дельт от 99a222e нет, поэтому синхронизация ничего не изменила. Каталог перенесён mv по шагу 5 /opsx:archive: openspec archive применил бы дельты повторно к уже обновлённым спекам. Запись «Три изменения по уровням рубрики» в разделе «Перенос из лабы 4» оставлена как решение своего времени; порядок после архива — unit-of-work, затем track1-queue-overload (AGENTS.md).

Вопросы

Вопросы преподавателю, переносятся в REPORT.md (tasks.md, задача 15.5). Прогон не останавливают: взята самая строгая трактовка, которая проходит публичные тесты, контракт и тесты не менялись.

  1. Контракт требует применять EXIF orientation и компоновать alpha на белый только у thumbnail. Как с crop и optimized? Сделано: ориентация применяется у обоих (иначе EXIF, удалённый из WebP, повернул бы изображение), crop компонуется на белый (JPEG), а optimized сохраняет прозрачность (WebP её умеет). Другой ответ правит одну функцию и сценарий.
  2. Контракт называет replay «явным операторским», но не говорит, как его вызывать, а новые возможности просит добавлять в contracts/extensions.openapi.json. Достаточно ли команды в контейнере? Сделано: make replay, HTTP-ручки нет: в API нет роли оператора. Другой ответ добавляет ручку поверх той же транзакции.
  3. Изображение, которое не уложилось в лимиты времени или памяти обработки, — это invalid_image или отдельный код? Контракт приводит коды как пример. Сделано: invalid_image, точная причина — в записи для оператора. Другой ответ добавляет значение enum и требует порядка обновления реплик раньше worker.
  4. Контракт требует retention для «неуспешных и непривязанных исходников», но молчит о конечных объектах, которые успела записать неудачная попытка. Сделано: по истечении срока удаляются и они, метаданные failed остаются. Другой ответ убирает один шаг очистки.
  5. Секреты worker читаются процессом обработки через /proc/1/environ под тем же UID: окружение самого процесса обработки их не содержит, но после эксплойта декодера защиты нет. Кодом не исправлено, ограничение названо в REPORT.md и worker.md. Предложение: prctl(PR_SET_DUMPABLE, 0) в процессе worker до запуска процессов обработки: тогда чужой процесс того же UID не откроет его /proc/<pid>/environ и mem. Требуется ли это на уровне лабы?

unit-of-work

Подробности и отвергнутые варианты — openspec/changes/archive/2026-11-01-unit-of-work/design.md; пробы — его раздел «Пробы» (проект compose uowprobe, данные в tmpfs, volumes не создавались, после проб ничего не осталось).

Решения

  • Общий срок JSON-запроса остался, это расхождение с буквальной постановкой «request_timeout_seconds — срок UoW, а не запроса» (решение 6). Срок блока — как в постановке, но на роутерах пользователей, сессий, чатов и сообщений сверх него стоит зависимость request_deadline той же настройкой. Без неё проба дала 503 за 3,31 с вместо 2 с при сроке 2 с (при 6 с — до 12 с, больше timeout server 10 с: 504 от LB вместо 503 реплики), и очередь хэшей шла без срока: 40 входов ждали 4,69 с вместо отказа за 2 с. Отменить решение просто (убрать dependencies= у четырёх include_router), но тогда придётся менять цепочку LB и её спек.

  • Откат при выходе из блока — под сроком, отмена задачи сбрасывает соединение (решение 4). Прежний session_scope откатывал уже вне срока: на JSON-ручках незаметно (после ответа), на шаге замороженный PostgreSQL повесил бы готовый ответ до разморозки (проба: 8,38 с и 8,64 с против 4,01 с). Цена: отказ БД при откате успешного чтения — 503, окно в один обмен.

  • Цена шага принята, проверка соединения при выдаче — одним запросом (решение 7). На пробе вторая выдача опускает потолок реплики 1 CPU на истории и отправке на 10–25 %, CPU PostgreSQL поднимает на 13–51 %. Проверка диалекта asyncpg стоит три обмена (BEGIN, ;, ROLLBACK, транзакция там ради pgbouncer, которого на стенде нет); с одним обменом CPU PostgreSQL около прежнего, потолок −1…−22 %, p50 +0,2…0,5 мс, удержание соединения на запрос −20…−36 % (шум прежнего кода между прогонами до 10 %). Это мера, а не часть паттерна; подмена опирается на внутренние имена адаптера, SQLAlchemy закреплён <2.2. Чтение без транзакции и соединение Core вместо сессии ORM отвергнуты и остаются готовыми мерами, если замер на коммите покажет больше.

  • Порты — src/core/ports/, реализации repo остаются в src/core/repos/, SqlAlchemyUnitOfWork — src/infra/db/uow.py (решение 1). Атрибуты единицы работы: users, sessions, chats, messages, idempotency, attachments, jobs, variants, job_replays.

  • Строже книги: вложенный вход и repo вне блока — ошибка, commit заканчивает блок (решение 2). Весь нынешний код и так фиксирует последним действием блока; autobegin AsyncSession иначе открыл бы молчаливую транзакцию без срока.

  • Экземпляр единицы работы — на задачу: запрос в API, доставка в worker, сервис в последовательных процессах (решение 3).

  • CurrentUserBrief убран: любой вход теперь короткий блок, а различие с JSON-ручками — только в общем сроке на роутере (решение 6). Свойство «соединение в пуле до тела запроса» сохраняется.

  • Кэш и S3 — те же модули с клиентом первым параметром; в тестах настоящие функции поверх фейков клиентов (решение 8).

  • Фейки — по контракту метода, общий набор service-tests/repo_contract.py на фейке и на SQL (решение 11). Отсюда вторая цель make service_test_db на временной базе: она же проверяет настоящую единицу работы и общий срок запроса, а замороженный сервер даёт TCP-прокси, без docker pause рабочего PostgreSQL.

  • Каталог service-tests/, цели make service_test и make service_test_db; новых зависимостей нет: async def тесты запускает плагин anyio.

  • Новые сценарии — в capability unit-of-work, дельта data-storage только меняет текст: student-tests/ этим изменением не правятся, а сверка покрытия упала бы на сценарии без теста. unit-of-work в CAPABILITIES не входит: её проверяют service-tests/.

  • Замер «до» — из временного git worktree на commit до кода, подряд с «после» и A/A (tasks.md, 13.1): make bench_ab требует коммита отката. Метки с профилем quick под своими именами идут в git, потому что на них ссылается отчёт. Profile.rollout_from не меняется, сравнение с предыдущей версией — аргументом --from.

  • Решения apply (design.md, «Уточнения apply»): commit и rollback единицы работы — в базовом классе, реальные шаги _commit и _rollback, иначе правила блока дублировались бы в фейке; rollback() заканчивает блок, как и commit(); временная база — хуки pytest, а не фикстура, чтобы удаляться и при прерывании; замороженный прокси размораживается сторожем через 8 с, чтобы регрессия падала, а не висела.

  • driver.py reconcile-cycle на наполненном стенде даёт один ложный FAIL («exit code after X and Y are removed»): на 11 тыс. объектов проход идёт ~5,8 с, и проба F (grace 30 с) стареет раньше проверки. От кода не зависит, записано в KNOWN_ISSUES.md, не чинилось: вне изменения.

  • Правки verify (design.md, уточнения 17–20). BoundedCloseConnection обрывает транспорт сам: дешёвая проверка (решение 7) превращала старую утечку сокета после заморозки в сессии PostgreSQL сверх пула без срока, откатывать её не понадобилось. При общем сроке таймера блока нет (ContextVar с задачей, asyncio.timeout(None)): иначе вторая отмена прерывала закрытие соединения. Заметное следствие: 503 при заморозке теперь приходит за T + закрытие, 4 с при сроке 2 с (при 6 с — 8 с < timeout server 10 с), а не за T. service_factory worker вынесен из run(), чтобы тест ловил регрессию в самой сборке.

  • Архив: синхронизацию и перенос каталога выполнил один вызов openspec archive unit-of-work -y, отдельного шага /opsx:sync не было: иначе openspec archive применил бы дельты повторно. Основные спеки затем сверены с дельтами: unit-of-work совпадает с дельтой, в data-storage изменилось только требование о пуле.

Вопросы

Пока нет. Вопросов преподавателю это изменение не добавляет: контракт и поведение API те же.

Для пользователя

Основная сессия приняла расхождения с первоначальной постановкой, потому что сама её сформулировала, а решения пользователя они не меняют: общий срок JSON-запроса (решение 6) и дешёвую проверку соединения при выдаче (решение 7). Условие для второго: make service_test_db проверяет обрыв соединения с подменённой проверкой, чтобы смена внутренних имён SQLAlchemy падала тестом. Цена паттерна на этом стенде, замер на коммите (evidence/compare/unit-of-work-aa__unit-of-work-after.md и unit-of-work-before__unit-of-work-after.md): потолок реплики на истории и отправке ниже, медианы −14,1 и −12,6 % от метки того же кода, снятой прямо перед «после» (ниже 18 ячеек из 18), −6,6 и −4,3 % от снятой позже (16 из 18). Один повтор на ячейку, две метки одного кода расходятся до 14–17 %: знак устойчив, точной величины нет. За оценку design (−1…−22 %) цена по ближней метке не вышла, число соединений то же. Рост CPU при 200/с (API +10,8 %) того же порядка, что расхождение двух прогонов одного кода (9,2 %). Вывод — REPORT.md.

track1-queue-overload

Подробности и отвергнутые варианты — openspec/changes/archive/2026-11-02-track1-queue-overload/design.md; пробы — его раздел «Пробы» (проект compose q1probe, образ git archive 5a97416, файлы в scratchpad). Это пробы, а не результат: результат — основная метка evidence/queue/baseline4/ (baseline снята раньше правок verify, baseline2 и baseline3 — с выгрузкой хоста).

Решения

  • Граница принятой работы — предел незавершённых заданий (queued + processing), [uploads] max_unfinished_jobs, по умолчанию 250, 0 — без предела: у предела загрузка получает 429 rate_limited с Retry-After: 5, сразу, без чтения тела и места. Без неё бэклог упирается только в диск: пробы показали, что брокер его не сдержит (200 000 сообщений — 106 МиБ анонимной памяти), а 202 отвечает всегда (решение 1).
  • Значение 250 — из потолка худшего класса: PNG RGBA 40 Мпкс, 0,92 задания в секунду на 1 CPU: ожидание ~270 с, меньше порога потерянного сообщения 300 с; staging не больше ~2,4 ГиБ. Проверяется меткой, при другом числе worker предел другой (решение 2).
  • Предел один на стенд и мягкий: считается в PostgreSQL, превышение — только загрузки в полёте, реплик × (мест + ожидающих), на стенде 40. Жёсткий предел потребовал бы блокировки на фиксацию и компенсации записанного объекта. Не на чат и не на пользователя, и считает задания, а не байты: ограничения названы в отчёте.
  • Счёт — тремя существующими частичными индексами с LIMIT на группу: 0,05–0,13 мс при любом бэклоге, под оборотом до ~1 мс; нового индекса и миграции нет. Счётчик одной строкой отвергнут пробой: −16…−49 % потолка оборота заданий. Проверка — в том же блоке, что членство: шаг с PostgreSQL не прибавляется, цепочка LB прежняя (решение 3). Цена на загрузку по прототипу: +0,9 мс p50, +0,8 мс CPU реплики, +0,4 мс CPU PostgreSQL; отказ — 1,9 и 0,3 мс.
  • Метрики очереди брокера — плагин rabbitmq_prometheus только в профиле: rabbitmqctl стоит 0,52 с CPU в cgroup брокера на вызов и испортил бы замер (проба). На рабочем стенде плагина нет.
  • Истина о готовности — метаданные по HTTP после разбора очереди, а не живой опрос: updated_at у ready не меняется, опрос нагружал бы API в замере. Счётчики очереди — psql сэмплера, только чтение.
  • Настройки метки: (1, 1), (2, 2) по умолчанию, (4, 4), (2, 256), классы s, m, lj, lp; конкуренция сверх двух при 1 CPU на пробах не ускоряет, поэтому настоящее ускорение показывает блок второго worker. Значения по умолчанию меняются только по правилу решения 12, отдельным commit после метки.
  • Копии при большом prefetch в метку не входят: опыт требует менять порог потерянного сообщения; проба — 188 копий на 150 заданий при пороге 15 с, эффект нулевой.
  • Профиль uploads и четыре прежних API стенда отказов — с выключенным пределом: там задания копятся намеренно, предел мерил бы не то (решение 13). Пятый API — «узкий по заданиям».
  • Worker в профиле очереди перезапускается, как на рабочем стенде (restart: unless-stopped): пробы — при (4, 4) на lp ядро может убить и процесс 1 (журнал ядра, exit 137), и с restart: "no" ячейка простаивала бы с ложными stuck. Перезапуски — столбец и пометка (решение 10). У S3 остаётся "no": его гибель должна быть видна.
  • Блок приёма — m, 15/с, 45 с, с пределом по умолчанию: пробы показали всю цепочку: S3, с ~10-й секунды 429 от мест, с ~35-й 429 от предела, а готовых/с падает с 2,9 до ~0,6. S3 — общий ресурс приёма и worker: гипотеза H9 (решения 4, 8, 12).
  • Время полной метки — ~2 ч 10 мин при трёх повторах 19 конфигураций, RESUME=1 как у серий: окна выбраны по пробам так, чтобы уложиться (решение 14).
  • Apply: перезапуск worker считается завершением ядром, пометка oom: счётчик oom_kill умершей жизни прочитать нельзя, cgroup уходит раньше тика. Другие причины аварийного выхода в метке от него не отличаются (design, «Уточнения apply», п. 1).
  • Apply: доля второго worker считается только по разбору накопленного, без окна after: иначе H3 ложно не подтверждалась бы. Порог не менялся (там же, п. 2).
  • Apply: CPU окна — с интерполяцией на краях; разность только по внутренним отсчётам занижала его на ~10 % (там же, п. 3).
  • Apply: блоки, которых нет в быстром профиле, проверены разово скриптом в scratchpad поверх run.main (там же, п. 4).
  • Правки verify: oom — только подтверждённое завершение ядром. Причина — события Docker (oom, kill, die с кодом), столбцы worker_die_*; oom_kill больше не прибавляет каждый перезапуск. На этом считаются H2 и правило рекомендации; условия гипотез не менялись, а смысл стал тем, что в них написано (design, «Уточнения apply», п. 8). Осталось открытым: перезапуск не от ядра условия правила не нарушает, только пометка worker_crash (вопрос 3).
  • Правки verify: настройка, снятая не на всех классах, не кандидат в рекомендацию. Порог 90 % не менялся. По плану это (1, 1) и (2, 256): «наименьшая конкуренция» теперь выбирается только между (2, 2) и (4, 4), а (1, 1) может быть только названа. Метка baseline даёт тот же итог (2, 2) (там же, п. 9).
  • Правки verify: лишняя строка в базе — отказ метки, как lost, но условие H6 не расширено: пометка unexpected вне записанного до метки списка H6; строка, которую объясняет 5xx или обрыв, пометку не даёт (там же, п. 10).
  • Правки verify: UP 1/2 — реплика ещё в балансировке: она получает запросы, lb_down на неё не срабатывает. Опора — сценарий «реплики MUST NOT выводиться из балансировщика» (там же, п. 11).
  • Метка baseline2 не основная, снимается baseline3: за съёмку хост выгрузил в swap 309 432 страницы, пять ячеек с host_swap, в четырёх задержка вышла за разброс соседних повторов. Указание пользователя «забить» касается косяков хоста, явно не меняющих результат, а здесь результат ячеек изменился. Без пяти ячеек вердикты H1–H9 и рекомендация те же, но правило (design, решение 11; bench.md) записано до метки и не смягчается после. Каталог baseline2 остаётся в git как запись. Если выгрузка повторится, третьей пересъёмки нет: основной станет метка с меньшим числом задетых ячеек, они будут названы в отчёте (задача 10.20а).
  • Решение пользователя (2026-11-02): при выгрузке результат сохраняется, после baseline3 — ещё один прогон baseline4, больше пересъёмок нет. Отступление от правила «переснять» (design, решение 11; bench.md) принято по этому решению. Основная — метка с меньшим числом задетых ячеек, при равенстве — с меньшим swapouts_delta, выбор не зависит от вердиктов (задача 10.20б). В baseline3 — 26 046 страниц, одна задетая ячейка, и вердикт H2 «нет»: lp, duration (4,4)/(2,2) = 0,965; в baseline и baseline2 он был «подтверждено». Эта ячейка (lp-c2p256-r1) в условие не входит.
  • Основная метка — baseline4 (код d68a016, метка b104690): swapouts_delta 0, задетых ячеек нет, H2 подтверждена, H4 нет, рекомендация (2, 2). Вердикты всех меток и разбор H2 — REPORT.md, «Очередь под перегрузкой». Предположение «в медиану duration_ms попадают в основном задания, пережившие перезапуски» по данным не подтверждено и не опровергнуто: журналы в метку не копируются, косвенный признак два вида значений не разделяет, с числом перезапусков связь есть, но неполная. Порог и вердикты не менялись.
  • Финальные доказательства вне бенчмарка, команды драйвера. Разовые пробы перенесены тремя командами, а не двумя: worker-memory (рабочий стенд, через LB), freeze-sessions (работает и на рабочем стенде: заморожен только прокси пробы) и freeze-lb (docker pause — запрещён на рабочем PostgreSQL). freeze-lb сама поднимает и убирает временный проект mtusi-lab5-freeze, а не ждёт его по окружению, как reconcile-signal: иначе проверяющему пришлось бы собирать стенд руками; данные в tmpfs, поэтому down без -v ничего не оставляет. Значения — случайные, из .env.example: .env не читается.
  • freeze-sessions идёт в одноразовом контейнере api, а не из дерева кода через uv run: так пробе не нужен .env и код образа совпадает со стендом. httpx в образе нет, вызовы ASGI — своим клиентом; остальная логика double_cancel.py та же. Прежний файл называл аргументы пробы неверно: 2 6 1 и 2 6 4 — пул 2 и 1 или 4 запроса, а не срок 2 и пул 1 или 4; добавлен режим с настоящим пулом 4.
  • make test_isolated перед cache-check при первой съёмке — код 2. Его набор требует файлы, которых ещё нет, а ключи временной базы он при этом оставляет: команды шли не через &&, причина названа в шапке evidence/cache/hits.md.
  • Шаги evidence/idempotency/replay-after-restart.md — driver.py req и docker compose, скрипт только соединил их: отдельной команды драйвера не заводилось, задача её не просила, а шаги повторяются руками.
  • Пересняты evidence/tests/student-test-lb.md и evidence/tests/test-isolated.md: задача их не называла, но на d8fe2e8 они показывали единственный красный тест, который эта задача закрыла. evidence/tests/failure-checks.md остаётся на d8fe2e8: полный прогон на ноутбуке запрещён условиями задачи. Позже файл переснят в 4a7d89d: прогон с шестью проверками предела стартовал на b104690, отчёт ссылается на него.
  • Повторный verify: «мест на CPU» в сценарии «Бэклог уходит за измеренное время» — два на CPU worker, «без перезапусков» — и без завершений по команде: граница H1, а столбец worker_restarts у kill-worker 0, хотя строки так же ждут аренду. Запас разброса — решение 11. Вердикты H1–H9 от этого не считаются (design, «Уточнения apply», п. 14).
  • В REPORT.md добавлен вопрос 12 (PR_SET_DUMPABLE): он был вопросом преподавателю в QUESTIONS.md, но в нумерованный список отчёта не попал.
  • Секреты в новых файлах evidence/ сверены по токенам и путям, не по значениям .env: файл .env в этой работе не читается. evidence/tests/secrets.md остаётся на прежнем commit; поиск значений по всему evidence/ — перед PR.
  • Архив: перед архивом основные спеки сверены с дельтами скриптом по требованиям, описаниям и сценариям: восемь capability, расхождений нет (задача 4.7 и правки verify), поэтому синхронизация ничего не изменила. Каталог перенесён mv по шагу 5 /opsx:archive: openspec archive применил бы дельты повторно.

Вопросы

Вопросы преподавателю, переносятся в REPORT.md («Открытые вопросы преподавателю»). Прогон не останавливают: взята самая строгая трактовка, которая проходит публичные тесты, контракт и тесты не менялись.

  1. Предел незавершённых заданий: 429 или 503? Контракт называет 429 «ограничением частоты запросов», а здесь ограничено количество принятой работы; 503 в нём — «зависимость недоступна». Сделано: 429 rate_limited с Retry-After — как у занятых мест загрузки (вопрос 1 в отчёте), зависимости живы, и реплика остаётся готовой. Другой ответ меняет строку DOMAIN_ERRORS и сценарии.
  2. Рубрика уровня 3 показывает «worker остановлен → upload 202», а трек 1 требует ограничить принятую работу. Как долго загрузка обязана отвечать 202 при остановленном worker? Сделано: пока незавершённых меньше предела (250); дальше 429, а текст, история, метаданные, готовые байты и /health/ready работают. Сценарий защиты грузит единицы файлов. Другой ответ — значение настройки.

Вопрос пользователю (основной сессии), прогон не останавливает:

  1. Правило рекомендации требует «без oom и failed». После правки S5 аварийный перезапуск worker не от ядра (worker_crash) это условие не нарушает: раньше такой перезапуск считался oom косвенно. Условие не менялось, потому что записано до метки. В метке таких случаев не ждём (пробы: только ядро). Появится — считать настройку некандидатом? Сейчас: пометка в сводке, решение — в отчёте.

    Решение основной сессии: правило не менять, оно записано до метки. Если worker_crash появится в основной метке, отчёт называет такую настройку отдельно и не рекомендует её, не перекрашивая вердикт правила. В baseline2, baseline3 и baseline4 таких случаев нет (worker_die_other 0); у baseline этого столбца нет.