Files
mtusi2026lab4/openspec/changes/fix-upload-put-flake/design.md
T
ricoromaandClaude Opus 5.5 1657dbcd5f docs: reshoot test_isolated and full failure_checks on 723b6c3
make test_isolated: 193 passed, 5 replica tests skipped; full
make failure_checks: 49/49 in 552 s with the unfiltered output, paths
anonymized; REPORT.md points to the reshoots.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
2026-10-23 02:31:10 +03:00

36 KiB
Raw Blame History

Design

Context

Симптом и масштаб — proposal.md, «Why», и запись KNOWN_ISSUES.md. Здесь — механизм, как он подтверждён, и проверенные гипотезы. Пробы — 2026-10-22, временный проект compose upfprobe:

  • тот же docker-compose.yml, свой env-файл с синтетическими секретами и копия config_example.toml;
  • образ — mtusi-messenger:upfprobe из рабочего дерева b804cec, то же API, что c1648d9 на рабочем стенде;
  • LB на 127.0.0.1:18090, PostgreSQL в tmpfs, данные S3 — в volume upfprobe_s3_data.

Скрипты проб — в scratchpad сессии. Рабочий стенд — только чтение журналов.

Механизм (aiohttp 3.14.5, aiobotocore 3.9.2, botocore 1.43.106)

  1. Клиент S3 задаёт aiohttp срок чтения сокета: read_timeout=[s3] timeout_seconds (5 с) → ClientTimeout(sock_read=5) (src/infra/s3/client.py, _create_client; так с s3-storage, 2e997f9). Это второй срок поверх asyncio.timeout каждого вызова и блока чтения.
  2. Скачивание объекта, который потребитель не успевает разбирать, идёт с паузами чтения: буфер ответа переполнился, парсер встаёт на паузу. Буфер — read_bufsize сессии, по умолчанию 256 KiB (DEFAULT_CHUNK_SIZE, aiohttp/helpers.py:65, client.py:358; aiobotocore своего не передаёт — aiobotocore/httpsession.py:239–244). Пауза — при буфере больше 512 KiB (_high_water, streams.py:300), продолжение — ниже 256 KiB (_low_water, streams.py:563). Замер п. 3 «Как подтверждено» с этим сходится: объекты до 200 KiB соединений не взводят.
  3. Иногда конец тела парсер разбирает уже внутри ResponseHandler.resume_reading(), когда потребитель освободил буфер. Тогда:
    • конец ответа отпускает соединение в пул (_response_eof → Connection.release());
    • после этого тот же resume_reading() снова взводит срок чтения (_reschedule_timeout()): у соединения в пуле остаётся таймер на 5 с.
  4. Простой дольше 5 с: таймер срабатывает на простаивающем соединении (_on_read_timeout). Протокол получает исключение SocketTimeoutError и признак конца, но транспорт открыт: is_connected() — истина.
  5. Пул aiohttp отдаёт соединения по порядку возврата (popleft, первым — самое давнее). Проверяет он только is_connected() и keep-alive (15 с), но не сохранённое исключение (TCPConnector._get). Так испорченное соединение достаётся следующему вызову, пришедшему в окно 5–15 с после скачивания.
  6. Вызов отправляет заголовки, а protocol.read() сразу бросает сохранённое исключение. aiohttp закрывает соединение, aiobotocore переводит ServerTimeoutError в ReadTimeoutError, клиент проекта — в ObjectStorageUnavailable, и клиент получает 503 за 1 мс.
  7. Почему S3 видит «got 0 bytes»: botocore превращает тело PutObject из bytes в BytesIO (convert_body_to_file_like_object). Любому телу с read он ставит Expect: 100-continue (add_expect_header). aiohttp ждёт «100 Continue» и до ошибки тела не шлёт. SeaweedFS начинает читать тело и получает EOF.

Сброс таймера при следующем вызове (start_timeout() отменяет прежний) объясняет окно: вызов раньше 5 с проходит, позже 15 с — получает новое соединение. Версии: дефект воспроизведён в aiohttp 3.14.5 (версия uv.lock), другие пробой не проверялись. По исходникам resume_reading() перевзводит срок безусловно в 3.12.15, 3.13.2, 3.13.3, 3.13.5, 3.14.0 и 3.14.1, с 3.14.2 — только после паузы чтения; в 3.12–3.13 путь паузы другой (буфер 64 KiB), нижняя граница дефекта не установлена (evidence/s3/idle-connection.md, раздел 1). 3.14.5 — последняя версия на PyPI, дефект в ней есть, а ниже 3.14.0 не пускает aiobotocore 3.9.2 (aiohttp>=3.14.0): обновлением aiohttp от дефекта не уйти. Отчёта об этом дефекте в aiohttp не нашлось (поиск 2026-10-22).

Как подтверждено

  1. Журнал рабочего стенда (реплика 151df4af59c3). Каждому из трёх 503 (18:18:30, 18:20:04, 18:22:10) за 5,9–6,8 с предшествовали:

    • пять одновременных загрузок по 1 MiB и пять скачиваний этих оригиналов на этой же реплике — test_concurrent_uploads, половина его вложений;
    • загрузки через 4,5 с после скачиваний проходили: таймер ещё не сработал;
    • у каждого отказа — put_object, ReadTimeoutError, duration_ms 1, в журнале S3 — «got 0 bytes».
  2. Локальная проба aiohttp (сервер aiohttp.web на loopback, sock_read=1, asyncio и uvloop). GET 1 MiB с потребителем медленнее сети (2 мс на блок 64 KiB):

    • соединение в пуле со взведённым сроком;
    • через 1,5 с простоя у него SocketTimeoutError, connected=True;
    • следующий PUT — «Timeout on reading data from socket» за 1,2–2,0 мс;
    • с Expect: 100-continue сервер получает сброс соединения на чтении тела.

    Быстрый потребитель (без паузы) таймера не оставляет.

  3. Клиент проекта в образе API (uvloop, S3 пробного стенда):

    • по 10 скачиваний подряд: объекты 64, 120 и 200 KiB — 0 из 90 взведённых соединений; 1 MiB — 0–2 из 10; 10 MiB — 1–6 из 10;
    • раунды по 10 одновременных скачиваний (10 раундов): 1 MiB — 57–81 соединений из 100; 4 MiB при потребителе 0,5 мс на блок — 95–99 из 100;
    • сквозной пример: после 10 одновременных скачиваний по 1 MiB одно соединение взведено, через 5,5 с оно испорчено. PUT, которому пул отдал его девятым по очереди, — ObjectStorageUnavailable ← ReadTimeoutError («Read timeout on endpoint URL») ← SocketTimeoutError («Timeout on reading data from socket») за 1,2 мс. Остальные 11 PUT проходят;
    • с read_timeout=None — 0 взведённых и 0 испорченных во всех тех же прогонах, 12 из 12 PUT после простоя проходят.
  4. HTTP через LB пробного стенда: одна реплика, срок 5 с, простой 6 с, затем 12 загрузок; ответы и журнал — как на рабочем стенде:

    Раунд (до простоя) Раундов с 503 503 всего
    10 скачиваний 1 MiB подряд 0 из 3 0
    то же, клиент читает медленно 1 из 2 1
    10 одновременных скачиваний 1 MiB 5 из 7 10
    10 одновременных 4 MiB 4 из 5 12
    10 одновременных 4 MiB, клиент медленно 4 из 4 13
  5. Захват пакетов (tcpdump в сетевом пространстве реплики, порт 8333, разбор без значений заголовков). Три упавших PUT:

    • в каждом соединении последний запрос перед отказом — GET объекта ~1 MiB (ответ 200), за 6,15 с до отказа;
    • затем PUT: заголовки 980 байт с Expect: 100-continue и x-amz-checksum-crc32;
    • через 0,1 мс после заголовков — FIN клиента, через 0,2–0,4 мс S3 отвечает «100 Continue», клиент — RST; тела — 0 байт.
  6. Не регрессия upload-memory. Образ f894040 (тело bytes) тем же раундом (10 одновременных 1 MiB) дал 8 × 503 в 4 раундах из 5 с той же подписью. В журнале S3 — «got 0 bytes»: Expect: 100-continue ставится и там (п. 7 механизма).

  7. Набор целиком. На пробном стенде две реплики, текущий образ, make student_test (pytest напрямую): 10 зелёных прогонов, ни одного отказа S3. На рабочем стенде было 3 из 8 красных. Вероятность на прогон зависит от таймингов стенда: какие соединения в пуле, где паузы между тестами. Поэтому доказательство — целевое воспроизведение, а не цикл набора. Прогоны, где пробный S3 с данными в tmpfs упёрся в память контейнера (страницы tmpfs считаются его памятью, PUT — срок 5 с, TimeoutError), отброшены, и данные S3 перенесены в volume. Из 10 зелёных два сняты ещё на tmpfs, до нехватки памяти.

  8. Кандидат правки (read_timeout=None, образ mtusi-messenger:upfprobe-fix — один изменённый файл):

    • отдельный API со сроком S3 1 с, напрямую без LB, раунды «10 одновременных медленных скачиваний 4 MiB → простой 1,5 с → 12 загрузок»: на текущем образе 6 раундов из 6 с 503 (17 из 60 соединений, p ≈ 0,28); с правкой — 0 из 120 загрузок за 10 раундов. Подбор раунда на текущем образе: 1 MiB без медленного чтения — 503 в 1 раунде из 10; 4 MiB при 10 мс на блок — 7 из 40 соединений; 2 MiB — 8 из 40; 8 MiB — 3 из 40;
    • замороженный S3 (docker pause): загрузка и скачивание — 503 за 5,02 с, как до правки; замороженный посреди тела ответ обрывается через 5,9 с после заморозки (до правки — 5,5 с);
    • проба памяти PUT 10 MiB (put_memory_check.py из upload-memory): 1,18 тела над базой против 1,19 до правки, путь bytes — 2,31, SHA-256 объектов совпал.

Проверенные гипотезы

Гипотеза Итог Чем проверено
Регрессия upload-memory: BytesIO вместо bytes нет f894040 даёт тот же отказ (Как подтверждено, п. 6)
Повторное использование соединения после ответа S3 с ошибкой или раннего закрытия нет последний обмен испорченного соединения — успешный GET 200; S3 соединение не закрывал и ответил «100 Continue»
Keep-alive SeaweedFS закрыл соединение нет S3 отвечает на PUT по тому же соединению; простой 6 с < 120 с шлюза; закрыл клиент (FIN)
Повтор внутри aiohttp на новом соединении с прочитанным потоком нет aiohttp повторяет идемпотентный запрос (PUT в том числе) один раз только на ClientOSError и ServerDisconnectedError переиспользованного соединения, перемотав тело (ClientSession._request). У этого отказа — SocketTimeoutError, повтора нет: в захвате у PUT одна попытка
Expect: 100-continue botocore не причина объясняет только «got 0 bytes»: тело ждёт «100 Continue» и не уходит. Без него ошибка клиента та же
Контрольная сумма botocore 1.43 над потоком не причина по HTTP сумма — заголовок, считается до отправки; отказ — раньше первого байта тела
Срок чтения aiohttp переживает ответ и портит соединение в пуле причина п. 2, 3, 5, 8

Goals / Non-Goals

Goals:

  • исправный S3 не даёт 503 после простоя соединений клиента;
  • причина убрана, а не скрыта повтором;
  • тест на стенде отказов, красный до кода с вероятностью промаха меньше 1e-9, зелёный после;
  • путь PUT, одна копия тела, сроки и перевод ошибок — прежние.

Non-Goals:

  • отчёт об ошибке и правка в aiohttp — не проект лабы. Если upstream исправит, решение 1 не мешает: срок чтения aiohttp проекту не нужен;
  • лимит одновременных скачиваний, срок отдачи тела клиенту — как было;
  • прочие записи KNOWN_ISSUES.md.

Decisions

1. Срок клиента S3 — только срок приложения; срок чтения aiohttp выключен

_create_client передаёт AioConfig(read_timeout=None). aiobotocore строит ClientTimeout(sock_connect=[s3] connect_timeout_seconds, sock_read=None). aiohttp таймер чтения не взводит вовсе, и в пуле нечему сработать.

Сроки остаются:

  • asyncio.timeout([s3] timeout_seconds) на каждый вызов (_call: весь вызов botocore, в том числе чтение тела непотокового ответа);
  • тот же срок на каждый блок потокового чтения (_read_chunk);
  • connect_timeout (1 с).

Срок приложения начинается не позже sock_read и равен ему, поэтому зависший S3 он обрывает за тот же срок. sock_read мог лишь опередить его на блоке потокового чтения: он отсчитывает время от последних данных сокета, а не от начала блока. Проба п. 8 — те же 503 за 5,02 с и обрыв ответа посреди тела.

В infra.md строка «connect_timeout_seconds и read_timeout botocore — из [s3]» меняется на «read_timeout выключен (None)». Причина и запрет включать его без новой пробы — рядом. Из этого выводится и правило: всякое новое чтение из S3 — внутри _call или _read_chunk, а не голым await на ответе aiohttp.

Альтернативы, отвергнутые:

  • force_close у коннектора (соединение на вызов). Таймер остаётся, но соединение после вызова закрывается. Цена:
    • новое TCP-соединение на каждый вызов, в том числе на каждый HEAD сверки;
    • TIME_WAIT у клиента;
    • другой путь PUT, чем мерила метка evidence/uploads/baseline/.
  • keep-alive короче sock_read (например, 4 с при 5) или sock_read длиннее keep-alive (16 с при 15): испорченное соединение не доживает до выдачи. Но таймер остаётся, а связь двух сроков неочевидна и ломается при правке любого из них.
  • Свой класс сессии (AioConfig(http_session_cls=…)) и коннектор, который не отдаёт протокол с should_close: опора на закрытые методы aiohttp (_get, _conns).
  • Патч aiohttp (resume_reading): то же, плюс расходится с uv.lock.
  • Другая версия aiohttp: новее 3.14.5 нет, дефект в ней воспроизведён, а aiobotocore 3.9.2 требует ≥ 3.14.0 (в 3.14.0–3.14.4 перевзвод срока в resume_reading() тоже есть по исходникам).
  • Убрать Expect: 100-continue: S3 получил бы тело, но клиент упал бы так же. Объект без подтверждения потом убрал бы уборщик.
  • Выключить контрольные суммы botocore: к отказу не относятся.
  • Больший read_bufsize, чтобы пауз не было: буфер ответа держал бы объект целиком, и память скачиваний росла бы с размером.
  • Повтор (решение 2).

2. Повторов нет: правило «S3 без повторов» не меняется

Безопасный повтор (тело не ушло, поток с начала, срок прежний) отвергнут:

  • он лечит симптом. Испорченное соединение по-прежнему выдаётся, первая попытка по-прежнему тратит его;
  • ReadTimeoutError ничем не отличается от настоящего таймаута после тела. Различать их пришлось бы по закрытым полям aiohttp, иначе повтор удвоил бы ожидание зависшего S3 сверх срока вызова;
  • после решения 1 повторять нечего.

infra.md, s3-storage (решения 6–7) и спек object-storage («вызов MUST NOT повторяться автоматически») остаются в силе.

3. Тест: четвёртый API стенда отказов с коротким сроком S3

Сценарий attachments «Загрузка после простоя S3» (дельта) проверяет test_upload_after_idle_s3 в student-tests/test_failures.py (маркер fault). Hook не нужен: тест только ходит по HTTP. Особый стенд нужен для срока:

  • run_failures.py запускает четвёртый API <проект>-api-s3 с S3__TIMEOUT_SECONDS=1. До правки это и sock_read: простой 1,5 с вместо 6 с;
  • адрес — FAULT_S3_BASE_URL, окружение — FAULT_S3_ENV; тест сверяет стенд с ним, как assert_uploads_stand;
  • других тестов на этом API нет, и пул S3 процесса — только от теста.

Раунд:

  1. Участник загружает PNG из шума ~4 MiB — один раз на тест.
  2. 10 одновременных скачиваний этого оригинала, у каждого клиента своё соединение и барьер. Клиент читает медленно, 2 мс на блок 64 KiB. Каждое тело сверяется с загруженным.
  3. Простой S3__TIMEOUT_SECONDS + 0,5 с без запросов к этому API.
  4. 12 загрузок sample.png по одной. Каждая — 201: пул отдаёт соединения по порядку возврата, и 12 загрузок проходят через все ≤ 10 соединений пула.

До 8 раундов, тест падает на первом не-201 с номером раунда и ответом. По пробе (Как подтверждено, п. 8) соединение портится с p ≈ 0,28. Промах раунда — 0,72^10 ≈ 0,037, восьми раундов — ≈ 4e-12. На коде с правкой — 8 раундов ≈ 16 с, make failure_checks дольше на ~20 с вместе со стартом API.

Альтернативы:

  • Тест в make student_test (обычный стенд, срок 5 с). Раунд — 6+ с простоя. Промах раунда по таблице п. 4 — от ~0,03 до ~0,3, через один процесс без LB (make test_isolated) — выше (п. 8: напрямую 1 MiB дали 503 в 1 раунде из 10). Надёжность требует ~5 раундов, +35 с к набору в 38 с. Отвергнуто.
  • Hook, запускающий пробу клиента в контейнере API: детерминированнее, но это импорт src из теста в обход HTTP. Против правила student-tests. Отвергнуто.
  • Сделать запуск точно детерминированным. Порча зависит от того, где TCP разрезал хвост ответа S3. Снаружи процесса этим не управлять ни размером, ни темпом клиента (п. 3–4). Отвергнуто, вероятность промаха считается и называется.

Красный прогон — до правки кода: make failure_checks FAULT_ARGS='-k idle_s3' три раза подряд, каждый красный. После правки — те же три зелёные. Оба вывода — в evidence/tests/failure-checks.md.

4. Evidence механизма: команда драйвера s3-idle

driver.py s3-idle скилла run-mtusi-messenger (stdlib, Python 3.9):

  • запускает пробу клиента в работающей реплике API стенда (docker exec -i <реплика> python -). Это код и ключи образа: ключи в драйвер не попадают;
  • два варианта клиента — как в образе и эталонный с прежним read_timeout=[s3] timeout_seconds;
  • в каждом: раунды по 10 одновременных медленных скачиваний объекта 4 MiB, простой [s3] timeout_seconds + 0,5 с, 12 PUT;
  • печатает по варианту: соединений взведено после скачиваний, испорчено после простоя, PUT прошло и упало (класс ошибки и цепочка причин, время в мс);
  • объекты — под <база>/.s3-idle-probe/, удаляются в finally. Сверка этот префикс не читает, а attachments/ проба не трогает;
  • код 0 — у варианта образа ни одного испорченного соединения и упавшего PUT, код 1 — иначе. Эталон может падать: так команда показывает механизм.

Счётчики берутся из закрытых полей aiohttp (connector._conns, _read_timeout_handle, _exception). Это диагностика, а не код приложения. Если полей нет (другая версия aiohttp), команда печатает «n/a» и судит только по PUT. «S3 получает тело целиком» (сценарий object-storage «Вызов после простоя») проверяется чтением каждого записанного объекта: размер и SHA-256. Проба — отдельный процесс в контейнере реплики: пул API она не трогает, но на время команды берёт ~100 MiB памяти и CPU реплики, поэтому запускается без нагрузки на стенд.

Evidence evidence/s3/idle-connection.md:

  • механизм из Context с номерами строк aiohttp 3.14.5;
  • вывод driver.py s3-idle на рабочем стенде до и после замены реплик;
  • сводка захвата пакетов и таблица HTTP-раундов из пробы propose;
  • сравнение с f894040.

Подписи, ключи и значения заголовков в evidence не попадают.

5. Путь PUT, одна копия тела и метка uploads

Правка не трогает путь PUT:

  • то же тело (BytesIO после del data) и те же заголовки (Expect, CRC32, подпись);
  • то же соединение из пула keep-alive и тот же срок вызова.

Исчезает только взвод таймера sock_read после записи тела. Профиль uploads (bench/k6/uploads.js) только загружает и не скачивает: порча соединений в метке evidence/uploads/baseline/ не возникала, и измеренный путь — ровно этот.

Мнение агента: пересъёмка полного make bench_uploads не нужна. Проверка — точечная проба памяти PUT в образе с правкой (на прототипе 1,18 тела, до правки 1,19) и make bench_uploads_quick (самопроверка, метка quick-*, в git не идёт). Нужна ли пересъёмка полной метки на тихом хосте — решает пользователь (PLAN.md, ### fix-upload-put-flake, «Вопросы», п. 1). До ответа метка baseline остаётся.

6. Документы

  • .claude/rules/infra.md, раздел S3: срок клиента — только asyncio.timeout, read_timeout выключен и почему; новое чтение из S3 — только через _call и _read_chunk.
  • .claude/rules/student-tests.md и AGENTS.md (карта кода, run_failures.py): четвёртый API стенда отказов и тест.
  • REPORT.md:
    • клиент S3 — сроки;
    • строка в «Эксперименты и отказы»;
    • строка make student_test в таблице доказательств — без оговорки о 503;
    • в «Ограничениях» — дефект aiohttp и почему проекту не нужен его срок чтения.
  • KNOWN_ISSUES.md: запись удаляется, история — в git.
  • evidence/tests/student-test-lb.md: раздел «Повторные прогоны» дополняется исходом — причина и восемь прогонов после замены реплик.

Risks / Trade-offs

  • [Без sock_read чтение вне asyncio.timeout зависло бы без срока] → все чтения клиента уже внутри _call и _read_chunk. Правило infra.md закрепляет это для новых. Отказы «S3 завис» (make failure_checks) и проба п. 8 проверяют срок.
  • [botocore считает TTL повтора из read_timeout] → после успешного непотокового ответа _set_ttl с None бросает TypeError и сам его ловит, запись на debug. Логгер botocore стоит на WARNING (logging.md), повторов нет (total_max_attempts=1), поэтому TTL не используется. Цена — микросекунды на вызов.
  • [Тест вероятностный внутри раунда] → вероятность промаха 8 раундов ≈ 4e-12 по замеру, названа в тесте и evidence. Красный прогон — три раза подряд.
  • [Новый aiohttp вернёт похожий дефект в другом месте] → срок чтения aiohttp не используется вовсе, а тест и driver.py s3-idle ловят порчу соединения при простое по поведению.
  • [Смесь версий при make rolling_update] → старые реплики до замены могут дать тот же 503. Данные он не портит: строка pending уходит уборщику. Новый код уборщика — docker compose up -d --no-deps cleaner.
  • [Четвёртый API на стенде отказов] → +1 контейнер (~2 с старта) и +~20 с прогона. Порты — только 127.0.0.1, уборка — вместе с остальными.

Migration Plan

  1. Код и тест — одним commit. Вперёд: make rolling_update (миграций нет), затем docker compose up -d --no-deps cleaner.
  2. Bootstrap S3, схема, .env и config.toml не меняются.
  3. Откат: make rolling_update COMMIT=<прежний> MIGRATE=0 и прежний образ уборщика. Прежний код снова изредка даёт 503, данные целы.

Open Questions

Нет. Пересъёмка метки uploads — вопрос пользователю (решение 5), план и задачи от ответа не зависят. Ответ 2026-10-23: полную метку не переснимать, baseline остаётся; в apply — точечная проба памяти PUT и make bench_uploads_quick (tasks 4.4).

Уточнения apply

  1. Медленное скачивание в тесте — Api.attachment_content_slowly (client.stream, iter_bytes(64 KiB), сон после блока). Он отдаёт httpx.Response с прочитанными байтами в content, поэтому байты, тип, длину и заголовки проверяет тот же assert_content, а не своя копия проверки.
  2. Оригинал теста — images.png_noise(1024, 1365) (~4,0 MiB): RGB-шум почти не сжимается, размер — около width × height × 3. Пользователи и чат — фикстуры обычного API (alice, chat): база общая для всех API стенда, а к S3 обычный API в этом тесте не обращается.
  3. Тест красный уже в первом раунде: на 4cfaab0 три прогона из трёх упали в раунде 1 (загрузки 4, 8 и 3). Порча чаще, чем p ≈ 0,28 из пробы propose. Оценка промаха в докстринге остаётся консервативной.
  4. driver.py s3-idle: объекты учитываются по списку записанных ключей, а не листингом префикса: у ключа API права на список нет (bootstrap это проверяет). Удаляет их в finally отдельный клиент без скачиваний: в его пуле нечему испортиться, а пулы обоих вариантов к этому моменту закрыты. Что ничего не осталось, драйвер проверяет через weed shell fs.tree по файлам source и r<раунд>-p<номер>: каталоги SeaweedFS убирает позже файлов.
  5. Эталон s3-idle — ObjectStorage проекта, у которого на время start() в модуле клиента подменён AioConfig и выставлен read_timeout=[s3] timeout_seconds. Тот же код вызова, пул и перевод ошибок, а отличается только срок чтения. На образе до правки оба варианта совпадают (read_timeout 5.0 у обоих).
  6. Параметры s3-idle по умолчанию: 3 раунда, PUT по 128 KiB случайных байт (размер sample.png по порядку величины), пауза 0,5 мс на блок, как в design. Отладочный прогон на рабочем стенде до правки (1 раунд): образ — 3 взведённых и 3 испорченных соединения, 3 PUT из 12 упали за 0,7–1,0 мс; эталон — 5 и 5, 5 PUT упали. Записанные объекты читаются обратно целиком, файлов пробы не осталось.
  7. Evidence make test_isolated на b5983f0 — раздел 7 evidence/s3/idle-connection.md. Файл evidence/tests/test-isolated-s3-cleanup.md (уборка префикса test_<db>/) не переснимался: change её не трогает. Полный make failure_checks снят с фильтром вывода: в файле итог 49 passed, results и время, но без построчного списка тестов. После проверки (п. 8) оба пересняты с полным выводом.
  8. Правки по проверке (tasks, группа 6):
    • буфер ответа aiohttp 3.14.5 — 256 KiB, пауза выше 512 KiB (Механизм, п. 2); 64 / 128 KiB были значениями 3.12–3.13. Параметры пробы s3-idle и теста от этого не меняются: 128 KiB там — размер PUT, а 64 KiB — блок потребителя, не порог буфера. Медленный потребитель копит в буфере больше 512 KiB при любом размере блока;
    • версии aiohttp названы по проверке: проба — только 3.14.5, исходники — таблица в evidence/s3/idle-connection.md, раздел 1;
    • botocore/handlers.py:380–397 сверена с .venv и образом и оставлена: add_expect_header занимает строки 380–397;
    • спек object-storage: «…единственным сроком вызова, кроме срока установки соединения»;
    • пересъёмка на 723b6c3 (код — b5983f0 плюс комментарий в client.py) после make rolling_update и нового уборщика: make test_isolated — 193 passed, 5 пропусков, 49 deselected (test-isolated-s3-cleanup.md, раздел 0); make failure_checks — 49 из 49 за 552 с, полный вывод (failure-checks.md, «Итог»).