From 723b6c3140fd7c09fced09c5f53eafc6ce04341e Mon Sep 17 00:00:00 2001 From: roman Date: Fri, 23 Oct 2026 02:14:38 +0300 Subject: [PATCH] fix: address fix-upload-put-flake verify findings aiohttp 3.14.5 buffers 256 KiB and pauses reading above 512 KiB; name the aiohttp versions actually checked instead of a range; fix line references in the idle-connection evidence; the object-storage spec now exempts the connect timeout from the single call timeout. Co-Authored-By: Claude Opus 5.5 --- .claude/rules/infra.md | 21 ++++++--- PLAN.md | 33 +++++++++++--- REPORT.md | 21 ++++++--- evidence/s3/idle-connection.md | 43 ++++++++++++++---- .../changes/fix-upload-put-flake/design.md | 45 ++++++++++++++----- .../changes/fix-upload-put-flake/proposal.md | 8 ++-- .../specs/object-storage/spec.md | 15 ++++--- .../changes/fix-upload-put-flake/tasks.md | 26 ++++++++++- openspec/specs/object-storage/spec.md | 15 ++++--- src/infra/s3/client.py | 15 ++++--- 10 files changed, 179 insertions(+), 63 deletions(-) diff --git a/.claude/rules/infra.md b/.claude/rules/infra.md index 473ad961..8e001292 100644 --- a/.claude/rules/infra.md +++ b/.claude/rules/infra.md @@ -179,15 +179,22 @@ paths: не повторяется, загрузку повторяет клиент контракта; - **срок на вызов** — `asyncio.timeout([s3] timeout_seconds)` (5 с, меньше `timeout server` HAProxy), у `open` — ещё и на каждый блок - чтения тела. Это единственный срок вызова: `connect_timeout_seconds` - — из `[s3]`, `read_timeout` botocore **выключен (`None`)**; пул - aiohttp — `[s3] max_connections`; + чтения тела. Кроме срока установки соединения + (`connect_timeout_seconds` из `[s3]`), это единственный срок вызова: + `read_timeout` botocore **выключен (`None`)**; пул aiohttp — `[s3] + max_connections`; - **почему без `read_timeout`** (design change `fix-upload-put-flake`, решение 1): aiobotocore превращает его в `sock_read` aiohttp, а - aiohttp 3.13–3.14.5 после потокового ответа больше буфера (128 KiB) - перевзводит этот срок в `resume_reading()` уже у соединения, которое - вернулось в пул. Через срок он срабатывает на простаивающем - соединении, пул отдаёт его следующему вызову (проверяет только + aiohttp 3.14.5 (версия `uv.lock`, проверено пробой) после потокового + ответа с паузой чтения перевзводит этот срок в `resume_reading()` уже + у соединения, которое вернулось в пул. Пауза — когда буфер ответа + больше 512 KiB (`read_bufsize` по умолчанию 256 KiB, верхний порог — + вдвое больше: `aiohttp/helpers.py:65`, `streams.py:117–118`, `300`; + замер: 64–200 KiB — 0 взведённых из 90, 1 MiB — до 2 из 10). Пробой + другие версии aiohttp не проверялись, их исходники — в + `evidence/s3/idle-connection.md`, раздел 1. Через срок он + срабатывает на простаивающем соединении, пул отдаёт его следующему + вызову (проверяет только `is_connected()` и keep-alive), и вызов падает за 1 мс — `ReadTimeoutError`, 503 на исправном S3. Включать `read_timeout` снова — только с новой пробой (`driver.py s3-idle`, тест diff --git a/PLAN.md b/PLAN.md index 1afdec35..1974819e 100644 --- a/PLAN.md +++ b/PLAN.md @@ -1309,9 +1309,11 @@ Change вне сводной таблицы, до `track2-reconcile-cost`: ис 1. **Причина найдена и воспроизведена** (design, Context): - клиент S3 задаёт aiohttp срок чтения (`read_timeout` = `[s3] timeout_seconds`, 5 с, с `s3-storage`); - - после скачивания большого оригинала (больше буфера ответа 128 KiB) - aiohttp 3.13–3.14.5 перевзводит этот срок в `resume_reading()` уже - после конца ответа, когда соединение вернулось в пул; + - после скачивания большого оригинала с паузой чтения (буфер ответа + больше 512 KiB: `read_bufsize` 256 KiB, порог паузы вдвое больше) + aiohttp 3.14.5 (версия `uv.lock`, другие пробой не проверялись) + перевзводит этот срок в `resume_reading()` уже после конца ответа, + когда соединение вернулось в пул; - через 5 с простоя срок срабатывает и портит соединение: исключение сохранено, транспорт открыт; - пул отдаёт его следующему вызову в окне 5–15 с (keep-alive), и вызов @@ -1343,8 +1345,8 @@ Change вне сводной таблицы, до `track2-reconcile-cost`: ис - `force_close`; - связка сроков keep-alive и `sock_read`; - свой коннектор и патч aiohttp; - - другая версия aiohttp: дефект в 3.13.5–3.14.5, aiobotocore 3.9.2 - требует ≥ 3.14.0; + - другая версия aiohttp: новее 3.14.5 нет, дефект в ней воспроизведён, + а aiobotocore 3.9.2 требует ≥ 3.14.0; - снятие `Expect`; - больший буфер ответа; - повтор. @@ -1383,6 +1385,27 @@ Change вне сводной таблицы, до `track2-reconcile-cost`: ис `make failure_checks` снят с фильтром вывода, без построчного списка тестов: итог 49 passed и `results` — в файле. +Правки по `/opsx:verify` 2026-10-23 (tasks, группа 6; design, +«Уточнения apply», п. 8): + +12. Буфер ответа aiohttp 3.14.5 — 256 KiB (`DEFAULT_CHUNK_SIZE`), пауза + чтения выше 512 KiB; прежние 64 / 128 KiB — значения 3.12–3.13. + Сходится с замером propose: до 200 KiB соединения не взводятся. +13. Версии aiohttp — «в каких проверено»: дефект воспроизведён только в + 3.14.5. По исходникам (кэш uv и sdist PyPI) перевзвод срока в + `resume_reading()` есть в 3.12.15, 3.13.2, 3.13.3, 3.13.5 и + 3.14.0–3.14.5 (с 3.14.2 — только после паузы); нижняя граница не + установлена. +14. Ссылка `botocore/handlers.py:380–397` оставлена: по `.venv` и по + образу `add_expect_header` — строки 380–397 (`def` — 380, `Expect` — + 397), а не 378–395, как в замечании S2. `client_proto.py:196–201` + исправлена на `196–202`, `httpsession.py:97–98` — на `97–99`. +15. Спек `object-storage`: срок из настроек — единственный срок вызова, + «кроме срока установки соединения» (`connect_timeout_seconds`), в + дельте и основном спеке одинаково. +16. `make test_isolated` и полный `make failure_checks` пересняты на + закоммиченном коде с полным выводом (`evidence/tests/`). + #### Вопросы 1. Нужна ли пересъёмка полной метки `make bench_uploads` diff --git a/REPORT.md b/REPORT.md index d6d6902d..29a41bba 100644 --- a/REPORT.md +++ b/REPORT.md @@ -189,9 +189,11 @@ compose up -d s3-bootstrap` или `make run_docker`. Собственного срока чтения aiohttp нет (`read_timeout=None`). Раньше он был равен `timeout_seconds` и давал редкие 503 на исправном S3. Цепочка такая: -- после скачивания оригинала больше буфера ответа (128 KiB) aiohttp - 3.13–3.14.5 перевзводил этот срок в `resume_reading()` уже у - соединения, вернувшегося в пул; +- после скачивания оригинала с паузой чтения (буфер ответа больше + 512 KiB: `read_bufsize` по умолчанию 256 KiB, порог паузы вдвое больше) + aiohttp 3.14.5 — версия `uv.lock`, другие пробой не проверялись — + перевзводил этот срок в `resume_reading()` уже у соединения, + вернувшегося в пул; - через 5 с простоя срок срабатывал на простаивающем соединении, и пул отдавал его следующему вызову (keep-alive 15 с не истёк); - PUT падал за 1 мс с `ReadTimeoutError`, а S3 видел заголовки без тела @@ -1055,14 +1057,19 @@ S3 (change `s3-storage`): `uploads` 503 по сроку S3 нет (change `upload-memory`, решение 8). - **Отказ S3 — 503 на путях вложений, а не отказ сервиса.** Отказ хоста, LB и PostgreSQL стенд не переживает (`.claude/rules/balancer.md`). -- **Дефект aiohttp 3.13–3.14.5: срок чтения переживает ответ.** После - потокового ответа больше буфера `resume_reading()` взводит `sock_read` +- **Дефект aiohttp (проверен в 3.14.5): срок чтения переживает ответ.** + После потокового ответа с паузой чтения `resume_reading()` взводит `sock_read` у соединения в пуле. Через срок соединение портится, и следующий вызов на нём падает за 1 мс. Проект от этого закрыт тем, что `sock_read` не использует (`read_timeout=None`, раздел «Сроки клиента S3»). Срок вызова и блока даёт `asyncio.timeout` приложения: зависший S3 по-прежнему - обрывается за 5 с. Обновить aiohttp нельзя: дефект есть во всех версиях - от 3.13.5 до последней 3.14.5, а aiobotocore 3.9.2 требует ≥ 3.14.0. + обрывается за 5 с. Обновлением aiohttp от дефекта не уйти: 3.14.5 — + последняя версия, дефект воспроизведён в ней, а ниже 3.14.0 не пускает + aiobotocore 3.9.2. Другие версии пробой не проверялись; по исходникам + перевзвод срока в `resume_reading()` есть в каждой просмотренной + версии от 3.12.15 до 3.14.4, нижняя + граница дефекта не установлена (`evidence/s3/idle-connection.md`, + раздел 1). Отчёт об ошибке в aiohttp не отправлен: это вне лабы. Если upstream её исправит, проекту срок чтения aiohttp всё равно не нужен. Новый дефект того же рода поймают `test_upload_after_idle_s3` и `driver.py diff --git a/evidence/s3/idle-connection.md b/evidence/s3/idle-connection.md index db81cb64..42013855 100644 --- a/evidence/s3/idle-connection.md +++ b/evidence/s3/idle-connection.md @@ -23,14 +23,24 @@ 1. Клиент проекта задавал `AioConfig(read_timeout=[s3] timeout_seconds)` (5 с, с `s3-storage`). aiobotocore превращает его в срок чтения сокета - aiohttp: `aiobotocore/httpsession.py:97–98` — `aiohttp.ClientTimeout( + aiohttp: `aiobotocore/httpsession.py:97–99` — `aiohttp.ClientTimeout( sock_connect=conn_timeout, sock_read=read_timeout)`. Это второй срок поверх `asyncio.timeout` каждого вызова (`_call`) и блока чтения (`_read_chunk`). -2. Скачивание объекта больше буфера потока ответа (64 KiB, верхний порог - — 128 KiB: `aiohttp/streams.py:117–118`, `_low_water = limit`, - `_high_water = limit * 2`) идёт с паузами чтения транспорта. -3. `ResponseHandler.resume_reading()` — `aiohttp/client_proto.py:196–201`: +2. Буфер потока ответа — `read_bufsize` сессии: по умолчанию + `DEFAULT_CHUNK_SIZE` = 2**18, 256 KiB (`aiohttp/helpers.py:65`, + `aiohttp/client.py:358`; aiobotocore своего не передаёт — + `aiobotocore/httpsession.py:239–244`). Пороги потока — + `aiohttp/streams.py:117–118`: `_low_water = limit` (256 KiB), + `_high_water = limit * 2` (512 KiB). Буфер больше 512 KiB — пауза + чтения транспорта (`streams.py:300`), ниже 256 KiB — продолжение + (`streams.py:563`). Поэтому скачивание объекта, который потребитель не + успевает разбирать, идёт с паузами, если в буфере скопилось больше + 512 KiB. Это согласуется с замером propose (раздел 4): по 10 + скачиваний подряд объектов 64, 120 и 200 KiB — 0 взведённых из 90, + 1 MiB — 0–2 из 10. (64 / 128 KiB — значения aiohttp 3.12–3.13: + `read_bufsize` 2**16.) +3. `ResponseHandler.resume_reading()` — `aiohttp/client_proto.py:196–202`: после паузы он снова взводит срок (`_reschedule_timeout()`, `client_proto.py:287`). Если парсер дочитал конец тела внутри этого же `resume_reading()`, ответ уже отпустил соединение в пул @@ -58,9 +68,26 @@ Окно: следующий вызов раньше срока сбрасывает таймер (`start_timeout()` → `_reschedule_timeout()` отменяет прежний), позже keep-alive — -получает новое соединение. Дефект есть в aiohttp 3.13.5 и 3.14.0–3.14.5 -(в 3.14.4–3.14.5 — только после паузы чтения), aiobotocore 3.9.2 -требует `aiohttp>=3.14.0`; отчёта о нём в aiohttp не нашлось (поиск +получает новое соединение. + +Версии. Дефект воспроизведён только в aiohttp 3.14.5 — версии `uv.lock` +(разделы 2–4). Другие версии пробой не проверялись. Исходники +`ResponseHandler.resume_reading()` (кэш uv и sdist PyPI, сверка +2026-10-23): + +| Версии aiohttp | `resume_reading()` | `read_bufsize` по умолчанию | +|---|---|---| +| 3.12.15, 3.13.2, 3.13.3, 3.13.5 | `_reschedule_timeout()` безусловно | 64 KiB | +| 3.14.0, 3.14.1 | `_reschedule_timeout()` безусловно | 256 KiB | +| 3.14.2, 3.14.3 | только если чтение было на паузе | 256 KiB | +| 3.14.4, 3.14.5 | только если чтение было на паузе и не держит буфер | 256 KiB | + +Перевзвод есть во всех просмотренных версиях, но путь паузы в 3.12–3.13 +другой (иной буфер и иной код паузы), и воспроизводится ли там дефект, +не проверялось: нижняя граница не установлена. Обновить aiohttp, чтобы +уйти от дефекта, нельзя: 3.14.5 — последняя версия на PyPI (2026-10-23), +дефект в ней есть, а версии ниже 3.14.0 не допускает aiobotocore 3.9.2 +(`aiohttp<4.0.0,>=3.14.0`). Отчёта о дефекте в aiohttp не нашлось (поиск 2026-10-22). **Правка** (design, решение 1): `read_timeout=None`. aiobotocore строит diff --git a/openspec/changes/fix-upload-put-flake/design.md b/openspec/changes/fix-upload-put-flake/design.md index 8ac2811e..7cc659d6 100644 --- a/openspec/changes/fix-upload-put-flake/design.md +++ b/openspec/changes/fix-upload-put-flake/design.md @@ -22,9 +22,15 @@ (`src/infra/s3/client.py`, `_create_client`; так с `s3-storage`, `2e997f9`). Это второй срок поверх `asyncio.timeout` каждого вызова и блока чтения. -2. Скачивание объекта больше буфера потока aiohttp (64 KiB, порог паузы - — 128 KiB) идёт с паузами чтения: буфер ответа переполнился, парсер - встаёт на паузу. +2. Скачивание объекта, который потребитель не успевает разбирать, идёт + с паузами чтения: буфер ответа переполнился, парсер встаёт на паузу. + Буфер — `read_bufsize` сессии, по умолчанию 256 KiB + (`DEFAULT_CHUNK_SIZE`, `aiohttp/helpers.py:65`, `client.py:358`; + aiobotocore своего не передаёт — `aiobotocore/httpsession.py:239–244`). + Пауза — при буфере больше 512 KiB (`_high_water`, `streams.py:300`), + продолжение — ниже 256 KiB (`_low_water`, `streams.py:563`). Замер п. 3 + «Как подтверждено» с этим сходится: объекты до 200 KiB соединений не + взводят. 3. Иногда конец тела парсер разбирает уже внутри `ResponseHandler.resume_reading()`, когда потребитель освободил буфер. Тогда: @@ -53,10 +59,15 @@ Сброс таймера при следующем вызове (`start_timeout()` отменяет прежний) объясняет окно: вызов раньше 5 с проходит, позже 15 с — получает новое -соединение. Версии: в aiohttp 3.13.5 и 3.14.0 `resume_reading()` -перевзводит срок безусловно, в 3.14.4–3.14.5 — после паузы. 3.14.5 — -последняя версия на PyPI, aiobotocore 3.9.2 требует `aiohttp>=3.14.0`. -Отчёта об этом дефекте в aiohttp не нашлось (поиск 2026-10-22). +соединение. Версии: дефект воспроизведён в aiohttp 3.14.5 (версия +`uv.lock`), другие пробой не проверялись. По исходникам +`resume_reading()` перевзводит срок безусловно в 3.12.15, 3.13.2, 3.13.3, +3.13.5, 3.14.0 и 3.14.1, с 3.14.2 — только после паузы чтения; в 3.12–3.13 путь +паузы другой (буфер 64 KiB), нижняя граница дефекта не установлена +(`evidence/s3/idle-connection.md`, раздел 1). 3.14.5 — последняя версия +на PyPI, дефект в ней есть, а ниже 3.14.0 не пускает aiobotocore 3.9.2 +(`aiohttp>=3.14.0`): обновлением aiohttp от дефекта не уйти. Отчёта об +этом дефекте в aiohttp не нашлось (поиск 2026-10-22). ### Как подтверждено @@ -210,8 +221,9 @@ sock_read=None)`. aiohttp таймер чтения не взводит вовс который не отдаёт протокол с `should_close`: опора на закрытые методы aiohttp (`_get`, `_conns`). - Патч aiohttp (`resume_reading`): то же, плюс расходится с `uv.lock`. -- Другая версия aiohttp: дефект есть в 3.13.5 и 3.14.0–3.14.5, а - aiobotocore 3.9.2 требует ≥ 3.14.0. +- Другая версия aiohttp: новее 3.14.5 нет, дефект в ней воспроизведён, а + aiobotocore 3.9.2 требует ≥ 3.14.0 (в 3.14.0–3.14.4 перевзвод срока в + `resume_reading()` тоже есть по исходникам). - Убрать `Expect: 100-continue`: S3 получил бы тело, но клиент упал бы так же. Объект без подтверждения потом убрал бы уборщик. - Выключить контрольные суммы botocore: к отказу не относятся. @@ -428,4 +440,17 @@ Evidence `evidence/s3/idle-connection.md`: `evidence/tests/test-isolated-s3-cleanup.md` (уборка префикса `test_/`) не переснимался: change её не трогает. Полный `make failure_checks` снят с фильтром вывода: в файле итог 49 passed, - `results` и время, но без построчного списка тестов. + `results` и время, но без построчного списка тестов. После проверки + (п. 8) оба пересняты с полным выводом. +8. **Правки по проверке** (tasks, группа 6): + - буфер ответа aiohttp 3.14.5 — 256 KiB, пауза выше 512 KiB (Механизм, + п. 2); 64 / 128 KiB были значениями 3.12–3.13. Параметры пробы + `s3-idle` и теста от этого не меняются: 128 KiB там — размер PUT, а + 64 KiB — блок потребителя, не порог буфера. Медленный потребитель + копит в буфере больше 512 KiB при любом размере блока; + - версии aiohttp названы по проверке: проба — только 3.14.5, + исходники — таблица в `evidence/s3/idle-connection.md`, раздел 1; + - `botocore/handlers.py:380–397` сверена с `.venv` и образом и + оставлена: `add_expect_header` занимает строки 380–397; + - спек `object-storage`: «…единственным сроком вызова, кроме срока + установки соединения». diff --git a/openspec/changes/fix-upload-put-flake/proposal.md b/openspec/changes/fix-upload-put-flake/proposal.md index 5efcf8de..5ec00fbf 100644 --- a/openspec/changes/fix-upload-put-flake/proposal.md +++ b/openspec/changes/fix-upload-put-flake/proposal.md @@ -8,8 +8,9 @@ change нашла причину (design, Context): - клиент S3 включает срок чтения aiohttp (`read_timeout` = `[s3] timeout_seconds`, 5 с); -- после скачивания большого оригинала aiohttp 3.13–3.14.5 оставляет этот - срок взведённым у соединения, которое уже вернулось в пул; +- после скачивания большого оригинала aiohttp 3.14.5 (версия `uv.lock`; + другие версии не проверялись) оставляет этот срок взведённым у + соединения, которое уже вернулось в пул; - через 5 с простоя срок срабатывает на простаивающем соединении и ломает его; - следующий вызов S3 на этом соединении, если он пришёл до конца @@ -64,7 +65,8 @@ change нашла причину (design, Context): ### Modified Capabilities - `object-storage`: в «Клиенте хранилища в приложении» срок вызова — - единственный срок клиента. Соединение в пуле не хранит срока прошлого + единственный срок клиента, кроме срока установки соединения. + Соединение в пуле не хранит срока прошлого вызова, и вызов после простоя дольше срока проходит. - `attachments`: в «Недоступности S3» 503 — только при отказе S3, а не после простоя исправного S3; новый сценарий «Загрузка после простоя diff --git a/openspec/changes/fix-upload-put-flake/specs/object-storage/spec.md b/openspec/changes/fix-upload-put-flake/specs/object-storage/spec.md index f3720f27..17e42900 100644 --- a/openspec/changes/fix-upload-put-flake/specs/object-storage/spec.md +++ b/openspec/changes/fix-upload-put-flake/specs/object-storage/spec.md @@ -18,13 +18,14 @@ каждая страница списка, SHALL быть ограничен сроком из настроек. После отказа или истечения срока вызов MUST NOT повторяться автоматически. -Срок из настроек SHALL быть единственным сроком вызова, и он -заканчивается вместе с вызовом: у потокового чтения он действует на -каждый блок. Соединение, которое простаивает в пуле клиента, MUST NOT -ломаться от срока прошлого вызова. Поэтому вызов после простоя S3 дольше -срока вызова SHALL проходить, если S3 доступен, — в том числе после -потокового чтения большого объекта. Ошибкой недоступности такой вызов -SHALL заканчиваться только по причинам из списка ниже. +Срок из настроек SHALL быть единственным сроком вызова, кроме срока +установки соединения, и он заканчивается вместе с вызовом: у потокового +чтения он действует на каждый блок. Соединение, которое простаивает в +пуле клиента, MUST NOT ломаться от срока прошлого вызова. Поэтому вызов +после простоя S3 дольше срока вызова SHALL проходить, если S3 доступен, +в том числе после потокового чтения большого объекта. Ошибкой +недоступности такой вызов SHALL заканчиваться только по причинам из +списка ниже. Ошибкой недоступности, которую API отдаёт как 503 `unavailable` в формате контракта, SHALL заканчиваться вызов, если S3: diff --git a/openspec/changes/fix-upload-put-flake/tasks.md b/openspec/changes/fix-upload-put-flake/tasks.md index eb5cdf27..9a624c80 100644 --- a/openspec/changes/fix-upload-put-flake/tasks.md +++ b/openspec/changes/fix-upload-put-flake/tasks.md @@ -58,7 +58,7 @@ - [x] 2.1 `src/infra/s3/client.py`, `_create_client`: `read_timeout=None` (design, решение 1). Рядом — комментарий: - срок чтения aiohttp переживает ответ и портит соединение в пуле - (aiohttp 3.13–3.14.5); + (проверено в aiohttp 3.14.5); - срок вызова и блока — `asyncio.timeout` в `_call` и `_read_chunk`; - ссылка на design этого change. @@ -153,7 +153,7 @@ затем простой S3 дольше срока — до правки 503 за 1 мс, после — 201; - строка `make student_test` в таблице доказательств — без оговорки о 503, число проверок `make failure_checks`; - - в «Ограничениях» — дефект aiohttp 3.13–3.14.5 и как проект от него + - в «Ограничениях» — дефект aiohttp (проверен в 3.14.5) и как проект от него закрыт. - [x] 5.4 `KNOWN_ISSUES.md`: запись «Изредка 503 на загрузке: PUT в S3 обрывается без тела» удаляется. `PLAN.md`: @@ -165,3 +165,25 @@ - [x] 5.5 `openspec validate fix-upload-put-flake --strict` — без ошибок. Пересъёмка полной метки `make bench_uploads` в этот change не входит: только по ответу пользователя на вопрос 1 `PLAN.md`. + +## 6. Замечания проверки + +- [x] 6.1 W1. Размер буфера ответа aiohttp 3.14.5: `read_bufsize` 256 KiB + (`DEFAULT_CHUNK_SIZE`), пауза чтения выше 512 KiB, продолжение ниже + 256 KiB (вместо 64 / 128 KiB версий 3.12–3.13) — в design (Механизм, + п. 2), `evidence/s3/idle-connection.md`, `.claude/rules/infra.md`, + `REPORT.md`, `PLAN.md`, комментарии кода и драйвера; ссылки на строки + `.venv`, сверка с замером design (200 KiB — 0 из 90). +- [ ] 6.2 W2. `make test_isolated` на закоммиченном коде — раздел + «пересъёмка» в `evidence/tests/test-isolated-s3-cleanup.md`, ссылка в + `REPORT.md` (строка ««4»: тесты большого файла…»). +- [x] 6.3 S1. Версии aiohttp — «в каких проверено» вместо диапазона + 3.13–3.14.5: `client.py`, `infra.md`, `REPORT.md`, proposal, design, + evidence §1; довод «обновить aiohttp нельзя» — в верной форме. +- [x] 6.4 S2. Номера строк в evidence §1 (`client_proto.py`, + `botocore/handlers.py` и остальные) сверены с `.venv`. +- [x] 6.5 S3. Спек `object-storage`, «Клиент хранилища в приложении»: + срок вызова — единственный, кроме срока установки соединения; дельта и + основной спек совпадают построчно. +- [ ] 6.6 S4. Полный `make failure_checks` на закоммиченном коде с полным + выводом (обезличенным) в `evidence/tests/failure-checks.md`. diff --git a/openspec/specs/object-storage/spec.md b/openspec/specs/object-storage/spec.md index 7d457b3d..22409810 100644 --- a/openspec/specs/object-storage/spec.md +++ b/openspec/specs/object-storage/spec.md @@ -343,13 +343,14 @@ SHALL сохраняться и после принудительного зав каждая страница списка, SHALL быть ограничен сроком из настроек. После отказа или истечения срока вызов MUST NOT повторяться автоматически. -Срок из настроек SHALL быть единственным сроком вызова, и он -заканчивается вместе с вызовом: у потокового чтения он действует на -каждый блок. Соединение, которое простаивает в пуле клиента, MUST NOT -ломаться от срока прошлого вызова. Поэтому вызов после простоя S3 дольше -срока вызова SHALL проходить, если S3 доступен, — в том числе после -потокового чтения большого объекта. Ошибкой недоступности такой вызов -SHALL заканчиваться только по причинам из списка ниже. +Срок из настроек SHALL быть единственным сроком вызова, кроме срока +установки соединения, и он заканчивается вместе с вызовом: у потокового +чтения он действует на каждый блок. Соединение, которое простаивает в +пуле клиента, MUST NOT ломаться от срока прошлого вызова. Поэтому вызов +после простоя S3 дольше срока вызова SHALL проходить, если S3 доступен, +в том числе после потокового чтения большого объекта. Ошибкой +недоступности такой вызов SHALL заканчиваться только по причинам из +списка ниже. Ошибкой недоступности, которую API отдаёт как 503 `unavailable` в формате контракта, SHALL заканчиваться вызов, если S3: diff --git a/src/infra/s3/client.py b/src/infra/s3/client.py index 9f34ecdd..0a0a9327 100644 --- a/src/infra/s3/client.py +++ b/src/infra/s3/client.py @@ -305,13 +305,14 @@ class ObjectStorage: # виртуальные хосты bucket.s3 Docker DNS не разрешает s3={"addressing_style": "path"}, connect_timeout=s3.connect_timeout_seconds, - # срока чтения aiohttp нет: в 3.13–3.14.5 после потокового - # ответа больше буфера `resume_reading()` взводит его уже у - # соединения в пуле, через срок он срабатывает и портит - # соединение, и следующий вызов падает за 1 мс - # (`ReadTimeoutError`, 503). Срок вызова и блока чтения — - # `asyncio.timeout` в `_call` и `_read_chunk` (design change - # `fix-upload-put-flake`, решение 1) + # срока чтения aiohttp нет: в 3.14.5 (проверено пробой; другие + # версии не проверялись) после потокового ответа с паузой + # чтения (буфер ответа больше 512 KiB) `resume_reading()` + # взводит его уже у соединения в пуле, через срок он + # срабатывает и портит соединение, и следующий вызов падает + # за 1 мс (`ReadTimeoutError`, 503). Срок вызова и блока + # чтения — `asyncio.timeout` в `_call` и `_read_chunk` + # (design change `fix-upload-put-flake`, решение 1) read_timeout=None, # повторов нет: отказ — сразу 503, срок — один на вызов retries={"total_max_attempts": 1},