fix: address fix-upload-put-flake verify findings

aiohttp 3.14.5 buffers 256 KiB and pauses reading above 512 KiB; name
the aiohttp versions actually checked instead of a range; fix line
references in the idle-connection evidence; the object-storage spec now
exempts the connect timeout from the single call timeout.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
2026-10-23 02:14:38 +03:00
co-authored by Claude Opus 5.5
parent 1ad34a7fd7
commit 723b6c3140
10 changed files with 179 additions and 63 deletions
+14 -7
View File
@@ -179,15 +179,22 @@ paths:
не повторяется, загрузку повторяет клиент контракта; не повторяется, загрузку повторяет клиент контракта;
- **срок на вызов** — `asyncio.timeout([s3] timeout_seconds)` (5 с, - **срок на вызов** — `asyncio.timeout([s3] timeout_seconds)` (5 с,
меньше `timeout server` HAProxy), у `open` — ещё и на каждый блок меньше `timeout server` HAProxy), у `open` — ещё и на каждый блок
чтения тела. Это единственный срок вызова: `connect_timeout_seconds` чтения тела. Кроме срока установки соединения
— из `[s3]`, `read_timeout` botocore **выключен (`None`)**; пул (`connect_timeout_seconds` из `[s3]`), это единственный срок вызова:
aiohttp — `[s3] max_connections`; `read_timeout` botocore **выключен (`None`)**; пул aiohttp — `[s3]
max_connections`;
- **почему без `read_timeout`** (design change `fix-upload-put-flake`, - **почему без `read_timeout`** (design change `fix-upload-put-flake`,
решение 1): aiobotocore превращает его в `sock_read` aiohttp, а решение 1): aiobotocore превращает его в `sock_read` aiohttp, а
aiohttp 3.13–3.14.5 после потокового ответа больше буфера (128 KiB) aiohttp 3.14.5 (версия `uv.lock`, проверено пробой) после потокового
перевзводит этот срок в `resume_reading()` уже у соединения, которое ответа с паузой чтения перевзводит этот срок в `resume_reading()` уже
вернулось в пул. Через срок он срабатывает на простаивающем у соединения, которое вернулось в пул. Пауза — когда буфер ответа
соединении, пул отдаёт его следующему вызову (проверяет только больше 512 KiB (`read_bufsize` по умолчанию 256 KiB, верхний порог —
вдвое больше: `aiohttp/helpers.py:65`, `streams.py:117–118`, `300`;
замер: 64–200 KiB — 0 взведённых из 90, 1 MiB — до 2 из 10). Пробой
другие версии aiohttp не проверялись, их исходники — в
`evidence/s3/idle-connection.md`, раздел 1. Через срок он
срабатывает на простаивающем соединении, пул отдаёт его следующему
вызову (проверяет только
`is_connected()` и keep-alive), и вызов падает за 1 мс — `is_connected()` и keep-alive), и вызов падает за 1 мс —
`ReadTimeoutError`, 503 на исправном S3. Включать `read_timeout` `ReadTimeoutError`, 503 на исправном S3. Включать `read_timeout`
снова — только с новой пробой (`driver.py s3-idle`, тест снова — только с новой пробой (`driver.py s3-idle`, тест
+28 -5
View File
@@ -1309,9 +1309,11 @@ Change вне сводной таблицы, до `track2-reconcile-cost`: ис
1. **Причина найдена и воспроизведена** (design, Context): 1. **Причина найдена и воспроизведена** (design, Context):
- клиент S3 задаёт aiohttp срок чтения (`read_timeout` = `[s3] - клиент S3 задаёт aiohttp срок чтения (`read_timeout` = `[s3]
timeout_seconds`, 5 с, с `s3-storage`); timeout_seconds`, 5 с, с `s3-storage`);
- после скачивания большого оригинала (больше буфера ответа 128 KiB) - после скачивания большого оригинала с паузой чтения (буфер ответа
aiohttp 3.13–3.14.5 перевзводит этот срок в `resume_reading()` уже больше 512 KiB: `read_bufsize` 256 KiB, порог паузы вдвое больше)
после конца ответа, когда соединение вернулось в пул; aiohttp 3.14.5 (версия `uv.lock`, другие пробой не проверялись)
перевзводит этот срок в `resume_reading()` уже после конца ответа,
когда соединение вернулось в пул;
- через 5 с простоя срок срабатывает и портит соединение: исключение - через 5 с простоя срок срабатывает и портит соединение: исключение
сохранено, транспорт открыт; сохранено, транспорт открыт;
- пул отдаёт его следующему вызову в окне 5–15 с (keep-alive), и вызов - пул отдаёт его следующему вызову в окне 5–15 с (keep-alive), и вызов
@@ -1343,8 +1345,8 @@ Change вне сводной таблицы, до `track2-reconcile-cost`: ис
- `force_close`; - `force_close`;
- связка сроков keep-alive и `sock_read`; - связка сроков keep-alive и `sock_read`;
- свой коннектор и патч aiohttp; - свой коннектор и патч aiohttp;
- другая версия aiohttp: дефект в 3.13.5–3.14.5, aiobotocore 3.9.2 - другая версия aiohttp: новее 3.14.5 нет, дефект в ней воспроизведён,
требует ≥ 3.14.0; а aiobotocore 3.9.2 требует ≥ 3.14.0;
- снятие `Expect`; - снятие `Expect`;
- больший буфер ответа; - больший буфер ответа;
- повтор. - повтор.
@@ -1383,6 +1385,27 @@ Change вне сводной таблицы, до `track2-reconcile-cost`: ис
`make failure_checks` снят с фильтром вывода, без построчного списка `make failure_checks` снят с фильтром вывода, без построчного списка
тестов: итог 49 passed и `results` — в файле. тестов: итог 49 passed и `results` — в файле.
Правки по `/opsx:verify` 2026-10-23 (tasks, группа 6; design,
«Уточнения apply», п. 8):
12. Буфер ответа aiohttp 3.14.5 — 256 KiB (`DEFAULT_CHUNK_SIZE`), пауза
чтения выше 512 KiB; прежние 64 / 128 KiB — значения 3.12–3.13.
Сходится с замером propose: до 200 KiB соединения не взводятся.
13. Версии aiohttp — «в каких проверено»: дефект воспроизведён только в
3.14.5. По исходникам (кэш uv и sdist PyPI) перевзвод срока в
`resume_reading()` есть в 3.12.15, 3.13.2, 3.13.3, 3.13.5 и
3.14.0–3.14.5 (с 3.14.2 — только после паузы); нижняя граница не
установлена.
14. Ссылка `botocore/handlers.py:380–397` оставлена: по `.venv` и по
образу `add_expect_header` — строки 380–397 (`def` — 380, `Expect` —
397), а не 378–395, как в замечании S2. `client_proto.py:196–201`
исправлена на `196–202`, `httpsession.py:97–98` — на `97–99`.
15. Спек `object-storage`: срок из настроек — единственный срок вызова,
«кроме срока установки соединения» (`connect_timeout_seconds`), в
дельте и основном спеке одинаково.
16. `make test_isolated` и полный `make failure_checks` пересняты на
закоммиченном коде с полным выводом (`evidence/tests/`).
#### Вопросы #### Вопросы
1. Нужна ли пересъёмка полной метки `make bench_uploads` 1. Нужна ли пересъёмка полной метки `make bench_uploads`
+14 -7
View File
@@ -189,9 +189,11 @@ compose up -d s3-bootstrap` или `make run_docker`.
Собственного срока чтения aiohttp нет (`read_timeout=None`). Раньше он Собственного срока чтения aiohttp нет (`read_timeout=None`). Раньше он
был равен `timeout_seconds` и давал редкие 503 на исправном S3. Цепочка был равен `timeout_seconds` и давал редкие 503 на исправном S3. Цепочка
такая: такая:
- после скачивания оригинала больше буфера ответа (128 KiB) aiohttp - после скачивания оригинала с паузой чтения (буфер ответа больше
3.13–3.14.5 перевзводил этот срок в `resume_reading()` уже у 512 KiB: `read_bufsize` по умолчанию 256 KiB, порог паузы вдвое больше)
соединения, вернувшегося в пул; aiohttp 3.14.5 — версия `uv.lock`, другие пробой не проверялись —
перевзводил этот срок в `resume_reading()` уже у соединения,
вернувшегося в пул;
- через 5 с простоя срок срабатывал на простаивающем соединении, и пул - через 5 с простоя срок срабатывал на простаивающем соединении, и пул
отдавал его следующему вызову (keep-alive 15 с не истёк); отдавал его следующему вызову (keep-alive 15 с не истёк);
- PUT падал за 1 мс с `ReadTimeoutError`, а S3 видел заголовки без тела - PUT падал за 1 мс с `ReadTimeoutError`, а S3 видел заголовки без тела
@@ -1055,14 +1057,19 @@ S3 (change `s3-storage`):
`uploads` 503 по сроку S3 нет (change `upload-memory`, решение 8). `uploads` 503 по сроку S3 нет (change `upload-memory`, решение 8).
- **Отказ S3 — 503 на путях вложений, а не отказ сервиса.** Отказ хоста, - **Отказ S3 — 503 на путях вложений, а не отказ сервиса.** Отказ хоста,
LB и PostgreSQL стенд не переживает (`.claude/rules/balancer.md`). LB и PostgreSQL стенд не переживает (`.claude/rules/balancer.md`).
- **Дефект aiohttp 3.13–3.14.5: срок чтения переживает ответ.** После - **Дефект aiohttp (проверен в 3.14.5): срок чтения переживает ответ.**
потокового ответа больше буфера `resume_reading()` взводит `sock_read` После потокового ответа с паузой чтения `resume_reading()` взводит `sock_read`
у соединения в пуле. Через срок соединение портится, и следующий вызов у соединения в пуле. Через срок соединение портится, и следующий вызов
на нём падает за 1 мс. Проект от этого закрыт тем, что `sock_read` не на нём падает за 1 мс. Проект от этого закрыт тем, что `sock_read` не
использует (`read_timeout=None`, раздел «Сроки клиента S3»). Срок вызова использует (`read_timeout=None`, раздел «Сроки клиента S3»). Срок вызова
и блока даёт `asyncio.timeout` приложения: зависший S3 по-прежнему и блока даёт `asyncio.timeout` приложения: зависший S3 по-прежнему
обрывается за 5 с. Обновить aiohttp нельзя: дефект есть во всех версиях обрывается за 5 с. Обновлением aiohttp от дефекта не уйти: 3.14.5 —
от 3.13.5 до последней 3.14.5, а aiobotocore 3.9.2 требует ≥ 3.14.0. последняя версия, дефект воспроизведён в ней, а ниже 3.14.0 не пускает
aiobotocore 3.9.2. Другие версии пробой не проверялись; по исходникам
перевзвод срока в `resume_reading()` есть в каждой просмотренной
версии от 3.12.15 до 3.14.4, нижняя
граница дефекта не установлена (`evidence/s3/idle-connection.md`,
раздел 1).
Отчёт об ошибке в aiohttp не отправлен: это вне лабы. Если upstream её Отчёт об ошибке в aiohttp не отправлен: это вне лабы. Если upstream её
исправит, проекту срок чтения aiohttp всё равно не нужен. Новый исправит, проекту срок чтения aiohttp всё равно не нужен. Новый
дефект того же рода поймают `test_upload_after_idle_s3` и `driver.py дефект того же рода поймают `test_upload_after_idle_s3` и `driver.py
+35 -8
View File
@@ -23,14 +23,24 @@
1. Клиент проекта задавал `AioConfig(read_timeout=[s3] timeout_seconds)` 1. Клиент проекта задавал `AioConfig(read_timeout=[s3] timeout_seconds)`
(5 с, с `s3-storage`). aiobotocore превращает его в срок чтения сокета (5 с, с `s3-storage`). aiobotocore превращает его в срок чтения сокета
aiohttp: `aiobotocore/httpsession.py:97–98` — `aiohttp.ClientTimeout( aiohttp: `aiobotocore/httpsession.py:97–99` — `aiohttp.ClientTimeout(
sock_connect=conn_timeout, sock_read=read_timeout)`. Это второй срок sock_connect=conn_timeout, sock_read=read_timeout)`. Это второй срок
поверх `asyncio.timeout` каждого вызова (`_call`) и блока чтения поверх `asyncio.timeout` каждого вызова (`_call`) и блока чтения
(`_read_chunk`). (`_read_chunk`).
2. Скачивание объекта больше буфера потока ответа (64 KiB, верхний порог 2. Буфер потока ответа — `read_bufsize` сессии: по умолчанию
— 128 KiB: `aiohttp/streams.py:117–118`, `_low_water = limit`, `DEFAULT_CHUNK_SIZE` = 2**18, 256 KiB (`aiohttp/helpers.py:65`,
`_high_water = limit * 2`) идёт с паузами чтения транспорта. `aiohttp/client.py:358`; aiobotocore своего не передаёт —
3. `ResponseHandler.resume_reading()` — `aiohttp/client_proto.py:196–201`: `aiobotocore/httpsession.py:239–244`). Пороги потока —
`aiohttp/streams.py:117–118`: `_low_water = limit` (256 KiB),
`_high_water = limit * 2` (512 KiB). Буфер больше 512 KiB — пауза
чтения транспорта (`streams.py:300`), ниже 256 KiB — продолжение
(`streams.py:563`). Поэтому скачивание объекта, который потребитель не
успевает разбирать, идёт с паузами, если в буфере скопилось больше
512 KiB. Это согласуется с замером propose (раздел 4): по 10
скачиваний подряд объектов 64, 120 и 200 KiB — 0 взведённых из 90,
1 MiB — 0–2 из 10. (64 / 128 KiB — значения aiohttp 3.12–3.13:
`read_bufsize` 2**16.)
3. `ResponseHandler.resume_reading()` — `aiohttp/client_proto.py:196–202`:
после паузы он снова взводит срок (`_reschedule_timeout()`, после паузы он снова взводит срок (`_reschedule_timeout()`,
`client_proto.py:287`). Если парсер дочитал конец тела внутри этого же `client_proto.py:287`). Если парсер дочитал конец тела внутри этого же
`resume_reading()`, ответ уже отпустил соединение в пул `resume_reading()`, ответ уже отпустил соединение в пул
@@ -58,9 +68,26 @@
Окно: следующий вызов раньше срока сбрасывает таймер (`start_timeout()` Окно: следующий вызов раньше срока сбрасывает таймер (`start_timeout()`
→ `_reschedule_timeout()` отменяет прежний), позже keep-alive — → `_reschedule_timeout()` отменяет прежний), позже keep-alive —
получает новое соединение. Дефект есть в aiohttp 3.13.5 и 3.14.0–3.14.5 получает новое соединение.
(в 3.14.4–3.14.5 — только после паузы чтения), aiobotocore 3.9.2
требует `aiohttp>=3.14.0`; отчёта о нём в aiohttp не нашлось (поиск Версии. Дефект воспроизведён только в aiohttp 3.14.5 — версии `uv.lock`
(разделы 2–4). Другие версии пробой не проверялись. Исходники
`ResponseHandler.resume_reading()` (кэш uv и sdist PyPI, сверка
2026-10-23):
| Версии aiohttp | `resume_reading()` | `read_bufsize` по умолчанию |
|---|---|---|
| 3.12.15, 3.13.2, 3.13.3, 3.13.5 | `_reschedule_timeout()` безусловно | 64 KiB |
| 3.14.0, 3.14.1 | `_reschedule_timeout()` безусловно | 256 KiB |
| 3.14.2, 3.14.3 | только если чтение было на паузе | 256 KiB |
| 3.14.4, 3.14.5 | только если чтение было на паузе и не держит буфер | 256 KiB |
Перевзвод есть во всех просмотренных версиях, но путь паузы в 3.12–3.13
другой (иной буфер и иной код паузы), и воспроизводится ли там дефект,
не проверялось: нижняя граница не установлена. Обновить aiohttp, чтобы
уйти от дефекта, нельзя: 3.14.5 — последняя версия на PyPI (2026-10-23),
дефект в ней есть, а версии ниже 3.14.0 не допускает aiobotocore 3.9.2
(`aiohttp<4.0.0,>=3.14.0`). Отчёта о дефекте в aiohttp не нашлось (поиск
2026-10-22). 2026-10-22).
**Правка** (design, решение 1): `read_timeout=None`. aiobotocore строит **Правка** (design, решение 1): `read_timeout=None`. aiobotocore строит
+35 -10
View File
@@ -22,9 +22,15 @@
(`src/infra/s3/client.py`, `_create_client`; так с `s3-storage`, (`src/infra/s3/client.py`, `_create_client`; так с `s3-storage`,
`2e997f9`). Это второй срок поверх `asyncio.timeout` каждого вызова и `2e997f9`). Это второй срок поверх `asyncio.timeout` каждого вызова и
блока чтения. блока чтения.
2. Скачивание объекта больше буфера потока aiohttp (64 KiB, порог паузы 2. Скачивание объекта, который потребитель не успевает разбирать, идёт
— 128 KiB) идёт с паузами чтения: буфер ответа переполнился, парсер с паузами чтения: буфер ответа переполнился, парсер встаёт на паузу.
встаёт на паузу. Буфер — `read_bufsize` сессии, по умолчанию 256 KiB
(`DEFAULT_CHUNK_SIZE`, `aiohttp/helpers.py:65`, `client.py:358`;
aiobotocore своего не передаёт — `aiobotocore/httpsession.py:239–244`).
Пауза — при буфере больше 512 KiB (`_high_water`, `streams.py:300`),
продолжение — ниже 256 KiB (`_low_water`, `streams.py:563`). Замер п. 3
«Как подтверждено» с этим сходится: объекты до 200 KiB соединений не
взводят.
3. Иногда конец тела парсер разбирает уже внутри 3. Иногда конец тела парсер разбирает уже внутри
`ResponseHandler.resume_reading()`, когда потребитель освободил буфер. `ResponseHandler.resume_reading()`, когда потребитель освободил буфер.
Тогда: Тогда:
@@ -53,10 +59,15 @@
Сброс таймера при следующем вызове (`start_timeout()` отменяет прежний) Сброс таймера при следующем вызове (`start_timeout()` отменяет прежний)
объясняет окно: вызов раньше 5 с проходит, позже 15 с — получает новое объясняет окно: вызов раньше 5 с проходит, позже 15 с — получает новое
соединение. Версии: в aiohttp 3.13.5 и 3.14.0 `resume_reading()` соединение. Версии: дефект воспроизведён в aiohttp 3.14.5 (версия
перевзводит срок безусловно, в 3.14.4–3.14.5 — после паузы. 3.14.5 — `uv.lock`), другие пробой не проверялись. По исходникам
последняя версия на PyPI, aiobotocore 3.9.2 требует `aiohttp>=3.14.0`. `resume_reading()` перевзводит срок безусловно в 3.12.15, 3.13.2, 3.13.3,
Отчёта об этом дефекте в aiohttp не нашлось (поиск 2026-10-22). 3.13.5, 3.14.0 и 3.14.1, с 3.14.2 — только после паузы чтения; в 3.12–3.13 путь
паузы другой (буфер 64 KiB), нижняя граница дефекта не установлена
(`evidence/s3/idle-connection.md`, раздел 1). 3.14.5 — последняя версия
на PyPI, дефект в ней есть, а ниже 3.14.0 не пускает aiobotocore 3.9.2
(`aiohttp>=3.14.0`): обновлением aiohttp от дефекта не уйти. Отчёта об
этом дефекте в aiohttp не нашлось (поиск 2026-10-22).
### Как подтверждено ### Как подтверждено
@@ -210,8 +221,9 @@ sock_read=None)`. aiohttp таймер чтения не взводит вовс
который не отдаёт протокол с `should_close`: опора на закрытые методы который не отдаёт протокол с `should_close`: опора на закрытые методы
aiohttp (`_get`, `_conns`). aiohttp (`_get`, `_conns`).
- Патч aiohttp (`resume_reading`): то же, плюс расходится с `uv.lock`. - Патч aiohttp (`resume_reading`): то же, плюс расходится с `uv.lock`.
- Другая версия aiohttp: дефект есть в 3.13.5 и 3.14.0–3.14.5, а - Другая версия aiohttp: новее 3.14.5 нет, дефект в ней воспроизведён, а
aiobotocore 3.9.2 требует ≥ 3.14.0. aiobotocore 3.9.2 требует ≥ 3.14.0 (в 3.14.0–3.14.4 перевзвод срока в
`resume_reading()` тоже есть по исходникам).
- Убрать `Expect: 100-continue`: S3 получил бы тело, но клиент упал бы - Убрать `Expect: 100-continue`: S3 получил бы тело, но клиент упал бы
так же. Объект без подтверждения потом убрал бы уборщик. так же. Объект без подтверждения потом убрал бы уборщик.
- Выключить контрольные суммы botocore: к отказу не относятся. - Выключить контрольные суммы botocore: к отказу не относятся.
@@ -428,4 +440,17 @@ Evidence `evidence/s3/idle-connection.md`:
`evidence/tests/test-isolated-s3-cleanup.md` (уборка префикса `evidence/tests/test-isolated-s3-cleanup.md` (уборка префикса
`test_<db>/`) не переснимался: change её не трогает. Полный `make `test_<db>/`) не переснимался: change её не трогает. Полный `make
failure_checks` снят с фильтром вывода: в файле итог 49 passed, failure_checks` снят с фильтром вывода: в файле итог 49 passed,
`results` и время, но без построчного списка тестов. `results` и время, но без построчного списка тестов. После проверки
(п. 8) оба пересняты с полным выводом.
8. **Правки по проверке** (tasks, группа 6):
- буфер ответа aiohttp 3.14.5 — 256 KiB, пауза выше 512 KiB (Механизм,
п. 2); 64 / 128 KiB были значениями 3.12–3.13. Параметры пробы
`s3-idle` и теста от этого не меняются: 128 KiB там — размер PUT, а
64 KiB — блок потребителя, не порог буфера. Медленный потребитель
копит в буфере больше 512 KiB при любом размере блока;
- версии aiohttp названы по проверке: проба — только 3.14.5,
исходники — таблица в `evidence/s3/idle-connection.md`, раздел 1;
- `botocore/handlers.py:380–397` сверена с `.venv` и образом и
оставлена: `add_expect_header` занимает строки 380–397;
- спек `object-storage`: «…единственным сроком вызова, кроме срока
установки соединения».
@@ -8,8 +8,9 @@
change нашла причину (design, Context): change нашла причину (design, Context):
- клиент S3 включает срок чтения aiohttp (`read_timeout` = `[s3] - клиент S3 включает срок чтения aiohttp (`read_timeout` = `[s3]
timeout_seconds`, 5 с); timeout_seconds`, 5 с);
- после скачивания большого оригинала aiohttp 3.13–3.14.5 оставляет этот - после скачивания большого оригинала aiohttp 3.14.5 (версия `uv.lock`;
срок взведённым у соединения, которое уже вернулось в пул; другие версии не проверялись) оставляет этот срок взведённым у
соединения, которое уже вернулось в пул;
- через 5 с простоя срок срабатывает на простаивающем соединении и - через 5 с простоя срок срабатывает на простаивающем соединении и
ломает его; ломает его;
- следующий вызов S3 на этом соединении, если он пришёл до конца - следующий вызов S3 на этом соединении, если он пришёл до конца
@@ -64,7 +65,8 @@ change нашла причину (design, Context):
### Modified Capabilities ### Modified Capabilities
- `object-storage`: в «Клиенте хранилища в приложении» срок вызова — - `object-storage`: в «Клиенте хранилища в приложении» срок вызова —
единственный срок клиента. Соединение в пуле не хранит срока прошлого единственный срок клиента, кроме срока установки соединения.
Соединение в пуле не хранит срока прошлого
вызова, и вызов после простоя дольше срока проходит. вызова, и вызов после простоя дольше срока проходит.
- `attachments`: в «Недоступности S3» 503 — только при отказе S3, а не - `attachments`: в «Недоступности S3» 503 — только при отказе S3, а не
после простоя исправного S3; новый сценарий «Загрузка после простоя после простоя исправного S3; новый сценарий «Загрузка после простоя
@@ -18,13 +18,14 @@
каждая страница списка, SHALL быть ограничен сроком из настроек. После каждая страница списка, SHALL быть ограничен сроком из настроек. После
отказа или истечения срока вызов MUST NOT повторяться автоматически. отказа или истечения срока вызов MUST NOT повторяться автоматически.
Срок из настроек SHALL быть единственным сроком вызова, и он Срок из настроек SHALL быть единственным сроком вызова, кроме срока
заканчивается вместе с вызовом: у потокового чтения он действует на установки соединения, и он заканчивается вместе с вызовом: у потокового
каждый блок. Соединение, которое простаивает в пуле клиента, MUST NOT чтения он действует на каждый блок. Соединение, которое простаивает в
ломаться от срока прошлого вызова. Поэтому вызов после простоя S3 дольше пуле клиента, MUST NOT ломаться от срока прошлого вызова. Поэтому вызов
срока вызова SHALL проходить, если S3 доступен, — в том числе после после простоя S3 дольше срока вызова SHALL проходить, если S3 доступен,
потокового чтения большого объекта. Ошибкой недоступности такой вызов в том числе после потокового чтения большого объекта. Ошибкой
SHALL заканчиваться только по причинам из списка ниже. недоступности такой вызов SHALL заканчиваться только по причинам из
списка ниже.
Ошибкой недоступности, которую API отдаёт как 503 `unavailable` в Ошибкой недоступности, которую API отдаёт как 503 `unavailable` в
формате контракта, SHALL заканчиваться вызов, если S3: формате контракта, SHALL заканчиваться вызов, если S3:
+24 -2
View File
@@ -58,7 +58,7 @@
- [x] 2.1 `src/infra/s3/client.py`, `_create_client`: `read_timeout=None` - [x] 2.1 `src/infra/s3/client.py`, `_create_client`: `read_timeout=None`
(design, решение 1). Рядом — комментарий: (design, решение 1). Рядом — комментарий:
- срок чтения aiohttp переживает ответ и портит соединение в пуле - срок чтения aiohttp переживает ответ и портит соединение в пуле
(aiohttp 3.13–3.14.5); (проверено в aiohttp 3.14.5);
- срок вызова и блока — `asyncio.timeout` в `_call` и `_read_chunk`; - срок вызова и блока — `asyncio.timeout` в `_call` и `_read_chunk`;
- ссылка на design этого change. - ссылка на design этого change.
@@ -153,7 +153,7 @@
затем простой S3 дольше срока — до правки 503 за 1 мс, после — 201; затем простой S3 дольше срока — до правки 503 за 1 мс, после — 201;
- строка `make student_test` в таблице доказательств — без оговорки о - строка `make student_test` в таблице доказательств — без оговорки о
503, число проверок `make failure_checks`; 503, число проверок `make failure_checks`;
- в «Ограничениях» — дефект aiohttp 3.13–3.14.5 и как проект от него - в «Ограничениях» — дефект aiohttp (проверен в 3.14.5) и как проект от него
закрыт. закрыт.
- [x] 5.4 `KNOWN_ISSUES.md`: запись «Изредка 503 на загрузке: PUT в S3 - [x] 5.4 `KNOWN_ISSUES.md`: запись «Изредка 503 на загрузке: PUT в S3
обрывается без тела» удаляется. `PLAN.md`: обрывается без тела» удаляется. `PLAN.md`:
@@ -165,3 +165,25 @@
- [x] 5.5 `openspec validate fix-upload-put-flake --strict` — без ошибок. - [x] 5.5 `openspec validate fix-upload-put-flake --strict` — без ошибок.
Пересъёмка полной метки `make bench_uploads` в этот change не входит: Пересъёмка полной метки `make bench_uploads` в этот change не входит:
только по ответу пользователя на вопрос 1 `PLAN.md`. только по ответу пользователя на вопрос 1 `PLAN.md`.
## 6. Замечания проверки
- [x] 6.1 W1. Размер буфера ответа aiohttp 3.14.5: `read_bufsize` 256 KiB
(`DEFAULT_CHUNK_SIZE`), пауза чтения выше 512 KiB, продолжение ниже
256 KiB (вместо 64 / 128 KiB версий 3.12–3.13) — в design (Механизм,
п. 2), `evidence/s3/idle-connection.md`, `.claude/rules/infra.md`,
`REPORT.md`, `PLAN.md`, комментарии кода и драйвера; ссылки на строки
`.venv`, сверка с замером design (200 KiB — 0 из 90).
- [ ] 6.2 W2. `make test_isolated` на закоммиченном коде — раздел
«пересъёмка» в `evidence/tests/test-isolated-s3-cleanup.md`, ссылка в
`REPORT.md` (строка ««4»: тесты большого файла…»).
- [x] 6.3 S1. Версии aiohttp — «в каких проверено» вместо диапазона
3.13–3.14.5: `client.py`, `infra.md`, `REPORT.md`, proposal, design,
evidence §1; довод «обновить aiohttp нельзя» — в верной форме.
- [x] 6.4 S2. Номера строк в evidence §1 (`client_proto.py`,
`botocore/handlers.py` и остальные) сверены с `.venv`.
- [x] 6.5 S3. Спек `object-storage`, «Клиент хранилища в приложении»:
срок вызова — единственный, кроме срока установки соединения; дельта и
основной спек совпадают построчно.
- [ ] 6.6 S4. Полный `make failure_checks` на закоммиченном коде с полным
выводом (обезличенным) в `evidence/tests/failure-checks.md`.
+8 -7
View File
@@ -343,13 +343,14 @@ SHALL сохраняться и после принудительного зав
каждая страница списка, SHALL быть ограничен сроком из настроек. После каждая страница списка, SHALL быть ограничен сроком из настроек. После
отказа или истечения срока вызов MUST NOT повторяться автоматически. отказа или истечения срока вызов MUST NOT повторяться автоматически.
Срок из настроек SHALL быть единственным сроком вызова, и он Срок из настроек SHALL быть единственным сроком вызова, кроме срока
заканчивается вместе с вызовом: у потокового чтения он действует на установки соединения, и он заканчивается вместе с вызовом: у потокового
каждый блок. Соединение, которое простаивает в пуле клиента, MUST NOT чтения он действует на каждый блок. Соединение, которое простаивает в
ломаться от срока прошлого вызова. Поэтому вызов после простоя S3 дольше пуле клиента, MUST NOT ломаться от срока прошлого вызова. Поэтому вызов
срока вызова SHALL проходить, если S3 доступен, — в том числе после после простоя S3 дольше срока вызова SHALL проходить, если S3 доступен,
потокового чтения большого объекта. Ошибкой недоступности такой вызов в том числе после потокового чтения большого объекта. Ошибкой
SHALL заканчиваться только по причинам из списка ниже. недоступности такой вызов SHALL заканчиваться только по причинам из
списка ниже.
Ошибкой недоступности, которую API отдаёт как 503 `unavailable` в Ошибкой недоступности, которую API отдаёт как 503 `unavailable` в
формате контракта, SHALL заканчиваться вызов, если S3: формате контракта, SHALL заканчиваться вызов, если S3:
+8 -7
View File
@@ -305,13 +305,14 @@ class ObjectStorage:
# виртуальные хосты bucket.s3 Docker DNS не разрешает # виртуальные хосты bucket.s3 Docker DNS не разрешает
s3={"addressing_style": "path"}, s3={"addressing_style": "path"},
connect_timeout=s3.connect_timeout_seconds, connect_timeout=s3.connect_timeout_seconds,
# срока чтения aiohttp нет: в 3.13–3.14.5 после потокового # срока чтения aiohttp нет: в 3.14.5 (проверено пробой; другие
# ответа больше буфера `resume_reading()` взводит его уже у # версии не проверялись) после потокового ответа с паузой
# соединения в пуле, через срок он срабатывает и портит # чтения (буфер ответа больше 512 KiB) `resume_reading()`
# соединение, и следующий вызов падает за 1 мс # взводит его уже у соединения в пуле, через срок он
# (`ReadTimeoutError`, 503). Срок вызова и блока чтения — # срабатывает и портит соединение, и следующий вызов падает
# `asyncio.timeout` в `_call` и `_read_chunk` (design change # за 1 мс (`ReadTimeoutError`, 503). Срок вызова и блока
# `fix-upload-put-flake`, решение 1) # чтения — `asyncio.timeout` в `_call` и `_read_chunk`
# (design change `fix-upload-put-flake`, решение 1)
read_timeout=None, read_timeout=None,
# повторов нет: отказ — сразу 503, срок — один на вызов # повторов нет: отказ — сразу 503, срок — один на вызов
retries={"total_max_attempts": 1}, retries={"total_max_attempts": 1},