fix: address fix-upload-put-flake verify findings
aiohttp 3.14.5 buffers 256 KiB and pauses reading above 512 KiB; name the aiohttp versions actually checked instead of a range; fix line references in the idle-connection evidence; the object-storage spec now exempts the connect timeout from the single call timeout. Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
+14
-7
@@ -179,15 +179,22 @@ paths:
|
||||
не повторяется, загрузку повторяет клиент контракта;
|
||||
- **срок на вызов** — `asyncio.timeout([s3] timeout_seconds)` (5 с,
|
||||
меньше `timeout server` HAProxy), у `open` — ещё и на каждый блок
|
||||
чтения тела. Это единственный срок вызова: `connect_timeout_seconds`
|
||||
— из `[s3]`, `read_timeout` botocore **выключен (`None`)**; пул
|
||||
aiohttp — `[s3] max_connections`;
|
||||
чтения тела. Кроме срока установки соединения
|
||||
(`connect_timeout_seconds` из `[s3]`), это единственный срок вызова:
|
||||
`read_timeout` botocore **выключен (`None`)**; пул aiohttp — `[s3]
|
||||
max_connections`;
|
||||
- **почему без `read_timeout`** (design change `fix-upload-put-flake`,
|
||||
решение 1): aiobotocore превращает его в `sock_read` aiohttp, а
|
||||
aiohttp 3.13–3.14.5 после потокового ответа больше буфера (128 KiB)
|
||||
перевзводит этот срок в `resume_reading()` уже у соединения, которое
|
||||
вернулось в пул. Через срок он срабатывает на простаивающем
|
||||
соединении, пул отдаёт его следующему вызову (проверяет только
|
||||
aiohttp 3.14.5 (версия `uv.lock`, проверено пробой) после потокового
|
||||
ответа с паузой чтения перевзводит этот срок в `resume_reading()` уже
|
||||
у соединения, которое вернулось в пул. Пауза — когда буфер ответа
|
||||
больше 512 KiB (`read_bufsize` по умолчанию 256 KiB, верхний порог —
|
||||
вдвое больше: `aiohttp/helpers.py:65`, `streams.py:117–118`, `300`;
|
||||
замер: 64–200 KiB — 0 взведённых из 90, 1 MiB — до 2 из 10). Пробой
|
||||
другие версии aiohttp не проверялись, их исходники — в
|
||||
`evidence/s3/idle-connection.md`, раздел 1. Через срок он
|
||||
срабатывает на простаивающем соединении, пул отдаёт его следующему
|
||||
вызову (проверяет только
|
||||
`is_connected()` и keep-alive), и вызов падает за 1 мс —
|
||||
`ReadTimeoutError`, 503 на исправном S3. Включать `read_timeout`
|
||||
снова — только с новой пробой (`driver.py s3-idle`, тест
|
||||
|
||||
@@ -1309,9 +1309,11 @@ Change вне сводной таблицы, до `track2-reconcile-cost`: ис
|
||||
1. **Причина найдена и воспроизведена** (design, Context):
|
||||
- клиент S3 задаёт aiohttp срок чтения (`read_timeout` = `[s3]
|
||||
timeout_seconds`, 5 с, с `s3-storage`);
|
||||
- после скачивания большого оригинала (больше буфера ответа 128 KiB)
|
||||
aiohttp 3.13–3.14.5 перевзводит этот срок в `resume_reading()` уже
|
||||
после конца ответа, когда соединение вернулось в пул;
|
||||
- после скачивания большого оригинала с паузой чтения (буфер ответа
|
||||
больше 512 KiB: `read_bufsize` 256 KiB, порог паузы вдвое больше)
|
||||
aiohttp 3.14.5 (версия `uv.lock`, другие пробой не проверялись)
|
||||
перевзводит этот срок в `resume_reading()` уже после конца ответа,
|
||||
когда соединение вернулось в пул;
|
||||
- через 5 с простоя срок срабатывает и портит соединение: исключение
|
||||
сохранено, транспорт открыт;
|
||||
- пул отдаёт его следующему вызову в окне 5–15 с (keep-alive), и вызов
|
||||
@@ -1343,8 +1345,8 @@ Change вне сводной таблицы, до `track2-reconcile-cost`: ис
|
||||
- `force_close`;
|
||||
- связка сроков keep-alive и `sock_read`;
|
||||
- свой коннектор и патч aiohttp;
|
||||
- другая версия aiohttp: дефект в 3.13.5–3.14.5, aiobotocore 3.9.2
|
||||
требует ≥ 3.14.0;
|
||||
- другая версия aiohttp: новее 3.14.5 нет, дефект в ней воспроизведён,
|
||||
а aiobotocore 3.9.2 требует ≥ 3.14.0;
|
||||
- снятие `Expect`;
|
||||
- больший буфер ответа;
|
||||
- повтор.
|
||||
@@ -1383,6 +1385,27 @@ Change вне сводной таблицы, до `track2-reconcile-cost`: ис
|
||||
`make failure_checks` снят с фильтром вывода, без построчного списка
|
||||
тестов: итог 49 passed и `results` — в файле.
|
||||
|
||||
Правки по `/opsx:verify` 2026-10-23 (tasks, группа 6; design,
|
||||
«Уточнения apply», п. 8):
|
||||
|
||||
12. Буфер ответа aiohttp 3.14.5 — 256 KiB (`DEFAULT_CHUNK_SIZE`), пауза
|
||||
чтения выше 512 KiB; прежние 64 / 128 KiB — значения 3.12–3.13.
|
||||
Сходится с замером propose: до 200 KiB соединения не взводятся.
|
||||
13. Версии aiohttp — «в каких проверено»: дефект воспроизведён только в
|
||||
3.14.5. По исходникам (кэш uv и sdist PyPI) перевзвод срока в
|
||||
`resume_reading()` есть в 3.12.15, 3.13.2, 3.13.3, 3.13.5 и
|
||||
3.14.0–3.14.5 (с 3.14.2 — только после паузы); нижняя граница не
|
||||
установлена.
|
||||
14. Ссылка `botocore/handlers.py:380–397` оставлена: по `.venv` и по
|
||||
образу `add_expect_header` — строки 380–397 (`def` — 380, `Expect` —
|
||||
397), а не 378–395, как в замечании S2. `client_proto.py:196–201`
|
||||
исправлена на `196–202`, `httpsession.py:97–98` — на `97–99`.
|
||||
15. Спек `object-storage`: срок из настроек — единственный срок вызова,
|
||||
«кроме срока установки соединения» (`connect_timeout_seconds`), в
|
||||
дельте и основном спеке одинаково.
|
||||
16. `make test_isolated` и полный `make failure_checks` пересняты на
|
||||
закоммиченном коде с полным выводом (`evidence/tests/`).
|
||||
|
||||
#### Вопросы
|
||||
|
||||
1. Нужна ли пересъёмка полной метки `make bench_uploads`
|
||||
|
||||
@@ -189,9 +189,11 @@ compose up -d s3-bootstrap` или `make run_docker`.
|
||||
Собственного срока чтения aiohttp нет (`read_timeout=None`). Раньше он
|
||||
был равен `timeout_seconds` и давал редкие 503 на исправном S3. Цепочка
|
||||
такая:
|
||||
- после скачивания оригинала больше буфера ответа (128 KiB) aiohttp
|
||||
3.13–3.14.5 перевзводил этот срок в `resume_reading()` уже у
|
||||
соединения, вернувшегося в пул;
|
||||
- после скачивания оригинала с паузой чтения (буфер ответа больше
|
||||
512 KiB: `read_bufsize` по умолчанию 256 KiB, порог паузы вдвое больше)
|
||||
aiohttp 3.14.5 — версия `uv.lock`, другие пробой не проверялись —
|
||||
перевзводил этот срок в `resume_reading()` уже у соединения,
|
||||
вернувшегося в пул;
|
||||
- через 5 с простоя срок срабатывал на простаивающем соединении, и пул
|
||||
отдавал его следующему вызову (keep-alive 15 с не истёк);
|
||||
- PUT падал за 1 мс с `ReadTimeoutError`, а S3 видел заголовки без тела
|
||||
@@ -1055,14 +1057,19 @@ S3 (change `s3-storage`):
|
||||
`uploads` 503 по сроку S3 нет (change `upload-memory`, решение 8).
|
||||
- **Отказ S3 — 503 на путях вложений, а не отказ сервиса.** Отказ хоста,
|
||||
LB и PostgreSQL стенд не переживает (`.claude/rules/balancer.md`).
|
||||
- **Дефект aiohttp 3.13–3.14.5: срок чтения переживает ответ.** После
|
||||
потокового ответа больше буфера `resume_reading()` взводит `sock_read`
|
||||
- **Дефект aiohttp (проверен в 3.14.5): срок чтения переживает ответ.**
|
||||
После потокового ответа с паузой чтения `resume_reading()` взводит `sock_read`
|
||||
у соединения в пуле. Через срок соединение портится, и следующий вызов
|
||||
на нём падает за 1 мс. Проект от этого закрыт тем, что `sock_read` не
|
||||
использует (`read_timeout=None`, раздел «Сроки клиента S3»). Срок вызова
|
||||
и блока даёт `asyncio.timeout` приложения: зависший S3 по-прежнему
|
||||
обрывается за 5 с. Обновить aiohttp нельзя: дефект есть во всех версиях
|
||||
от 3.13.5 до последней 3.14.5, а aiobotocore 3.9.2 требует ≥ 3.14.0.
|
||||
обрывается за 5 с. Обновлением aiohttp от дефекта не уйти: 3.14.5 —
|
||||
последняя версия, дефект воспроизведён в ней, а ниже 3.14.0 не пускает
|
||||
aiobotocore 3.9.2. Другие версии пробой не проверялись; по исходникам
|
||||
перевзвод срока в `resume_reading()` есть в каждой просмотренной
|
||||
версии от 3.12.15 до 3.14.4, нижняя
|
||||
граница дефекта не установлена (`evidence/s3/idle-connection.md`,
|
||||
раздел 1).
|
||||
Отчёт об ошибке в aiohttp не отправлен: это вне лабы. Если upstream её
|
||||
исправит, проекту срок чтения aiohttp всё равно не нужен. Новый
|
||||
дефект того же рода поймают `test_upload_after_idle_s3` и `driver.py
|
||||
|
||||
@@ -23,14 +23,24 @@
|
||||
|
||||
1. Клиент проекта задавал `AioConfig(read_timeout=[s3] timeout_seconds)`
|
||||
(5 с, с `s3-storage`). aiobotocore превращает его в срок чтения сокета
|
||||
aiohttp: `aiobotocore/httpsession.py:97–98` — `aiohttp.ClientTimeout(
|
||||
aiohttp: `aiobotocore/httpsession.py:97–99` — `aiohttp.ClientTimeout(
|
||||
sock_connect=conn_timeout, sock_read=read_timeout)`. Это второй срок
|
||||
поверх `asyncio.timeout` каждого вызова (`_call`) и блока чтения
|
||||
(`_read_chunk`).
|
||||
2. Скачивание объекта больше буфера потока ответа (64 KiB, верхний порог
|
||||
— 128 KiB: `aiohttp/streams.py:117–118`, `_low_water = limit`,
|
||||
`_high_water = limit * 2`) идёт с паузами чтения транспорта.
|
||||
3. `ResponseHandler.resume_reading()` — `aiohttp/client_proto.py:196–201`:
|
||||
2. Буфер потока ответа — `read_bufsize` сессии: по умолчанию
|
||||
`DEFAULT_CHUNK_SIZE` = 2**18, 256 KiB (`aiohttp/helpers.py:65`,
|
||||
`aiohttp/client.py:358`; aiobotocore своего не передаёт —
|
||||
`aiobotocore/httpsession.py:239–244`). Пороги потока —
|
||||
`aiohttp/streams.py:117–118`: `_low_water = limit` (256 KiB),
|
||||
`_high_water = limit * 2` (512 KiB). Буфер больше 512 KiB — пауза
|
||||
чтения транспорта (`streams.py:300`), ниже 256 KiB — продолжение
|
||||
(`streams.py:563`). Поэтому скачивание объекта, который потребитель не
|
||||
успевает разбирать, идёт с паузами, если в буфере скопилось больше
|
||||
512 KiB. Это согласуется с замером propose (раздел 4): по 10
|
||||
скачиваний подряд объектов 64, 120 и 200 KiB — 0 взведённых из 90,
|
||||
1 MiB — 0–2 из 10. (64 / 128 KiB — значения aiohttp 3.12–3.13:
|
||||
`read_bufsize` 2**16.)
|
||||
3. `ResponseHandler.resume_reading()` — `aiohttp/client_proto.py:196–202`:
|
||||
после паузы он снова взводит срок (`_reschedule_timeout()`,
|
||||
`client_proto.py:287`). Если парсер дочитал конец тела внутри этого же
|
||||
`resume_reading()`, ответ уже отпустил соединение в пул
|
||||
@@ -58,9 +68,26 @@
|
||||
|
||||
Окно: следующий вызов раньше срока сбрасывает таймер (`start_timeout()`
|
||||
→ `_reschedule_timeout()` отменяет прежний), позже keep-alive —
|
||||
получает новое соединение. Дефект есть в aiohttp 3.13.5 и 3.14.0–3.14.5
|
||||
(в 3.14.4–3.14.5 — только после паузы чтения), aiobotocore 3.9.2
|
||||
требует `aiohttp>=3.14.0`; отчёта о нём в aiohttp не нашлось (поиск
|
||||
получает новое соединение.
|
||||
|
||||
Версии. Дефект воспроизведён только в aiohttp 3.14.5 — версии `uv.lock`
|
||||
(разделы 2–4). Другие версии пробой не проверялись. Исходники
|
||||
`ResponseHandler.resume_reading()` (кэш uv и sdist PyPI, сверка
|
||||
2026-10-23):
|
||||
|
||||
| Версии aiohttp | `resume_reading()` | `read_bufsize` по умолчанию |
|
||||
|---|---|---|
|
||||
| 3.12.15, 3.13.2, 3.13.3, 3.13.5 | `_reschedule_timeout()` безусловно | 64 KiB |
|
||||
| 3.14.0, 3.14.1 | `_reschedule_timeout()` безусловно | 256 KiB |
|
||||
| 3.14.2, 3.14.3 | только если чтение было на паузе | 256 KiB |
|
||||
| 3.14.4, 3.14.5 | только если чтение было на паузе и не держит буфер | 256 KiB |
|
||||
|
||||
Перевзвод есть во всех просмотренных версиях, но путь паузы в 3.12–3.13
|
||||
другой (иной буфер и иной код паузы), и воспроизводится ли там дефект,
|
||||
не проверялось: нижняя граница не установлена. Обновить aiohttp, чтобы
|
||||
уйти от дефекта, нельзя: 3.14.5 — последняя версия на PyPI (2026-10-23),
|
||||
дефект в ней есть, а версии ниже 3.14.0 не допускает aiobotocore 3.9.2
|
||||
(`aiohttp<4.0.0,>=3.14.0`). Отчёта о дефекте в aiohttp не нашлось (поиск
|
||||
2026-10-22).
|
||||
|
||||
**Правка** (design, решение 1): `read_timeout=None`. aiobotocore строит
|
||||
|
||||
@@ -22,9 +22,15 @@
|
||||
(`src/infra/s3/client.py`, `_create_client`; так с `s3-storage`,
|
||||
`2e997f9`). Это второй срок поверх `asyncio.timeout` каждого вызова и
|
||||
блока чтения.
|
||||
2. Скачивание объекта больше буфера потока aiohttp (64 KiB, порог паузы
|
||||
— 128 KiB) идёт с паузами чтения: буфер ответа переполнился, парсер
|
||||
встаёт на паузу.
|
||||
2. Скачивание объекта, который потребитель не успевает разбирать, идёт
|
||||
с паузами чтения: буфер ответа переполнился, парсер встаёт на паузу.
|
||||
Буфер — `read_bufsize` сессии, по умолчанию 256 KiB
|
||||
(`DEFAULT_CHUNK_SIZE`, `aiohttp/helpers.py:65`, `client.py:358`;
|
||||
aiobotocore своего не передаёт — `aiobotocore/httpsession.py:239–244`).
|
||||
Пауза — при буфере больше 512 KiB (`_high_water`, `streams.py:300`),
|
||||
продолжение — ниже 256 KiB (`_low_water`, `streams.py:563`). Замер п. 3
|
||||
«Как подтверждено» с этим сходится: объекты до 200 KiB соединений не
|
||||
взводят.
|
||||
3. Иногда конец тела парсер разбирает уже внутри
|
||||
`ResponseHandler.resume_reading()`, когда потребитель освободил буфер.
|
||||
Тогда:
|
||||
@@ -53,10 +59,15 @@
|
||||
|
||||
Сброс таймера при следующем вызове (`start_timeout()` отменяет прежний)
|
||||
объясняет окно: вызов раньше 5 с проходит, позже 15 с — получает новое
|
||||
соединение. Версии: в aiohttp 3.13.5 и 3.14.0 `resume_reading()`
|
||||
перевзводит срок безусловно, в 3.14.4–3.14.5 — после паузы. 3.14.5 —
|
||||
последняя версия на PyPI, aiobotocore 3.9.2 требует `aiohttp>=3.14.0`.
|
||||
Отчёта об этом дефекте в aiohttp не нашлось (поиск 2026-10-22).
|
||||
соединение. Версии: дефект воспроизведён в aiohttp 3.14.5 (версия
|
||||
`uv.lock`), другие пробой не проверялись. По исходникам
|
||||
`resume_reading()` перевзводит срок безусловно в 3.12.15, 3.13.2, 3.13.3,
|
||||
3.13.5, 3.14.0 и 3.14.1, с 3.14.2 — только после паузы чтения; в 3.12–3.13 путь
|
||||
паузы другой (буфер 64 KiB), нижняя граница дефекта не установлена
|
||||
(`evidence/s3/idle-connection.md`, раздел 1). 3.14.5 — последняя версия
|
||||
на PyPI, дефект в ней есть, а ниже 3.14.0 не пускает aiobotocore 3.9.2
|
||||
(`aiohttp>=3.14.0`): обновлением aiohttp от дефекта не уйти. Отчёта об
|
||||
этом дефекте в aiohttp не нашлось (поиск 2026-10-22).
|
||||
|
||||
### Как подтверждено
|
||||
|
||||
@@ -210,8 +221,9 @@ sock_read=None)`. aiohttp таймер чтения не взводит вовс
|
||||
который не отдаёт протокол с `should_close`: опора на закрытые методы
|
||||
aiohttp (`_get`, `_conns`).
|
||||
- Патч aiohttp (`resume_reading`): то же, плюс расходится с `uv.lock`.
|
||||
- Другая версия aiohttp: дефект есть в 3.13.5 и 3.14.0–3.14.5, а
|
||||
aiobotocore 3.9.2 требует ≥ 3.14.0.
|
||||
- Другая версия aiohttp: новее 3.14.5 нет, дефект в ней воспроизведён, а
|
||||
aiobotocore 3.9.2 требует ≥ 3.14.0 (в 3.14.0–3.14.4 перевзвод срока в
|
||||
`resume_reading()` тоже есть по исходникам).
|
||||
- Убрать `Expect: 100-continue`: S3 получил бы тело, но клиент упал бы
|
||||
так же. Объект без подтверждения потом убрал бы уборщик.
|
||||
- Выключить контрольные суммы botocore: к отказу не относятся.
|
||||
@@ -428,4 +440,17 @@ Evidence `evidence/s3/idle-connection.md`:
|
||||
`evidence/tests/test-isolated-s3-cleanup.md` (уборка префикса
|
||||
`test_<db>/`) не переснимался: change её не трогает. Полный `make
|
||||
failure_checks` снят с фильтром вывода: в файле итог 49 passed,
|
||||
`results` и время, но без построчного списка тестов.
|
||||
`results` и время, но без построчного списка тестов. После проверки
|
||||
(п. 8) оба пересняты с полным выводом.
|
||||
8. **Правки по проверке** (tasks, группа 6):
|
||||
- буфер ответа aiohttp 3.14.5 — 256 KiB, пауза выше 512 KiB (Механизм,
|
||||
п. 2); 64 / 128 KiB были значениями 3.12–3.13. Параметры пробы
|
||||
`s3-idle` и теста от этого не меняются: 128 KiB там — размер PUT, а
|
||||
64 KiB — блок потребителя, не порог буфера. Медленный потребитель
|
||||
копит в буфере больше 512 KiB при любом размере блока;
|
||||
- версии aiohttp названы по проверке: проба — только 3.14.5,
|
||||
исходники — таблица в `evidence/s3/idle-connection.md`, раздел 1;
|
||||
- `botocore/handlers.py:380–397` сверена с `.venv` и образом и
|
||||
оставлена: `add_expect_header` занимает строки 380–397;
|
||||
- спек `object-storage`: «…единственным сроком вызова, кроме срока
|
||||
установки соединения».
|
||||
|
||||
@@ -8,8 +8,9 @@
|
||||
change нашла причину (design, Context):
|
||||
- клиент S3 включает срок чтения aiohttp (`read_timeout` = `[s3]
|
||||
timeout_seconds`, 5 с);
|
||||
- после скачивания большого оригинала aiohttp 3.13–3.14.5 оставляет этот
|
||||
срок взведённым у соединения, которое уже вернулось в пул;
|
||||
- после скачивания большого оригинала aiohttp 3.14.5 (версия `uv.lock`;
|
||||
другие версии не проверялись) оставляет этот срок взведённым у
|
||||
соединения, которое уже вернулось в пул;
|
||||
- через 5 с простоя срок срабатывает на простаивающем соединении и
|
||||
ломает его;
|
||||
- следующий вызов S3 на этом соединении, если он пришёл до конца
|
||||
@@ -64,7 +65,8 @@ change нашла причину (design, Context):
|
||||
### Modified Capabilities
|
||||
|
||||
- `object-storage`: в «Клиенте хранилища в приложении» срок вызова —
|
||||
единственный срок клиента. Соединение в пуле не хранит срока прошлого
|
||||
единственный срок клиента, кроме срока установки соединения.
|
||||
Соединение в пуле не хранит срока прошлого
|
||||
вызова, и вызов после простоя дольше срока проходит.
|
||||
- `attachments`: в «Недоступности S3» 503 — только при отказе S3, а не
|
||||
после простоя исправного S3; новый сценарий «Загрузка после простоя
|
||||
|
||||
@@ -18,13 +18,14 @@
|
||||
каждая страница списка, SHALL быть ограничен сроком из настроек. После
|
||||
отказа или истечения срока вызов MUST NOT повторяться автоматически.
|
||||
|
||||
Срок из настроек SHALL быть единственным сроком вызова, и он
|
||||
заканчивается вместе с вызовом: у потокового чтения он действует на
|
||||
каждый блок. Соединение, которое простаивает в пуле клиента, MUST NOT
|
||||
ломаться от срока прошлого вызова. Поэтому вызов после простоя S3 дольше
|
||||
срока вызова SHALL проходить, если S3 доступен, — в том числе после
|
||||
потокового чтения большого объекта. Ошибкой недоступности такой вызов
|
||||
SHALL заканчиваться только по причинам из списка ниже.
|
||||
Срок из настроек SHALL быть единственным сроком вызова, кроме срока
|
||||
установки соединения, и он заканчивается вместе с вызовом: у потокового
|
||||
чтения он действует на каждый блок. Соединение, которое простаивает в
|
||||
пуле клиента, MUST NOT ломаться от срока прошлого вызова. Поэтому вызов
|
||||
после простоя S3 дольше срока вызова SHALL проходить, если S3 доступен,
|
||||
в том числе после потокового чтения большого объекта. Ошибкой
|
||||
недоступности такой вызов SHALL заканчиваться только по причинам из
|
||||
списка ниже.
|
||||
|
||||
Ошибкой недоступности, которую API отдаёт как 503 `unavailable` в
|
||||
формате контракта, SHALL заканчиваться вызов, если S3:
|
||||
|
||||
@@ -58,7 +58,7 @@
|
||||
- [x] 2.1 `src/infra/s3/client.py`, `_create_client`: `read_timeout=None`
|
||||
(design, решение 1). Рядом — комментарий:
|
||||
- срок чтения aiohttp переживает ответ и портит соединение в пуле
|
||||
(aiohttp 3.13–3.14.5);
|
||||
(проверено в aiohttp 3.14.5);
|
||||
- срок вызова и блока — `asyncio.timeout` в `_call` и `_read_chunk`;
|
||||
- ссылка на design этого change.
|
||||
|
||||
@@ -153,7 +153,7 @@
|
||||
затем простой S3 дольше срока — до правки 503 за 1 мс, после — 201;
|
||||
- строка `make student_test` в таблице доказательств — без оговорки о
|
||||
503, число проверок `make failure_checks`;
|
||||
- в «Ограничениях» — дефект aiohttp 3.13–3.14.5 и как проект от него
|
||||
- в «Ограничениях» — дефект aiohttp (проверен в 3.14.5) и как проект от него
|
||||
закрыт.
|
||||
- [x] 5.4 `KNOWN_ISSUES.md`: запись «Изредка 503 на загрузке: PUT в S3
|
||||
обрывается без тела» удаляется. `PLAN.md`:
|
||||
@@ -165,3 +165,25 @@
|
||||
- [x] 5.5 `openspec validate fix-upload-put-flake --strict` — без ошибок.
|
||||
Пересъёмка полной метки `make bench_uploads` в этот change не входит:
|
||||
только по ответу пользователя на вопрос 1 `PLAN.md`.
|
||||
|
||||
## 6. Замечания проверки
|
||||
|
||||
- [x] 6.1 W1. Размер буфера ответа aiohttp 3.14.5: `read_bufsize` 256 KiB
|
||||
(`DEFAULT_CHUNK_SIZE`), пауза чтения выше 512 KiB, продолжение ниже
|
||||
256 KiB (вместо 64 / 128 KiB версий 3.12–3.13) — в design (Механизм,
|
||||
п. 2), `evidence/s3/idle-connection.md`, `.claude/rules/infra.md`,
|
||||
`REPORT.md`, `PLAN.md`, комментарии кода и драйвера; ссылки на строки
|
||||
`.venv`, сверка с замером design (200 KiB — 0 из 90).
|
||||
- [ ] 6.2 W2. `make test_isolated` на закоммиченном коде — раздел
|
||||
«пересъёмка» в `evidence/tests/test-isolated-s3-cleanup.md`, ссылка в
|
||||
`REPORT.md` (строка ««4»: тесты большого файла…»).
|
||||
- [x] 6.3 S1. Версии aiohttp — «в каких проверено» вместо диапазона
|
||||
3.13–3.14.5: `client.py`, `infra.md`, `REPORT.md`, proposal, design,
|
||||
evidence §1; довод «обновить aiohttp нельзя» — в верной форме.
|
||||
- [x] 6.4 S2. Номера строк в evidence §1 (`client_proto.py`,
|
||||
`botocore/handlers.py` и остальные) сверены с `.venv`.
|
||||
- [x] 6.5 S3. Спек `object-storage`, «Клиент хранилища в приложении»:
|
||||
срок вызова — единственный, кроме срока установки соединения; дельта и
|
||||
основной спек совпадают построчно.
|
||||
- [ ] 6.6 S4. Полный `make failure_checks` на закоммиченном коде с полным
|
||||
выводом (обезличенным) в `evidence/tests/failure-checks.md`.
|
||||
|
||||
@@ -343,13 +343,14 @@ SHALL сохраняться и после принудительного зав
|
||||
каждая страница списка, SHALL быть ограничен сроком из настроек. После
|
||||
отказа или истечения срока вызов MUST NOT повторяться автоматически.
|
||||
|
||||
Срок из настроек SHALL быть единственным сроком вызова, и он
|
||||
заканчивается вместе с вызовом: у потокового чтения он действует на
|
||||
каждый блок. Соединение, которое простаивает в пуле клиента, MUST NOT
|
||||
ломаться от срока прошлого вызова. Поэтому вызов после простоя S3 дольше
|
||||
срока вызова SHALL проходить, если S3 доступен, — в том числе после
|
||||
потокового чтения большого объекта. Ошибкой недоступности такой вызов
|
||||
SHALL заканчиваться только по причинам из списка ниже.
|
||||
Срок из настроек SHALL быть единственным сроком вызова, кроме срока
|
||||
установки соединения, и он заканчивается вместе с вызовом: у потокового
|
||||
чтения он действует на каждый блок. Соединение, которое простаивает в
|
||||
пуле клиента, MUST NOT ломаться от срока прошлого вызова. Поэтому вызов
|
||||
после простоя S3 дольше срока вызова SHALL проходить, если S3 доступен,
|
||||
в том числе после потокового чтения большого объекта. Ошибкой
|
||||
недоступности такой вызов SHALL заканчиваться только по причинам из
|
||||
списка ниже.
|
||||
|
||||
Ошибкой недоступности, которую API отдаёт как 503 `unavailable` в
|
||||
формате контракта, SHALL заканчиваться вызов, если S3:
|
||||
|
||||
@@ -305,13 +305,14 @@ class ObjectStorage:
|
||||
# виртуальные хосты bucket.s3 Docker DNS не разрешает
|
||||
s3={"addressing_style": "path"},
|
||||
connect_timeout=s3.connect_timeout_seconds,
|
||||
# срока чтения aiohttp нет: в 3.13–3.14.5 после потокового
|
||||
# ответа больше буфера `resume_reading()` взводит его уже у
|
||||
# соединения в пуле, через срок он срабатывает и портит
|
||||
# соединение, и следующий вызов падает за 1 мс
|
||||
# (`ReadTimeoutError`, 503). Срок вызова и блока чтения —
|
||||
# `asyncio.timeout` в `_call` и `_read_chunk` (design change
|
||||
# `fix-upload-put-flake`, решение 1)
|
||||
# срока чтения aiohttp нет: в 3.14.5 (проверено пробой; другие
|
||||
# версии не проверялись) после потокового ответа с паузой
|
||||
# чтения (буфер ответа больше 512 KiB) `resume_reading()`
|
||||
# взводит его уже у соединения в пуле, через срок он
|
||||
# срабатывает и портит соединение, и следующий вызов падает
|
||||
# за 1 мс (`ReadTimeoutError`, 503). Срок вызова и блока
|
||||
# чтения — `asyncio.timeout` в `_call` и `_read_chunk`
|
||||
# (design change `fix-upload-put-flake`, решение 1)
|
||||
read_timeout=None,
|
||||
# повторов нет: отказ — сразу 503, срок — один на вызов
|
||||
retries={"total_max_attempts": 1},
|
||||
|
||||
Reference in New Issue
Block a user