fix: address fix-upload-put-flake verify findings
aiohttp 3.14.5 buffers 256 KiB and pauses reading above 512 KiB; name the aiohttp versions actually checked instead of a range; fix line references in the idle-connection evidence; the object-storage spec now exempts the connect timeout from the single call timeout. Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
+14
-7
@@ -179,15 +179,22 @@ paths:
|
|||||||
не повторяется, загрузку повторяет клиент контракта;
|
не повторяется, загрузку повторяет клиент контракта;
|
||||||
- **срок на вызов** — `asyncio.timeout([s3] timeout_seconds)` (5 с,
|
- **срок на вызов** — `asyncio.timeout([s3] timeout_seconds)` (5 с,
|
||||||
меньше `timeout server` HAProxy), у `open` — ещё и на каждый блок
|
меньше `timeout server` HAProxy), у `open` — ещё и на каждый блок
|
||||||
чтения тела. Это единственный срок вызова: `connect_timeout_seconds`
|
чтения тела. Кроме срока установки соединения
|
||||||
— из `[s3]`, `read_timeout` botocore **выключен (`None`)**; пул
|
(`connect_timeout_seconds` из `[s3]`), это единственный срок вызова:
|
||||||
aiohttp — `[s3] max_connections`;
|
`read_timeout` botocore **выключен (`None`)**; пул aiohttp — `[s3]
|
||||||
|
max_connections`;
|
||||||
- **почему без `read_timeout`** (design change `fix-upload-put-flake`,
|
- **почему без `read_timeout`** (design change `fix-upload-put-flake`,
|
||||||
решение 1): aiobotocore превращает его в `sock_read` aiohttp, а
|
решение 1): aiobotocore превращает его в `sock_read` aiohttp, а
|
||||||
aiohttp 3.13–3.14.5 после потокового ответа больше буфера (128 KiB)
|
aiohttp 3.14.5 (версия `uv.lock`, проверено пробой) после потокового
|
||||||
перевзводит этот срок в `resume_reading()` уже у соединения, которое
|
ответа с паузой чтения перевзводит этот срок в `resume_reading()` уже
|
||||||
вернулось в пул. Через срок он срабатывает на простаивающем
|
у соединения, которое вернулось в пул. Пауза — когда буфер ответа
|
||||||
соединении, пул отдаёт его следующему вызову (проверяет только
|
больше 512 KiB (`read_bufsize` по умолчанию 256 KiB, верхний порог —
|
||||||
|
вдвое больше: `aiohttp/helpers.py:65`, `streams.py:117–118`, `300`;
|
||||||
|
замер: 64–200 KiB — 0 взведённых из 90, 1 MiB — до 2 из 10). Пробой
|
||||||
|
другие версии aiohttp не проверялись, их исходники — в
|
||||||
|
`evidence/s3/idle-connection.md`, раздел 1. Через срок он
|
||||||
|
срабатывает на простаивающем соединении, пул отдаёт его следующему
|
||||||
|
вызову (проверяет только
|
||||||
`is_connected()` и keep-alive), и вызов падает за 1 мс —
|
`is_connected()` и keep-alive), и вызов падает за 1 мс —
|
||||||
`ReadTimeoutError`, 503 на исправном S3. Включать `read_timeout`
|
`ReadTimeoutError`, 503 на исправном S3. Включать `read_timeout`
|
||||||
снова — только с новой пробой (`driver.py s3-idle`, тест
|
снова — только с новой пробой (`driver.py s3-idle`, тест
|
||||||
|
|||||||
@@ -1309,9 +1309,11 @@ Change вне сводной таблицы, до `track2-reconcile-cost`: ис
|
|||||||
1. **Причина найдена и воспроизведена** (design, Context):
|
1. **Причина найдена и воспроизведена** (design, Context):
|
||||||
- клиент S3 задаёт aiohttp срок чтения (`read_timeout` = `[s3]
|
- клиент S3 задаёт aiohttp срок чтения (`read_timeout` = `[s3]
|
||||||
timeout_seconds`, 5 с, с `s3-storage`);
|
timeout_seconds`, 5 с, с `s3-storage`);
|
||||||
- после скачивания большого оригинала (больше буфера ответа 128 KiB)
|
- после скачивания большого оригинала с паузой чтения (буфер ответа
|
||||||
aiohttp 3.13–3.14.5 перевзводит этот срок в `resume_reading()` уже
|
больше 512 KiB: `read_bufsize` 256 KiB, порог паузы вдвое больше)
|
||||||
после конца ответа, когда соединение вернулось в пул;
|
aiohttp 3.14.5 (версия `uv.lock`, другие пробой не проверялись)
|
||||||
|
перевзводит этот срок в `resume_reading()` уже после конца ответа,
|
||||||
|
когда соединение вернулось в пул;
|
||||||
- через 5 с простоя срок срабатывает и портит соединение: исключение
|
- через 5 с простоя срок срабатывает и портит соединение: исключение
|
||||||
сохранено, транспорт открыт;
|
сохранено, транспорт открыт;
|
||||||
- пул отдаёт его следующему вызову в окне 5–15 с (keep-alive), и вызов
|
- пул отдаёт его следующему вызову в окне 5–15 с (keep-alive), и вызов
|
||||||
@@ -1343,8 +1345,8 @@ Change вне сводной таблицы, до `track2-reconcile-cost`: ис
|
|||||||
- `force_close`;
|
- `force_close`;
|
||||||
- связка сроков keep-alive и `sock_read`;
|
- связка сроков keep-alive и `sock_read`;
|
||||||
- свой коннектор и патч aiohttp;
|
- свой коннектор и патч aiohttp;
|
||||||
- другая версия aiohttp: дефект в 3.13.5–3.14.5, aiobotocore 3.9.2
|
- другая версия aiohttp: новее 3.14.5 нет, дефект в ней воспроизведён,
|
||||||
требует ≥ 3.14.0;
|
а aiobotocore 3.9.2 требует ≥ 3.14.0;
|
||||||
- снятие `Expect`;
|
- снятие `Expect`;
|
||||||
- больший буфер ответа;
|
- больший буфер ответа;
|
||||||
- повтор.
|
- повтор.
|
||||||
@@ -1383,6 +1385,27 @@ Change вне сводной таблицы, до `track2-reconcile-cost`: ис
|
|||||||
`make failure_checks` снят с фильтром вывода, без построчного списка
|
`make failure_checks` снят с фильтром вывода, без построчного списка
|
||||||
тестов: итог 49 passed и `results` — в файле.
|
тестов: итог 49 passed и `results` — в файле.
|
||||||
|
|
||||||
|
Правки по `/opsx:verify` 2026-10-23 (tasks, группа 6; design,
|
||||||
|
«Уточнения apply», п. 8):
|
||||||
|
|
||||||
|
12. Буфер ответа aiohttp 3.14.5 — 256 KiB (`DEFAULT_CHUNK_SIZE`), пауза
|
||||||
|
чтения выше 512 KiB; прежние 64 / 128 KiB — значения 3.12–3.13.
|
||||||
|
Сходится с замером propose: до 200 KiB соединения не взводятся.
|
||||||
|
13. Версии aiohttp — «в каких проверено»: дефект воспроизведён только в
|
||||||
|
3.14.5. По исходникам (кэш uv и sdist PyPI) перевзвод срока в
|
||||||
|
`resume_reading()` есть в 3.12.15, 3.13.2, 3.13.3, 3.13.5 и
|
||||||
|
3.14.0–3.14.5 (с 3.14.2 — только после паузы); нижняя граница не
|
||||||
|
установлена.
|
||||||
|
14. Ссылка `botocore/handlers.py:380–397` оставлена: по `.venv` и по
|
||||||
|
образу `add_expect_header` — строки 380–397 (`def` — 380, `Expect` —
|
||||||
|
397), а не 378–395, как в замечании S2. `client_proto.py:196–201`
|
||||||
|
исправлена на `196–202`, `httpsession.py:97–98` — на `97–99`.
|
||||||
|
15. Спек `object-storage`: срок из настроек — единственный срок вызова,
|
||||||
|
«кроме срока установки соединения» (`connect_timeout_seconds`), в
|
||||||
|
дельте и основном спеке одинаково.
|
||||||
|
16. `make test_isolated` и полный `make failure_checks` пересняты на
|
||||||
|
закоммиченном коде с полным выводом (`evidence/tests/`).
|
||||||
|
|
||||||
#### Вопросы
|
#### Вопросы
|
||||||
|
|
||||||
1. Нужна ли пересъёмка полной метки `make bench_uploads`
|
1. Нужна ли пересъёмка полной метки `make bench_uploads`
|
||||||
|
|||||||
@@ -189,9 +189,11 @@ compose up -d s3-bootstrap` или `make run_docker`.
|
|||||||
Собственного срока чтения aiohttp нет (`read_timeout=None`). Раньше он
|
Собственного срока чтения aiohttp нет (`read_timeout=None`). Раньше он
|
||||||
был равен `timeout_seconds` и давал редкие 503 на исправном S3. Цепочка
|
был равен `timeout_seconds` и давал редкие 503 на исправном S3. Цепочка
|
||||||
такая:
|
такая:
|
||||||
- после скачивания оригинала больше буфера ответа (128 KiB) aiohttp
|
- после скачивания оригинала с паузой чтения (буфер ответа больше
|
||||||
3.13–3.14.5 перевзводил этот срок в `resume_reading()` уже у
|
512 KiB: `read_bufsize` по умолчанию 256 KiB, порог паузы вдвое больше)
|
||||||
соединения, вернувшегося в пул;
|
aiohttp 3.14.5 — версия `uv.lock`, другие пробой не проверялись —
|
||||||
|
перевзводил этот срок в `resume_reading()` уже у соединения,
|
||||||
|
вернувшегося в пул;
|
||||||
- через 5 с простоя срок срабатывал на простаивающем соединении, и пул
|
- через 5 с простоя срок срабатывал на простаивающем соединении, и пул
|
||||||
отдавал его следующему вызову (keep-alive 15 с не истёк);
|
отдавал его следующему вызову (keep-alive 15 с не истёк);
|
||||||
- PUT падал за 1 мс с `ReadTimeoutError`, а S3 видел заголовки без тела
|
- PUT падал за 1 мс с `ReadTimeoutError`, а S3 видел заголовки без тела
|
||||||
@@ -1055,14 +1057,19 @@ S3 (change `s3-storage`):
|
|||||||
`uploads` 503 по сроку S3 нет (change `upload-memory`, решение 8).
|
`uploads` 503 по сроку S3 нет (change `upload-memory`, решение 8).
|
||||||
- **Отказ S3 — 503 на путях вложений, а не отказ сервиса.** Отказ хоста,
|
- **Отказ S3 — 503 на путях вложений, а не отказ сервиса.** Отказ хоста,
|
||||||
LB и PostgreSQL стенд не переживает (`.claude/rules/balancer.md`).
|
LB и PostgreSQL стенд не переживает (`.claude/rules/balancer.md`).
|
||||||
- **Дефект aiohttp 3.13–3.14.5: срок чтения переживает ответ.** После
|
- **Дефект aiohttp (проверен в 3.14.5): срок чтения переживает ответ.**
|
||||||
потокового ответа больше буфера `resume_reading()` взводит `sock_read`
|
После потокового ответа с паузой чтения `resume_reading()` взводит `sock_read`
|
||||||
у соединения в пуле. Через срок соединение портится, и следующий вызов
|
у соединения в пуле. Через срок соединение портится, и следующий вызов
|
||||||
на нём падает за 1 мс. Проект от этого закрыт тем, что `sock_read` не
|
на нём падает за 1 мс. Проект от этого закрыт тем, что `sock_read` не
|
||||||
использует (`read_timeout=None`, раздел «Сроки клиента S3»). Срок вызова
|
использует (`read_timeout=None`, раздел «Сроки клиента S3»). Срок вызова
|
||||||
и блока даёт `asyncio.timeout` приложения: зависший S3 по-прежнему
|
и блока даёт `asyncio.timeout` приложения: зависший S3 по-прежнему
|
||||||
обрывается за 5 с. Обновить aiohttp нельзя: дефект есть во всех версиях
|
обрывается за 5 с. Обновлением aiohttp от дефекта не уйти: 3.14.5 —
|
||||||
от 3.13.5 до последней 3.14.5, а aiobotocore 3.9.2 требует ≥ 3.14.0.
|
последняя версия, дефект воспроизведён в ней, а ниже 3.14.0 не пускает
|
||||||
|
aiobotocore 3.9.2. Другие версии пробой не проверялись; по исходникам
|
||||||
|
перевзвод срока в `resume_reading()` есть в каждой просмотренной
|
||||||
|
версии от 3.12.15 до 3.14.4, нижняя
|
||||||
|
граница дефекта не установлена (`evidence/s3/idle-connection.md`,
|
||||||
|
раздел 1).
|
||||||
Отчёт об ошибке в aiohttp не отправлен: это вне лабы. Если upstream её
|
Отчёт об ошибке в aiohttp не отправлен: это вне лабы. Если upstream её
|
||||||
исправит, проекту срок чтения aiohttp всё равно не нужен. Новый
|
исправит, проекту срок чтения aiohttp всё равно не нужен. Новый
|
||||||
дефект того же рода поймают `test_upload_after_idle_s3` и `driver.py
|
дефект того же рода поймают `test_upload_after_idle_s3` и `driver.py
|
||||||
|
|||||||
@@ -23,14 +23,24 @@
|
|||||||
|
|
||||||
1. Клиент проекта задавал `AioConfig(read_timeout=[s3] timeout_seconds)`
|
1. Клиент проекта задавал `AioConfig(read_timeout=[s3] timeout_seconds)`
|
||||||
(5 с, с `s3-storage`). aiobotocore превращает его в срок чтения сокета
|
(5 с, с `s3-storage`). aiobotocore превращает его в срок чтения сокета
|
||||||
aiohttp: `aiobotocore/httpsession.py:97–98` — `aiohttp.ClientTimeout(
|
aiohttp: `aiobotocore/httpsession.py:97–99` — `aiohttp.ClientTimeout(
|
||||||
sock_connect=conn_timeout, sock_read=read_timeout)`. Это второй срок
|
sock_connect=conn_timeout, sock_read=read_timeout)`. Это второй срок
|
||||||
поверх `asyncio.timeout` каждого вызова (`_call`) и блока чтения
|
поверх `asyncio.timeout` каждого вызова (`_call`) и блока чтения
|
||||||
(`_read_chunk`).
|
(`_read_chunk`).
|
||||||
2. Скачивание объекта больше буфера потока ответа (64 KiB, верхний порог
|
2. Буфер потока ответа — `read_bufsize` сессии: по умолчанию
|
||||||
— 128 KiB: `aiohttp/streams.py:117–118`, `_low_water = limit`,
|
`DEFAULT_CHUNK_SIZE` = 2**18, 256 KiB (`aiohttp/helpers.py:65`,
|
||||||
`_high_water = limit * 2`) идёт с паузами чтения транспорта.
|
`aiohttp/client.py:358`; aiobotocore своего не передаёт —
|
||||||
3. `ResponseHandler.resume_reading()` — `aiohttp/client_proto.py:196–201`:
|
`aiobotocore/httpsession.py:239–244`). Пороги потока —
|
||||||
|
`aiohttp/streams.py:117–118`: `_low_water = limit` (256 KiB),
|
||||||
|
`_high_water = limit * 2` (512 KiB). Буфер больше 512 KiB — пауза
|
||||||
|
чтения транспорта (`streams.py:300`), ниже 256 KiB — продолжение
|
||||||
|
(`streams.py:563`). Поэтому скачивание объекта, который потребитель не
|
||||||
|
успевает разбирать, идёт с паузами, если в буфере скопилось больше
|
||||||
|
512 KiB. Это согласуется с замером propose (раздел 4): по 10
|
||||||
|
скачиваний подряд объектов 64, 120 и 200 KiB — 0 взведённых из 90,
|
||||||
|
1 MiB — 0–2 из 10. (64 / 128 KiB — значения aiohttp 3.12–3.13:
|
||||||
|
`read_bufsize` 2**16.)
|
||||||
|
3. `ResponseHandler.resume_reading()` — `aiohttp/client_proto.py:196–202`:
|
||||||
после паузы он снова взводит срок (`_reschedule_timeout()`,
|
после паузы он снова взводит срок (`_reschedule_timeout()`,
|
||||||
`client_proto.py:287`). Если парсер дочитал конец тела внутри этого же
|
`client_proto.py:287`). Если парсер дочитал конец тела внутри этого же
|
||||||
`resume_reading()`, ответ уже отпустил соединение в пул
|
`resume_reading()`, ответ уже отпустил соединение в пул
|
||||||
@@ -58,9 +68,26 @@
|
|||||||
|
|
||||||
Окно: следующий вызов раньше срока сбрасывает таймер (`start_timeout()`
|
Окно: следующий вызов раньше срока сбрасывает таймер (`start_timeout()`
|
||||||
→ `_reschedule_timeout()` отменяет прежний), позже keep-alive —
|
→ `_reschedule_timeout()` отменяет прежний), позже keep-alive —
|
||||||
получает новое соединение. Дефект есть в aiohttp 3.13.5 и 3.14.0–3.14.5
|
получает новое соединение.
|
||||||
(в 3.14.4–3.14.5 — только после паузы чтения), aiobotocore 3.9.2
|
|
||||||
требует `aiohttp>=3.14.0`; отчёта о нём в aiohttp не нашлось (поиск
|
Версии. Дефект воспроизведён только в aiohttp 3.14.5 — версии `uv.lock`
|
||||||
|
(разделы 2–4). Другие версии пробой не проверялись. Исходники
|
||||||
|
`ResponseHandler.resume_reading()` (кэш uv и sdist PyPI, сверка
|
||||||
|
2026-10-23):
|
||||||
|
|
||||||
|
| Версии aiohttp | `resume_reading()` | `read_bufsize` по умолчанию |
|
||||||
|
|---|---|---|
|
||||||
|
| 3.12.15, 3.13.2, 3.13.3, 3.13.5 | `_reschedule_timeout()` безусловно | 64 KiB |
|
||||||
|
| 3.14.0, 3.14.1 | `_reschedule_timeout()` безусловно | 256 KiB |
|
||||||
|
| 3.14.2, 3.14.3 | только если чтение было на паузе | 256 KiB |
|
||||||
|
| 3.14.4, 3.14.5 | только если чтение было на паузе и не держит буфер | 256 KiB |
|
||||||
|
|
||||||
|
Перевзвод есть во всех просмотренных версиях, но путь паузы в 3.12–3.13
|
||||||
|
другой (иной буфер и иной код паузы), и воспроизводится ли там дефект,
|
||||||
|
не проверялось: нижняя граница не установлена. Обновить aiohttp, чтобы
|
||||||
|
уйти от дефекта, нельзя: 3.14.5 — последняя версия на PyPI (2026-10-23),
|
||||||
|
дефект в ней есть, а версии ниже 3.14.0 не допускает aiobotocore 3.9.2
|
||||||
|
(`aiohttp<4.0.0,>=3.14.0`). Отчёта о дефекте в aiohttp не нашлось (поиск
|
||||||
2026-10-22).
|
2026-10-22).
|
||||||
|
|
||||||
**Правка** (design, решение 1): `read_timeout=None`. aiobotocore строит
|
**Правка** (design, решение 1): `read_timeout=None`. aiobotocore строит
|
||||||
|
|||||||
@@ -22,9 +22,15 @@
|
|||||||
(`src/infra/s3/client.py`, `_create_client`; так с `s3-storage`,
|
(`src/infra/s3/client.py`, `_create_client`; так с `s3-storage`,
|
||||||
`2e997f9`). Это второй срок поверх `asyncio.timeout` каждого вызова и
|
`2e997f9`). Это второй срок поверх `asyncio.timeout` каждого вызова и
|
||||||
блока чтения.
|
блока чтения.
|
||||||
2. Скачивание объекта больше буфера потока aiohttp (64 KiB, порог паузы
|
2. Скачивание объекта, который потребитель не успевает разбирать, идёт
|
||||||
— 128 KiB) идёт с паузами чтения: буфер ответа переполнился, парсер
|
с паузами чтения: буфер ответа переполнился, парсер встаёт на паузу.
|
||||||
встаёт на паузу.
|
Буфер — `read_bufsize` сессии, по умолчанию 256 KiB
|
||||||
|
(`DEFAULT_CHUNK_SIZE`, `aiohttp/helpers.py:65`, `client.py:358`;
|
||||||
|
aiobotocore своего не передаёт — `aiobotocore/httpsession.py:239–244`).
|
||||||
|
Пауза — при буфере больше 512 KiB (`_high_water`, `streams.py:300`),
|
||||||
|
продолжение — ниже 256 KiB (`_low_water`, `streams.py:563`). Замер п. 3
|
||||||
|
«Как подтверждено» с этим сходится: объекты до 200 KiB соединений не
|
||||||
|
взводят.
|
||||||
3. Иногда конец тела парсер разбирает уже внутри
|
3. Иногда конец тела парсер разбирает уже внутри
|
||||||
`ResponseHandler.resume_reading()`, когда потребитель освободил буфер.
|
`ResponseHandler.resume_reading()`, когда потребитель освободил буфер.
|
||||||
Тогда:
|
Тогда:
|
||||||
@@ -53,10 +59,15 @@
|
|||||||
|
|
||||||
Сброс таймера при следующем вызове (`start_timeout()` отменяет прежний)
|
Сброс таймера при следующем вызове (`start_timeout()` отменяет прежний)
|
||||||
объясняет окно: вызов раньше 5 с проходит, позже 15 с — получает новое
|
объясняет окно: вызов раньше 5 с проходит, позже 15 с — получает новое
|
||||||
соединение. Версии: в aiohttp 3.13.5 и 3.14.0 `resume_reading()`
|
соединение. Версии: дефект воспроизведён в aiohttp 3.14.5 (версия
|
||||||
перевзводит срок безусловно, в 3.14.4–3.14.5 — после паузы. 3.14.5 —
|
`uv.lock`), другие пробой не проверялись. По исходникам
|
||||||
последняя версия на PyPI, aiobotocore 3.9.2 требует `aiohttp>=3.14.0`.
|
`resume_reading()` перевзводит срок безусловно в 3.12.15, 3.13.2, 3.13.3,
|
||||||
Отчёта об этом дефекте в aiohttp не нашлось (поиск 2026-10-22).
|
3.13.5, 3.14.0 и 3.14.1, с 3.14.2 — только после паузы чтения; в 3.12–3.13 путь
|
||||||
|
паузы другой (буфер 64 KiB), нижняя граница дефекта не установлена
|
||||||
|
(`evidence/s3/idle-connection.md`, раздел 1). 3.14.5 — последняя версия
|
||||||
|
на PyPI, дефект в ней есть, а ниже 3.14.0 не пускает aiobotocore 3.9.2
|
||||||
|
(`aiohttp>=3.14.0`): обновлением aiohttp от дефекта не уйти. Отчёта об
|
||||||
|
этом дефекте в aiohttp не нашлось (поиск 2026-10-22).
|
||||||
|
|
||||||
### Как подтверждено
|
### Как подтверждено
|
||||||
|
|
||||||
@@ -210,8 +221,9 @@ sock_read=None)`. aiohttp таймер чтения не взводит вовс
|
|||||||
который не отдаёт протокол с `should_close`: опора на закрытые методы
|
который не отдаёт протокол с `should_close`: опора на закрытые методы
|
||||||
aiohttp (`_get`, `_conns`).
|
aiohttp (`_get`, `_conns`).
|
||||||
- Патч aiohttp (`resume_reading`): то же, плюс расходится с `uv.lock`.
|
- Патч aiohttp (`resume_reading`): то же, плюс расходится с `uv.lock`.
|
||||||
- Другая версия aiohttp: дефект есть в 3.13.5 и 3.14.0–3.14.5, а
|
- Другая версия aiohttp: новее 3.14.5 нет, дефект в ней воспроизведён, а
|
||||||
aiobotocore 3.9.2 требует ≥ 3.14.0.
|
aiobotocore 3.9.2 требует ≥ 3.14.0 (в 3.14.0–3.14.4 перевзвод срока в
|
||||||
|
`resume_reading()` тоже есть по исходникам).
|
||||||
- Убрать `Expect: 100-continue`: S3 получил бы тело, но клиент упал бы
|
- Убрать `Expect: 100-continue`: S3 получил бы тело, но клиент упал бы
|
||||||
так же. Объект без подтверждения потом убрал бы уборщик.
|
так же. Объект без подтверждения потом убрал бы уборщик.
|
||||||
- Выключить контрольные суммы botocore: к отказу не относятся.
|
- Выключить контрольные суммы botocore: к отказу не относятся.
|
||||||
@@ -428,4 +440,17 @@ Evidence `evidence/s3/idle-connection.md`:
|
|||||||
`evidence/tests/test-isolated-s3-cleanup.md` (уборка префикса
|
`evidence/tests/test-isolated-s3-cleanup.md` (уборка префикса
|
||||||
`test_<db>/`) не переснимался: change её не трогает. Полный `make
|
`test_<db>/`) не переснимался: change её не трогает. Полный `make
|
||||||
failure_checks` снят с фильтром вывода: в файле итог 49 passed,
|
failure_checks` снят с фильтром вывода: в файле итог 49 passed,
|
||||||
`results` и время, но без построчного списка тестов.
|
`results` и время, но без построчного списка тестов. После проверки
|
||||||
|
(п. 8) оба пересняты с полным выводом.
|
||||||
|
8. **Правки по проверке** (tasks, группа 6):
|
||||||
|
- буфер ответа aiohttp 3.14.5 — 256 KiB, пауза выше 512 KiB (Механизм,
|
||||||
|
п. 2); 64 / 128 KiB были значениями 3.12–3.13. Параметры пробы
|
||||||
|
`s3-idle` и теста от этого не меняются: 128 KiB там — размер PUT, а
|
||||||
|
64 KiB — блок потребителя, не порог буфера. Медленный потребитель
|
||||||
|
копит в буфере больше 512 KiB при любом размере блока;
|
||||||
|
- версии aiohttp названы по проверке: проба — только 3.14.5,
|
||||||
|
исходники — таблица в `evidence/s3/idle-connection.md`, раздел 1;
|
||||||
|
- `botocore/handlers.py:380–397` сверена с `.venv` и образом и
|
||||||
|
оставлена: `add_expect_header` занимает строки 380–397;
|
||||||
|
- спек `object-storage`: «…единственным сроком вызова, кроме срока
|
||||||
|
установки соединения».
|
||||||
|
|||||||
@@ -8,8 +8,9 @@
|
|||||||
change нашла причину (design, Context):
|
change нашла причину (design, Context):
|
||||||
- клиент S3 включает срок чтения aiohttp (`read_timeout` = `[s3]
|
- клиент S3 включает срок чтения aiohttp (`read_timeout` = `[s3]
|
||||||
timeout_seconds`, 5 с);
|
timeout_seconds`, 5 с);
|
||||||
- после скачивания большого оригинала aiohttp 3.13–3.14.5 оставляет этот
|
- после скачивания большого оригинала aiohttp 3.14.5 (версия `uv.lock`;
|
||||||
срок взведённым у соединения, которое уже вернулось в пул;
|
другие версии не проверялись) оставляет этот срок взведённым у
|
||||||
|
соединения, которое уже вернулось в пул;
|
||||||
- через 5 с простоя срок срабатывает на простаивающем соединении и
|
- через 5 с простоя срок срабатывает на простаивающем соединении и
|
||||||
ломает его;
|
ломает его;
|
||||||
- следующий вызов S3 на этом соединении, если он пришёл до конца
|
- следующий вызов S3 на этом соединении, если он пришёл до конца
|
||||||
@@ -64,7 +65,8 @@ change нашла причину (design, Context):
|
|||||||
### Modified Capabilities
|
### Modified Capabilities
|
||||||
|
|
||||||
- `object-storage`: в «Клиенте хранилища в приложении» срок вызова —
|
- `object-storage`: в «Клиенте хранилища в приложении» срок вызова —
|
||||||
единственный срок клиента. Соединение в пуле не хранит срока прошлого
|
единственный срок клиента, кроме срока установки соединения.
|
||||||
|
Соединение в пуле не хранит срока прошлого
|
||||||
вызова, и вызов после простоя дольше срока проходит.
|
вызова, и вызов после простоя дольше срока проходит.
|
||||||
- `attachments`: в «Недоступности S3» 503 — только при отказе S3, а не
|
- `attachments`: в «Недоступности S3» 503 — только при отказе S3, а не
|
||||||
после простоя исправного S3; новый сценарий «Загрузка после простоя
|
после простоя исправного S3; новый сценарий «Загрузка после простоя
|
||||||
|
|||||||
@@ -18,13 +18,14 @@
|
|||||||
каждая страница списка, SHALL быть ограничен сроком из настроек. После
|
каждая страница списка, SHALL быть ограничен сроком из настроек. После
|
||||||
отказа или истечения срока вызов MUST NOT повторяться автоматически.
|
отказа или истечения срока вызов MUST NOT повторяться автоматически.
|
||||||
|
|
||||||
Срок из настроек SHALL быть единственным сроком вызова, и он
|
Срок из настроек SHALL быть единственным сроком вызова, кроме срока
|
||||||
заканчивается вместе с вызовом: у потокового чтения он действует на
|
установки соединения, и он заканчивается вместе с вызовом: у потокового
|
||||||
каждый блок. Соединение, которое простаивает в пуле клиента, MUST NOT
|
чтения он действует на каждый блок. Соединение, которое простаивает в
|
||||||
ломаться от срока прошлого вызова. Поэтому вызов после простоя S3 дольше
|
пуле клиента, MUST NOT ломаться от срока прошлого вызова. Поэтому вызов
|
||||||
срока вызова SHALL проходить, если S3 доступен, — в том числе после
|
после простоя S3 дольше срока вызова SHALL проходить, если S3 доступен,
|
||||||
потокового чтения большого объекта. Ошибкой недоступности такой вызов
|
в том числе после потокового чтения большого объекта. Ошибкой
|
||||||
SHALL заканчиваться только по причинам из списка ниже.
|
недоступности такой вызов SHALL заканчиваться только по причинам из
|
||||||
|
списка ниже.
|
||||||
|
|
||||||
Ошибкой недоступности, которую API отдаёт как 503 `unavailable` в
|
Ошибкой недоступности, которую API отдаёт как 503 `unavailable` в
|
||||||
формате контракта, SHALL заканчиваться вызов, если S3:
|
формате контракта, SHALL заканчиваться вызов, если S3:
|
||||||
|
|||||||
@@ -58,7 +58,7 @@
|
|||||||
- [x] 2.1 `src/infra/s3/client.py`, `_create_client`: `read_timeout=None`
|
- [x] 2.1 `src/infra/s3/client.py`, `_create_client`: `read_timeout=None`
|
||||||
(design, решение 1). Рядом — комментарий:
|
(design, решение 1). Рядом — комментарий:
|
||||||
- срок чтения aiohttp переживает ответ и портит соединение в пуле
|
- срок чтения aiohttp переживает ответ и портит соединение в пуле
|
||||||
(aiohttp 3.13–3.14.5);
|
(проверено в aiohttp 3.14.5);
|
||||||
- срок вызова и блока — `asyncio.timeout` в `_call` и `_read_chunk`;
|
- срок вызова и блока — `asyncio.timeout` в `_call` и `_read_chunk`;
|
||||||
- ссылка на design этого change.
|
- ссылка на design этого change.
|
||||||
|
|
||||||
@@ -153,7 +153,7 @@
|
|||||||
затем простой S3 дольше срока — до правки 503 за 1 мс, после — 201;
|
затем простой S3 дольше срока — до правки 503 за 1 мс, после — 201;
|
||||||
- строка `make student_test` в таблице доказательств — без оговорки о
|
- строка `make student_test` в таблице доказательств — без оговорки о
|
||||||
503, число проверок `make failure_checks`;
|
503, число проверок `make failure_checks`;
|
||||||
- в «Ограничениях» — дефект aiohttp 3.13–3.14.5 и как проект от него
|
- в «Ограничениях» — дефект aiohttp (проверен в 3.14.5) и как проект от него
|
||||||
закрыт.
|
закрыт.
|
||||||
- [x] 5.4 `KNOWN_ISSUES.md`: запись «Изредка 503 на загрузке: PUT в S3
|
- [x] 5.4 `KNOWN_ISSUES.md`: запись «Изредка 503 на загрузке: PUT в S3
|
||||||
обрывается без тела» удаляется. `PLAN.md`:
|
обрывается без тела» удаляется. `PLAN.md`:
|
||||||
@@ -165,3 +165,25 @@
|
|||||||
- [x] 5.5 `openspec validate fix-upload-put-flake --strict` — без ошибок.
|
- [x] 5.5 `openspec validate fix-upload-put-flake --strict` — без ошибок.
|
||||||
Пересъёмка полной метки `make bench_uploads` в этот change не входит:
|
Пересъёмка полной метки `make bench_uploads` в этот change не входит:
|
||||||
только по ответу пользователя на вопрос 1 `PLAN.md`.
|
только по ответу пользователя на вопрос 1 `PLAN.md`.
|
||||||
|
|
||||||
|
## 6. Замечания проверки
|
||||||
|
|
||||||
|
- [x] 6.1 W1. Размер буфера ответа aiohttp 3.14.5: `read_bufsize` 256 KiB
|
||||||
|
(`DEFAULT_CHUNK_SIZE`), пауза чтения выше 512 KiB, продолжение ниже
|
||||||
|
256 KiB (вместо 64 / 128 KiB версий 3.12–3.13) — в design (Механизм,
|
||||||
|
п. 2), `evidence/s3/idle-connection.md`, `.claude/rules/infra.md`,
|
||||||
|
`REPORT.md`, `PLAN.md`, комментарии кода и драйвера; ссылки на строки
|
||||||
|
`.venv`, сверка с замером design (200 KiB — 0 из 90).
|
||||||
|
- [ ] 6.2 W2. `make test_isolated` на закоммиченном коде — раздел
|
||||||
|
«пересъёмка» в `evidence/tests/test-isolated-s3-cleanup.md`, ссылка в
|
||||||
|
`REPORT.md` (строка ««4»: тесты большого файла…»).
|
||||||
|
- [x] 6.3 S1. Версии aiohttp — «в каких проверено» вместо диапазона
|
||||||
|
3.13–3.14.5: `client.py`, `infra.md`, `REPORT.md`, proposal, design,
|
||||||
|
evidence §1; довод «обновить aiohttp нельзя» — в верной форме.
|
||||||
|
- [x] 6.4 S2. Номера строк в evidence §1 (`client_proto.py`,
|
||||||
|
`botocore/handlers.py` и остальные) сверены с `.venv`.
|
||||||
|
- [x] 6.5 S3. Спек `object-storage`, «Клиент хранилища в приложении»:
|
||||||
|
срок вызова — единственный, кроме срока установки соединения; дельта и
|
||||||
|
основной спек совпадают построчно.
|
||||||
|
- [ ] 6.6 S4. Полный `make failure_checks` на закоммиченном коде с полным
|
||||||
|
выводом (обезличенным) в `evidence/tests/failure-checks.md`.
|
||||||
|
|||||||
@@ -343,13 +343,14 @@ SHALL сохраняться и после принудительного зав
|
|||||||
каждая страница списка, SHALL быть ограничен сроком из настроек. После
|
каждая страница списка, SHALL быть ограничен сроком из настроек. После
|
||||||
отказа или истечения срока вызов MUST NOT повторяться автоматически.
|
отказа или истечения срока вызов MUST NOT повторяться автоматически.
|
||||||
|
|
||||||
Срок из настроек SHALL быть единственным сроком вызова, и он
|
Срок из настроек SHALL быть единственным сроком вызова, кроме срока
|
||||||
заканчивается вместе с вызовом: у потокового чтения он действует на
|
установки соединения, и он заканчивается вместе с вызовом: у потокового
|
||||||
каждый блок. Соединение, которое простаивает в пуле клиента, MUST NOT
|
чтения он действует на каждый блок. Соединение, которое простаивает в
|
||||||
ломаться от срока прошлого вызова. Поэтому вызов после простоя S3 дольше
|
пуле клиента, MUST NOT ломаться от срока прошлого вызова. Поэтому вызов
|
||||||
срока вызова SHALL проходить, если S3 доступен, — в том числе после
|
после простоя S3 дольше срока вызова SHALL проходить, если S3 доступен,
|
||||||
потокового чтения большого объекта. Ошибкой недоступности такой вызов
|
в том числе после потокового чтения большого объекта. Ошибкой
|
||||||
SHALL заканчиваться только по причинам из списка ниже.
|
недоступности такой вызов SHALL заканчиваться только по причинам из
|
||||||
|
списка ниже.
|
||||||
|
|
||||||
Ошибкой недоступности, которую API отдаёт как 503 `unavailable` в
|
Ошибкой недоступности, которую API отдаёт как 503 `unavailable` в
|
||||||
формате контракта, SHALL заканчиваться вызов, если S3:
|
формате контракта, SHALL заканчиваться вызов, если S3:
|
||||||
|
|||||||
@@ -305,13 +305,14 @@ class ObjectStorage:
|
|||||||
# виртуальные хосты bucket.s3 Docker DNS не разрешает
|
# виртуальные хосты bucket.s3 Docker DNS не разрешает
|
||||||
s3={"addressing_style": "path"},
|
s3={"addressing_style": "path"},
|
||||||
connect_timeout=s3.connect_timeout_seconds,
|
connect_timeout=s3.connect_timeout_seconds,
|
||||||
# срока чтения aiohttp нет: в 3.13–3.14.5 после потокового
|
# срока чтения aiohttp нет: в 3.14.5 (проверено пробой; другие
|
||||||
# ответа больше буфера `resume_reading()` взводит его уже у
|
# версии не проверялись) после потокового ответа с паузой
|
||||||
# соединения в пуле, через срок он срабатывает и портит
|
# чтения (буфер ответа больше 512 KiB) `resume_reading()`
|
||||||
# соединение, и следующий вызов падает за 1 мс
|
# взводит его уже у соединения в пуле, через срок он
|
||||||
# (`ReadTimeoutError`, 503). Срок вызова и блока чтения —
|
# срабатывает и портит соединение, и следующий вызов падает
|
||||||
# `asyncio.timeout` в `_call` и `_read_chunk` (design change
|
# за 1 мс (`ReadTimeoutError`, 503). Срок вызова и блока
|
||||||
# `fix-upload-put-flake`, решение 1)
|
# чтения — `asyncio.timeout` в `_call` и `_read_chunk`
|
||||||
|
# (design change `fix-upload-put-flake`, решение 1)
|
||||||
read_timeout=None,
|
read_timeout=None,
|
||||||
# повторов нет: отказ — сразу 503, срок — один на вызов
|
# повторов нет: отказ — сразу 503, срок — один на вызов
|
||||||
retries={"total_max_attempts": 1},
|
retries={"total_max_attempts": 1},
|
||||||
|
|||||||
Reference in New Issue
Block a user