fix: drop aiohttp read timeout of the S3 client

aiohttp 3.13-3.14.5 re-arms sock_read in resume_reading() after a
streamed response has already returned the connection to the pool; the
timer fires while the connection idles and the next call on it fails in
1 ms with ReadTimeoutError (503 on a healthy S3). The call and per-chunk
asyncio.timeout stay the only S3 timeout. Adds driver.py s3-idle and
documents the timeouts in the rules.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
2026-10-23 01:13:36 +03:00
co-authored by Claude Opus 5.5
parent 4cfaab0063
commit b5983f0e35
9 changed files with 579 additions and 21 deletions
@@ -387,4 +387,39 @@ Evidence `evidence/s3/idle-connection.md`:
## Open Questions
Нет. Пересъёмка метки `uploads` — вопрос пользователю (решение 5), план
и задачи от ответа не зависят.
и задачи от ответа не зависят. Ответ 2026-10-23: полную метку не
переснимать, `baseline` остаётся; в apply — точечная проба памяти PUT и
`make bench_uploads_quick` (tasks 4.4).
## Уточнения apply
1. **Медленное скачивание в тесте** — `Api.attachment_content_slowly`
(`client.stream`, `iter_bytes(64 KiB)`, сон после блока). Он отдаёт
`httpx.Response` с прочитанными байтами в `content`, поэтому байты,
тип, длину и заголовки проверяет тот же `assert_content`, а не своя
копия проверки.
2. **Оригинал теста** — `images.png_noise(1024, 1365)` (~4,0 MiB): RGB-шум
почти не сжимается, размер — около `width × height × 3`. Пользователи
и чат — фикстуры обычного API (`alice`, `chat`): база общая для всех
API стенда, а к S3 обычный API в этом тесте не обращается.
3. **Тест красный уже в первом раунде**: на `4cfaab0` три прогона из трёх
упали в раунде 1 (загрузки 4, 8 и 3). Порча чаще, чем p ≈ 0,28 из
пробы propose. Оценка промаха в докстринге остаётся консервативной.
4. **`driver.py s3-idle`: объекты учитываются по списку записанных
ключей**, а не листингом префикса: у ключа API права на список нет
(bootstrap это проверяет). Удаляет их в `finally` отдельный клиент
без скачиваний: в его пуле нечему испортиться, а пулы обоих вариантов
к этому моменту закрыты. Что ничего не осталось, драйвер проверяет
через `weed shell fs.tree` по файлам `source` и `r<раунд>-p<номер>`:
каталоги SeaweedFS убирает позже файлов.
5. **Эталон `s3-idle`** — `ObjectStorage` проекта, у которого на время
`start()` в модуле клиента подменён `AioConfig` и выставлен
`read_timeout=[s3] timeout_seconds`. Тот же код вызова, пул и перевод
ошибок, а отличается только срок чтения. На образе до правки оба
варианта совпадают (`read_timeout` 5.0 у обоих).
6. **Параметры `s3-idle` по умолчанию**: 3 раунда, PUT по 128 KiB
случайных байт (размер `sample.png` по порядку величины), пауза
0,5 мс на блок, как в design. Отладочный прогон на рабочем стенде до
правки (1 раунд): образ — 3 взведённых и 3 испорченных соединения,
3 PUT из 12 упали за 0,7–1,0 мс; эталон — 5 и 5, 5 PUT упали. Записанные
объекты читаются обратно целиком, файлов пробы не осталось.
@@ -47,7 +47,7 @@
неизвестный сценарий. Проверка: `make student_test
BASE_URL=http://localhost:8090` — сверка покрытия (`test_coverage.py`)
зелёная, новый сценарий учтён как проверка отказов.
- [ ] 1.6 Красный прогон до правки: `make failure_checks FAULT_ARGS='-k
- [x] 1.6 Красный прогон до правки: `make failure_checks FAULT_ARGS='-k
idle_s3'` три раза подряд на дереве с тестом и без правки 2.1. Каждый —
1 failed: 503 `unavailable` на загрузке после простоя, номер раунда — в
выводе. В журнале API стенда — `put_object` `ReadTimeoutError` за ~1 мс.
@@ -55,7 +55,7 @@
## 2. Правка клиента S3
- [ ] 2.1 `src/infra/s3/client.py`, `_create_client`: `read_timeout=None`
- [x] 2.1 `src/infra/s3/client.py`, `_create_client`: `read_timeout=None`
(design, решение 1). Рядом — комментарий:
- срок чтения aiohttp переживает ответ и портит соединение в пуле
(aiohttp 3.13–3.14.5);
@@ -72,7 +72,7 @@
## 3. Драйвер и evidence механизма
- [ ] 3.1 `driver.py s3-idle` скилла `run-mtusi-messenger` (stdlib,
- [x] 3.1 `driver.py s3-idle` скилла `run-mtusi-messenger` (stdlib,
Python 3.9; design, решение 4):
- проба через `docker exec -i <реплика api> python -` в работающей
реплике стенда, uvloop, если есть;
@@ -133,7 +133,7 @@
## 5. Документы
- [ ] 5.1 `.claude/rules/infra.md`, раздел S3 (design, решение 1):
- [x] 5.1 `.claude/rules/infra.md`, раздел S3 (design, решение 1):
- срок — только `asyncio.timeout` вызова и блока;
- `read_timeout` aiohttp выключен, почему, и запрет включать без новой
пробы;
@@ -142,7 +142,7 @@
Проверка: `grep -n read_timeout .claude/rules/infra.md` — только новая
формулировка.
- [ ] 5.2 `.claude/rules/student-tests.md`: четвёртый API стенда отказов,
- [x] 5.2 `.claude/rules/student-tests.md`: четвёртый API стенда отказов,
`test_upload_after_idle_s3`, красный и зелёный прогоны, время прогона.
AGENTS.md: карта кода (`run_failures.py` — четыре API, `client.py` —
срок только приложения), таблица команд (`s3-idle`), описание `make