fix: drop aiohttp read timeout of the S3 client
aiohttp 3.13-3.14.5 re-arms sock_read in resume_reading() after a streamed response has already returned the connection to the pool; the timer fires while the connection idles and the next call on it fails in 1 ms with ReadTimeoutError (503 on a healthy S3). The call and per-chunk asyncio.timeout stay the only S3 timeout. Adds driver.py s3-idle and documents the timeouts in the rules. Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
@@ -387,4 +387,39 @@ Evidence `evidence/s3/idle-connection.md`:
|
||||
## Open Questions
|
||||
|
||||
Нет. Пересъёмка метки `uploads` — вопрос пользователю (решение 5), план
|
||||
и задачи от ответа не зависят.
|
||||
и задачи от ответа не зависят. Ответ 2026-10-23: полную метку не
|
||||
переснимать, `baseline` остаётся; в apply — точечная проба памяти PUT и
|
||||
`make bench_uploads_quick` (tasks 4.4).
|
||||
|
||||
## Уточнения apply
|
||||
|
||||
1. **Медленное скачивание в тесте** — `Api.attachment_content_slowly`
|
||||
(`client.stream`, `iter_bytes(64 KiB)`, сон после блока). Он отдаёт
|
||||
`httpx.Response` с прочитанными байтами в `content`, поэтому байты,
|
||||
тип, длину и заголовки проверяет тот же `assert_content`, а не своя
|
||||
копия проверки.
|
||||
2. **Оригинал теста** — `images.png_noise(1024, 1365)` (~4,0 MiB): RGB-шум
|
||||
почти не сжимается, размер — около `width × height × 3`. Пользователи
|
||||
и чат — фикстуры обычного API (`alice`, `chat`): база общая для всех
|
||||
API стенда, а к S3 обычный API в этом тесте не обращается.
|
||||
3. **Тест красный уже в первом раунде**: на `4cfaab0` три прогона из трёх
|
||||
упали в раунде 1 (загрузки 4, 8 и 3). Порча чаще, чем p ≈ 0,28 из
|
||||
пробы propose. Оценка промаха в докстринге остаётся консервативной.
|
||||
4. **`driver.py s3-idle`: объекты учитываются по списку записанных
|
||||
ключей**, а не листингом префикса: у ключа API права на список нет
|
||||
(bootstrap это проверяет). Удаляет их в `finally` отдельный клиент
|
||||
без скачиваний: в его пуле нечему испортиться, а пулы обоих вариантов
|
||||
к этому моменту закрыты. Что ничего не осталось, драйвер проверяет
|
||||
через `weed shell fs.tree` по файлам `source` и `r<раунд>-p<номер>`:
|
||||
каталоги SeaweedFS убирает позже файлов.
|
||||
5. **Эталон `s3-idle`** — `ObjectStorage` проекта, у которого на время
|
||||
`start()` в модуле клиента подменён `AioConfig` и выставлен
|
||||
`read_timeout=[s3] timeout_seconds`. Тот же код вызова, пул и перевод
|
||||
ошибок, а отличается только срок чтения. На образе до правки оба
|
||||
варианта совпадают (`read_timeout` 5.0 у обоих).
|
||||
6. **Параметры `s3-idle` по умолчанию**: 3 раунда, PUT по 128 KiB
|
||||
случайных байт (размер `sample.png` по порядку величины), пауза
|
||||
0,5 мс на блок, как в design. Отладочный прогон на рабочем стенде до
|
||||
правки (1 раунд): образ — 3 взведённых и 3 испорченных соединения,
|
||||
3 PUT из 12 упали за 0,7–1,0 мс; эталон — 5 и 5, 5 PUT упали. Записанные
|
||||
объекты читаются обратно целиком, файлов пробы не осталось.
|
||||
|
||||
@@ -47,7 +47,7 @@
|
||||
неизвестный сценарий. Проверка: `make student_test
|
||||
BASE_URL=http://localhost:8090` — сверка покрытия (`test_coverage.py`)
|
||||
зелёная, новый сценарий учтён как проверка отказов.
|
||||
- [ ] 1.6 Красный прогон до правки: `make failure_checks FAULT_ARGS='-k
|
||||
- [x] 1.6 Красный прогон до правки: `make failure_checks FAULT_ARGS='-k
|
||||
idle_s3'` три раза подряд на дереве с тестом и без правки 2.1. Каждый —
|
||||
1 failed: 503 `unavailable` на загрузке после простоя, номер раунда — в
|
||||
выводе. В журнале API стенда — `put_object` `ReadTimeoutError` за ~1 мс.
|
||||
@@ -55,7 +55,7 @@
|
||||
|
||||
## 2. Правка клиента S3
|
||||
|
||||
- [ ] 2.1 `src/infra/s3/client.py`, `_create_client`: `read_timeout=None`
|
||||
- [x] 2.1 `src/infra/s3/client.py`, `_create_client`: `read_timeout=None`
|
||||
(design, решение 1). Рядом — комментарий:
|
||||
- срок чтения aiohttp переживает ответ и портит соединение в пуле
|
||||
(aiohttp 3.13–3.14.5);
|
||||
@@ -72,7 +72,7 @@
|
||||
|
||||
## 3. Драйвер и evidence механизма
|
||||
|
||||
- [ ] 3.1 `driver.py s3-idle` скилла `run-mtusi-messenger` (stdlib,
|
||||
- [x] 3.1 `driver.py s3-idle` скилла `run-mtusi-messenger` (stdlib,
|
||||
Python 3.9; design, решение 4):
|
||||
- проба через `docker exec -i <реплика api> python -` в работающей
|
||||
реплике стенда, uvloop, если есть;
|
||||
@@ -133,7 +133,7 @@
|
||||
|
||||
## 5. Документы
|
||||
|
||||
- [ ] 5.1 `.claude/rules/infra.md`, раздел S3 (design, решение 1):
|
||||
- [x] 5.1 `.claude/rules/infra.md`, раздел S3 (design, решение 1):
|
||||
- срок — только `asyncio.timeout` вызова и блока;
|
||||
- `read_timeout` aiohttp выключен, почему, и запрет включать без новой
|
||||
пробы;
|
||||
@@ -142,7 +142,7 @@
|
||||
|
||||
Проверка: `grep -n read_timeout .claude/rules/infra.md` — только новая
|
||||
формулировка.
|
||||
- [ ] 5.2 `.claude/rules/student-tests.md`: четвёртый API стенда отказов,
|
||||
- [x] 5.2 `.claude/rules/student-tests.md`: четвёртый API стенда отказов,
|
||||
`test_upload_after_idle_s3`, красный и зелёный прогоны, время прогона.
|
||||
AGENTS.md: карта кода (`run_failures.py` — четыре API, `client.py` —
|
||||
срок только приложения), таблица команд (`s3-idle`), описание `make
|
||||
|
||||
Reference in New Issue
Block a user