aiohttp 3.13-3.14.5 re-arms sock_read in resume_reading() after a streamed response has already returned the connection to the pool; the timer fires while the connection idles and the next call on it fails in 1 ms with ReadTimeoutError (503 on a healthy S3). The call and per-chunk asyncio.timeout stay the only S3 timeout. Adds driver.py s3-idle and documents the timeouts in the rules. Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
12 KiB
Tasks
Порядок: сначала тест и красный прогон на прежнем коде (группа 1), потом
правка (группа 2). Evidence для отчёта — с закоммиченного кода, commit
делает основная сессия (bench.md, «Измеренное состояние — commit»).
Рабочий стенд — mtusi-lab4, LB на 127.0.0.1:8090 (8080 занят чужим
проектом). Временные проекты compose, их volumes, сети и образы — убрать за
собой и сверить число volumes с исходным.
1. Тест до кода
-
1.1
student-tests/api_client.py: методApiдля скачивания оригинала потоком с паузой между блоками. Он отдаёт статус, заголовки и байты, идентификация — черезactor(student-tests.md, «Как устроен набор»). Проверка:make lint, метод использует тест 1.4. -
1.2
student-tests/run_failures.py: четвёртый API<проект>-api-s3:S3_ENV = {"S3__TIMEOUT_SECONDS": "1"}, тестам —FAULT_S3_BASE_URLиFAULT_S3_ENV;- контейнер — в списке для журналов при падении и для уборки, адрес — в
строке
ready:; - докстринг — «четыре контейнера API».
Проверка:
make failure_checks FAULT_ARGS='-k idle_s3'печатает адрес четвёртого API, после командыdocker ps -aиdocker volume lsс меткой проекта отказов пусты. -
1.3
student-tests/conftest.py:FAULT_S3_BASE_URLобязателен для тестовfault(без него — выход с кодом 2, как у трёх адресов), фикстураs3_apiсо сроком клиента 30 с. Проверка:pytest -m faultбез стенда останавливается до первого теста с кодом 2. -
1.4
student-tests/test_failures.py:test_upload_after_idle_s3, маркерspec("attachments", "Загрузка после простоя S3"), по design, решение 3:assert_s3_standсверяетFAULT_S3_ENVс ожидаемым;- одна загрузка PNG из шума ~4 MiB;
- до 8 раундов: 10 одновременных скачиваний за барьером, у каждого
своё соединение, 2 мс на блок 64 KiB, байты равны загруженным;
простой
S3__TIMEOUT_SECONDS + 0,5с; 12 загрузокsample.pngпо одной — каждая 201; - сообщение падения — номер раунда, номер загрузки и ответ;
- вероятность промаха (≈ 4e-12) — в докстринге.
Проверка:
make lint. -
1.5 Синхронизировать дельты
attachments,object-storageиstudent-testsв основные спеки (openspec/specs/): сверка покрытия читает только их, и маркер нового сценария без этого — ссылка на неизвестный сценарий. Проверка:make student_test BASE_URL=http://localhost:8090— сверка покрытия (test_coverage.py) зелёная, новый сценарий учтён как проверка отказов. -
1.6 Красный прогон до правки:
make failure_checks FAULT_ARGS='-k idle_s3'три раза подряд на дереве с тестом и без правки 2.1. Каждый — 1 failed: 503unavailableна загрузке после простоя, номер раунда — в выводе. В журнале API стенда —put_objectReadTimeoutErrorза ~1 мс. Выводы — вevidence/tests/failure-checks.md.
2. Правка клиента S3
-
2.1
src/infra/s3/client.py,_create_client:read_timeout=None(design, решение 1). Рядом — комментарий:- срок чтения aiohttp переживает ответ и портит соединение в пуле (aiohttp 3.13–3.14.5);
- срок вызова и блока —
asyncio.timeoutв_callи_read_chunk; - ссылка на design этого change.
В докстринг модуля — что срок только у приложения. Проверка:
make lint; зелёные тест 1.4 (2.2) и вариант образаdriver.py s3-idle(3.1). -
2.2 Зелёный прогон: тот же
make failure_checks FAULT_ARGS='-k idle_s3'три раза — 1 passed каждый. Затем полныйmake failure_checks— все проверки (49), признаков аварии PostgreSQL нет. Выводы — вevidence/tests/failure-checks.md.
3. Драйвер и evidence механизма
-
3.1
driver.py s3-idleскиллаrun-mtusi-messenger(stdlib, Python 3.9; design, решение 4):- проба через
docker exec -i <реплика api> python -в работающей реплике стенда, uvloop, если есть; - варианты «образ» и «эталон» (
read_timeout=[s3] timeout_seconds); - раунды 10 одновременных скачиваний 4 MiB с паузой 0,5 мс на блок,
простой
[s3] timeout_seconds + 0,5с, 12 PUT; каждый записанный объект читается обратно — размер и SHA-256; - таблица по вариантам: взведено, испорчено, PUT прошло и упало, класс и цепочка ошибки, мс. Нет закрытых полей aiohttp — «n/a»;
- объекты под
<база>/.s3-idle-probe/удаляются вfinally; - код 0 — вариант образа без порчи, 1 — иначе, 2 — нет стенда.
Раздел в
SKILL.md, строка в таблице команд AGENTS.md. Проверка:driver.py --port 8090 s3-idleна рабочем стенде до замены реплик (реплики на прежнем коде): оба варианта портят соединения, код 1;- после замены — повтор в 4.2;
- после команды объектов под
.s3-idle-probe/нет:weed shell fs.lsв контейнере S3.
- проба через
-
3.2
evidence/s3/idle-connection.md(design, решение 4):- механизм с местами в коде aiohttp 3.14.5, aiobotocore 3.9.2, botocore 1.43.106;
- вывод
driver.py s3-idleдо и после замены реплик; - сводка захвата пакетов, таблица HTTP-раундов и сравнение с
f894040из design, Context; - проверенные гипотезы.
Без ключей, подписей и значений заголовков. Проверка:
grepпо файлу наAuthorization,Signature,AWS4-и ключи.envпуст.
4. Регресс
-
4.1
make lint,make check,make validate PYTHON=.venv/bin/python— без ошибок. -
4.2 Новый образ на рабочем стенде:
make rolling_update, затемdocker compose up -d --no-deps cleaner. Затем:driver.py --port 8090 s3-idle: у варианта образа 0 испорченных соединений и 0 упавших PUT, эталон по-прежнему портит, код 0;make student_test BASE_URL=http://localhost:8090восемь раз подряд — каждый без падений. В журналах реплик за эти прогоны нет «Object storage is unavailable».
Итог — в
evidence/tests/student-test-lb.mdиevidence/s3/idle-connection.md. Раздел «Повторные прогоны» дополняется причиной и восемью прогонами после замены. Снимки для отчёта — повторно с закоммиченного кода (шапка tasks). -
4.3
make test_isolated— зелёный, тесты реплик пропущены с причиной;make test BASE_URL=http://localhost:8090— smoke зелёный. -
4.4 Одна копия тела: точечная проба PUT 10 MiB в образе API с правкой. Это сценарий
put_memory_check.pyизupload-memory: тело вBytesIO,getvalue(),del,seek(0), PUT, пикVmHWMсо сбросом. Ожидание — ≤ 1,2 тела на трёх загрузках подряд, SHA-256 объектов совпадает. Затемmake bench_uploads_quick— разбор сводки без ошибок, вердикты «с лимитом» прежние (меткаquick-*, в git не идёт). Числа — вevidence/s3/idle-connection.md. -
4.5
make test-persistence ACTION_SCRIPT=scripts/restart.sh— зелёный: после рестарта S3 клиент без срока чтения aiohttp открывает новые соединения, оригинал скачивается.
5. Документы
-
5.1
.claude/rules/infra.md, раздел S3 (design, решение 1):- срок — только
asyncio.timeoutвызова и блока; read_timeoutaiohttp выключен, почему, и запрет включать без новой пробы;- новое чтение из S3 — только через
_callи_read_chunk; - правило «повторов нет» прежнее.
Проверка:
grep -n read_timeout .claude/rules/infra.md— только новая формулировка. - срок — только
-
5.2
.claude/rules/student-tests.md: четвёртый API стенда отказов,test_upload_after_idle_s3, красный и зелёный прогоны, время прогона. AGENTS.md: карта кода (run_failures.py— четыре API,client.py— срок только приложения), таблица команд (s3-idle), описаниеmake failure_checks. -
5.3
REPORT.md:- клиент S3 — сроки и почему без срока чтения aiohttp;
- строка в «Эксперименты и отказы»: скачивания больших оригиналов, затем простой S3 дольше срока — до правки 503 за 1 мс, после — 201;
- строка
make student_testв таблице доказательств — без оговорки о 503, число проверокmake failure_checks; - в «Ограничениях» — дефект aiohttp 3.13–3.14.5 и как проект от него закрыт.
-
5.4
KNOWN_ISSUES.md: запись «Изредка 503 на загрузке: PUT в S3 обрывается без тела» удаляется.PLAN.md:- строка change в сводной таблице;
- раздел
### fix-upload-put-flakeдополняется решениями apply; - ответ на вопрос 1, если он пришёл.
Проверка:
grep -n "Изредка 503" KNOWN_ISSUES.mdпуст. -
5.5
openspec validate fix-upload-put-flake --strict— без ошибок. Пересъёмка полной меткиmake bench_uploadsв этот change не входит: только по ответу пользователя на вопрос 1PLAN.md.