Files
mtusi2026lab4/openspec/changes/fix-upload-put-flake/tasks.md
T
ricoromaandClaude Opus 5.5 b5983f0e35 fix: drop aiohttp read timeout of the S3 client
aiohttp 3.13-3.14.5 re-arms sock_read in resume_reading() after a
streamed response has already returned the connection to the pool; the
timer fires while the connection idles and the next call on it fails in
1 ms with ReadTimeoutError (503 on a healthy S3). The call and per-chunk
asyncio.timeout stay the only S3 timeout. Adds driver.py s3-idle and
documents the timeouts in the rules.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
2026-10-23 01:13:36 +03:00

12 KiB
Raw Blame History

Tasks

Порядок: сначала тест и красный прогон на прежнем коде (группа 1), потом правка (группа 2). Evidence для отчёта — с закоммиченного кода, commit делает основная сессия (bench.md, «Измеренное состояние — commit»). Рабочий стенд — mtusi-lab4, LB на 127.0.0.1:8090 (8080 занят чужим проектом). Временные проекты compose, их volumes, сети и образы — убрать за собой и сверить число volumes с исходным.

1. Тест до кода

  • 1.1 student-tests/api_client.py: метод Api для скачивания оригинала потоком с паузой между блоками. Он отдаёт статус, заголовки и байты, идентификация — через actor (student-tests.md, «Как устроен набор»). Проверка: make lint, метод использует тест 1.4.

  • 1.2 student-tests/run_failures.py: четвёртый API <проект>-api-s3:

    • S3_ENV = {"S3__TIMEOUT_SECONDS": "1"}, тестам — FAULT_S3_BASE_URL и FAULT_S3_ENV;
    • контейнер — в списке для журналов при падении и для уборки, адрес — в строке ready:;
    • докстринг — «четыре контейнера API».

    Проверка: make failure_checks FAULT_ARGS='-k idle_s3' печатает адрес четвёртого API, после команды docker ps -a и docker volume ls с меткой проекта отказов пусты.

  • 1.3 student-tests/conftest.py: FAULT_S3_BASE_URL обязателен для тестов fault (без него — выход с кодом 2, как у трёх адресов), фикстура s3_api со сроком клиента 30 с. Проверка: pytest -m fault без стенда останавливается до первого теста с кодом 2.

  • 1.4 student-tests/test_failures.py: test_upload_after_idle_s3, маркер spec("attachments", "Загрузка после простоя S3"), по design, решение 3:

    • assert_s3_stand сверяет FAULT_S3_ENV с ожидаемым;
    • одна загрузка PNG из шума ~4 MiB;
    • до 8 раундов: 10 одновременных скачиваний за барьером, у каждого своё соединение, 2 мс на блок 64 KiB, байты равны загруженным; простой S3__TIMEOUT_SECONDS + 0,5 с; 12 загрузок sample.png по одной — каждая 201;
    • сообщение падения — номер раунда, номер загрузки и ответ;
    • вероятность промаха (≈ 4e-12) — в докстринге.

    Проверка: make lint.

  • 1.5 Синхронизировать дельты attachments, object-storage и student-tests в основные спеки (openspec/specs/): сверка покрытия читает только их, и маркер нового сценария без этого — ссылка на неизвестный сценарий. Проверка: make student_test BASE_URL=http://localhost:8090 — сверка покрытия (test_coverage.py) зелёная, новый сценарий учтён как проверка отказов.

  • 1.6 Красный прогон до правки: make failure_checks FAULT_ARGS='-k idle_s3' три раза подряд на дереве с тестом и без правки 2.1. Каждый — 1 failed: 503 unavailable на загрузке после простоя, номер раунда — в выводе. В журнале API стенда — put_object ReadTimeoutError за ~1 мс. Выводы — в evidence/tests/failure-checks.md.

2. Правка клиента S3

  • 2.1 src/infra/s3/client.py, _create_client: read_timeout=None (design, решение 1). Рядом — комментарий:

    • срок чтения aiohttp переживает ответ и портит соединение в пуле (aiohttp 3.13–3.14.5);
    • срок вызова и блока — asyncio.timeout в _call и _read_chunk;
    • ссылка на design этого change.

    В докстринг модуля — что срок только у приложения. Проверка: make lint; зелёные тест 1.4 (2.2) и вариант образа driver.py s3-idle (3.1).

  • 2.2 Зелёный прогон: тот же make failure_checks FAULT_ARGS='-k idle_s3' три раза — 1 passed каждый. Затем полный make failure_checks — все проверки (49), признаков аварии PostgreSQL нет. Выводы — в evidence/tests/failure-checks.md.

3. Драйвер и evidence механизма

  • 3.1 driver.py s3-idle скилла run-mtusi-messenger (stdlib, Python 3.9; design, решение 4):

    • проба через docker exec -i <реплика api> python - в работающей реплике стенда, uvloop, если есть;
    • варианты «образ» и «эталон» (read_timeout=[s3] timeout_seconds);
    • раунды 10 одновременных скачиваний 4 MiB с паузой 0,5 мс на блок, простой [s3] timeout_seconds + 0,5 с, 12 PUT; каждый записанный объект читается обратно — размер и SHA-256;
    • таблица по вариантам: взведено, испорчено, PUT прошло и упало, класс и цепочка ошибки, мс. Нет закрытых полей aiohttp — «n/a»;
    • объекты под <база>/.s3-idle-probe/ удаляются в finally;
    • код 0 — вариант образа без порчи, 1 — иначе, 2 — нет стенда.

    Раздел в SKILL.md, строка в таблице команд AGENTS.md. Проверка:

    • driver.py --port 8090 s3-idle на рабочем стенде до замены реплик (реплики на прежнем коде): оба варианта портят соединения, код 1;
    • после замены — повтор в 4.2;
    • после команды объектов под .s3-idle-probe/ нет: weed shell fs.ls в контейнере S3.
  • 3.2 evidence/s3/idle-connection.md (design, решение 4):

    • механизм с местами в коде aiohttp 3.14.5, aiobotocore 3.9.2, botocore 1.43.106;
    • вывод driver.py s3-idle до и после замены реплик;
    • сводка захвата пакетов, таблица HTTP-раундов и сравнение с f894040 из design, Context;
    • проверенные гипотезы.

    Без ключей, подписей и значений заголовков. Проверка: grep по файлу на Authorization, Signature, AWS4- и ключи .env пуст.

4. Регресс

  • 4.1 make lint, make check, make validate PYTHON=.venv/bin/python — без ошибок.

  • 4.2 Новый образ на рабочем стенде: make rolling_update, затем docker compose up -d --no-deps cleaner. Затем:

    • driver.py --port 8090 s3-idle: у варианта образа 0 испорченных соединений и 0 упавших PUT, эталон по-прежнему портит, код 0;
    • make student_test BASE_URL=http://localhost:8090 восемь раз подряд — каждый без падений. В журналах реплик за эти прогоны нет «Object storage is unavailable».

    Итог — в evidence/tests/student-test-lb.md и evidence/s3/idle-connection.md. Раздел «Повторные прогоны» дополняется причиной и восемью прогонами после замены. Снимки для отчёта — повторно с закоммиченного кода (шапка tasks).

  • 4.3 make test_isolated — зелёный, тесты реплик пропущены с причиной; make test BASE_URL=http://localhost:8090 — smoke зелёный.

  • 4.4 Одна копия тела: точечная проба PUT 10 MiB в образе API с правкой. Это сценарий put_memory_check.py из upload-memory: тело в BytesIO, getvalue(), del, seek(0), PUT, пик VmHWM со сбросом. Ожидание — ≤ 1,2 тела на трёх загрузках подряд, SHA-256 объектов совпадает. Затем make bench_uploads_quick — разбор сводки без ошибок, вердикты «с лимитом» прежние (метка quick-*, в git не идёт). Числа — в evidence/s3/idle-connection.md.

  • 4.5 make test-persistence ACTION_SCRIPT=scripts/restart.sh — зелёный: после рестарта S3 клиент без срока чтения aiohttp открывает новые соединения, оригинал скачивается.

5. Документы

  • 5.1 .claude/rules/infra.md, раздел S3 (design, решение 1):

    • срок — только asyncio.timeout вызова и блока;
    • read_timeout aiohttp выключен, почему, и запрет включать без новой пробы;
    • новое чтение из S3 — только через _call и _read_chunk;
    • правило «повторов нет» прежнее.

    Проверка: grep -n read_timeout .claude/rules/infra.md — только новая формулировка.

  • 5.2 .claude/rules/student-tests.md: четвёртый API стенда отказов, test_upload_after_idle_s3, красный и зелёный прогоны, время прогона. AGENTS.md: карта кода (run_failures.py — четыре API, client.py — срок только приложения), таблица команд (s3-idle), описание make failure_checks.

  • 5.3 REPORT.md:

    • клиент S3 — сроки и почему без срока чтения aiohttp;
    • строка в «Эксперименты и отказы»: скачивания больших оригиналов, затем простой S3 дольше срока — до правки 503 за 1 мс, после — 201;
    • строка make student_test в таблице доказательств — без оговорки о 503, число проверок make failure_checks;
    • в «Ограничениях» — дефект aiohttp 3.13–3.14.5 и как проект от него закрыт.
  • 5.4 KNOWN_ISSUES.md: запись «Изредка 503 на загрузке: PUT в S3 обрывается без тела» удаляется. PLAN.md:

    • строка change в сводной таблице;
    • раздел ### fix-upload-put-flake дополняется решениями apply;
    • ответ на вопрос 1, если он пришёл.

    Проверка: grep -n "Изредка 503" KNOWN_ISSUES.md пуст.

  • 5.5 openspec validate fix-upload-put-flake --strict — без ошибок. Пересъёмка полной метки make bench_uploads в этот change не входит: только по ответу пользователя на вопрос 1 PLAN.md.