Files
mtusi2026lab4/openspec/changes/fix-upload-put-flake/tasks.md
T
ricoromaandClaude Opus 5.5 1657dbcd5f docs: reshoot test_isolated and full failure_checks on 723b6c3
make test_isolated: 193 passed, 5 replica tests skipped; full
make failure_checks: 49/49 in 552 s with the unfiltered output, paths
anonymized; REPORT.md points to the reshoots.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
2026-10-23 02:31:10 +03:00

190 lines
14 KiB
Markdown
Raw Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
# Tasks
Порядок: сначала тест и красный прогон на прежнем коде (группа 1), потом
правка (группа 2). Evidence для отчёта — с закоммиченного кода, commit
делает основная сессия (`bench.md`, «Измеренное состояние — commit»).
Рабочий стенд — `mtusi-lab4`, LB на `127.0.0.1:8090` (8080 занят чужим
проектом). Временные проекты compose, их volumes, сети и образы — убрать за
собой и сверить число volumes с исходным.
## 1. Тест до кода
- [x] 1.1 `student-tests/api_client.py`: метод `Api` для скачивания
оригинала потоком с паузой между блоками. Он отдаёт статус, заголовки и
байты, идентификация — через `actor` (`student-tests.md`, «Как устроен
набор»). Проверка: `make lint`, метод использует тест 1.4.
- [x] 1.2 `student-tests/run_failures.py`: четвёртый API
`<проект>-api-s3`:
- `S3_ENV = {"S3__TIMEOUT_SECONDS": "1"}`, тестам — `FAULT_S3_BASE_URL`
и `FAULT_S3_ENV`;
- контейнер — в списке для журналов при падении и для уборки, адрес — в
строке `ready:`;
- докстринг — «четыре контейнера API».
Проверка: `make failure_checks FAULT_ARGS='-k idle_s3'` печатает адрес
четвёртого API, после команды `docker ps -a` и `docker volume ls` с
меткой проекта отказов пусты.
- [x] 1.3 `student-tests/conftest.py`: `FAULT_S3_BASE_URL` обязателен для
тестов `fault` (без него — выход с кодом 2, как у трёх адресов), фикстура
`s3_api` со сроком клиента 30 с. Проверка: `pytest -m fault` без стенда
останавливается до первого теста с кодом 2.
- [x] 1.4 `student-tests/test_failures.py`: `test_upload_after_idle_s3`,
маркер `spec("attachments", "Загрузка после простоя S3")`, по design,
решение 3:
- `assert_s3_stand` сверяет `FAULT_S3_ENV` с ожидаемым;
- одна загрузка PNG из шума ~4 MiB;
- до 8 раундов: 10 одновременных скачиваний за барьером, у каждого
своё соединение, 2 мс на блок 64 KiB, байты равны загруженным;
простой `S3__TIMEOUT_SECONDS + 0,5` с; 12 загрузок `sample.png` по
одной — каждая 201;
- сообщение падения — номер раунда, номер загрузки и ответ;
- вероятность промаха (≈ 4e-12) — в докстринге.
Проверка: `make lint`.
- [x] 1.5 Синхронизировать дельты `attachments`, `object-storage` и
`student-tests` в основные спеки (`openspec/specs/`): сверка покрытия
читает только их, и маркер нового сценария без этого — ссылка на
неизвестный сценарий. Проверка: `make student_test
BASE_URL=http://localhost:8090` — сверка покрытия (`test_coverage.py`)
зелёная, новый сценарий учтён как проверка отказов.
- [x] 1.6 Красный прогон до правки: `make failure_checks FAULT_ARGS='-k
idle_s3'` три раза подряд на дереве с тестом и без правки 2.1. Каждый —
1 failed: 503 `unavailable` на загрузке после простоя, номер раунда — в
выводе. В журнале API стенда — `put_object` `ReadTimeoutError` за ~1 мс.
Выводы — в `evidence/tests/failure-checks.md`.
## 2. Правка клиента S3
- [x] 2.1 `src/infra/s3/client.py`, `_create_client`: `read_timeout=None`
(design, решение 1). Рядом — комментарий:
- срок чтения aiohttp переживает ответ и портит соединение в пуле
(проверено в aiohttp 3.14.5);
- срок вызова и блока — `asyncio.timeout` в `_call` и `_read_chunk`;
- ссылка на design этого change.
В докстринг модуля — что срок только у приложения. Проверка: `make
lint`; зелёные тест 1.4 (2.2) и вариант образа `driver.py s3-idle`
(3.1).
- [x] 2.2 Зелёный прогон: тот же `make failure_checks FAULT_ARGS='-k
idle_s3'` три раза — 1 passed каждый. Затем полный `make failure_checks`
— все проверки (49), признаков аварии PostgreSQL нет. Выводы — в
`evidence/tests/failure-checks.md`.
## 3. Драйвер и evidence механизма
- [x] 3.1 `driver.py s3-idle` скилла `run-mtusi-messenger` (stdlib,
Python 3.9; design, решение 4):
- проба через `docker exec -i <реплика api> python -` в работающей
реплике стенда, uvloop, если есть;
- варианты «образ» и «эталон» (`read_timeout=[s3] timeout_seconds`);
- раунды 10 одновременных скачиваний 4 MiB с паузой 0,5 мс на блок,
простой `[s3] timeout_seconds + 0,5` с, 12 PUT; каждый записанный
объект читается обратно — размер и SHA-256;
- таблица по вариантам: взведено, испорчено, PUT прошло и упало,
класс и цепочка ошибки, мс. Нет закрытых полей aiohttp — «n/a»;
- объекты под `<база>/.s3-idle-probe/` удаляются в `finally`;
- код 0 — вариант образа без порчи, 1 — иначе, 2 — нет стенда.
Раздел в `SKILL.md`, строка в таблице команд AGENTS.md. Проверка:
- `driver.py --port 8090 s3-idle` на рабочем стенде до замены реплик
(реплики на прежнем коде): оба варианта портят соединения, код 1;
- после замены — повтор в 4.2;
- после команды объектов под `.s3-idle-probe/` нет: `weed shell fs.ls`
в контейнере S3.
- [x] 3.2 `evidence/s3/idle-connection.md` (design, решение 4):
- механизм с местами в коде aiohttp 3.14.5, aiobotocore 3.9.2, botocore
1.43.106;
- вывод `driver.py s3-idle` до и после замены реплик;
- сводка захвата пакетов, таблица HTTP-раундов и сравнение с `f894040`
из design, Context;
- проверенные гипотезы.
Без ключей, подписей и значений заголовков. Проверка: `grep` по файлу
на `Authorization`, `Signature`, `AWS4-` и ключи `.env` пуст.
## 4. Регресс
- [x] 4.1 `make lint`, `make check`, `make validate
PYTHON=.venv/bin/python` — без ошибок.
- [x] 4.2 Новый образ на рабочем стенде: `make rolling_update`, затем
`docker compose up -d --no-deps cleaner`. Затем:
- `driver.py --port 8090 s3-idle`: у варианта образа 0 испорченных
соединений и 0 упавших PUT, эталон по-прежнему портит, код 0;
- `make student_test BASE_URL=http://localhost:8090` восемь раз подряд —
каждый без падений. В журналах реплик за эти прогоны нет «Object
storage is unavailable».
Итог — в `evidence/tests/student-test-lb.md` и
`evidence/s3/idle-connection.md`. Раздел «Повторные прогоны» дополняется
причиной и восемью прогонами после замены. Снимки для отчёта —
повторно с закоммиченного кода (шапка tasks).
- [x] 4.3 `make test_isolated` — зелёный, тесты реплик пропущены с
причиной; `make test BASE_URL=http://localhost:8090` — smoke зелёный.
- [x] 4.4 Одна копия тела: точечная проба PUT 10 MiB в образе API с
правкой. Это сценарий `put_memory_check.py` из `upload-memory`: тело в
`BytesIO`, `getvalue()`, `del`, `seek(0)`, PUT, пик `VmHWM` со сбросом.
Ожидание — ≤ 1,2 тела на трёх загрузках подряд, SHA-256 объектов
совпадает. Затем `make bench_uploads_quick` — разбор сводки без
ошибок, вердикты «с лимитом» прежние (метка `quick-*`, в git не идёт).
Числа — в `evidence/s3/idle-connection.md`.
- [x] 4.5 `make test-persistence ACTION_SCRIPT=scripts/restart.sh` —
зелёный: после рестарта S3 клиент без срока чтения aiohttp открывает
новые соединения, оригинал скачивается.
## 5. Документы
- [x] 5.1 `.claude/rules/infra.md`, раздел S3 (design, решение 1):
- срок — только `asyncio.timeout` вызова и блока;
- `read_timeout` aiohttp выключен, почему, и запрет включать без новой
пробы;
- новое чтение из S3 — только через `_call` и `_read_chunk`;
- правило «повторов нет» прежнее.
Проверка: `grep -n read_timeout .claude/rules/infra.md` — только новая
формулировка.
- [x] 5.2 `.claude/rules/student-tests.md`: четвёртый API стенда отказов,
`test_upload_after_idle_s3`, красный и зелёный прогоны, время прогона.
AGENTS.md: карта кода (`run_failures.py` — четыре API, `client.py` —
срок только приложения), таблица команд (`s3-idle`), описание `make
failure_checks`.
- [x] 5.3 `REPORT.md`:
- клиент S3 — сроки и почему без срока чтения aiohttp;
- строка в «Эксперименты и отказы»: скачивания больших оригиналов,
затем простой S3 дольше срока — до правки 503 за 1 мс, после — 201;
- строка `make student_test` в таблице доказательств — без оговорки о
503, число проверок `make failure_checks`;
- в «Ограничениях» — дефект aiohttp (проверен в 3.14.5) и как проект от него
закрыт.
- [x] 5.4 `KNOWN_ISSUES.md`: запись «Изредка 503 на загрузке: PUT в S3
обрывается без тела» удаляется. `PLAN.md`:
- строка change в сводной таблице;
- раздел `### fix-upload-put-flake` дополняется решениями apply;
- ответ на вопрос 1, если он пришёл.
Проверка: `grep -n "Изредка 503" KNOWN_ISSUES.md` пуст.
- [x] 5.5 `openspec validate fix-upload-put-flake --strict` — без ошибок.
Пересъёмка полной метки `make bench_uploads` в этот change не входит:
только по ответу пользователя на вопрос 1 `PLAN.md`.
## 6. Замечания проверки
- [x] 6.1 W1. Размер буфера ответа aiohttp 3.14.5: `read_bufsize` 256 KiB
(`DEFAULT_CHUNK_SIZE`), пауза чтения выше 512 KiB, продолжение ниже
256 KiB (вместо 64 / 128 KiB версий 3.12–3.13) — в design (Механизм,
п. 2), `evidence/s3/idle-connection.md`, `.claude/rules/infra.md`,
`REPORT.md`, `PLAN.md`, комментарии кода и драйвера; ссылки на строки
`.venv`, сверка с замером design (200 KiB — 0 из 90).
- [x] 6.2 W2. `make test_isolated` на закоммиченном коде — раздел
«пересъёмка» в `evidence/tests/test-isolated-s3-cleanup.md`, ссылка в
`REPORT.md` (строка ««4»: тесты большого файла…»).
- [x] 6.3 S1. Версии aiohttp — «в каких проверено» вместо диапазона
3.13–3.14.5: `client.py`, `infra.md`, `REPORT.md`, proposal, design,
evidence §1; довод «обновить aiohttp нельзя» — в верной форме.
- [x] 6.4 S2. Номера строк в evidence §1 (`client_proto.py`,
`botocore/handlers.py` и остальные) сверены с `.venv`.
- [x] 6.5 S3. Спек `object-storage`, «Клиент хранилища в приложении»:
срок вызова — единственный, кроме срока установки соединения; дельта и
основной спек совпадают построчно.
- [x] 6.6 S4. Полный `make failure_checks` на закоммиченном коде с полным
выводом (обезличенным) в `evidence/tests/failure-checks.md`.