168 lines
12 KiB
Markdown
168 lines
12 KiB
Markdown
# Tasks
|
||
|
||
Порядок: сначала тест и красный прогон на прежнем коде (группа 1), потом
|
||
правка (группа 2). Evidence для отчёта — с закоммиченного кода, commit
|
||
делает основная сессия (`bench.md`, «Измеренное состояние — commit»).
|
||
Рабочий стенд — `mtusi-lab4`, LB на `127.0.0.1:8090` (8080 занят чужим
|
||
проектом). Временные проекты compose, их volumes, сети и образы — убрать за
|
||
собой и сверить число volumes с исходным.
|
||
|
||
## 1. Тест до кода
|
||
|
||
- [ ] 1.1 `student-tests/api_client.py`: метод `Api` для скачивания
|
||
оригинала потоком с паузой между блоками. Он отдаёт статус, заголовки и
|
||
байты, идентификация — через `actor` (`student-tests.md`, «Как устроен
|
||
набор»). Проверка: `make lint`, метод использует тест 1.4.
|
||
- [ ] 1.2 `student-tests/run_failures.py`: четвёртый API
|
||
`<проект>-api-s3`:
|
||
- `S3_ENV = {"S3__TIMEOUT_SECONDS": "1"}`, тестам — `FAULT_S3_BASE_URL`
|
||
и `FAULT_S3_ENV`;
|
||
- контейнер — в списке для журналов при падении и для уборки, адрес — в
|
||
строке `ready:`;
|
||
- докстринг — «четыре контейнера API».
|
||
|
||
Проверка: `make failure_checks FAULT_ARGS='-k idle_s3'` печатает адрес
|
||
четвёртого API, после команды `docker ps -a` и `docker volume ls` с
|
||
меткой проекта отказов пусты.
|
||
- [ ] 1.3 `student-tests/conftest.py`: `FAULT_S3_BASE_URL` обязателен для
|
||
тестов `fault` (без него — выход с кодом 2, как у трёх адресов), фикстура
|
||
`s3_api` со сроком клиента 30 с. Проверка: `pytest -m fault` без стенда
|
||
останавливается до первого теста с кодом 2.
|
||
- [ ] 1.4 `student-tests/test_failures.py`: `test_upload_after_idle_s3`,
|
||
маркер `spec("attachments", "Загрузка после простоя S3")`, по design,
|
||
решение 3:
|
||
- `assert_s3_stand` сверяет `FAULT_S3_ENV` с ожидаемым;
|
||
- одна загрузка PNG из шума ~4 MiB;
|
||
- до 8 раундов: 10 одновременных скачиваний за барьером, у каждого
|
||
своё соединение, 2 мс на блок 64 KiB, байты равны загруженным;
|
||
простой `S3__TIMEOUT_SECONDS + 0,5` с; 12 загрузок `sample.png` по
|
||
одной — каждая 201;
|
||
- сообщение падения — номер раунда, номер загрузки и ответ;
|
||
- вероятность промаха (≈ 4e-12) — в докстринге.
|
||
|
||
Проверка: `make lint`.
|
||
- [ ] 1.5 Синхронизировать дельты `attachments`, `object-storage` и
|
||
`student-tests` в основные спеки (`openspec/specs/`): сверка покрытия
|
||
читает только их, и маркер нового сценария без этого — ссылка на
|
||
неизвестный сценарий. Проверка: `make student_test
|
||
BASE_URL=http://localhost:8090` — сверка покрытия (`test_coverage.py`)
|
||
зелёная, новый сценарий учтён как проверка отказов.
|
||
- [ ] 1.6 Красный прогон до правки: `make failure_checks FAULT_ARGS='-k
|
||
idle_s3'` три раза подряд на дереве с тестом и без правки 2.1. Каждый —
|
||
1 failed: 503 `unavailable` на загрузке после простоя, номер раунда — в
|
||
выводе. В журнале API стенда — `put_object` `ReadTimeoutError` за ~1 мс.
|
||
Выводы — в `evidence/tests/failure-checks.md`.
|
||
|
||
## 2. Правка клиента S3
|
||
|
||
- [ ] 2.1 `src/infra/s3/client.py`, `_create_client`: `read_timeout=None`
|
||
(design, решение 1). Рядом — комментарий:
|
||
- срок чтения aiohttp переживает ответ и портит соединение в пуле
|
||
(aiohttp 3.13–3.14.5);
|
||
- срок вызова и блока — `asyncio.timeout` в `_call` и `_read_chunk`;
|
||
- ссылка на design этого change.
|
||
|
||
В докстринг модуля — что срок только у приложения. Проверка: `make
|
||
lint`; зелёные тест 1.4 (2.2) и вариант образа `driver.py s3-idle`
|
||
(3.1).
|
||
- [ ] 2.2 Зелёный прогон: тот же `make failure_checks FAULT_ARGS='-k
|
||
idle_s3'` три раза — 1 passed каждый. Затем полный `make failure_checks`
|
||
— все проверки (49), признаков аварии PostgreSQL нет. Выводы — в
|
||
`evidence/tests/failure-checks.md`.
|
||
|
||
## 3. Драйвер и evidence механизма
|
||
|
||
- [ ] 3.1 `driver.py s3-idle` скилла `run-mtusi-messenger` (stdlib,
|
||
Python 3.9; design, решение 4):
|
||
- проба через `docker exec -i <реплика api> python -` в работающей
|
||
реплике стенда, uvloop, если есть;
|
||
- варианты «образ» и «эталон» (`read_timeout=[s3] timeout_seconds`);
|
||
- раунды 10 одновременных скачиваний 4 MiB с паузой 0,5 мс на блок,
|
||
простой `[s3] timeout_seconds + 0,5` с, 12 PUT; каждый записанный
|
||
объект читается обратно — размер и SHA-256;
|
||
- таблица по вариантам: взведено, испорчено, PUT прошло и упало,
|
||
класс и цепочка ошибки, мс. Нет закрытых полей aiohttp — «n/a»;
|
||
- объекты под `<база>/.s3-idle-probe/` удаляются в `finally`;
|
||
- код 0 — вариант образа без порчи, 1 — иначе, 2 — нет стенда.
|
||
|
||
Раздел в `SKILL.md`, строка в таблице команд AGENTS.md. Проверка:
|
||
- `driver.py --port 8090 s3-idle` на рабочем стенде до замены реплик
|
||
(реплики на прежнем коде): оба варианта портят соединения, код 1;
|
||
- после замены — повтор в 4.2;
|
||
- после команды объектов под `.s3-idle-probe/` нет: `weed shell fs.ls`
|
||
в контейнере S3.
|
||
- [ ] 3.2 `evidence/s3/idle-connection.md` (design, решение 4):
|
||
- механизм с местами в коде aiohttp 3.14.5, aiobotocore 3.9.2, botocore
|
||
1.43.106;
|
||
- вывод `driver.py s3-idle` до и после замены реплик;
|
||
- сводка захвата пакетов, таблица HTTP-раундов и сравнение с `f894040`
|
||
из design, Context;
|
||
- проверенные гипотезы.
|
||
|
||
Без ключей, подписей и значений заголовков. Проверка: `grep` по файлу
|
||
на `Authorization`, `Signature`, `AWS4-` и ключи `.env` пуст.
|
||
|
||
## 4. Регресс
|
||
|
||
- [ ] 4.1 `make lint`, `make check`, `make validate
|
||
PYTHON=.venv/bin/python` — без ошибок.
|
||
- [ ] 4.2 Новый образ на рабочем стенде: `make rolling_update`, затем
|
||
`docker compose up -d --no-deps cleaner`. Затем:
|
||
- `driver.py --port 8090 s3-idle`: у варианта образа 0 испорченных
|
||
соединений и 0 упавших PUT, эталон по-прежнему портит, код 0;
|
||
- `make student_test BASE_URL=http://localhost:8090` восемь раз подряд —
|
||
каждый без падений. В журналах реплик за эти прогоны нет «Object
|
||
storage is unavailable».
|
||
|
||
Итог — в `evidence/tests/student-test-lb.md` и
|
||
`evidence/s3/idle-connection.md`. Раздел «Повторные прогоны» дополняется
|
||
причиной и восемью прогонами после замены. Снимки для отчёта —
|
||
повторно с закоммиченного кода (шапка tasks).
|
||
- [ ] 4.3 `make test_isolated` — зелёный, тесты реплик пропущены с
|
||
причиной; `make test BASE_URL=http://localhost:8090` — smoke зелёный.
|
||
- [ ] 4.4 Одна копия тела: точечная проба PUT 10 MiB в образе API с
|
||
правкой. Это сценарий `put_memory_check.py` из `upload-memory`: тело в
|
||
`BytesIO`, `getvalue()`, `del`, `seek(0)`, PUT, пик `VmHWM` со сбросом.
|
||
Ожидание — ≤ 1,2 тела на трёх загрузках подряд, SHA-256 объектов
|
||
совпадает. Затем `make bench_uploads_quick` — разбор сводки без
|
||
ошибок, вердикты «с лимитом» прежние (метка `quick-*`, в git не идёт).
|
||
Числа — в `evidence/s3/idle-connection.md`.
|
||
- [ ] 4.5 `make test-persistence ACTION_SCRIPT=scripts/restart.sh` —
|
||
зелёный: после рестарта S3 клиент без срока чтения aiohttp открывает
|
||
новые соединения, оригинал скачивается.
|
||
|
||
## 5. Документы
|
||
|
||
- [ ] 5.1 `.claude/rules/infra.md`, раздел S3 (design, решение 1):
|
||
- срок — только `asyncio.timeout` вызова и блока;
|
||
- `read_timeout` aiohttp выключен, почему, и запрет включать без новой
|
||
пробы;
|
||
- новое чтение из S3 — только через `_call` и `_read_chunk`;
|
||
- правило «повторов нет» прежнее.
|
||
|
||
Проверка: `grep -n read_timeout .claude/rules/infra.md` — только новая
|
||
формулировка.
|
||
- [ ] 5.2 `.claude/rules/student-tests.md`: четвёртый API стенда отказов,
|
||
`test_upload_after_idle_s3`, красный и зелёный прогоны, время прогона.
|
||
AGENTS.md: карта кода (`run_failures.py` — четыре API, `client.py` —
|
||
срок только приложения), таблица команд (`s3-idle`), описание `make
|
||
failure_checks`.
|
||
- [ ] 5.3 `REPORT.md`:
|
||
- клиент S3 — сроки и почему без срока чтения aiohttp;
|
||
- строка в «Эксперименты и отказы»: скачивания больших оригиналов,
|
||
затем простой S3 дольше срока — до правки 503 за 1 мс, после — 201;
|
||
- строка `make student_test` в таблице доказательств — без оговорки о
|
||
503, число проверок `make failure_checks`;
|
||
- в «Ограничениях» — дефект aiohttp 3.13–3.14.5 и как проект от него
|
||
закрыт.
|
||
- [ ] 5.4 `KNOWN_ISSUES.md`: запись «Изредка 503 на загрузке: PUT в S3
|
||
обрывается без тела» удаляется. `PLAN.md`:
|
||
- строка change в сводной таблице;
|
||
- раздел `### fix-upload-put-flake` дополняется решениями apply;
|
||
- ответ на вопрос 1, если он пришёл.
|
||
|
||
Проверка: `grep -n "Изредка 503" KNOWN_ISSUES.md` пуст.
|
||
- [ ] 5.5 `openspec validate fix-upload-put-flake --strict` — без ошибок.
|
||
Пересъёмка полной метки `make bench_uploads` в этот change не входит:
|
||
только по ответу пользователя на вопрос 1 `PLAN.md`.
|