make failure_checks brings up a throwaway compose project with its own PostgreSQL and Valkey, a default and a tight API (2 s sessions, pool of one), and runs the pytest tests marked fault through an explicit hook: session expiry, database stop and return, pool exhaustion, chat creation rollback, readiness, Valkey stop, hang, return and flush. The stand and its volume are removed on any outcome; the working stand is untouched. Regular runs deselect the fault tests, and 13 coverage exclusions go away. Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
6.7 KiB
Tasks
Как строить — design.md (дальше «решение N»), что должно получиться —
дельта specs/student-tests/spec.md. Перед первым файлом слоя прочитать
его правило: student-tests.md, run-modes.md, docker.md. Evidence
снимается с закоммиченного кода, коммит — только после подтверждения
пользователя (bench.md, «Измеренное состояние — commit»).
1. Стенд отказов и hook
- 1.1
student-tests/failures.compose.yml— override без публикации портовpostgres,valkey,api(решение 1). Проверка:docker compose -p mtusi-lab2-failures -f docker-compose.yml -f student-tests/failures.compose.yml config— у сервисов нетports, volumemtusi-lab2-failures_postgres_data. - 1.2
student-tests/fault_hook.py— действия из таблицы решения 3, отказ безFAULT_PROJECTи при совпадении с рабочим проектом, исполняемый бит. Проверка: безFAULT_PROJECTи сFAULT_PROJECT=mtusi-lab2— код 2 и ни одной команды docker; на поднятом вручную проекте отказов каждое действие отрабатывает (stop/start,pause/unpause,cache-hits,fail-members→ вставка участников падает,clear-fail-members→ проходит). - 1.3
student-tests/run_failures.pyи цельfailure_checksвMakefile(решения 2, 5): уборка хвоста, сборка, стенд, миграции, два API на свободных портах,pytest -m fault, журналы при провале, уборка вfinally, защита от имени рабочего проекта. Проверка:make -n failure_checks; прогон с пустым набором (-k nothing) — стенд поднимается и удаляется,docker volume lsбезmtusi-lab2-failures_*; Ctrl+C во время прогона — уборка доходит до конца.
2. Проверки отказов
- 2.1 Маркер
faultвpyproject.toml,-m "not fault"вaddopts; фикстурыstandиtight_api, остановка прогона безFAULT_HOOK(решение 4). Проверка:uv run pytest -m faultбез оркестратора — код 2 и текст проmake failure_checks;make student_test— тестыfaultвdeselected. - 2.2
student-tests/test_failures.py: сценарииsessions(«Истёкший токен», «Срок не продлевается», «БД остановлена при запросе с токеном») иdata-storage(«Сбой при добавлении участников», «БД остановлена», «БД вернулась», «Соединения исчерпаны»), маркерыspecиfault, восстановление хранилища вfinally. Проверка:make failure_checks— проверки проходят. Временная порча приложения (например, 500 вместо 503 вget_db_session) роняет «БД остановлена» и не попадает в коммит. - 2.3 Сценарии
health(«Хранилище не готово», «Кэш недоступен») иchat-cache(«Valkey остановлен», «Valkey завис», «Valkey вернулся», «Очистка кэша») с границами времени из решения 4. Проверка:make failure_checks— проходят. Временный клиент с повторами redis-py по умолчанию роняет «Valkey завис» и в коммит не попадает. - 2.4 Сверка покрытия (решение 6): 13 записей
EXCLUDEDудалены,Collectedразличает тестыfault, итог печатает их число. Проверка:make student_test—test_coverage.pyпроходит, строкаcoverage:называет число сценариев черезmake failure_checks;openspec validate --specs.
3. Документы и проверка кода
- 3.1
/opsx:syncдельтыstudent-tests. Правила:student-tests.md(выбранный механизм, hook, маркерfault),run-modes.md(цельfailure_checks);AGENTS.md— команды, карта кода, «Переходное состояние» без пункта проfailure-checks; скилл —make failure_checksв разделе Test. Проверка:grep -rn "failure-checks" AGENTS.md .claude— нет обещаний на будущее, только описание сделанного. - 3.2 Финальная проверка:
make lint,make check,openspec validate failure-checks --strict,make test_isolated— код 0 (тестыfaultв нём не выполняются),make failure_checks— код 0, рабочий стенд не перезапускался (StartedAt). Затем показать изменения, предложить сообщение и после подтверждения закоммитить.
4. Evidence и отчёт
-
4.1
evidence/tests/failure-checks.mdс закоммиченного кода (решение 7). Проверка: в файле дата, commit, стенд, длительности проверок,StartedAtрабочих контейнеров до и после; паролей и токенов нет. -
4.2
REPORT.md:make failure_checksв «Проверках» и «Сценарии защиты»;- строки уровня «4» про автоматические проверки истечения сессии и недоступности БД и Valkey, про атомарность создания чата (вместо TODO) — со ссылкой на evidence;
- «Остальные пункты уровня 4» — только EXPLAIN.
Проверка: у каждой строки таблицы доказательств есть команда, наблюдение и файл.
-
4.3
make lint,make check,openspec validate failure-checks --strict,graphify update .; показать изменения и после подтверждения закоммитить evidence и отчёт.