make failure_checks brings up a throwaway compose project with its own PostgreSQL and Valkey, a default and a tight API (2 s sessions, pool of one), and runs the pytest tests marked fault through an explicit hook: session expiry, database stop and return, pool exhaustion, chat creation rollback, readiness, Valkey stop, hang, return and flush. The stand and its volume are removed on any outcome; the working stand is untouched. Regular runs deselect the fault tests, and 13 coverage exclusions go away. Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
6.3 KiB
Proposal
Why
Уровень «4» требует автоматическую проверку истечения сессии при коротком
SESSION_TTL_SECONDS и недоступности Redis/Valkey и БД: при потере
сервиса приложение отвечает ограниченной ошибкой или обходит кэш и не
принимает анонимный запрос (README.md). Сейчас эти сценарии проверены
только вручную. В spec_coverage.py это 13 исключений со ссылками на
evidence: истечение сессии, остановленная и зависшая БД, исчерпанный
пул, откат создания чата, отказы Valkey, readiness. Обычный прогон их
выполнить не может: ему нужны особый стенд и действия над хранилищами,
а набор student-tests по правилу сам стенд не трогает.
What Changes
-
Новая цель
make failure_checksподнимает отдельный стенд отказов:- свой проект compose
mtusi-lab2-failuresсо своими PostgreSQL и Valkey, без публикации их портов; - образ из рабочего дерева и миграции;
- два контейнера API: с настройками по умолчанию и «тесный» — срок сессии 2 с, пул из одного соединения, короткие таймауты.
Затем цель прогоняет проверки отказов и удаляет стенд вместе с его volume при любом исходе. Рабочий стенд, его база и кэш не затрагиваются.
- свой проект compose
-
Проверки отказов — тесты
student-testsс маркеромfault. На стенд они действуют только через явный hook, который им передаётmake failure_checks, какmake test-persistenceпередаётACTION_SCRIPT. Hook умеет:- останавливать, запускать, замораживать и размораживать Postgres и Valkey;
- очищать кэш;
- включать сбой записи участников (триггер в базе стенда отказов);
- отвечать на вопросы о состоянии: есть ли чат с названием, есть ли ключ карточки, сколько попаданий в кэш.
Код приложения и docker тесты сами не трогают.
-
make student_testиmake test_isolatedпроверки отказов не запускают: маркерfaultисключён из обычного прогона. Его сценарии при этом считаются покрытыми, и сверка покрытия по-прежнему видит все сценарии. -
Автоматическими становятся 13 сценариев:
sessions: «Истёкший токен», «Срок не продлевается», «БД остановлена при запросе с токеном»;data-storage: «Сбой при добавлении участников», «БД остановлена», «БД вернулась», «Соединения исчерпаны»;health: «Хранилище не готово», «Кэш недоступен»;chat-cache: «Valkey остановлен», «Valkey завис», «Valkey вернулся», «Очистка кэша».
Их записи в
EXCLUDEDудаляются. Исключениями остаются сценарии, которым нужен не отказ, а рестарт стенда, доступ к таблицам или браузер. -
Поведение приложения не меняется: проверяется то, что уже реализовано.
Вне этого change: нагрузочный стенд и EXPLAIN (bench-postgres), трек 2,
отказ API-реплики (лаба 3, make test-failover).
Capabilities
New Capabilities
Нет.
Modified Capabilities
student-tests:- новое требование — проверки отказов на отдельном стенде
(
make failure_checks); - «Только по HTTP» — действие на стенд только через переданный hook;
- «Запуск одной командой» — набор без проверок отказов;
- «Покрытие сценариев основных спеков» — сценарий, покрытый проверкой отказа, считается покрытым;
- «Результат прогона сохраняется» — и вывод
make failure_checks.
- новое требование — проверки отказов на отдельном стенде
(
Impact
- Тесты:
student-tests/test_failures.py(маркерfault), фикстуры hook и тесного API вconftest.py,api_client.pyпри необходимости;spec_coverage.py— удаление 13 исключений; итог сверки покрытия называет число сценариев, покрытых проверками отказов. - Инструменты:
student-tests/run_failures.py(оркестратор, stdlib),student-tests/fault_hook.py(hook, stdlib, исполняемый),student-tests/failures.compose.yml(override: без публикации портов);Makefile— цельfailure_checks;pyproject.toml— маркерfaultи его исключение из обычного прогона. - Код приложения, контракт и compose рабочего стенда не меняются.
- Документы: правила
student-tests.md,run-modes.md;AGENTS.md(команды, карта кода, «Переходное состояние» — пункт проfailure-checksзакрывается); скилл;REPORT.md— строки уровня «4» про автоматические проверки иmake failure_checksв «Проверках»;evidence/tests/failure-checks.md.