Files
mtusi2026lab2/openspec/changes/failure-checks/proposal.md
T
ricoromaandClaude Opus 5.5 5b65051a60 test: add automatic failure checks on a separate stand
make failure_checks brings up a throwaway compose project with its own
PostgreSQL and Valkey, a default and a tight API (2 s sessions, pool of
one), and runs the pytest tests marked fault through an explicit hook:
session expiry, database stop and return, pool exhaustion, chat creation
rollback, readiness, Valkey stop, hang, return and flush. The stand and
its volume are removed on any outcome; the working stand is untouched.
Regular runs deselect the fault tests, and 13 coverage exclusions go away.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
2026-10-01 23:20:34 +03:00

6.3 KiB
Raw Blame History

Proposal

Why

Уровень «4» требует автоматическую проверку истечения сессии при коротком SESSION_TTL_SECONDS и недоступности Redis/Valkey и БД: при потере сервиса приложение отвечает ограниченной ошибкой или обходит кэш и не принимает анонимный запрос (README.md). Сейчас эти сценарии проверены только вручную. В spec_coverage.py это 13 исключений со ссылками на evidence: истечение сессии, остановленная и зависшая БД, исчерпанный пул, откат создания чата, отказы Valkey, readiness. Обычный прогон их выполнить не может: ему нужны особый стенд и действия над хранилищами, а набор student-tests по правилу сам стенд не трогает.

What Changes

  • Новая цель make failure_checks поднимает отдельный стенд отказов:

    • свой проект compose mtusi-lab2-failures со своими PostgreSQL и Valkey, без публикации их портов;
    • образ из рабочего дерева и миграции;
    • два контейнера API: с настройками по умолчанию и «тесный» — срок сессии 2 с, пул из одного соединения, короткие таймауты.

    Затем цель прогоняет проверки отказов и удаляет стенд вместе с его volume при любом исходе. Рабочий стенд, его база и кэш не затрагиваются.

  • Проверки отказов — тесты student-tests с маркером fault. На стенд они действуют только через явный hook, который им передаёт make failure_checks, как make test-persistence передаёт ACTION_SCRIPT. Hook умеет:

    • останавливать, запускать, замораживать и размораживать Postgres и Valkey;
    • очищать кэш;
    • включать сбой записи участников (триггер в базе стенда отказов);
    • отвечать на вопросы о состоянии: есть ли чат с названием, есть ли ключ карточки, сколько попаданий в кэш.

    Код приложения и docker тесты сами не трогают.

  • make student_test и make test_isolated проверки отказов не запускают: маркер fault исключён из обычного прогона. Его сценарии при этом считаются покрытыми, и сверка покрытия по-прежнему видит все сценарии.

  • Автоматическими становятся 13 сценариев:

    • sessions: «Истёкший токен», «Срок не продлевается», «БД остановлена при запросе с токеном»;
    • data-storage: «Сбой при добавлении участников», «БД остановлена», «БД вернулась», «Соединения исчерпаны»;
    • health: «Хранилище не готово», «Кэш недоступен»;
    • chat-cache: «Valkey остановлен», «Valkey завис», «Valkey вернулся», «Очистка кэша».

    Их записи в EXCLUDED удаляются. Исключениями остаются сценарии, которым нужен не отказ, а рестарт стенда, доступ к таблицам или браузер.

  • Поведение приложения не меняется: проверяется то, что уже реализовано.

Вне этого change: нагрузочный стенд и EXPLAIN (bench-postgres), трек 2, отказ API-реплики (лаба 3, make test-failover).

Capabilities

New Capabilities

Нет.

Modified Capabilities

  • student-tests:
    • новое требование — проверки отказов на отдельном стенде (make failure_checks);
    • «Только по HTTP» — действие на стенд только через переданный hook;
    • «Запуск одной командой» — набор без проверок отказов;
    • «Покрытие сценариев основных спеков» — сценарий, покрытый проверкой отказа, считается покрытым;
    • «Результат прогона сохраняется» — и вывод make failure_checks.

Impact

  • Тесты: student-tests/test_failures.py (маркер fault), фикстуры hook и тесного API в conftest.py, api_client.py при необходимости; spec_coverage.py — удаление 13 исключений; итог сверки покрытия называет число сценариев, покрытых проверками отказов.
  • Инструменты: student-tests/run_failures.py (оркестратор, stdlib), student-tests/fault_hook.py (hook, stdlib, исполняемый), student-tests/failures.compose.yml (override: без публикации портов); Makefile — цель failure_checks; pyproject.toml — маркер fault и его исключение из обычного прогона.
  • Код приложения, контракт и compose рабочего стенда не меняются.
  • Документы: правила student-tests.md, run-modes.md; AGENTS.md (команды, карта кода, «Переходное состояние» — пункт про failure-checks закрывается); скилл; REPORT.md — строки уровня «4» про автоматические проверки и make failure_checks в «Проверках»; evidence/tests/failure-checks.md.