Files
mtusi2026lab2/openspec/changes/failure-checks/tasks.md
T
ricoromaandClaude Opus 5.5 5b65051a60 test: add automatic failure checks on a separate stand
make failure_checks brings up a throwaway compose project with its own
PostgreSQL and Valkey, a default and a tight API (2 s sessions, pool of
one), and runs the pytest tests marked fault through an explicit hook:
session expiry, database stop and return, pool exhaustion, chat creation
rollback, readiness, Valkey stop, hang, return and flush. The stand and
its volume are removed on any outcome; the working stand is untouched.
Regular runs deselect the fault tests, and 13 coverage exclusions go away.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
2026-10-01 23:20:34 +03:00

6.7 KiB
Raw Blame History

Tasks

Как строить — design.md (дальше «решение N»), что должно получиться — дельта specs/student-tests/spec.md. Перед первым файлом слоя прочитать его правило: student-tests.md, run-modes.md, docker.md. Evidence снимается с закоммиченного кода, коммит — только после подтверждения пользователя (bench.md, «Измеренное состояние — commit»).

1. Стенд отказов и hook

  • 1.1 student-tests/failures.compose.yml — override без публикации портов postgres, valkey, api (решение 1). Проверка: docker compose -p mtusi-lab2-failures -f docker-compose.yml -f student-tests/failures.compose.yml config — у сервисов нет ports, volume mtusi-lab2-failures_postgres_data.
  • 1.2 student-tests/fault_hook.py — действия из таблицы решения 3, отказ без FAULT_PROJECT и при совпадении с рабочим проектом, исполняемый бит. Проверка: без FAULT_PROJECT и с FAULT_PROJECT=mtusi-lab2 — код 2 и ни одной команды docker; на поднятом вручную проекте отказов каждое действие отрабатывает (stop/start, pause/unpause, cache-hits, fail-members → вставка участников падает, clear-fail-members → проходит).
  • 1.3 student-tests/run_failures.py и цель failure_checks в Makefile (решения 2, 5): уборка хвоста, сборка, стенд, миграции, два API на свободных портах, pytest -m fault, журналы при провале, уборка в finally, защита от имени рабочего проекта. Проверка: make -n failure_checks; прогон с пустым набором (-k nothing) — стенд поднимается и удаляется, docker volume ls без mtusi-lab2-failures_*; Ctrl+C во время прогона — уборка доходит до конца.

2. Проверки отказов

  • 2.1 Маркер fault в pyproject.toml, -m "not fault" в addopts; фикстуры stand и tight_api, остановка прогона без FAULT_HOOK (решение 4). Проверка: uv run pytest -m fault без оркестратора — код 2 и текст про make failure_checks; make student_test — тесты fault в deselected.
  • 2.2 student-tests/test_failures.py: сценарии sessions («Истёкший токен», «Срок не продлевается», «БД остановлена при запросе с токеном») и data-storage («Сбой при добавлении участников», «БД остановлена», «БД вернулась», «Соединения исчерпаны»), маркеры spec и fault, восстановление хранилища в finally. Проверка: make failure_checks — проверки проходят. Временная порча приложения (например, 500 вместо 503 в get_db_session) роняет «БД остановлена» и не попадает в коммит.
  • 2.3 Сценарии health («Хранилище не готово», «Кэш недоступен») и chat-cache («Valkey остановлен», «Valkey завис», «Valkey вернулся», «Очистка кэша») с границами времени из решения 4. Проверка: make failure_checks — проходят. Временный клиент с повторами redis-py по умолчанию роняет «Valkey завис» и в коммит не попадает.
  • 2.4 Сверка покрытия (решение 6): 13 записей EXCLUDED удалены, Collected различает тесты fault, итог печатает их число. Проверка: make student_test — test_coverage.py проходит, строка coverage: называет число сценариев через make failure_checks; openspec validate --specs.

3. Документы и проверка кода

  • 3.1 /opsx:sync дельты student-tests. Правила: student-tests.md (выбранный механизм, hook, маркер fault), run-modes.md (цель failure_checks); AGENTS.md — команды, карта кода, «Переходное состояние» без пункта про failure-checks; скилл — make failure_checks в разделе Test. Проверка: grep -rn "failure-checks" AGENTS.md .claude — нет обещаний на будущее, только описание сделанного.
  • 3.2 Финальная проверка: make lint, make check, openspec validate failure-checks --strict, make test_isolated — код 0 (тесты fault в нём не выполняются), make failure_checks — код 0, рабочий стенд не перезапускался (StartedAt). Затем показать изменения, предложить сообщение и после подтверждения закоммитить.

4. Evidence и отчёт

  • 4.1 evidence/tests/failure-checks.md с закоммиченного кода (решение 7). Проверка: в файле дата, commit, стенд, длительности проверок, StartedAt рабочих контейнеров до и после; паролей и токенов нет.

  • 4.2 REPORT.md:

    • make failure_checks в «Проверках» и «Сценарии защиты»;
    • строки уровня «4» про автоматические проверки истечения сессии и недоступности БД и Valkey, про атомарность создания чата (вместо TODO) — со ссылкой на evidence;
    • «Остальные пункты уровня 4» — только EXPLAIN.

    Проверка: у каждой строки таблицы доказательств есть команда, наблюдение и файл.

  • 4.3 make lint, make check, openspec validate failure-checks --strict, graphify update .; показать изменения и после подтверждения закоммитить evidence и отчёт.