"""Сверка тестов со сценариями основных спеков `openspec/specs/`.""" import re from collections.abc import Iterable, Mapping from dataclasses import dataclass, field from pathlib import Path import pytest SPECS_DIR = Path(__file__).resolve().parents[1] / "openspec" / "specs" # основные спеки поведения API; спеки контейнера, логов и конфига # проверяются evidence, а не HTTP-тестами CAPABILITIES = ( "api-conventions", "identification", "sessions", "users", "chats", "messages", "pagination", "data-storage", "health", ) SCENARIO_RE = re.compile(r"^#### Scenario: (.+?)\s*$", re.MULTILINE) type Scenario = tuple[str, str] @dataclass(frozen=True) class Exclusion: """Сценарий, который не воспроизвести по HTTP против сервера.""" reason: str check: str EXCLUDED: dict[Scenario, Exclusion] = { ("api-conventions", "Ответ 500"): Exclusion( reason="500 возникает только при сбое внутри сервиса, " "штатным запросом его не вызвать", check="временно бросить исключение в ручке и запросить её; " "обработчик Exception — src/api/errors.py", ), ("api-conventions", "Исключение внутри обработки"): Exclusion( reason="нужен сбой внутри сервиса, как для «Ответ 500»; " "traceback виден только в логе процесса", check="тот же ручной сбой, затем make logs: запись error с " "traceback и тем же request_id", ), ("data-storage", "Прежний пользователь после рестарта"): Exclusion( reason="нужен рестарт стенда, тесты сервер не трогают", check="make test-persistence ACTION_SCRIPT=scripts/restart.sh: " "прежний токен читает те же данные — " "evidence/storage/test-persistence.md", ), ("data-storage", "Сбой при добавлении участников"): Exclusion( reason="нужен сбой БД посреди транзакции: штатным запросом его " "не вызвать, участники проверяются до вставки", check="одна транзакция и один commit в ChatService.create_chat; " "автоматическая проверка отката — change failure-checks", ), ("data-storage", "БД остановлена"): Exclusion( reason="нужно остановить Postgres, тесты стенд не трогают", check="evidence/storage/db-unavailable.md; автоматическая " "проверка — change failure-checks", ), ("data-storage", "БД вернулась"): Exclusion( reason="нужно остановить и снова запустить Postgres", check="evidence/storage/db-unavailable.md; автоматическая " "проверка — change failure-checks", ), ("data-storage", "Соединения исчерпаны"): Exclusion( reason="нужны пул из одного соединения и замороженный Postgres", check="evidence/storage/pool-timeout.md; автоматическая " "проверка — change failure-checks", ), ("health", "Хранилище не готово"): Exclusion( reason="нужно остановить Postgres, тесты стенд не трогают", check="evidence/storage/db-unavailable.md: /health/ready — 503, " "/health/live — 200; автоматическая проверка — change " "failure-checks", ), ("identification", "Кнопка Authorize в Swagger"): Exclusion( reason="это интерфейс /docs в браузере", check="схемы bearerAuth и basicAuth, из которых строится кнопка, " "проверяет тест сценария «Схема в openapi.json»; кнопку — вручную " "(REPORT.md, таблица доказательств)", ), ("sessions", "Токена нет в хранилище"): Exclusion( reason="нужен доступ к таблицам PostgreSQL, а тесты ходят по HTTP", check="поиск выданного токена по всем таблицам через psql — " "evidence/auth/passwords-and-tokens.md", ), ("sessions", "Истёкший токен"): Exclusion( reason="нужен сервис со сроком сессии 2 с, а обычный стенд — с 3600 с", check="AUTH__SESSION_TTL_SECONDS=2 — evidence/auth/expiry.md; " "автоматическая проверка — change failure-checks", ), ("sessions", "Срок не продлевается"): Exclusion( reason="нужен сервис со сроком сессии 2 с", check="запросы каждые 0,5 с при сроке 2 с — " "evidence/auth/expiry.md; автоматическая проверка — change " "failure-checks", ), ("sessions", "Прежний токен после рестарта"): Exclusion( reason="нужен рестарт стенда, тесты сервер не трогают", check="make test-persistence ACTION_SCRIPT=scripts/restart.sh — " "evidence/storage/test-persistence.md", ), ("sessions", "БД остановлена при запросе с токеном"): Exclusion( reason="нужно остановить Postgres, тесты стенд не трогают", check="evidence/auth/expiry.md; автоматическая проверка — " "change failure-checks", ), ("users", "Хэш в БД"): Exclusion( reason="нужен доступ к таблице users, а тесты ходят по HTTP", check="строки users через psql: префикс $argon2id$ и разные " "хэши одинаковых паролей — evidence/auth/passwords-and-tokens.md", ), } @dataclass class Collected: """Что собрал pytest: маркеры `spec` и модули тестов.""" marks: dict[Scenario, list[str]] = field(default_factory=dict) modules: set[str] = field(default_factory=set) COLLECTED = pytest.StashKey[Collected]() def spec_scenarios(capability: str, specs_dir: Path = SPECS_DIR) -> list[str]: text = (specs_dir / capability / "spec.md").read_text(encoding="utf-8") return SCENARIO_RE.findall(text) def all_scenarios( capabilities: Iterable[str] = CAPABILITIES, specs_dir: Path = SPECS_DIR, ) -> set[Scenario]: return { (capability, scenario) for capability in capabilities for scenario in spec_scenarios(capability, specs_dir) } def coverage_problems( scenarios: set[Scenario], marks: Mapping[Scenario, list[str]], excluded: Mapping[Scenario, Exclusion], ) -> list[str]: """Расхождения между спеками, маркерами и исключениями.""" problems = [ f"no test and no exclusion: {capability} / {scenario}" for capability, scenario in sorted( scenarios - marks.keys() - excluded.keys(), ) ] problems += [ f"marker points to unknown scenario {capability} / {scenario}: " + ", ".join(nodeids) for (capability, scenario), nodeids in sorted(marks.items()) if (capability, scenario) not in scenarios ] problems += [ f"exclusion points to unknown scenario: {capability} / {scenario}" for capability, scenario in sorted(excluded.keys() - scenarios) ] problems += [ f"scenario is both tested and excluded: {capability} / {scenario}" for capability, scenario in sorted(marks.keys() & excluded.keys()) ] return problems