From f2411269810af0fd7a8853e25adcaa78e8480d33 Mon Sep 17 00:00:00 2001 From: roman Date: Tue, 13 Oct 2026 17:36:33 +0300 Subject: [PATCH] test: require evidence files behind coverage exclusions Co-Authored-By: Claude Opus 5.5 --- student-tests/spec_coverage.py | 47 ++++++++++++++++++++++++++-------- student-tests/test_coverage.py | 27 +++++++++++++++++++ 2 files changed, 64 insertions(+), 10 deletions(-) diff --git a/student-tests/spec_coverage.py b/student-tests/spec_coverage.py index c1ba75f6..d217b2d7 100644 --- a/student-tests/spec_coverage.py +++ b/student-tests/spec_coverage.py @@ -7,7 +7,8 @@ from pathlib import Path import pytest -SPECS_DIR = Path(__file__).resolve().parents[1] / "openspec" / "specs" +ROOT = Path(__file__).resolve().parents[1] +SPECS_DIR = ROOT / "openspec" / "specs" # основные спеки поведения API; спеки контейнера, логов и конфига # проверяются evidence, а не HTTP-тестами CAPABILITIES = ( @@ -62,18 +63,23 @@ EXCLUDED: dict[Scenario, Exclusion] = { ), ("chat-cache", "Чтение из кэша"): Exclusion( reason="по HTTP ответ из кэша не отличить от ответа из PostgreSQL", - check="чтения таблицы chats (seq_scan + idx_scan) и " - "keyspace_hits Valkey за 50 чтений — evidence/cache/hits.md", + check="driver.py --port cache-check скилла " + "run-mtusi-messenger: чтения таблицы chats (seq_scan + idx_scan) " + "и keyspace_hits Valkey за 50 чтений через LB — " + "evidence/cache/hits.md", ), ("chat-cache", "Срок записи"): Exclusion( reason="срок ключа виден только в Valkey", - check="TTL ключа карточки через valkey-cli — evidence/cache/hits.md", + check="driver.py --port cache-check: TTL ключа карточки не " + "больше настроенного и чтениями не продлевается — " + "evidence/cache/hits.md", ), ("chat-cache", "Временная база"): Exclusion( reason="ключи видны только в Valkey, а набор не знает, на какой " "базе работает", - check="число ключей с префиксами рабочей и тестовой базы после " - "make test_isolated — evidence/cache/hits.md", + check="make test_isolated, затем driver.py --port " + "cache-check: число ключей с префиксами рабочей и тестовой базы " + "— evidence/cache/hits.md", ), ("data-storage", "Прежний пользователь после рестарта"): Exclusion( reason="нужен рестарт стенда, тесты сервер не трогают", @@ -89,8 +95,9 @@ EXCLUDED: dict[Scenario, Exclusion] = { ), ("sessions", "Токена нет в хранилище"): Exclusion( reason="нужен доступ к таблицам PostgreSQL, а тесты ходят по HTTP", - check="поиск выданного токена по всем таблицам через psql — " - "evidence/auth/passwords-and-tokens.md", + check="driver.py --port auth-storage скилла " + "run-mtusi-messenger: token_hash — SHA-256 токена, самого токена " + "нет в pg_dump базы — evidence/auth/passwords-and-tokens.md", ), ("sessions", "Прежний токен после рестарта"): Exclusion( reason="нужен рестарт стенда, тесты сервер не трогают", @@ -99,10 +106,13 @@ EXCLUDED: dict[Scenario, Exclusion] = { ), ("users", "Хэш в БД"): Exclusion( reason="нужен доступ к таблице users, а тесты ходят по HTTP", - check="строки users через psql: префикс $argon2id$ и разные " - "хэши одинаковых паролей — evidence/auth/passwords-and-tokens.md", + check="driver.py --port auth-storage: префикс $argon2id$ и " + "разные хэши одинаковых паролей, пароля нет в pg_dump базы — " + "evidence/auth/passwords-and-tokens.md", ), } +# ссылка исключения на доказательство в репозитории лабы +EVIDENCE_RE = re.compile(r"evidence/[\w./-]+\.md") @dataclass @@ -162,3 +172,20 @@ def coverage_problems( for capability, scenario in sorted(marks.keys() & excluded.keys()) ] return problems + + +def missing_evidence( + excluded: Mapping[Scenario, Exclusion], + root: Path = ROOT, +) -> list[str]: + """Ссылки исключений на файлы `evidence/`, которых нет в репозитории. + + `evidence/` в следующую лабу не переносится: доказательство снимается + заново на её стенде, иначе ссылка повисла бы молча (design change + `fix-known-issues`, решение 2).""" + return [ + f"exclusion refers to missing {path}: {capability} / {scenario}" + for (capability, scenario), exclusion in sorted(excluded.items()) + for path in EVIDENCE_RE.findall(exclusion.check) + if not (root / path).is_file() + ] diff --git a/student-tests/test_coverage.py b/student-tests/test_coverage.py index 8bb40eab..d7138f59 100644 --- a/student-tests/test_coverage.py +++ b/student-tests/test_coverage.py @@ -12,6 +12,7 @@ from spec_coverage import ( Scenario, all_scenarios, coverage_problems, + missing_evidence, spec_scenarios, ) @@ -55,6 +56,32 @@ def test_exclusions_explain_reason_and_check() -> None: assert exclusion.check.strip(), f"{capability} / {scenario}" +def test_exclusion_evidence_exists() -> None: + """Файл evidence, на который ссылается исключение, есть в репозитории + (спек student-tests, «Доказательства исключений сверки в + репозитории»).""" + problems = missing_evidence(EXCLUDED) + assert not problems, "\n".join(problems) + + +def test_missing_evidence_fails(tmp_path: Path) -> None: + excluded = { + ("health", "Сценарий"): Exclusion( + reason="r", + check="команда — evidence/demo/file.md", + ), + } + assert missing_evidence(excluded, tmp_path) == [ + "exclusion refers to missing evidence/demo/file.md: health / Сценарий", + ] + (tmp_path / "evidence" / "demo").mkdir(parents=True) + (tmp_path / "evidence" / "demo" / "file.md").write_text( + "x", + encoding="utf-8", + ) + assert missing_evidence(excluded, tmp_path) == [] + + def test_scenario_parser(tmp_path: Path) -> None: spec = tmp_path / "demo" / "spec.md" spec.parent.mkdir()