test: require evidence files behind coverage exclusions

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
2026-10-13 17:36:33 +03:00
co-authored by Claude Opus 5.5
parent 5372d2066c
commit f241126981
2 changed files with 64 additions and 10 deletions
+37 -10
View File
@@ -7,7 +7,8 @@ from pathlib import Path
import pytest
SPECS_DIR = Path(__file__).resolve().parents[1] / "openspec" / "specs"
ROOT = Path(__file__).resolve().parents[1]
SPECS_DIR = ROOT / "openspec" / "specs"
# основные спеки поведения API; спеки контейнера, логов и конфига
# проверяются evidence, а не HTTP-тестами
CAPABILITIES = (
@@ -62,18 +63,23 @@ EXCLUDED: dict[Scenario, Exclusion] = {
),
("chat-cache", "Чтение из кэша"): Exclusion(
reason="по HTTP ответ из кэша не отличить от ответа из PostgreSQL",
check="чтения таблицы chats (seq_scan + idx_scan) и "
"keyspace_hits Valkey за 50 чтений — evidence/cache/hits.md",
check="driver.py --port <LB> cache-check скилла "
"run-mtusi-messenger: чтения таблицы chats (seq_scan + idx_scan) "
"и keyspace_hits Valkey за 50 чтений через LB — "
"evidence/cache/hits.md",
),
("chat-cache", "Срок записи"): Exclusion(
reason="срок ключа виден только в Valkey",
check="TTL ключа карточки через valkey-cli — evidence/cache/hits.md",
check="driver.py --port <LB> cache-check: TTL ключа карточки не "
"больше настроенного и чтениями не продлевается — "
"evidence/cache/hits.md",
),
("chat-cache", "Временная база"): Exclusion(
reason="ключи видны только в Valkey, а набор не знает, на какой "
"базе работает",
check="число ключей с префиксами рабочей и тестовой базы после "
"make test_isolated — evidence/cache/hits.md",
check="make test_isolated, затем driver.py --port <LB> "
"cache-check: число ключей с префиксами рабочей и тестовой базы "
"— evidence/cache/hits.md",
),
("data-storage", "Прежний пользователь после рестарта"): Exclusion(
reason="нужен рестарт стенда, тесты сервер не трогают",
@@ -89,8 +95,9 @@ EXCLUDED: dict[Scenario, Exclusion] = {
),
("sessions", "Токена нет в хранилище"): Exclusion(
reason="нужен доступ к таблицам PostgreSQL, а тесты ходят по HTTP",
check="поиск выданного токена по всем таблицам через psql — "
"evidence/auth/passwords-and-tokens.md",
check="driver.py --port <LB> auth-storage скилла "
"run-mtusi-messenger: token_hash — SHA-256 токена, самого токена "
"нет в pg_dump базы — evidence/auth/passwords-and-tokens.md",
),
("sessions", "Прежний токен после рестарта"): Exclusion(
reason="нужен рестарт стенда, тесты сервер не трогают",
@@ -99,10 +106,13 @@ EXCLUDED: dict[Scenario, Exclusion] = {
),
("users", "Хэш в БД"): Exclusion(
reason="нужен доступ к таблице users, а тесты ходят по HTTP",
check="строки users через psql: префикс $argon2id$ и разные "
"хэши одинаковых паролей — evidence/auth/passwords-and-tokens.md",
check="driver.py --port <LB> auth-storage: префикс $argon2id$ и "
"разные хэши одинаковых паролей, пароля нет в pg_dump базы — "
"evidence/auth/passwords-and-tokens.md",
),
}
# ссылка исключения на доказательство в репозитории лабы
EVIDENCE_RE = re.compile(r"evidence/[\w./-]+\.md")
@dataclass
@@ -162,3 +172,20 @@ def coverage_problems(
for capability, scenario in sorted(marks.keys() & excluded.keys())
]
return problems
def missing_evidence(
excluded: Mapping[Scenario, Exclusion],
root: Path = ROOT,
) -> list[str]:
"""Ссылки исключений на файлы `evidence/`, которых нет в репозитории.
`evidence/` в следующую лабу не переносится: доказательство снимается
заново на её стенде, иначе ссылка повисла бы молча (design change
`fix-known-issues`, решение 2)."""
return [
f"exclusion refers to missing {path}: {capability} / {scenario}"
for (capability, scenario), exclusion in sorted(excluded.items())
for path in EVIDENCE_RE.findall(exclusion.check)
if not (root / path).is_file()
]
+27
View File
@@ -12,6 +12,7 @@ from spec_coverage import (
Scenario,
all_scenarios,
coverage_problems,
missing_evidence,
spec_scenarios,
)
@@ -55,6 +56,32 @@ def test_exclusions_explain_reason_and_check() -> None:
assert exclusion.check.strip(), f"{capability} / {scenario}"
def test_exclusion_evidence_exists() -> None:
"""Файл evidence, на который ссылается исключение, есть в репозитории
(спек student-tests, «Доказательства исключений сверки в
репозитории»)."""
problems = missing_evidence(EXCLUDED)
assert not problems, "\n".join(problems)
def test_missing_evidence_fails(tmp_path: Path) -> None:
excluded = {
("health", "Сценарий"): Exclusion(
reason="r",
check="команда — evidence/demo/file.md",
),
}
assert missing_evidence(excluded, tmp_path) == [
"exclusion refers to missing evidence/demo/file.md: health / Сценарий",
]
(tmp_path / "evidence" / "demo").mkdir(parents=True)
(tmp_path / "evidence" / "demo" / "file.md").write_text(
"x",
encoding="utf-8",
)
assert missing_evidence(excluded, tmp_path) == []
def test_scenario_parser(tmp_path: Path) -> None:
spec = tmp_path / "demo" / "spec.md"
spec.parent.mkdir()