test: require evidence files behind coverage exclusions
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
@@ -7,7 +7,8 @@ from pathlib import Path
|
||||
|
||||
import pytest
|
||||
|
||||
SPECS_DIR = Path(__file__).resolve().parents[1] / "openspec" / "specs"
|
||||
ROOT = Path(__file__).resolve().parents[1]
|
||||
SPECS_DIR = ROOT / "openspec" / "specs"
|
||||
# основные спеки поведения API; спеки контейнера, логов и конфига
|
||||
# проверяются evidence, а не HTTP-тестами
|
||||
CAPABILITIES = (
|
||||
@@ -62,18 +63,23 @@ EXCLUDED: dict[Scenario, Exclusion] = {
|
||||
),
|
||||
("chat-cache", "Чтение из кэша"): Exclusion(
|
||||
reason="по HTTP ответ из кэша не отличить от ответа из PostgreSQL",
|
||||
check="чтения таблицы chats (seq_scan + idx_scan) и "
|
||||
"keyspace_hits Valkey за 50 чтений — evidence/cache/hits.md",
|
||||
check="driver.py --port <LB> cache-check скилла "
|
||||
"run-mtusi-messenger: чтения таблицы chats (seq_scan + idx_scan) "
|
||||
"и keyspace_hits Valkey за 50 чтений через LB — "
|
||||
"evidence/cache/hits.md",
|
||||
),
|
||||
("chat-cache", "Срок записи"): Exclusion(
|
||||
reason="срок ключа виден только в Valkey",
|
||||
check="TTL ключа карточки через valkey-cli — evidence/cache/hits.md",
|
||||
check="driver.py --port <LB> cache-check: TTL ключа карточки не "
|
||||
"больше настроенного и чтениями не продлевается — "
|
||||
"evidence/cache/hits.md",
|
||||
),
|
||||
("chat-cache", "Временная база"): Exclusion(
|
||||
reason="ключи видны только в Valkey, а набор не знает, на какой "
|
||||
"базе работает",
|
||||
check="число ключей с префиксами рабочей и тестовой базы после "
|
||||
"make test_isolated — evidence/cache/hits.md",
|
||||
check="make test_isolated, затем driver.py --port <LB> "
|
||||
"cache-check: число ключей с префиксами рабочей и тестовой базы "
|
||||
"— evidence/cache/hits.md",
|
||||
),
|
||||
("data-storage", "Прежний пользователь после рестарта"): Exclusion(
|
||||
reason="нужен рестарт стенда, тесты сервер не трогают",
|
||||
@@ -89,8 +95,9 @@ EXCLUDED: dict[Scenario, Exclusion] = {
|
||||
),
|
||||
("sessions", "Токена нет в хранилище"): Exclusion(
|
||||
reason="нужен доступ к таблицам PostgreSQL, а тесты ходят по HTTP",
|
||||
check="поиск выданного токена по всем таблицам через psql — "
|
||||
"evidence/auth/passwords-and-tokens.md",
|
||||
check="driver.py --port <LB> auth-storage скилла "
|
||||
"run-mtusi-messenger: token_hash — SHA-256 токена, самого токена "
|
||||
"нет в pg_dump базы — evidence/auth/passwords-and-tokens.md",
|
||||
),
|
||||
("sessions", "Прежний токен после рестарта"): Exclusion(
|
||||
reason="нужен рестарт стенда, тесты сервер не трогают",
|
||||
@@ -99,10 +106,13 @@ EXCLUDED: dict[Scenario, Exclusion] = {
|
||||
),
|
||||
("users", "Хэш в БД"): Exclusion(
|
||||
reason="нужен доступ к таблице users, а тесты ходят по HTTP",
|
||||
check="строки users через psql: префикс $argon2id$ и разные "
|
||||
"хэши одинаковых паролей — evidence/auth/passwords-and-tokens.md",
|
||||
check="driver.py --port <LB> auth-storage: префикс $argon2id$ и "
|
||||
"разные хэши одинаковых паролей, пароля нет в pg_dump базы — "
|
||||
"evidence/auth/passwords-and-tokens.md",
|
||||
),
|
||||
}
|
||||
# ссылка исключения на доказательство в репозитории лабы
|
||||
EVIDENCE_RE = re.compile(r"evidence/[\w./-]+\.md")
|
||||
|
||||
|
||||
@dataclass
|
||||
@@ -162,3 +172,20 @@ def coverage_problems(
|
||||
for capability, scenario in sorted(marks.keys() & excluded.keys())
|
||||
]
|
||||
return problems
|
||||
|
||||
|
||||
def missing_evidence(
|
||||
excluded: Mapping[Scenario, Exclusion],
|
||||
root: Path = ROOT,
|
||||
) -> list[str]:
|
||||
"""Ссылки исключений на файлы `evidence/`, которых нет в репозитории.
|
||||
|
||||
`evidence/` в следующую лабу не переносится: доказательство снимается
|
||||
заново на её стенде, иначе ссылка повисла бы молча (design change
|
||||
`fix-known-issues`, решение 2)."""
|
||||
return [
|
||||
f"exclusion refers to missing {path}: {capability} / {scenario}"
|
||||
for (capability, scenario), exclusion in sorted(excluded.items())
|
||||
for path in EVIDENCE_RE.findall(exclusion.check)
|
||||
if not (root / path).is_file()
|
||||
]
|
||||
|
||||
@@ -12,6 +12,7 @@ from spec_coverage import (
|
||||
Scenario,
|
||||
all_scenarios,
|
||||
coverage_problems,
|
||||
missing_evidence,
|
||||
spec_scenarios,
|
||||
)
|
||||
|
||||
@@ -55,6 +56,32 @@ def test_exclusions_explain_reason_and_check() -> None:
|
||||
assert exclusion.check.strip(), f"{capability} / {scenario}"
|
||||
|
||||
|
||||
def test_exclusion_evidence_exists() -> None:
|
||||
"""Файл evidence, на который ссылается исключение, есть в репозитории
|
||||
(спек student-tests, «Доказательства исключений сверки в
|
||||
репозитории»)."""
|
||||
problems = missing_evidence(EXCLUDED)
|
||||
assert not problems, "\n".join(problems)
|
||||
|
||||
|
||||
def test_missing_evidence_fails(tmp_path: Path) -> None:
|
||||
excluded = {
|
||||
("health", "Сценарий"): Exclusion(
|
||||
reason="r",
|
||||
check="команда — evidence/demo/file.md",
|
||||
),
|
||||
}
|
||||
assert missing_evidence(excluded, tmp_path) == [
|
||||
"exclusion refers to missing evidence/demo/file.md: health / Сценарий",
|
||||
]
|
||||
(tmp_path / "evidence" / "demo").mkdir(parents=True)
|
||||
(tmp_path / "evidence" / "demo" / "file.md").write_text(
|
||||
"x",
|
||||
encoding="utf-8",
|
||||
)
|
||||
assert missing_evidence(excluded, tmp_path) == []
|
||||
|
||||
|
||||
def test_scenario_parser(tmp_path: Path) -> None:
|
||||
spec = tmp_path / "demo" / "spec.md"
|
||||
spec.parent.mkdir()
|
||||
|
||||
Reference in New Issue
Block a user