- keep engine and session factory in src/infra/db/session.py - sync delta specs into openspec/specs, add db-migrations spec - update rules, AGENTS.md and run skill for lab 2 storage - fill REPORT.md for the storage part Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
143 lines
6.0 KiB
Python
143 lines
6.0 KiB
Python
"""Сверка тестов со сценариями основных спеков `openspec/specs/`."""
|
||
|
||
import re
|
||
from collections.abc import Iterable, Mapping
|
||
from dataclasses import dataclass, field
|
||
from pathlib import Path
|
||
|
||
import pytest
|
||
|
||
SPECS_DIR = Path(__file__).resolve().parents[1] / "openspec" / "specs"
|
||
# основные спеки поведения API; спеки контейнера, логов и конфига
|
||
# проверяются evidence, а не HTTP-тестами
|
||
CAPABILITIES = (
|
||
"api-conventions",
|
||
"identification",
|
||
"users",
|
||
"chats",
|
||
"messages",
|
||
"pagination",
|
||
"data-storage",
|
||
"health",
|
||
)
|
||
SCENARIO_RE = re.compile(r"^#### Scenario: (.+?)\s*$", re.MULTILINE)
|
||
|
||
type Scenario = tuple[str, str]
|
||
|
||
|
||
@dataclass(frozen=True)
|
||
class Exclusion:
|
||
"""Сценарий, который не воспроизвести по HTTP против сервера."""
|
||
|
||
reason: str
|
||
check: str
|
||
|
||
|
||
EXCLUDED: dict[Scenario, Exclusion] = {
|
||
("api-conventions", "Ответ 500"): Exclusion(
|
||
reason="500 возникает только при сбое внутри сервиса, "
|
||
"штатным запросом его не вызвать",
|
||
check="временно бросить исключение в ручке и запросить её; "
|
||
"обработчик Exception — src/api/errors.py",
|
||
),
|
||
("api-conventions", "Исключение внутри обработки"): Exclusion(
|
||
reason="нужен сбой внутри сервиса, как для «Ответ 500»; "
|
||
"traceback виден только в логе процесса",
|
||
check="тот же ручной сбой, затем make logs: запись error с "
|
||
"traceback и тем же request_id",
|
||
),
|
||
("data-storage", "Прежний пользователь после рестарта"): Exclusion(
|
||
reason="нужен рестарт стенда, тесты сервер не трогают",
|
||
check="evidence/storage/restart.md: после scripts/restart.sh "
|
||
"прежний X-User-Id получает 200, данные и порядок те же",
|
||
),
|
||
("data-storage", "Сбой при добавлении участников"): Exclusion(
|
||
reason="нужен сбой БД посреди транзакции: штатным запросом его "
|
||
"не вызвать, участники проверяются до вставки",
|
||
check="одна транзакция и один commit в ChatService.create_chat; "
|
||
"автоматическая проверка отката — change failure-checks",
|
||
),
|
||
("data-storage", "БД остановлена"): Exclusion(
|
||
reason="нужно остановить Postgres, тесты стенд не трогают",
|
||
check="evidence/storage/db-unavailable.md; автоматическая "
|
||
"проверка — change failure-checks",
|
||
),
|
||
("data-storage", "БД вернулась"): Exclusion(
|
||
reason="нужно остановить и снова запустить Postgres",
|
||
check="evidence/storage/db-unavailable.md; автоматическая "
|
||
"проверка — change failure-checks",
|
||
),
|
||
("data-storage", "Соединения исчерпаны"): Exclusion(
|
||
reason="нужны пул из одного соединения и замороженный Postgres",
|
||
check="evidence/storage/pool-timeout.md; автоматическая "
|
||
"проверка — change failure-checks",
|
||
),
|
||
("health", "Хранилище не готово"): Exclusion(
|
||
reason="нужно остановить Postgres, тесты стенд не трогают",
|
||
check="evidence/storage/db-unavailable.md: /health/ready — 503, "
|
||
"/health/live — 200; автоматическая проверка — change "
|
||
"failure-checks",
|
||
),
|
||
("identification", "Кнопка Authorize в Swagger"): Exclusion(
|
||
reason="это интерфейс /docs в браузере",
|
||
check="схему devUser, из которой строится кнопка, проверяет "
|
||
"тест сценария «Схема в openapi.json»; кнопку — вручную",
|
||
),
|
||
}
|
||
|
||
|
||
@dataclass
|
||
class Collected:
|
||
"""Что собрал pytest: маркеры `spec` и модули тестов."""
|
||
|
||
marks: dict[Scenario, list[str]] = field(default_factory=dict)
|
||
modules: set[str] = field(default_factory=set)
|
||
|
||
|
||
COLLECTED = pytest.StashKey[Collected]()
|
||
|
||
|
||
def spec_scenarios(capability: str, specs_dir: Path = SPECS_DIR) -> list[str]:
|
||
text = (specs_dir / capability / "spec.md").read_text(encoding="utf-8")
|
||
return SCENARIO_RE.findall(text)
|
||
|
||
|
||
def all_scenarios(
|
||
capabilities: Iterable[str] = CAPABILITIES,
|
||
specs_dir: Path = SPECS_DIR,
|
||
) -> set[Scenario]:
|
||
return {
|
||
(capability, scenario)
|
||
for capability in capabilities
|
||
for scenario in spec_scenarios(capability, specs_dir)
|
||
}
|
||
|
||
|
||
def coverage_problems(
|
||
scenarios: set[Scenario],
|
||
marks: Mapping[Scenario, list[str]],
|
||
excluded: Mapping[Scenario, Exclusion],
|
||
) -> list[str]:
|
||
"""Расхождения между спеками, маркерами и исключениями."""
|
||
problems = [
|
||
f"no test and no exclusion: {capability} / {scenario}"
|
||
for capability, scenario in sorted(
|
||
scenarios - marks.keys() - excluded.keys(),
|
||
)
|
||
]
|
||
problems += [
|
||
f"marker points to unknown scenario {capability} / {scenario}: "
|
||
+ ", ".join(nodeids)
|
||
for (capability, scenario), nodeids in sorted(marks.items())
|
||
if (capability, scenario) not in scenarios
|
||
]
|
||
problems += [
|
||
f"exclusion points to unknown scenario: {capability} / {scenario}"
|
||
for capability, scenario in sorted(excluded.keys() - scenarios)
|
||
]
|
||
problems += [
|
||
f"scenario is both tested and excluded: {capability} / {scenario}"
|
||
for capability, scenario in sorted(marks.keys() & excluded.keys())
|
||
]
|
||
return problems
|