- Argon2id password hashes, KDF in a thread with its own limit - POST /auth/sessions with Basic, DELETE /auth/sessions/current - Bearer sessions in PostgreSQL, X-User-Id ignored - migration drops lab 1 data without passwords - student-tests on tokens, sessions spec and synced specs Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
176 lines
8.1 KiB
Python
176 lines
8.1 KiB
Python
"""Сверка тестов со сценариями основных спеков `openspec/specs/`."""
|
||
|
||
import re
|
||
from collections.abc import Iterable, Mapping
|
||
from dataclasses import dataclass, field
|
||
from pathlib import Path
|
||
|
||
import pytest
|
||
|
||
SPECS_DIR = Path(__file__).resolve().parents[1] / "openspec" / "specs"
|
||
# основные спеки поведения API; спеки контейнера, логов и конфига
|
||
# проверяются evidence, а не HTTP-тестами
|
||
CAPABILITIES = (
|
||
"api-conventions",
|
||
"identification",
|
||
"sessions",
|
||
"users",
|
||
"chats",
|
||
"messages",
|
||
"pagination",
|
||
"data-storage",
|
||
"health",
|
||
)
|
||
SCENARIO_RE = re.compile(r"^#### Scenario: (.+?)\s*$", re.MULTILINE)
|
||
|
||
type Scenario = tuple[str, str]
|
||
|
||
|
||
@dataclass(frozen=True)
|
||
class Exclusion:
|
||
"""Сценарий, который не воспроизвести по HTTP против сервера."""
|
||
|
||
reason: str
|
||
check: str
|
||
|
||
|
||
EXCLUDED: dict[Scenario, Exclusion] = {
|
||
("api-conventions", "Ответ 500"): Exclusion(
|
||
reason="500 возникает только при сбое внутри сервиса, "
|
||
"штатным запросом его не вызвать",
|
||
check="временно бросить исключение в ручке и запросить её; "
|
||
"обработчик Exception — src/api/errors.py",
|
||
),
|
||
("api-conventions", "Исключение внутри обработки"): Exclusion(
|
||
reason="нужен сбой внутри сервиса, как для «Ответ 500»; "
|
||
"traceback виден только в логе процесса",
|
||
check="тот же ручной сбой, затем make logs: запись error с "
|
||
"traceback и тем же request_id",
|
||
),
|
||
("data-storage", "Прежний пользователь после рестарта"): Exclusion(
|
||
reason="нужен рестарт стенда, тесты сервер не трогают",
|
||
check="make test-persistence ACTION_SCRIPT=scripts/restart.sh: "
|
||
"прежний токен читает те же данные — "
|
||
"evidence/storage/test-persistence.md",
|
||
),
|
||
("data-storage", "Сбой при добавлении участников"): Exclusion(
|
||
reason="нужен сбой БД посреди транзакции: штатным запросом его "
|
||
"не вызвать, участники проверяются до вставки",
|
||
check="одна транзакция и один commit в ChatService.create_chat; "
|
||
"автоматическая проверка отката — change failure-checks",
|
||
),
|
||
("data-storage", "БД остановлена"): Exclusion(
|
||
reason="нужно остановить Postgres, тесты стенд не трогают",
|
||
check="evidence/storage/db-unavailable.md; автоматическая "
|
||
"проверка — change failure-checks",
|
||
),
|
||
("data-storage", "БД вернулась"): Exclusion(
|
||
reason="нужно остановить и снова запустить Postgres",
|
||
check="evidence/storage/db-unavailable.md; автоматическая "
|
||
"проверка — change failure-checks",
|
||
),
|
||
("data-storage", "Соединения исчерпаны"): Exclusion(
|
||
reason="нужны пул из одного соединения и замороженный Postgres",
|
||
check="evidence/storage/pool-timeout.md; автоматическая "
|
||
"проверка — change failure-checks",
|
||
),
|
||
("health", "Хранилище не готово"): Exclusion(
|
||
reason="нужно остановить Postgres, тесты стенд не трогают",
|
||
check="evidence/storage/db-unavailable.md: /health/ready — 503, "
|
||
"/health/live — 200; автоматическая проверка — change "
|
||
"failure-checks",
|
||
),
|
||
("identification", "Кнопка Authorize в Swagger"): Exclusion(
|
||
reason="это интерфейс /docs в браузере",
|
||
check="схемы bearerAuth и basicAuth, из которых строится кнопка, "
|
||
"проверяет тест сценария «Схема в openapi.json»; кнопку — вручную",
|
||
),
|
||
("sessions", "Токена нет в хранилище"): Exclusion(
|
||
reason="нужен доступ к таблицам PostgreSQL, а тесты ходят по HTTP",
|
||
check="поиск выданного токена по всем таблицам через psql — "
|
||
"evidence/auth/passwords-and-tokens.md",
|
||
),
|
||
("sessions", "Истёкший токен"): Exclusion(
|
||
reason="нужен сервис со сроком сессии 2 с, а обычный стенд — с 3600 с",
|
||
check="AUTH__SESSION_TTL_SECONDS=2 — evidence/auth/expiry.md; "
|
||
"автоматическая проверка — change failure-checks",
|
||
),
|
||
("sessions", "Срок не продлевается"): Exclusion(
|
||
reason="нужен сервис со сроком сессии 2 с",
|
||
check="запросы каждые 0,5 с при сроке 2 с — "
|
||
"evidence/auth/expiry.md; автоматическая проверка — change "
|
||
"failure-checks",
|
||
),
|
||
("sessions", "Прежний токен после рестарта"): Exclusion(
|
||
reason="нужен рестарт стенда, тесты сервер не трогают",
|
||
check="make test-persistence ACTION_SCRIPT=scripts/restart.sh — "
|
||
"evidence/storage/test-persistence.md",
|
||
),
|
||
("sessions", "БД остановлена при запросе с токеном"): Exclusion(
|
||
reason="нужно остановить Postgres, тесты стенд не трогают",
|
||
check="evidence/auth/expiry.md; автоматическая проверка — "
|
||
"change failure-checks",
|
||
),
|
||
("users", "Хэш в БД"): Exclusion(
|
||
reason="нужен доступ к таблице users, а тесты ходят по HTTP",
|
||
check="строки users через psql: префикс $argon2id$ и разные "
|
||
"хэши одинаковых паролей — evidence/auth/passwords-and-tokens.md",
|
||
),
|
||
}
|
||
|
||
|
||
@dataclass
|
||
class Collected:
|
||
"""Что собрал pytest: маркеры `spec` и модули тестов."""
|
||
|
||
marks: dict[Scenario, list[str]] = field(default_factory=dict)
|
||
modules: set[str] = field(default_factory=set)
|
||
|
||
|
||
COLLECTED = pytest.StashKey[Collected]()
|
||
|
||
|
||
def spec_scenarios(capability: str, specs_dir: Path = SPECS_DIR) -> list[str]:
|
||
text = (specs_dir / capability / "spec.md").read_text(encoding="utf-8")
|
||
return SCENARIO_RE.findall(text)
|
||
|
||
|
||
def all_scenarios(
|
||
capabilities: Iterable[str] = CAPABILITIES,
|
||
specs_dir: Path = SPECS_DIR,
|
||
) -> set[Scenario]:
|
||
return {
|
||
(capability, scenario)
|
||
for capability in capabilities
|
||
for scenario in spec_scenarios(capability, specs_dir)
|
||
}
|
||
|
||
|
||
def coverage_problems(
|
||
scenarios: set[Scenario],
|
||
marks: Mapping[Scenario, list[str]],
|
||
excluded: Mapping[Scenario, Exclusion],
|
||
) -> list[str]:
|
||
"""Расхождения между спеками, маркерами и исключениями."""
|
||
problems = [
|
||
f"no test and no exclusion: {capability} / {scenario}"
|
||
for capability, scenario in sorted(
|
||
scenarios - marks.keys() - excluded.keys(),
|
||
)
|
||
]
|
||
problems += [
|
||
f"marker points to unknown scenario {capability} / {scenario}: "
|
||
+ ", ".join(nodeids)
|
||
for (capability, scenario), nodeids in sorted(marks.items())
|
||
if (capability, scenario) not in scenarios
|
||
]
|
||
problems += [
|
||
f"exclusion points to unknown scenario: {capability} / {scenario}"
|
||
for capability, scenario in sorted(excluded.keys() - scenarios)
|
||
]
|
||
problems += [
|
||
f"scenario is both tested and excluded: {capability} / {scenario}"
|
||
for capability, scenario in sorted(marks.keys() & excluded.keys())
|
||
]
|
||
return problems
|