Files
mtusi2026lab2/student-tests/spec_coverage.py
T
ricoromaandClaude Opus 5.5 ae4154eaf5 feat: add password login and bearer sessions
- Argon2id password hashes, KDF in a thread with its own limit
- POST /auth/sessions with Basic, DELETE /auth/sessions/current
- Bearer sessions in PostgreSQL, X-User-Id ignored
- migration drops lab 1 data without passwords
- student-tests on tokens, sessions spec and synced specs

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
2026-10-01 18:50:42 +03:00

176 lines
8.1 KiB
Python
Raw Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
"""Сверка тестов со сценариями основных спеков `openspec/specs/`."""
import re
from collections.abc import Iterable, Mapping
from dataclasses import dataclass, field
from pathlib import Path
import pytest
SPECS_DIR = Path(__file__).resolve().parents[1] / "openspec" / "specs"
# основные спеки поведения API; спеки контейнера, логов и конфига
# проверяются evidence, а не HTTP-тестами
CAPABILITIES = (
"api-conventions",
"identification",
"sessions",
"users",
"chats",
"messages",
"pagination",
"data-storage",
"health",
)
SCENARIO_RE = re.compile(r"^#### Scenario: (.+?)\s*$", re.MULTILINE)
type Scenario = tuple[str, str]
@dataclass(frozen=True)
class Exclusion:
"""Сценарий, который не воспроизвести по HTTP против сервера."""
reason: str
check: str
EXCLUDED: dict[Scenario, Exclusion] = {
("api-conventions", "Ответ 500"): Exclusion(
reason="500 возникает только при сбое внутри сервиса, "
"штатным запросом его не вызвать",
check="временно бросить исключение в ручке и запросить её; "
"обработчик Exception — src/api/errors.py",
),
("api-conventions", "Исключение внутри обработки"): Exclusion(
reason="нужен сбой внутри сервиса, как для «Ответ 500»; "
"traceback виден только в логе процесса",
check="тот же ручной сбой, затем make logs: запись error с "
"traceback и тем же request_id",
),
("data-storage", "Прежний пользователь после рестарта"): Exclusion(
reason="нужен рестарт стенда, тесты сервер не трогают",
check="make test-persistence ACTION_SCRIPT=scripts/restart.sh: "
"прежний токен читает те же данные — "
"evidence/storage/test-persistence.md",
),
("data-storage", "Сбой при добавлении участников"): Exclusion(
reason="нужен сбой БД посреди транзакции: штатным запросом его "
"не вызвать, участники проверяются до вставки",
check="одна транзакция и один commit в ChatService.create_chat; "
"автоматическая проверка отката — change failure-checks",
),
("data-storage", "БД остановлена"): Exclusion(
reason="нужно остановить Postgres, тесты стенд не трогают",
check="evidence/storage/db-unavailable.md; автоматическая "
"проверка — change failure-checks",
),
("data-storage", "БД вернулась"): Exclusion(
reason="нужно остановить и снова запустить Postgres",
check="evidence/storage/db-unavailable.md; автоматическая "
"проверка — change failure-checks",
),
("data-storage", "Соединения исчерпаны"): Exclusion(
reason="нужны пул из одного соединения и замороженный Postgres",
check="evidence/storage/pool-timeout.md; автоматическая "
"проверка — change failure-checks",
),
("health", "Хранилище не готово"): Exclusion(
reason="нужно остановить Postgres, тесты стенд не трогают",
check="evidence/storage/db-unavailable.md: /health/ready — 503, "
"/health/live — 200; автоматическая проверка — change "
"failure-checks",
),
("identification", "Кнопка Authorize в Swagger"): Exclusion(
reason="это интерфейс /docs в браузере",
check="схемы bearerAuth и basicAuth, из которых строится кнопка, "
"проверяет тест сценария «Схема в openapi.json»; кнопку — вручную",
),
("sessions", "Токена нет в хранилище"): Exclusion(
reason="нужен доступ к таблицам PostgreSQL, а тесты ходят по HTTP",
check="поиск выданного токена по всем таблицам через psql — "
"evidence/auth/passwords-and-tokens.md",
),
("sessions", "Истёкший токен"): Exclusion(
reason="нужен сервис со сроком сессии 2 с, а обычный стенд — с 3600 с",
check="AUTH__SESSION_TTL_SECONDS=2 — evidence/auth/expiry.md; "
"автоматическая проверка — change failure-checks",
),
("sessions", "Срок не продлевается"): Exclusion(
reason="нужен сервис со сроком сессии 2 с",
check="запросы каждые 0,5 с при сроке 2 с — "
"evidence/auth/expiry.md; автоматическая проверка — change "
"failure-checks",
),
("sessions", "Прежний токен после рестарта"): Exclusion(
reason="нужен рестарт стенда, тесты сервер не трогают",
check="make test-persistence ACTION_SCRIPT=scripts/restart.sh — "
"evidence/storage/test-persistence.md",
),
("sessions", "БД остановлена при запросе с токеном"): Exclusion(
reason="нужно остановить Postgres, тесты стенд не трогают",
check="evidence/auth/expiry.md; автоматическая проверка — "
"change failure-checks",
),
("users", "Хэш в БД"): Exclusion(
reason="нужен доступ к таблице users, а тесты ходят по HTTP",
check="строки users через psql: префикс $argon2id$ и разные "
"хэши одинаковых паролей — evidence/auth/passwords-and-tokens.md",
),
}
@dataclass
class Collected:
"""Что собрал pytest: маркеры `spec` и модули тестов."""
marks: dict[Scenario, list[str]] = field(default_factory=dict)
modules: set[str] = field(default_factory=set)
COLLECTED = pytest.StashKey[Collected]()
def spec_scenarios(capability: str, specs_dir: Path = SPECS_DIR) -> list[str]:
text = (specs_dir / capability / "spec.md").read_text(encoding="utf-8")
return SCENARIO_RE.findall(text)
def all_scenarios(
capabilities: Iterable[str] = CAPABILITIES,
specs_dir: Path = SPECS_DIR,
) -> set[Scenario]:
return {
(capability, scenario)
for capability in capabilities
for scenario in spec_scenarios(capability, specs_dir)
}
def coverage_problems(
scenarios: set[Scenario],
marks: Mapping[Scenario, list[str]],
excluded: Mapping[Scenario, Exclusion],
) -> list[str]:
"""Расхождения между спеками, маркерами и исключениями."""
problems = [
f"no test and no exclusion: {capability} / {scenario}"
for capability, scenario in sorted(
scenarios - marks.keys() - excluded.keys(),
)
]
problems += [
f"marker points to unknown scenario {capability} / {scenario}: "
+ ", ".join(nodeids)
for (capability, scenario), nodeids in sorted(marks.items())
if (capability, scenario) not in scenarios
]
problems += [
f"exclusion points to unknown scenario: {capability} / {scenario}"
for capability, scenario in sorted(excluded.keys() - scenarios)
]
problems += [
f"scenario is both tested and excluded: {capability} / {scenario}"
for capability, scenario in sorted(marks.keys() & excluded.keys())
]
return problems