Files
mtusi2026lab2/student-tests/spec_coverage.py
T
ricoromaandClaude Opus 5.5 cae4b09147 feat: cache chat cards in Valkey
Valkey 9.1 in compose caches the immutable chat card (title, members,
created_at) used by GET /chats/{id} and by the membership check of the
message endpoints. Cache-aside with a write after commit, keys per
database, TTL plus allkeys-lru, persistence off. redis-py runs without
retries; on failure the cache is skipped for a few seconds and requests
go to PostgreSQL. Readiness does not depend on Valkey.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
2026-10-01 21:17:55 +03:00

218 lines
10 KiB
Python
Raw Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
"""Сверка тестов со сценариями основных спеков `openspec/specs/`."""
import re
from collections.abc import Iterable, Mapping
from dataclasses import dataclass, field
from pathlib import Path
import pytest
SPECS_DIR = Path(__file__).resolve().parents[1] / "openspec" / "specs"
# основные спеки поведения API; спеки контейнера, логов и конфига
# проверяются evidence, а не HTTP-тестами
CAPABILITIES = (
"api-conventions",
"identification",
"sessions",
"users",
"chats",
"messages",
"pagination",
"data-storage",
"chat-cache",
"health",
)
SCENARIO_RE = re.compile(r"^#### Scenario: (.+?)\s*$", re.MULTILINE)
type Scenario = tuple[str, str]
@dataclass(frozen=True)
class Exclusion:
"""Сценарий, который не воспроизвести по HTTP против сервера."""
reason: str
check: str
EXCLUDED: dict[Scenario, Exclusion] = {
("api-conventions", "Ответ 500"): Exclusion(
reason="500 возникает только при сбое внутри сервиса, "
"штатным запросом его не вызвать",
check="временно бросить исключение в ручке и запросить её; "
"обработчик Exception — src/api/errors.py",
),
("api-conventions", "Исключение внутри обработки"): Exclusion(
reason="нужен сбой внутри сервиса, как для «Ответ 500»; "
"traceback виден только в логе процесса",
check="тот же ручной сбой, затем make logs: запись error с "
"traceback и тем же request_id",
),
("chat-cache", "Чтение из кэша"): Exclusion(
reason="по HTTP ответ из кэша не отличить от ответа из PostgreSQL",
check="idx_scan таблицы chats и keyspace_hits Valkey за 50 "
"чтений — evidence/cache/hits.md",
),
("chat-cache", "Срок записи"): Exclusion(
reason="срок ключа виден только в Valkey",
check="TTL ключа карточки через valkey-cli — evidence/cache/hits.md",
),
("chat-cache", "Valkey остановлен"): Exclusion(
reason="нужно остановить Valkey, тесты стенд не трогают",
check="evidence/cache/outage.md; автоматическая проверка — "
"change failure-checks",
),
("chat-cache", "Valkey завис"): Exclusion(
reason="нужен docker compose pause для Valkey",
check="evidence/cache/outage.md: время ответа; автоматическая "
"проверка — change failure-checks",
),
("chat-cache", "Valkey вернулся"): Exclusion(
reason="нужно остановить и снова запустить Valkey",
check="evidence/cache/outage.md: warning и info в журнале, "
"ключи снова пишутся; автоматическая проверка — change "
"failure-checks",
),
("chat-cache", "Очистка кэша"): Exclusion(
reason="нужен FLUSHALL в Valkey, тесты стенд не трогают",
check="evidence/cache/flush-restart.md",
),
("chat-cache", "Временная база"): Exclusion(
reason="ключи видны только в Valkey, а набор не знает, на какой "
"базе работает",
check="число ключей с префиксами рабочей и тестовой базы после "
"make test_isolated — evidence/cache/hits.md",
),
("data-storage", "Прежний пользователь после рестарта"): Exclusion(
reason="нужен рестарт стенда, тесты сервер не трогают",
check="make test-persistence ACTION_SCRIPT=scripts/restart.sh: "
"прежний токен читает те же данные — "
"evidence/storage/test-persistence.md",
),
("data-storage", "Сбой при добавлении участников"): Exclusion(
reason="нужен сбой БД посреди транзакции: штатным запросом его "
"не вызвать, участники проверяются до вставки",
check="одна транзакция и один commit в ChatService.create_chat; "
"автоматическая проверка отката — change failure-checks",
),
("data-storage", "БД остановлена"): Exclusion(
reason="нужно остановить Postgres, тесты стенд не трогают",
check="evidence/storage/db-unavailable.md; автоматическая "
"проверка — change failure-checks",
),
("data-storage", "БД вернулась"): Exclusion(
reason="нужно остановить и снова запустить Postgres",
check="evidence/storage/db-unavailable.md; автоматическая "
"проверка — change failure-checks",
),
("data-storage", "Соединения исчерпаны"): Exclusion(
reason="нужны пул из одного соединения и замороженный Postgres",
check="evidence/storage/pool-timeout.md; автоматическая "
"проверка — change failure-checks",
),
("health", "Хранилище не готово"): Exclusion(
reason="нужно остановить Postgres, тесты стенд не трогают",
check="evidence/storage/db-unavailable.md: /health/ready — 503, "
"/health/live — 200; автоматическая проверка — change "
"failure-checks",
),
("health", "Кэш недоступен"): Exclusion(
reason="нужно остановить Valkey, тесты стенд не трогают",
check="evidence/cache/outage.md: /health/ready — 200; "
"автоматическая проверка — change failure-checks",
),
("identification", "Кнопка Authorize в Swagger"): Exclusion(
reason="это интерфейс /docs в браузере",
check="схемы bearerAuth и basicAuth, из которых строится кнопка, "
"проверяет тест сценария «Схема в openapi.json»; кнопку — вручную "
"(REPORT.md, таблица доказательств)",
),
("sessions", "Токена нет в хранилище"): Exclusion(
reason="нужен доступ к таблицам PostgreSQL, а тесты ходят по HTTP",
check="поиск выданного токена по всем таблицам через psql — "
"evidence/auth/passwords-and-tokens.md",
),
("sessions", "Истёкший токен"): Exclusion(
reason="нужен сервис со сроком сессии 2 с, а обычный стенд — с 3600 с",
check="AUTH__SESSION_TTL_SECONDS=2 — evidence/auth/expiry.md; "
"автоматическая проверка — change failure-checks",
),
("sessions", "Срок не продлевается"): Exclusion(
reason="нужен сервис со сроком сессии 2 с",
check="запросы каждые 0,5 с при сроке 2 с — "
"evidence/auth/expiry.md; автоматическая проверка — change "
"failure-checks",
),
("sessions", "Прежний токен после рестарта"): Exclusion(
reason="нужен рестарт стенда, тесты сервер не трогают",
check="make test-persistence ACTION_SCRIPT=scripts/restart.sh — "
"evidence/storage/test-persistence.md",
),
("sessions", "БД остановлена при запросе с токеном"): Exclusion(
reason="нужно остановить Postgres, тесты стенд не трогают",
check="evidence/auth/expiry.md; автоматическая проверка — "
"change failure-checks",
),
("users", "Хэш в БД"): Exclusion(
reason="нужен доступ к таблице users, а тесты ходят по HTTP",
check="строки users через psql: префикс $argon2id$ и разные "
"хэши одинаковых паролей — evidence/auth/passwords-and-tokens.md",
),
}
@dataclass
class Collected:
"""Что собрал pytest: маркеры `spec` и модули тестов."""
marks: dict[Scenario, list[str]] = field(default_factory=dict)
modules: set[str] = field(default_factory=set)
COLLECTED = pytest.StashKey[Collected]()
def spec_scenarios(capability: str, specs_dir: Path = SPECS_DIR) -> list[str]:
text = (specs_dir / capability / "spec.md").read_text(encoding="utf-8")
return SCENARIO_RE.findall(text)
def all_scenarios(
capabilities: Iterable[str] = CAPABILITIES,
specs_dir: Path = SPECS_DIR,
) -> set[Scenario]:
return {
(capability, scenario)
for capability in capabilities
for scenario in spec_scenarios(capability, specs_dir)
}
def coverage_problems(
scenarios: set[Scenario],
marks: Mapping[Scenario, list[str]],
excluded: Mapping[Scenario, Exclusion],
) -> list[str]:
"""Расхождения между спеками, маркерами и исключениями."""
problems = [
f"no test and no exclusion: {capability} / {scenario}"
for capability, scenario in sorted(
scenarios - marks.keys() - excluded.keys(),
)
]
problems += [
f"marker points to unknown scenario {capability} / {scenario}: "
+ ", ".join(nodeids)
for (capability, scenario), nodeids in sorted(marks.items())
if (capability, scenario) not in scenarios
]
problems += [
f"exclusion points to unknown scenario: {capability} / {scenario}"
for capability, scenario in sorted(excluded.keys() - scenarios)
]
problems += [
f"scenario is both tested and excluded: {capability} / {scenario}"
for capability, scenario in sorted(marks.keys() & excluded.keys())
]
return problems