fix: require test database keys and tidy stop-at-start in the driver

cache-check gains --require-test-keys: without keys of the test database
it fails instead of passing, and a plain PASS now says the temporary
database was not checked. The coverage exclusion names the flag.
auth-storage logs in only the first user, as the design says.
stop-at-start installs its signal handlers right before the try that
restores them and kills docker logs -f when reading is interrupted.
The student-tests rule warns that copied evidence keeps the check green.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
2026-10-13 18:23:23 +03:00
co-authored by Claude Opus 5.5
parent d90a34b88b
commit 824676be32
4 changed files with 84 additions and 31 deletions
+9 -3
View File
@@ -203,9 +203,15 @@ paths:
существовать: `test_exclusion_evidence_exists` (`missing_evidence`)
падает и называет сценарий и путь. `evidence/` в следующую лабу не
переносится, поэтому там сверка красная, пока файлы не сняты заново
на её стенде. Способ проверки называет команду, которая снимает
доказательство: `driver.py --port <LB> cache-check` (после `make
test_isolated` — для «Временной базы») → `evidence/cache/hits.md`,
на её стенде. Сверка проверяет только наличие файла, а не то, на
каком стенде он снят: скопированные из прошлой лабы файлы `evidence/`
сделают её зелёной без пересъёмки. Поэтому evidence прошлой лабы не
копировать ни целиком, ни по одному файлу — только снимать заново.
Способ проверки называет команду, которая снимает
доказательство: `driver.py --port <LB> cache-check
--require-test-keys` (после `make test_isolated`; без ключей тестовой
базы — код 1, «Временная база» не доказана) →
`evidence/cache/hits.md`,
`driver.py --port <LB> auth-storage` →
`evidence/auth/passwords-and-tokens.md`; `make test-persistence` →
`evidence/replicas/test-persistence.md`; повтор после `docker compose
+2 -2
View File
@@ -97,7 +97,7 @@ python3 $D stop
| `kill-inflight [--threads 8] [--seconds 4] [--after 1.5]` | только стенд с LB (`--port 8080`): потоки входят по Basic, через `--after` с `scripts/stop-one.sh` в режиме kill убивает реплику пробного запроса. Печатает статусы по репликам и ответы LB: оборванные входы — 502 в формате контракта без повтора, начатые после kill — 201 от другой реплики. Код 1, если оборванных нет. Реплика остаётся остановленной — `make replicas` |
| `idle-conns [--threads 20] [--requests 50] [--keep-alive 60] [--lb C]` | только стенд с LB: всплеск `GET /health/live` через LB с keep-alive соединениями, клиенты остаются подключены и молчат; раз в секунду — установленные соединения на порт API внутри каждой реплики (`/proc/net/tcp`) и пул LB (`idle_conn_cur` + `safe_conn_cur`). Код 0, если реплики остались без соединений раньше `--keep-alive` (`[app] keep_alive_seconds`): закрыл LB по своему `timeout http-keep-alive`, а не реплика; иначе код 1 и «closed by the replica». `--lb C` — контейнер LB, если `--port` ведёт на временный LB с другим вариантом конфигурации перед теми же репликами (`evidence/failover/keep-alive.md`) |
| `hang-key` | только стенд с LB: временный триггер `hang_probe_<метка>` задерживает вставку пробного сообщения на 2 с, реплика с этой транзакцией замораживается `docker pause`, повторы того же `Idempotency-Key` через LB до 201 (сначала 504 от LB или 503 по ожиданию блокировки), разморозка; печатает `idle_in_transaction_session_timeout` соединения приложения и строку журнала PostgreSQL о прерывании. Код 0 — повтор получил 201, в чате одно сообщение, обе реплики снова `UP`. Триггер удаляется и реплика размораживается при любом исходе, в том числе по Ctrl+C, SIGTERM и SIGHUP; если удалить не удалось — печатается SQL удаления и код 1 (от SIGKILL уборки нет) |
| `cache-check` | только стенд с LB (`--port 8080`): сценарии `chat-cache` «Чтение из кэша», «Срок записи», «Временная база». Два синтетических пользователя и чат; ключ `messenger:v1:<база>:chat:<id>` сразу после 201 (`EXISTS`, TTL ≤ `[cache] chat_ttl_seconds` из реплики, поля значения), `DEL`, через 11 с снимок `seq_scan + idx_scan` таблицы `chats` и `keyspace_hits` / `keyspace_misses`, 50 чтений через LB, через 11 с второй снимок; TTL до и после ещё 10 чтений; число ключей рабочей и тестовой (`test_<db>`) базы. Код 0 — чтений `chats` ≤ 1, hits ≥ +49, промахов ≤ 1, ответы равны ответу на создание, TTL не продлевается, ≥ 2 `X-Instance-Id`. Для «Временной базы» перед ней — `make test_isolated`. На стенде в это время ничего другого не должно идти. Вывод — `evidence/cache/hits.md` |
| `cache-check [--require-test-keys]` | только стенд с LB (`--port 8080`): сценарии `chat-cache` «Чтение из кэша», «Срок записи», «Временная база». Два синтетических пользователя и чат; ключ `messenger:v1:<база>:chat:<id>` сразу после 201 (`EXISTS`, TTL ≤ `[cache] chat_ttl_seconds` из реплики, поля значения), `DEL`, через 11 с снимок `seq_scan + idx_scan` таблицы `chats` и `keyspace_hits` / `keyspace_misses`, 50 чтений через LB, через 11 с второй снимок; TTL до и после ещё 10 чтений; число ключей рабочей и тестовой (`test_<db>`) базы. Код 0 — чтений `chats` ≤ 1, hits ≥ +49, промахов ≤ 1, ответы равны ответу на создание, TTL не продлевается, ≥ 2 `X-Instance-Id`. Для «Временной базы» перед ней — `make test_isolated`: без ключей тестовой базы строка `PASS` заканчивается «temporary database: not checked», с `--require-test-keys` — код 1 (доказательство сценария снимается с флагом). На стенде в это время ничего другого не должно идти. Вывод — `evidence/cache/hits.md` |
| `auth-storage` | только стенд с LB: сценарии `users` «Хэш в БД» и `sessions` «Токена нет в хранилище». Пароль P (с `:` и кириллицей) и токен T — только в памяти; через psql — префикс `$argon2id$…` до соли и длина у двух пользователей с одним P, неравенство хэшей, строка `sessions` с `token_hash` = SHA-256(T) (32 байта); `pg_dump --data-only` в память — нет ли T (текстом и в hex) и P. Код 0 — всё так. Вывод — `evidence/auth/passwords-and-tokens.md` |
| `stop-at-start [--image ТЕГ] [--delays 0.2,0.3,0.4,1.5,5] [--server-start 3]` | спек `graceful-shutdown` «Остановка во время старта»: контейнеры образа (по умолчанию `mtusi-messenger:lab3`) с лимитами реплики (1 CPU / 512 МиБ без swap), без сети и `config.toml`; `docker stop --timeout 10` через паузу после `docker run` и сразу по строке «Started server process». По потоку `docker events` и журналу: «сигнал через», время `docker stop`, «выход после сигнала», код выхода, этап (`import` / `server-start` / `running`), кто остановил (`early` / `uvicorn`). Код 0 — каждая попытка с кодом 0 и `docker stop` ≤ 1 с, есть `import`, остановленный ранним обработчиком, и `running`. Проекты compose не трогает, свои контейнеры удаляет по метке `mtusi.stop-at-start`. Вывод — `evidence/failover/stop-at-start.md` |
| `stop` | SIGTERM всей группе; ждёт, пока порт освободится. Чужой сервер и контейнер не трогает |
@@ -138,7 +138,7 @@ TARGET_INSTANCE_ID=<x-instance-id> scripts/stop-one.sh # остановить
python3 $D --port 8080 kill-inflight # kill реплики во время входов: 502 от LB без повтора
python3 $D --port 8080 idle-conns # простаивающие соединения с репликами закрывает LB (~10 с), а не реплика (60 с)
python3 $D --port 8080 hang-key # зависшая реплика держит ключ: повтор получает 201 после прерывания транзакции
make test_isolated && python3 $D --port 8080 cache-check # кэш карточки: одно чтение chats на 50, TTL, ключи двух баз
make test_isolated && python3 $D --port 8080 cache-check --require-test-keys # кэш карточки: одно чтение chats на 50, TTL, ключи двух баз
python3 $D --port 8080 auth-storage # Argon2id в users, SHA-256 токена в sessions, ни токена, ни пароля в pg_dump
python3 $D stop-at-start # docker stop стартующей реплики: ~0,06 с и код 0 (раньше 10 с и 137)
make bench_failover_quick # отказ каждой реплики под нагрузкой на своём стенде mtusi-bench, ~2 мин
+70 -24
View File
@@ -40,12 +40,15 @@
разморозка, одно сообщение в чате, строка журнала PostgreSQL;
триггер удаляется при любом исходе, в том числе по Ctrl+C,
SIGTERM и SIGHUP; не удалось — печатается SQL удаления
cache-check только стенд с LB: сценарии chat-cache «Чтение из кэша»,
«Срок записи», «Временная база» — ключ карточки после
создания чата, TTL и настроенный срок, 50 чтений через LB
между снимками чтений таблицы chats и keyspace_hits Valkey,
TTL не продлевается чтениями, ключи рабочей и тестовой базы
(перед командой — make test_isolated); код 1 и нарушенный факт
cache-check [--require-test-keys] только стенд с LB: сценарии
chat-cache «Чтение из кэша», «Срок записи», «Временная
база» — ключ карточки после создания чата, TTL и настроенный
срок, 50 чтений через LB между снимками чтений таблицы chats
и keyspace_hits Valkey, TTL не продлевается чтениями, ключи
рабочей и тестовой базы (перед командой — make
test_isolated); код 1 и нарушенный факт. Без ключей тестовой
базы — PASS с «temporary database: not checked», с
--require-test-keys — код 1
auth-storage только стенд с LB: сценарии sessions «Токена нет в
хранилище» и users «Хэш в БД» — префиксы Argon2id и разные
хэши одного пароля, token_hash = SHA-256 токена, ни токена,
@@ -1270,19 +1273,18 @@ def chats_reads() -> int:
)
def synthetic_user(
def register_user(
port: int,
prefix: str,
password: str,
) -> tuple[dict[str, object], str] | None:
"""Регистрация и вход по Basic; (пользователь, токен) или None."""
username = f"{prefix}_{uuid.uuid4().hex[:8]}"
) -> dict[str, object] | None:
"""Регистрация синтетического пользователя; тело `User` или None."""
status, _, user = call(
port,
"POST",
USERS,
body={
"username": username,
"username": f"{prefix}_{uuid.uuid4().hex[:8]}",
"display_name": prefix.capitalize(),
"password": password,
},
@@ -1290,11 +1292,23 @@ def synthetic_user(
if status != 201 or not isinstance(user, dict):
print(f"register {prefix}: {status}")
return None
return user
def synthetic_user(
port: int,
prefix: str,
password: str,
) -> tuple[dict[str, object], str] | None:
"""Регистрация и вход по Basic; (пользователь, токен) или None."""
user = register_user(port, prefix, password)
if user is None:
return None
status, _, session = call(
port,
"POST",
SESSIONS,
authorization=basic(username, password),
authorization=basic(str(user["username"]), password),
)
if status != 201 or not isinstance(session, dict):
print(f"login {prefix}: {status}")
@@ -1302,10 +1316,15 @@ def synthetic_user(
return user, session["token"]
def cmd_cache_check(port: int) -> int:
def cmd_cache_check(port: int, *, require_test_keys: bool) -> int:
"""Сценарии `chat-cache` «Чтение из кэша», «Срок записи» и «Временная
база» на стенде с LB (решение 1 design change `fix-known-issues`).
«Временная база» проверяется только при ключах `test_<db>` (перед
командой — `make test_isolated`). С `require_test_keys` их отсутствие
— FAIL, без него — PASS с пометкой «not checked»: доказательство
сценария снимается с флагом.
Между двумя снимками счётчиков — только `CACHE_READS` чтений карточки
через LB: к ключу драйвер в это время не обращается (`EXISTS`, `TTL`
и `GET` Valkey тоже считает в `keyspace_hits`). Ключ перед окном
@@ -1422,12 +1441,15 @@ def cmd_cache_check(port: int) -> int:
keys = stand_valkey("--scan", "--pattern", pattern)
counts[name] = len(keys.split())
print(f"keys {pattern}: {counts[name]}")
if not counts[f"test_{database}"]:
test_keys = counts[f"test_{database}"]
if not test_keys:
print(
"no keys of the test database: run make test_isolated before "
"this command for the scenario «Временная база»",
)
problems = []
if require_test_keys and not test_keys:
problems.append("no keys of the test database (--require-test-keys)")
if reads > 1:
problems.append(f"table chats read {reads} times")
if hits < CACHE_READS - 1 or misses > 1:
@@ -1443,7 +1465,15 @@ def cmd_cache_check(port: int) -> int:
if problems:
print("FAIL: " + "; ".join(problems))
return 1
print("PASS: one read of chats, the rest from Valkey; TTL is bounded")
temporary = (
f"temporary database: {test_keys} keys under its own prefix"
if test_keys
else "temporary database: not checked, run make test_isolated first"
)
print(
"PASS: one read of chats, the rest from Valkey; TTL is bounded; "
+ temporary,
)
return 0
@@ -1457,11 +1487,12 @@ def cmd_auth_storage(port: int) -> int:
if no_lb(port):
return 1
password = f"Пароль:{secrets.token_urlsafe(18)}:ключ"
# вход только первого: второй нужен лишь для второго хэша того же P
first = synthetic_user(port, "auth", password)
second = synthetic_user(port, "auth", password)
if first is None or second is None:
user2 = register_user(port, "auth", password)
if first is None or user2 is None:
return 1
(user1, token), (user2, _) = first, second
user1, token = first
names = (user1["username"], user2["username"])
# username — синтетические [a-z0-9_], hex — безопасны в тексте SQL
rows = stand_psql(
@@ -1588,10 +1619,6 @@ def cmd_stop_at_start(image: str, delays: list[float], server: int) -> int:
def interrupted(signum: int, _frame: object) -> None:
raise KeyboardInterrupt(signal.Signals(signum).name)
previous = {
signum: signal.signal(signum, interrupted)
for signum in (signal.SIGTERM, signal.SIGHUP)
}
tag = uuid.uuid4().hex[:8]
label = f"{STOP_LABEL}={tag}"
events_path = Path(f"/tmp/mtusi-stop-at-start-{tag}.events")
@@ -1628,6 +1655,11 @@ def cmd_stop_at_start(image: str, delays: list[float], server: int) -> int:
stdout=out,
stderr=subprocess.DEVNULL,
)
# обработчики ставятся прямо перед try: вернуть их может только finally
previous = {
signum: signal.signal(signum, interrupted)
for signum in (signal.SIGTERM, signal.SIGHUP)
}
try:
# CLI подключается к демону до первого контейнера
time.sleep(1)
@@ -1714,6 +1746,12 @@ def stop_attempt(
for line in follow.stdout or []:
if STARTED_SERVER in line:
break
except BaseException:
# Ctrl+C или SIGTERM посреди чтения: docker logs -f не ждёт
# уборки контейнера по метке
follow.kill()
follow.wait()
raise
finally:
timer.cancel()
began = time.monotonic()
@@ -1878,7 +1916,12 @@ def main() -> int:
# контейнер LB, если --port ведёт не на LB стенда (вариант конфигурации)
idle.add_argument("--lb")
sub.add_parser("hang-key")
sub.add_parser("cache-check")
cache = sub.add_parser("cache-check")
cache.add_argument(
"--require-test-keys",
action="store_true",
help="код 1 без ключей тестовой базы (сценарий «Временная база»)",
)
sub.add_parser("auth-storage")
stop = sub.add_parser("stop-at-start")
stop.add_argument("--image", default="mtusi-messenger:lab3")
@@ -1944,7 +1987,10 @@ def main() -> int:
if args.cmd == "hang-key":
return cmd_hang_key(port)
if args.cmd == "cache-check":
return cmd_cache_check(port)
return cmd_cache_check(
port,
require_test_keys=args.require_test_keys,
)
if args.cmd == "auth-storage":
return cmd_auth_storage(port)
if args.cmd == "stop-at-start":
+3 -2
View File
@@ -78,8 +78,9 @@ EXCLUDED: dict[Scenario, Exclusion] = {
reason="ключи видны только в Valkey, а набор не знает, на какой "
"базе работает",
check="make test_isolated, затем driver.py --port <LB> "
"cache-check: число ключей с префиксами рабочей и тестовой базы "
"— evidence/cache/hits.md",
"cache-check --require-test-keys (без ключей тестовой базы — код "
"1): число ключей с префиксами рабочей и тестовой базы — "
"evidence/cache/hits.md",
),
("data-storage", "Прежний пользователь после рестарта"): Exclusion(
reason="нужен рестарт стенда, тесты сервер не трогают",