fix: require test database keys and tidy stop-at-start in the driver
cache-check gains --require-test-keys: without keys of the test database it fails instead of passing, and a plain PASS now says the temporary database was not checked. The coverage exclusion names the flag. auth-storage logs in only the first user, as the design says. stop-at-start installs its signal handlers right before the try that restores them and kills docker logs -f when reading is interrupted. The student-tests rule warns that copied evidence keeps the check green. Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
@@ -203,9 +203,15 @@ paths:
|
||||
существовать: `test_exclusion_evidence_exists` (`missing_evidence`)
|
||||
падает и называет сценарий и путь. `evidence/` в следующую лабу не
|
||||
переносится, поэтому там сверка красная, пока файлы не сняты заново
|
||||
на её стенде. Способ проверки называет команду, которая снимает
|
||||
доказательство: `driver.py --port <LB> cache-check` (после `make
|
||||
test_isolated` — для «Временной базы») → `evidence/cache/hits.md`,
|
||||
на её стенде. Сверка проверяет только наличие файла, а не то, на
|
||||
каком стенде он снят: скопированные из прошлой лабы файлы `evidence/`
|
||||
сделают её зелёной без пересъёмки. Поэтому evidence прошлой лабы не
|
||||
копировать ни целиком, ни по одному файлу — только снимать заново.
|
||||
Способ проверки называет команду, которая снимает
|
||||
доказательство: `driver.py --port <LB> cache-check
|
||||
--require-test-keys` (после `make test_isolated`; без ключей тестовой
|
||||
базы — код 1, «Временная база» не доказана) →
|
||||
`evidence/cache/hits.md`,
|
||||
`driver.py --port <LB> auth-storage` →
|
||||
`evidence/auth/passwords-and-tokens.md`; `make test-persistence` →
|
||||
`evidence/replicas/test-persistence.md`; повтор после `docker compose
|
||||
|
||||
@@ -97,7 +97,7 @@ python3 $D stop
|
||||
| `kill-inflight [--threads 8] [--seconds 4] [--after 1.5]` | только стенд с LB (`--port 8080`): потоки входят по Basic, через `--after` с `scripts/stop-one.sh` в режиме kill убивает реплику пробного запроса. Печатает статусы по репликам и ответы LB: оборванные входы — 502 в формате контракта без повтора, начатые после kill — 201 от другой реплики. Код 1, если оборванных нет. Реплика остаётся остановленной — `make replicas` |
|
||||
| `idle-conns [--threads 20] [--requests 50] [--keep-alive 60] [--lb C]` | только стенд с LB: всплеск `GET /health/live` через LB с keep-alive соединениями, клиенты остаются подключены и молчат; раз в секунду — установленные соединения на порт API внутри каждой реплики (`/proc/net/tcp`) и пул LB (`idle_conn_cur` + `safe_conn_cur`). Код 0, если реплики остались без соединений раньше `--keep-alive` (`[app] keep_alive_seconds`): закрыл LB по своему `timeout http-keep-alive`, а не реплика; иначе код 1 и «closed by the replica». `--lb C` — контейнер LB, если `--port` ведёт на временный LB с другим вариантом конфигурации перед теми же репликами (`evidence/failover/keep-alive.md`) |
|
||||
| `hang-key` | только стенд с LB: временный триггер `hang_probe_<метка>` задерживает вставку пробного сообщения на 2 с, реплика с этой транзакцией замораживается `docker pause`, повторы того же `Idempotency-Key` через LB до 201 (сначала 504 от LB или 503 по ожиданию блокировки), разморозка; печатает `idle_in_transaction_session_timeout` соединения приложения и строку журнала PostgreSQL о прерывании. Код 0 — повтор получил 201, в чате одно сообщение, обе реплики снова `UP`. Триггер удаляется и реплика размораживается при любом исходе, в том числе по Ctrl+C, SIGTERM и SIGHUP; если удалить не удалось — печатается SQL удаления и код 1 (от SIGKILL уборки нет) |
|
||||
| `cache-check` | только стенд с LB (`--port 8080`): сценарии `chat-cache` «Чтение из кэша», «Срок записи», «Временная база». Два синтетических пользователя и чат; ключ `messenger:v1:<база>:chat:<id>` сразу после 201 (`EXISTS`, TTL ≤ `[cache] chat_ttl_seconds` из реплики, поля значения), `DEL`, через 11 с снимок `seq_scan + idx_scan` таблицы `chats` и `keyspace_hits` / `keyspace_misses`, 50 чтений через LB, через 11 с второй снимок; TTL до и после ещё 10 чтений; число ключей рабочей и тестовой (`test_<db>`) базы. Код 0 — чтений `chats` ≤ 1, hits ≥ +49, промахов ≤ 1, ответы равны ответу на создание, TTL не продлевается, ≥ 2 `X-Instance-Id`. Для «Временной базы» перед ней — `make test_isolated`. На стенде в это время ничего другого не должно идти. Вывод — `evidence/cache/hits.md` |
|
||||
| `cache-check [--require-test-keys]` | только стенд с LB (`--port 8080`): сценарии `chat-cache` «Чтение из кэша», «Срок записи», «Временная база». Два синтетических пользователя и чат; ключ `messenger:v1:<база>:chat:<id>` сразу после 201 (`EXISTS`, TTL ≤ `[cache] chat_ttl_seconds` из реплики, поля значения), `DEL`, через 11 с снимок `seq_scan + idx_scan` таблицы `chats` и `keyspace_hits` / `keyspace_misses`, 50 чтений через LB, через 11 с второй снимок; TTL до и после ещё 10 чтений; число ключей рабочей и тестовой (`test_<db>`) базы. Код 0 — чтений `chats` ≤ 1, hits ≥ +49, промахов ≤ 1, ответы равны ответу на создание, TTL не продлевается, ≥ 2 `X-Instance-Id`. Для «Временной базы» перед ней — `make test_isolated`: без ключей тестовой базы строка `PASS` заканчивается «temporary database: not checked», с `--require-test-keys` — код 1 (доказательство сценария снимается с флагом). На стенде в это время ничего другого не должно идти. Вывод — `evidence/cache/hits.md` |
|
||||
| `auth-storage` | только стенд с LB: сценарии `users` «Хэш в БД» и `sessions` «Токена нет в хранилище». Пароль P (с `:` и кириллицей) и токен T — только в памяти; через psql — префикс `$argon2id$…` до соли и длина у двух пользователей с одним P, неравенство хэшей, строка `sessions` с `token_hash` = SHA-256(T) (32 байта); `pg_dump --data-only` в память — нет ли T (текстом и в hex) и P. Код 0 — всё так. Вывод — `evidence/auth/passwords-and-tokens.md` |
|
||||
| `stop-at-start [--image ТЕГ] [--delays 0.2,0.3,0.4,1.5,5] [--server-start 3]` | спек `graceful-shutdown` «Остановка во время старта»: контейнеры образа (по умолчанию `mtusi-messenger:lab3`) с лимитами реплики (1 CPU / 512 МиБ без swap), без сети и `config.toml`; `docker stop --timeout 10` через паузу после `docker run` и сразу по строке «Started server process». По потоку `docker events` и журналу: «сигнал через», время `docker stop`, «выход после сигнала», код выхода, этап (`import` / `server-start` / `running`), кто остановил (`early` / `uvicorn`). Код 0 — каждая попытка с кодом 0 и `docker stop` ≤ 1 с, есть `import`, остановленный ранним обработчиком, и `running`. Проекты compose не трогает, свои контейнеры удаляет по метке `mtusi.stop-at-start`. Вывод — `evidence/failover/stop-at-start.md` |
|
||||
| `stop` | SIGTERM всей группе; ждёт, пока порт освободится. Чужой сервер и контейнер не трогает |
|
||||
@@ -138,7 +138,7 @@ TARGET_INSTANCE_ID=<x-instance-id> scripts/stop-one.sh # остановить
|
||||
python3 $D --port 8080 kill-inflight # kill реплики во время входов: 502 от LB без повтора
|
||||
python3 $D --port 8080 idle-conns # простаивающие соединения с репликами закрывает LB (~10 с), а не реплика (60 с)
|
||||
python3 $D --port 8080 hang-key # зависшая реплика держит ключ: повтор получает 201 после прерывания транзакции
|
||||
make test_isolated && python3 $D --port 8080 cache-check # кэш карточки: одно чтение chats на 50, TTL, ключи двух баз
|
||||
make test_isolated && python3 $D --port 8080 cache-check --require-test-keys # кэш карточки: одно чтение chats на 50, TTL, ключи двух баз
|
||||
python3 $D --port 8080 auth-storage # Argon2id в users, SHA-256 токена в sessions, ни токена, ни пароля в pg_dump
|
||||
python3 $D stop-at-start # docker stop стартующей реплики: ~0,06 с и код 0 (раньше 10 с и 137)
|
||||
make bench_failover_quick # отказ каждой реплики под нагрузкой на своём стенде mtusi-bench, ~2 мин
|
||||
|
||||
@@ -40,12 +40,15 @@
|
||||
разморозка, одно сообщение в чате, строка журнала PostgreSQL;
|
||||
триггер удаляется при любом исходе, в том числе по Ctrl+C,
|
||||
SIGTERM и SIGHUP; не удалось — печатается SQL удаления
|
||||
cache-check только стенд с LB: сценарии chat-cache «Чтение из кэша»,
|
||||
«Срок записи», «Временная база» — ключ карточки после
|
||||
создания чата, TTL и настроенный срок, 50 чтений через LB
|
||||
между снимками чтений таблицы chats и keyspace_hits Valkey,
|
||||
TTL не продлевается чтениями, ключи рабочей и тестовой базы
|
||||
(перед командой — make test_isolated); код 1 и нарушенный факт
|
||||
cache-check [--require-test-keys] только стенд с LB: сценарии
|
||||
chat-cache «Чтение из кэша», «Срок записи», «Временная
|
||||
база» — ключ карточки после создания чата, TTL и настроенный
|
||||
срок, 50 чтений через LB между снимками чтений таблицы chats
|
||||
и keyspace_hits Valkey, TTL не продлевается чтениями, ключи
|
||||
рабочей и тестовой базы (перед командой — make
|
||||
test_isolated); код 1 и нарушенный факт. Без ключей тестовой
|
||||
базы — PASS с «temporary database: not checked», с
|
||||
--require-test-keys — код 1
|
||||
auth-storage только стенд с LB: сценарии sessions «Токена нет в
|
||||
хранилище» и users «Хэш в БД» — префиксы Argon2id и разные
|
||||
хэши одного пароля, token_hash = SHA-256 токена, ни токена,
|
||||
@@ -1270,19 +1273,18 @@ def chats_reads() -> int:
|
||||
)
|
||||
|
||||
|
||||
def synthetic_user(
|
||||
def register_user(
|
||||
port: int,
|
||||
prefix: str,
|
||||
password: str,
|
||||
) -> tuple[dict[str, object], str] | None:
|
||||
"""Регистрация и вход по Basic; (пользователь, токен) или None."""
|
||||
username = f"{prefix}_{uuid.uuid4().hex[:8]}"
|
||||
) -> dict[str, object] | None:
|
||||
"""Регистрация синтетического пользователя; тело `User` или None."""
|
||||
status, _, user = call(
|
||||
port,
|
||||
"POST",
|
||||
USERS,
|
||||
body={
|
||||
"username": username,
|
||||
"username": f"{prefix}_{uuid.uuid4().hex[:8]}",
|
||||
"display_name": prefix.capitalize(),
|
||||
"password": password,
|
||||
},
|
||||
@@ -1290,11 +1292,23 @@ def synthetic_user(
|
||||
if status != 201 or not isinstance(user, dict):
|
||||
print(f"register {prefix}: {status}")
|
||||
return None
|
||||
return user
|
||||
|
||||
|
||||
def synthetic_user(
|
||||
port: int,
|
||||
prefix: str,
|
||||
password: str,
|
||||
) -> tuple[dict[str, object], str] | None:
|
||||
"""Регистрация и вход по Basic; (пользователь, токен) или None."""
|
||||
user = register_user(port, prefix, password)
|
||||
if user is None:
|
||||
return None
|
||||
status, _, session = call(
|
||||
port,
|
||||
"POST",
|
||||
SESSIONS,
|
||||
authorization=basic(username, password),
|
||||
authorization=basic(str(user["username"]), password),
|
||||
)
|
||||
if status != 201 or not isinstance(session, dict):
|
||||
print(f"login {prefix}: {status}")
|
||||
@@ -1302,10 +1316,15 @@ def synthetic_user(
|
||||
return user, session["token"]
|
||||
|
||||
|
||||
def cmd_cache_check(port: int) -> int:
|
||||
def cmd_cache_check(port: int, *, require_test_keys: bool) -> int:
|
||||
"""Сценарии `chat-cache` «Чтение из кэша», «Срок записи» и «Временная
|
||||
база» на стенде с LB (решение 1 design change `fix-known-issues`).
|
||||
|
||||
«Временная база» проверяется только при ключах `test_<db>` (перед
|
||||
командой — `make test_isolated`). С `require_test_keys` их отсутствие
|
||||
— FAIL, без него — PASS с пометкой «not checked»: доказательство
|
||||
сценария снимается с флагом.
|
||||
|
||||
Между двумя снимками счётчиков — только `CACHE_READS` чтений карточки
|
||||
через LB: к ключу драйвер в это время не обращается (`EXISTS`, `TTL`
|
||||
и `GET` Valkey тоже считает в `keyspace_hits`). Ключ перед окном
|
||||
@@ -1422,12 +1441,15 @@ def cmd_cache_check(port: int) -> int:
|
||||
keys = stand_valkey("--scan", "--pattern", pattern)
|
||||
counts[name] = len(keys.split())
|
||||
print(f"keys {pattern}: {counts[name]}")
|
||||
if not counts[f"test_{database}"]:
|
||||
test_keys = counts[f"test_{database}"]
|
||||
if not test_keys:
|
||||
print(
|
||||
"no keys of the test database: run make test_isolated before "
|
||||
"this command for the scenario «Временная база»",
|
||||
)
|
||||
problems = []
|
||||
if require_test_keys and not test_keys:
|
||||
problems.append("no keys of the test database (--require-test-keys)")
|
||||
if reads > 1:
|
||||
problems.append(f"table chats read {reads} times")
|
||||
if hits < CACHE_READS - 1 or misses > 1:
|
||||
@@ -1443,7 +1465,15 @@ def cmd_cache_check(port: int) -> int:
|
||||
if problems:
|
||||
print("FAIL: " + "; ".join(problems))
|
||||
return 1
|
||||
print("PASS: one read of chats, the rest from Valkey; TTL is bounded")
|
||||
temporary = (
|
||||
f"temporary database: {test_keys} keys under its own prefix"
|
||||
if test_keys
|
||||
else "temporary database: not checked, run make test_isolated first"
|
||||
)
|
||||
print(
|
||||
"PASS: one read of chats, the rest from Valkey; TTL is bounded; "
|
||||
+ temporary,
|
||||
)
|
||||
return 0
|
||||
|
||||
|
||||
@@ -1457,11 +1487,12 @@ def cmd_auth_storage(port: int) -> int:
|
||||
if no_lb(port):
|
||||
return 1
|
||||
password = f"Пароль:{secrets.token_urlsafe(18)}:ключ"
|
||||
# вход только первого: второй нужен лишь для второго хэша того же P
|
||||
first = synthetic_user(port, "auth", password)
|
||||
second = synthetic_user(port, "auth", password)
|
||||
if first is None or second is None:
|
||||
user2 = register_user(port, "auth", password)
|
||||
if first is None or user2 is None:
|
||||
return 1
|
||||
(user1, token), (user2, _) = first, second
|
||||
user1, token = first
|
||||
names = (user1["username"], user2["username"])
|
||||
# username — синтетические [a-z0-9_], hex — безопасны в тексте SQL
|
||||
rows = stand_psql(
|
||||
@@ -1588,10 +1619,6 @@ def cmd_stop_at_start(image: str, delays: list[float], server: int) -> int:
|
||||
def interrupted(signum: int, _frame: object) -> None:
|
||||
raise KeyboardInterrupt(signal.Signals(signum).name)
|
||||
|
||||
previous = {
|
||||
signum: signal.signal(signum, interrupted)
|
||||
for signum in (signal.SIGTERM, signal.SIGHUP)
|
||||
}
|
||||
tag = uuid.uuid4().hex[:8]
|
||||
label = f"{STOP_LABEL}={tag}"
|
||||
events_path = Path(f"/tmp/mtusi-stop-at-start-{tag}.events")
|
||||
@@ -1628,6 +1655,11 @@ def cmd_stop_at_start(image: str, delays: list[float], server: int) -> int:
|
||||
stdout=out,
|
||||
stderr=subprocess.DEVNULL,
|
||||
)
|
||||
# обработчики ставятся прямо перед try: вернуть их может только finally
|
||||
previous = {
|
||||
signum: signal.signal(signum, interrupted)
|
||||
for signum in (signal.SIGTERM, signal.SIGHUP)
|
||||
}
|
||||
try:
|
||||
# CLI подключается к демону до первого контейнера
|
||||
time.sleep(1)
|
||||
@@ -1714,6 +1746,12 @@ def stop_attempt(
|
||||
for line in follow.stdout or []:
|
||||
if STARTED_SERVER in line:
|
||||
break
|
||||
except BaseException:
|
||||
# Ctrl+C или SIGTERM посреди чтения: docker logs -f не ждёт
|
||||
# уборки контейнера по метке
|
||||
follow.kill()
|
||||
follow.wait()
|
||||
raise
|
||||
finally:
|
||||
timer.cancel()
|
||||
began = time.monotonic()
|
||||
@@ -1878,7 +1916,12 @@ def main() -> int:
|
||||
# контейнер LB, если --port ведёт не на LB стенда (вариант конфигурации)
|
||||
idle.add_argument("--lb")
|
||||
sub.add_parser("hang-key")
|
||||
sub.add_parser("cache-check")
|
||||
cache = sub.add_parser("cache-check")
|
||||
cache.add_argument(
|
||||
"--require-test-keys",
|
||||
action="store_true",
|
||||
help="код 1 без ключей тестовой базы (сценарий «Временная база»)",
|
||||
)
|
||||
sub.add_parser("auth-storage")
|
||||
stop = sub.add_parser("stop-at-start")
|
||||
stop.add_argument("--image", default="mtusi-messenger:lab3")
|
||||
@@ -1944,7 +1987,10 @@ def main() -> int:
|
||||
if args.cmd == "hang-key":
|
||||
return cmd_hang_key(port)
|
||||
if args.cmd == "cache-check":
|
||||
return cmd_cache_check(port)
|
||||
return cmd_cache_check(
|
||||
port,
|
||||
require_test_keys=args.require_test_keys,
|
||||
)
|
||||
if args.cmd == "auth-storage":
|
||||
return cmd_auth_storage(port)
|
||||
if args.cmd == "stop-at-start":
|
||||
|
||||
@@ -78,8 +78,9 @@ EXCLUDED: dict[Scenario, Exclusion] = {
|
||||
reason="ключи видны только в Valkey, а набор не знает, на какой "
|
||||
"базе работает",
|
||||
check="make test_isolated, затем driver.py --port <LB> "
|
||||
"cache-check: число ключей с префиксами рабочей и тестовой базы "
|
||||
"— evidence/cache/hits.md",
|
||||
"cache-check --require-test-keys (без ключей тестовой базы — код "
|
||||
"1): число ключей с префиксами рабочей и тестовой базы — "
|
||||
"evidence/cache/hits.md",
|
||||
),
|
||||
("data-storage", "Прежний пользователь после рестарта"): Exclusion(
|
||||
reason="нужен рестарт стенда, тесты сервер не трогают",
|
||||
|
||||
Reference in New Issue
Block a user