From 824676be32869cd814f4a4d637a0b4849013dffb Mon Sep 17 00:00:00 2001 From: roman Date: Tue, 13 Oct 2026 18:23:23 +0300 Subject: [PATCH] fix: require test database keys and tidy stop-at-start in the driver cache-check gains --require-test-keys: without keys of the test database it fails instead of passing, and a plain PASS now says the temporary database was not checked. The coverage exclusion names the flag. auth-storage logs in only the first user, as the design says. stop-at-start installs its signal handlers right before the try that restores them and kills docker logs -f when reading is interrupted. The student-tests rule warns that copied evidence keeps the check green. Co-Authored-By: Claude Opus 5.5 --- .claude/rules/student-tests.md | 12 ++- .claude/skills/run-mtusi-messenger/SKILL.md | 4 +- .claude/skills/run-mtusi-messenger/driver.py | 94 +++++++++++++++----- student-tests/spec_coverage.py | 5 +- 4 files changed, 84 insertions(+), 31 deletions(-) diff --git a/.claude/rules/student-tests.md b/.claude/rules/student-tests.md index 86299209..37e255f1 100644 --- a/.claude/rules/student-tests.md +++ b/.claude/rules/student-tests.md @@ -203,9 +203,15 @@ paths: существовать: `test_exclusion_evidence_exists` (`missing_evidence`) падает и называет сценарий и путь. `evidence/` в следующую лабу не переносится, поэтому там сверка красная, пока файлы не сняты заново - на её стенде. Способ проверки называет команду, которая снимает - доказательство: `driver.py --port cache-check` (после `make - test_isolated` — для «Временной базы») → `evidence/cache/hits.md`, + на её стенде. Сверка проверяет только наличие файла, а не то, на + каком стенде он снят: скопированные из прошлой лабы файлы `evidence/` + сделают её зелёной без пересъёмки. Поэтому evidence прошлой лабы не + копировать ни целиком, ни по одному файлу — только снимать заново. + Способ проверки называет команду, которая снимает + доказательство: `driver.py --port cache-check + --require-test-keys` (после `make test_isolated`; без ключей тестовой + базы — код 1, «Временная база» не доказана) → + `evidence/cache/hits.md`, `driver.py --port auth-storage` → `evidence/auth/passwords-and-tokens.md`; `make test-persistence` → `evidence/replicas/test-persistence.md`; повтор после `docker compose diff --git a/.claude/skills/run-mtusi-messenger/SKILL.md b/.claude/skills/run-mtusi-messenger/SKILL.md index ef199728..abc5189a 100644 --- a/.claude/skills/run-mtusi-messenger/SKILL.md +++ b/.claude/skills/run-mtusi-messenger/SKILL.md @@ -97,7 +97,7 @@ python3 $D stop | `kill-inflight [--threads 8] [--seconds 4] [--after 1.5]` | только стенд с LB (`--port 8080`): потоки входят по Basic, через `--after` с `scripts/stop-one.sh` в режиме kill убивает реплику пробного запроса. Печатает статусы по репликам и ответы LB: оборванные входы — 502 в формате контракта без повтора, начатые после kill — 201 от другой реплики. Код 1, если оборванных нет. Реплика остаётся остановленной — `make replicas` | | `idle-conns [--threads 20] [--requests 50] [--keep-alive 60] [--lb C]` | только стенд с LB: всплеск `GET /health/live` через LB с keep-alive соединениями, клиенты остаются подключены и молчат; раз в секунду — установленные соединения на порт API внутри каждой реплики (`/proc/net/tcp`) и пул LB (`idle_conn_cur` + `safe_conn_cur`). Код 0, если реплики остались без соединений раньше `--keep-alive` (`[app] keep_alive_seconds`): закрыл LB по своему `timeout http-keep-alive`, а не реплика; иначе код 1 и «closed by the replica». `--lb C` — контейнер LB, если `--port` ведёт на временный LB с другим вариантом конфигурации перед теми же репликами (`evidence/failover/keep-alive.md`) | | `hang-key` | только стенд с LB: временный триггер `hang_probe_<метка>` задерживает вставку пробного сообщения на 2 с, реплика с этой транзакцией замораживается `docker pause`, повторы того же `Idempotency-Key` через LB до 201 (сначала 504 от LB или 503 по ожиданию блокировки), разморозка; печатает `idle_in_transaction_session_timeout` соединения приложения и строку журнала PostgreSQL о прерывании. Код 0 — повтор получил 201, в чате одно сообщение, обе реплики снова `UP`. Триггер удаляется и реплика размораживается при любом исходе, в том числе по Ctrl+C, SIGTERM и SIGHUP; если удалить не удалось — печатается SQL удаления и код 1 (от SIGKILL уборки нет) | -| `cache-check` | только стенд с LB (`--port 8080`): сценарии `chat-cache` «Чтение из кэша», «Срок записи», «Временная база». Два синтетических пользователя и чат; ключ `messenger:v1:<база>:chat:` сразу после 201 (`EXISTS`, TTL ≤ `[cache] chat_ttl_seconds` из реплики, поля значения), `DEL`, через 11 с снимок `seq_scan + idx_scan` таблицы `chats` и `keyspace_hits` / `keyspace_misses`, 50 чтений через LB, через 11 с второй снимок; TTL до и после ещё 10 чтений; число ключей рабочей и тестовой (`test_`) базы. Код 0 — чтений `chats` ≤ 1, hits ≥ +49, промахов ≤ 1, ответы равны ответу на создание, TTL не продлевается, ≥ 2 `X-Instance-Id`. Для «Временной базы» перед ней — `make test_isolated`. На стенде в это время ничего другого не должно идти. Вывод — `evidence/cache/hits.md` | +| `cache-check [--require-test-keys]` | только стенд с LB (`--port 8080`): сценарии `chat-cache` «Чтение из кэша», «Срок записи», «Временная база». Два синтетических пользователя и чат; ключ `messenger:v1:<база>:chat:` сразу после 201 (`EXISTS`, TTL ≤ `[cache] chat_ttl_seconds` из реплики, поля значения), `DEL`, через 11 с снимок `seq_scan + idx_scan` таблицы `chats` и `keyspace_hits` / `keyspace_misses`, 50 чтений через LB, через 11 с второй снимок; TTL до и после ещё 10 чтений; число ключей рабочей и тестовой (`test_`) базы. Код 0 — чтений `chats` ≤ 1, hits ≥ +49, промахов ≤ 1, ответы равны ответу на создание, TTL не продлевается, ≥ 2 `X-Instance-Id`. Для «Временной базы» перед ней — `make test_isolated`: без ключей тестовой базы строка `PASS` заканчивается «temporary database: not checked», с `--require-test-keys` — код 1 (доказательство сценария снимается с флагом). На стенде в это время ничего другого не должно идти. Вывод — `evidence/cache/hits.md` | | `auth-storage` | только стенд с LB: сценарии `users` «Хэш в БД» и `sessions` «Токена нет в хранилище». Пароль P (с `:` и кириллицей) и токен T — только в памяти; через psql — префикс `$argon2id$…` до соли и длина у двух пользователей с одним P, неравенство хэшей, строка `sessions` с `token_hash` = SHA-256(T) (32 байта); `pg_dump --data-only` в память — нет ли T (текстом и в hex) и P. Код 0 — всё так. Вывод — `evidence/auth/passwords-and-tokens.md` | | `stop-at-start [--image ТЕГ] [--delays 0.2,0.3,0.4,1.5,5] [--server-start 3]` | спек `graceful-shutdown` «Остановка во время старта»: контейнеры образа (по умолчанию `mtusi-messenger:lab3`) с лимитами реплики (1 CPU / 512 МиБ без swap), без сети и `config.toml`; `docker stop --timeout 10` через паузу после `docker run` и сразу по строке «Started server process». По потоку `docker events` и журналу: «сигнал через», время `docker stop`, «выход после сигнала», код выхода, этап (`import` / `server-start` / `running`), кто остановил (`early` / `uvicorn`). Код 0 — каждая попытка с кодом 0 и `docker stop` ≤ 1 с, есть `import`, остановленный ранним обработчиком, и `running`. Проекты compose не трогает, свои контейнеры удаляет по метке `mtusi.stop-at-start`. Вывод — `evidence/failover/stop-at-start.md` | | `stop` | SIGTERM всей группе; ждёт, пока порт освободится. Чужой сервер и контейнер не трогает | @@ -138,7 +138,7 @@ TARGET_INSTANCE_ID= scripts/stop-one.sh # остановить python3 $D --port 8080 kill-inflight # kill реплики во время входов: 502 от LB без повтора python3 $D --port 8080 idle-conns # простаивающие соединения с репликами закрывает LB (~10 с), а не реплика (60 с) python3 $D --port 8080 hang-key # зависшая реплика держит ключ: повтор получает 201 после прерывания транзакции -make test_isolated && python3 $D --port 8080 cache-check # кэш карточки: одно чтение chats на 50, TTL, ключи двух баз +make test_isolated && python3 $D --port 8080 cache-check --require-test-keys # кэш карточки: одно чтение chats на 50, TTL, ключи двух баз python3 $D --port 8080 auth-storage # Argon2id в users, SHA-256 токена в sessions, ни токена, ни пароля в pg_dump python3 $D stop-at-start # docker stop стартующей реплики: ~0,06 с и код 0 (раньше 10 с и 137) make bench_failover_quick # отказ каждой реплики под нагрузкой на своём стенде mtusi-bench, ~2 мин diff --git a/.claude/skills/run-mtusi-messenger/driver.py b/.claude/skills/run-mtusi-messenger/driver.py index 1f079933..a97957a0 100644 --- a/.claude/skills/run-mtusi-messenger/driver.py +++ b/.claude/skills/run-mtusi-messenger/driver.py @@ -40,12 +40,15 @@ разморозка, одно сообщение в чате, строка журнала PostgreSQL; триггер удаляется при любом исходе, в том числе по Ctrl+C, SIGTERM и SIGHUP; не удалось — печатается SQL удаления - cache-check только стенд с LB: сценарии chat-cache «Чтение из кэша», - «Срок записи», «Временная база» — ключ карточки после - создания чата, TTL и настроенный срок, 50 чтений через LB - между снимками чтений таблицы chats и keyspace_hits Valkey, - TTL не продлевается чтениями, ключи рабочей и тестовой базы - (перед командой — make test_isolated); код 1 и нарушенный факт + cache-check [--require-test-keys] только стенд с LB: сценарии + chat-cache «Чтение из кэша», «Срок записи», «Временная + база» — ключ карточки после создания чата, TTL и настроенный + срок, 50 чтений через LB между снимками чтений таблицы chats + и keyspace_hits Valkey, TTL не продлевается чтениями, ключи + рабочей и тестовой базы (перед командой — make + test_isolated); код 1 и нарушенный факт. Без ключей тестовой + базы — PASS с «temporary database: not checked», с + --require-test-keys — код 1 auth-storage только стенд с LB: сценарии sessions «Токена нет в хранилище» и users «Хэш в БД» — префиксы Argon2id и разные хэши одного пароля, token_hash = SHA-256 токена, ни токена, @@ -1270,19 +1273,18 @@ def chats_reads() -> int: ) -def synthetic_user( +def register_user( port: int, prefix: str, password: str, -) -> tuple[dict[str, object], str] | None: - """Регистрация и вход по Basic; (пользователь, токен) или None.""" - username = f"{prefix}_{uuid.uuid4().hex[:8]}" +) -> dict[str, object] | None: + """Регистрация синтетического пользователя; тело `User` или None.""" status, _, user = call( port, "POST", USERS, body={ - "username": username, + "username": f"{prefix}_{uuid.uuid4().hex[:8]}", "display_name": prefix.capitalize(), "password": password, }, @@ -1290,11 +1292,23 @@ def synthetic_user( if status != 201 or not isinstance(user, dict): print(f"register {prefix}: {status}") return None + return user + + +def synthetic_user( + port: int, + prefix: str, + password: str, +) -> tuple[dict[str, object], str] | None: + """Регистрация и вход по Basic; (пользователь, токен) или None.""" + user = register_user(port, prefix, password) + if user is None: + return None status, _, session = call( port, "POST", SESSIONS, - authorization=basic(username, password), + authorization=basic(str(user["username"]), password), ) if status != 201 or not isinstance(session, dict): print(f"login {prefix}: {status}") @@ -1302,10 +1316,15 @@ def synthetic_user( return user, session["token"] -def cmd_cache_check(port: int) -> int: +def cmd_cache_check(port: int, *, require_test_keys: bool) -> int: """Сценарии `chat-cache` «Чтение из кэша», «Срок записи» и «Временная база» на стенде с LB (решение 1 design change `fix-known-issues`). + «Временная база» проверяется только при ключах `test_` (перед + командой — `make test_isolated`). С `require_test_keys` их отсутствие + — FAIL, без него — PASS с пометкой «not checked»: доказательство + сценария снимается с флагом. + Между двумя снимками счётчиков — только `CACHE_READS` чтений карточки через LB: к ключу драйвер в это время не обращается (`EXISTS`, `TTL` и `GET` Valkey тоже считает в `keyspace_hits`). Ключ перед окном @@ -1422,12 +1441,15 @@ def cmd_cache_check(port: int) -> int: keys = stand_valkey("--scan", "--pattern", pattern) counts[name] = len(keys.split()) print(f"keys {pattern}: {counts[name]}") - if not counts[f"test_{database}"]: + test_keys = counts[f"test_{database}"] + if not test_keys: print( "no keys of the test database: run make test_isolated before " "this command for the scenario «Временная база»", ) problems = [] + if require_test_keys and not test_keys: + problems.append("no keys of the test database (--require-test-keys)") if reads > 1: problems.append(f"table chats read {reads} times") if hits < CACHE_READS - 1 or misses > 1: @@ -1443,7 +1465,15 @@ def cmd_cache_check(port: int) -> int: if problems: print("FAIL: " + "; ".join(problems)) return 1 - print("PASS: one read of chats, the rest from Valkey; TTL is bounded") + temporary = ( + f"temporary database: {test_keys} keys under its own prefix" + if test_keys + else "temporary database: not checked, run make test_isolated first" + ) + print( + "PASS: one read of chats, the rest from Valkey; TTL is bounded; " + + temporary, + ) return 0 @@ -1457,11 +1487,12 @@ def cmd_auth_storage(port: int) -> int: if no_lb(port): return 1 password = f"Пароль:{secrets.token_urlsafe(18)}:ключ" + # вход только первого: второй нужен лишь для второго хэша того же P first = synthetic_user(port, "auth", password) - second = synthetic_user(port, "auth", password) - if first is None or second is None: + user2 = register_user(port, "auth", password) + if first is None or user2 is None: return 1 - (user1, token), (user2, _) = first, second + user1, token = first names = (user1["username"], user2["username"]) # username — синтетические [a-z0-9_], hex — безопасны в тексте SQL rows = stand_psql( @@ -1588,10 +1619,6 @@ def cmd_stop_at_start(image: str, delays: list[float], server: int) -> int: def interrupted(signum: int, _frame: object) -> None: raise KeyboardInterrupt(signal.Signals(signum).name) - previous = { - signum: signal.signal(signum, interrupted) - for signum in (signal.SIGTERM, signal.SIGHUP) - } tag = uuid.uuid4().hex[:8] label = f"{STOP_LABEL}={tag}" events_path = Path(f"/tmp/mtusi-stop-at-start-{tag}.events") @@ -1628,6 +1655,11 @@ def cmd_stop_at_start(image: str, delays: list[float], server: int) -> int: stdout=out, stderr=subprocess.DEVNULL, ) + # обработчики ставятся прямо перед try: вернуть их может только finally + previous = { + signum: signal.signal(signum, interrupted) + for signum in (signal.SIGTERM, signal.SIGHUP) + } try: # CLI подключается к демону до первого контейнера time.sleep(1) @@ -1714,6 +1746,12 @@ def stop_attempt( for line in follow.stdout or []: if STARTED_SERVER in line: break + except BaseException: + # Ctrl+C или SIGTERM посреди чтения: docker logs -f не ждёт + # уборки контейнера по метке + follow.kill() + follow.wait() + raise finally: timer.cancel() began = time.monotonic() @@ -1878,7 +1916,12 @@ def main() -> int: # контейнер LB, если --port ведёт не на LB стенда (вариант конфигурации) idle.add_argument("--lb") sub.add_parser("hang-key") - sub.add_parser("cache-check") + cache = sub.add_parser("cache-check") + cache.add_argument( + "--require-test-keys", + action="store_true", + help="код 1 без ключей тестовой базы (сценарий «Временная база»)", + ) sub.add_parser("auth-storage") stop = sub.add_parser("stop-at-start") stop.add_argument("--image", default="mtusi-messenger:lab3") @@ -1944,7 +1987,10 @@ def main() -> int: if args.cmd == "hang-key": return cmd_hang_key(port) if args.cmd == "cache-check": - return cmd_cache_check(port) + return cmd_cache_check( + port, + require_test_keys=args.require_test_keys, + ) if args.cmd == "auth-storage": return cmd_auth_storage(port) if args.cmd == "stop-at-start": diff --git a/student-tests/spec_coverage.py b/student-tests/spec_coverage.py index d217b2d7..7507c0db 100644 --- a/student-tests/spec_coverage.py +++ b/student-tests/spec_coverage.py @@ -78,8 +78,9 @@ EXCLUDED: dict[Scenario, Exclusion] = { reason="ключи видны только в Valkey, а набор не знает, на какой " "базе работает", check="make test_isolated, затем driver.py --port " - "cache-check: число ключей с префиксами рабочей и тестовой базы " - "— evidence/cache/hits.md", + "cache-check --require-test-keys (без ключей тестовой базы — код " + "1): число ключей с префиксами рабочей и тестовой базы — " + "evidence/cache/hits.md", ), ("data-storage", "Прежний пользователь после рестарта"): Exclusion( reason="нужен рестарт стенда, тесты сервер не трогают",