diff --git a/.claude/rules/bench.md b/.claude/rules/bench.md index be364cf3..454be295 100644 --- a/.claude/rules/bench.md +++ b/.claude/rules/bench.md @@ -79,7 +79,10 @@ paths: - healthcheck образа у реплик выключен, но реплику раз в секунду проверяет LB (`SELECT 1` в квоте API). Вместе с LB в пути запроса это смена методики относительно лабы 2: метки лабы 3 до этого change (их в - git нет) и метки лабы 2 с новыми не сравниваются. + git нет) и метки лабы 2 с новыми не сравниваются. В паспорте метки со + стендом с LB есть `limits.haproxy` и `limits.api_replicas`; + `make bench_compare` отказывает, если `limits.api_replicas` есть только + в одной из меток. Стенд — свой проект compose `mtusi-bench`: тот же `docker-compose.yml` с override `bench/bench.compose.yml` (по образцу `make failure_checks`), diff --git a/.claude/skills/run-mtusi-messenger/SKILL.md b/.claude/skills/run-mtusi-messenger/SKILL.md index 57611baa..58d2fad4 100644 --- a/.claude/skills/run-mtusi-messenger/SKILL.md +++ b/.claude/skills/run-mtusi-messenger/SKILL.md @@ -90,8 +90,8 @@ python3 $D stop | `student` | `make student_test BASE_URL=http://localhost:` (pytest по `student-tests/`); против своего процесса (есть pid-файл) — с `EXPECT_REPLICAS=1`, тесты реплик пропускаются с причиной; код 1, если каталога нет | | `instances [--count N]` | вход одним синтетическим пользователем, N (12) × `GET /api/v1/users/me` с одним токеном: `X-Instance-Id` каждого ответа и число ответов каждой реплики; токен не печатается. Его зовёт `make instances` | | `kill-inflight [--threads 8] [--seconds 4] [--after 1.5]` | только стенд с LB (`--port 8080`): потоки входят по Basic, через `--after` с `scripts/stop-one.sh` в режиме kill убивает реплику пробного запроса. Печатает статусы по репликам и ответы LB: оборванные входы — 502 в формате контракта без повтора, начатые после kill — 201 от другой реплики. Код 1, если оборванных нет. Реплика остаётся остановленной — `make replicas` | -| `idle-conns [--threads 20] [--requests 50] [--keep-alive 60]` | только стенд с LB: всплеск `GET /health/live` через LB с keep-alive соединениями, клиенты остаются подключены и молчат; раз в секунду — установленные соединения на порт API внутри каждой реплики (`/proc/net/tcp`) и пул LB (`idle_conn_cur` + `safe_conn_cur`). Код 0, если реплики остались без соединений раньше `--keep-alive` (`[app] keep_alive_seconds`): закрыл LB по своему `timeout http-keep-alive`, а не реплика | -| `hang-key` | только стенд с LB: временный триггер задерживает вставку пробного сообщения на 2 с, реплика с этой транзакцией замораживается `docker pause`, повторы того же `Idempotency-Key` через LB до 201 (сначала 504 от LB или 503 по ожиданию блокировки), разморозка; печатает `idle_in_transaction_session_timeout` соединения приложения и строку журнала PostgreSQL о прерывании. Код 0 — повтор получил 201, в чате одно сообщение, обе реплики снова `UP`. Триггер удаляется при любом исходе | +| `idle-conns [--threads 20] [--requests 50] [--keep-alive 60] [--lb C]` | только стенд с LB: всплеск `GET /health/live` через LB с keep-alive соединениями, клиенты остаются подключены и молчат; раз в секунду — установленные соединения на порт API внутри каждой реплики (`/proc/net/tcp`) и пул LB (`idle_conn_cur` + `safe_conn_cur`). Код 0, если реплики остались без соединений раньше `--keep-alive` (`[app] keep_alive_seconds`): закрыл LB по своему `timeout http-keep-alive`, а не реплика; иначе код 1 и «closed by the replica». `--lb C` — контейнер LB, если `--port` ведёт на временный LB с другим вариантом конфигурации перед теми же репликами (`evidence/failover/keep-alive.md`) | +| `hang-key` | только стенд с LB: временный триггер `hang_probe_<метка>` задерживает вставку пробного сообщения на 2 с, реплика с этой транзакцией замораживается `docker pause`, повторы того же `Idempotency-Key` через LB до 201 (сначала 504 от LB или 503 по ожиданию блокировки), разморозка; печатает `idle_in_transaction_session_timeout` соединения приложения и строку журнала PostgreSQL о прерывании. Код 0 — повтор получил 201, в чате одно сообщение, обе реплики снова `UP`. Триггер удаляется и реплика размораживается при любом исходе, в том числе по Ctrl+C, SIGTERM и SIGHUP; если удалить не удалось — печатается SQL удаления и код 1 (от SIGKILL уборки нет) | | `stop` | SIGTERM всей группе; ждёт, пока порт освободится. Чужой сервер и контейнер не трогает | | `all` | всё подряд (`student` — если есть `student-tests/`), `stop` в `finally` | diff --git a/.claude/skills/run-mtusi-messenger/driver.py b/.claude/skills/run-mtusi-messenger/driver.py index f9a07860..7d3605be 100644 --- a/.claude/skills/run-mtusi-messenger/driver.py +++ b/.claude/skills/run-mtusi-messenger/driver.py @@ -27,17 +27,19 @@ режиме kill убивает реплику пробного запроса; статусы по репликам и ответы LB. Реплика остаётся остановленной (make replicas) - idle-conns [--threads N] [--requests M] [--keep-alive S] только - стенд с LB: всплеск запросов через LB, клиенты остаются - подключены; раз в секунду — соединения на порт API внутри - каждой реплики и пул LB; код 1, если реплики держат + idle-conns [--threads N] [--requests M] [--keep-alive S] [--lb C] + только стенд с LB: всплеск запросов через LB, клиенты + остаются подключены; раз в секунду — соединения на порт API + внутри каждой реплики и пул LB (контейнер C, по умолчанию + сервис haproxy стенда); код 1, если реплики держат соединения дольше S секунд — срока keep-alive реплики hang-key только стенд с LB: сценарий «Повтор ключа после зависшей реплики» — временный триггер задерживает вставку пробного сообщения, реплика с этой транзакцией замораживается (docker pause), повторы того же ключа через LB до 201, разморозка, одно сообщение в чате, строка журнала PostgreSQL; - триггер удаляется при любом исходе + триггер удаляется при любом исходе, в том числе по Ctrl+C, + SIGTERM и SIGHUP; не удалось — печатается SQL удаления stop остановить свой экземпляр на порту all start → flow → smoke → student (если есть student-tests/) → stop @@ -746,9 +748,23 @@ def compose(*args: str, stdin: str | None = None) -> str: return proc.stdout -def lb_slots() -> list[dict[str, str]]: - """Занятые слоты backend `api`: адрес, состояние, соединения.""" - text = compose("exec", "-T", "haproxy", "bash", "-c", LB_STATS) +def lb_slots(lb: str | None = None) -> list[dict[str, str]]: + """Занятые слоты backend `api`: адрес, состояние, соединения. + + `lb` — имя контейнера LB; по умолчанию сервис `haproxy` стенда. + """ + if lb is None: + text = compose("exec", "-T", "haproxy", "bash", "-c", LB_STATS) + else: + proc = subprocess.run( + ["docker", "exec", lb, "bash", "-c", LB_STATS], + capture_output=True, + text=True, + check=False, + ) + if proc.returncode != 0: + raise RuntimeError(f"docker exec {lb}: {proc.stderr[-500:]}") + text = proc.stdout lines = [ln for ln in text.splitlines() if ln.startswith(("# ", "api,"))] if not lines: return [] @@ -801,6 +817,7 @@ def cmd_idle_conns( threads: int, requests: int, keep_alive: float, + lb: str | None = None, ) -> int: """Простаивающие соединения LB → реплика (решение 3 design change `graceful-failover`): их должен закрыть LB раньше, чем реплика по @@ -811,6 +828,10 @@ def cmd_idle_conns( каждой реплики и пул LB. Реплика закрыла бы их через `keep_alive` секунд, LB — через свой `timeout http-keep-alive` (10 с): по тому, когда они исчезли, видно, кто закрыл. + + `lb` — контейнер LB, если `--port` ведёт не на LB стенда: так + проверяется другой вариант конфигурации LB перед теми же репликами + (verify change `graceful-failover`, `evidence/failover/keep-alive.md`). """ if no_lb(port): return 1 @@ -846,7 +867,7 @@ def cmd_idle_conns( check=False, ).stdout.strip() replicas[container] = address - slots = {row["addr"].rsplit(":", 1)[0]: row for row in lb_slots()} + slots = {row["addr"].rsplit(":", 1)[0]: row for row in lb_slots(lb)} api_port = int(next(iter(slots.values()))["addr"].rsplit(":", 1)[1]) workers = [threading.Thread(target=burst) for _ in range(threads)] for worker in workers: @@ -876,7 +897,7 @@ def cmd_idle_conns( for slots_now in [ { row["addr"].rsplit(":", 1)[0]: row - for row in lb_slots() + for row in lb_slots(lb) }.get(address, {}), ] } @@ -894,12 +915,14 @@ def cmd_idle_conns( elif zero_since is None: zero_since = elapsed else: + # раньше срока реплики закрыть мог только LB + by_lb = zero_since < keep_alive print( f"replicas hold no connections {zero_since:.1f} s after " f"the last request (replica keep-alive {keep_alive:g} " - "s): closed by LB", + f"s): closed by {'LB' if by_lb else 'the replica'}", ) - return 0 if zero_since < keep_alive else 1 + return 0 if by_lb else 1 if elapsed > keep_alive + 10: print(f"replicas still hold connections after {elapsed:.0f} s") return 1 @@ -914,11 +937,32 @@ def cmd_hang_key(port: int) -> int: `load-balancing`, решение 4 design change `graceful-failover`). Пробный текст уникален: триггер задерживает вставку только этого - сообщения (`pg_sleep`), другие запросы стенда он не трогает и - удаляется в `finally`. Пароль, токен и ключ не печатаются. + сообщения (`pg_sleep`), другие запросы стенда он не трогает. Имена + функции и триггера — с меткой запуска. Триггер удаляется в `finally` + при любом исходе: SIGTERM и SIGHUP превращаются в `KeyboardInterrupt`, + как Ctrl+C. Если удалить не удалось (PostgreSQL недоступен, второе + прерывание), команда печатает SQL удаления и завершается с кодом 1. + От SIGKILL уборки нет. Пароль, токен и ключ не печатаются. """ if no_lb(port): return 1 + + def interrupted(signum: int, _frame: object) -> None: + raise KeyboardInterrupt(signal.Signals(signum).name) + + previous = { + signum: signal.signal(signum, interrupted) + for signum in (signal.SIGTERM, signal.SIGHUP) + } + try: + return hang_key(port) + finally: + for signum, handler in previous.items(): + signal.signal(signum, handler) + + +def hang_key(port: int) -> int: + """Тело `cmd_hang_key`: сценарий и уборка триггера.""" tag = uuid.uuid4().hex[:8] username, password = f"hang_{tag}", f"Pw-hang-{uuid.uuid4().hex}" status, _, user = call( @@ -957,16 +1001,18 @@ def cmd_hang_key(port: int) -> int: text = f"hang-probe-{tag}" path = f"{CHATS}/{chat['id']}/messages" key = key_header() + # метка — hex: в SQL безопасна и отделяет одновременные запуски + probe = f"hang_probe_{tag}" trigger = ( - "CREATE OR REPLACE FUNCTION hang_probe() RETURNS trigger " + f"CREATE OR REPLACE FUNCTION {probe}() RETURNS trigger " "LANGUAGE plpgsql AS $$ BEGIN PERFORM pg_sleep(2); RETURN NEW; " "END $$;\n" - "CREATE TRIGGER hang_probe BEFORE INSERT ON messages FOR EACH ROW " - f"WHEN (NEW.text = '{text}') EXECUTE FUNCTION hang_probe();\n" + f"CREATE TRIGGER {probe} BEFORE INSERT ON messages FOR EACH ROW " + f"WHEN (NEW.text = '{text}') EXECUTE FUNCTION {probe}();\n" ) cleanup = ( - "DROP TRIGGER IF EXISTS hang_probe ON messages;\n" - "DROP FUNCTION IF EXISTS hang_probe();\n" + f"DROP TRIGGER IF EXISTS {probe} ON messages;\n" + f"DROP FUNCTION IF EXISTS {probe}();\n" ) started = time.time() t0 = time.monotonic() @@ -994,8 +1040,9 @@ def cmd_hang_key(port: int) -> int: try: compose("exec", "-T", "postgres", "sh", "-c", PSQL, stdin=trigger) - print("trigger: INSERT of the probe message sleeps 2 s") - sender = threading.Thread(target=original) + print(f"trigger {probe}: INSERT of the probe message sleeps 2 s") + # daemon: прерывание не ждёт исходного запроса (до 30 с) + sender = threading.Thread(target=original, daemon=True) sender.start() address = "" deadline = time.monotonic() + 3 @@ -1125,8 +1172,17 @@ def cmd_hang_key(port: int) -> int: check=False, capture_output=True, ) - compose("exec", "-T", "postgres", "sh", "-c", PSQL, stdin=cleanup) - print("trigger removed") + try: + compose("exec", "-T", "postgres", "sh", "-c", PSQL, stdin=cleanup) + except (RuntimeError, OSError, KeyboardInterrupt) as error: + print( + f"trigger {probe} NOT removed ({error!r}); remove it from " + f"the repository root:\n docker compose exec -T postgres " + f"sh -c '{PSQL}' <<'SQL'\n{cleanup}SQL", + flush=True, + ) + raise SystemExit(1) from error + print(f"trigger {probe} removed", flush=True) def main() -> int: @@ -1146,6 +1202,8 @@ def main() -> int: idle.add_argument("--requests", type=int, default=50) # [app] keep_alive_seconds реплики idle.add_argument("--keep-alive", type=float, default=60) + # контейнер LB, если --port ведёт не на LB стенда (вариант конфигурации) + idle.add_argument("--lb") sub.add_parser("hang-key") req = sub.add_parser("req") req.add_argument("method") @@ -1193,6 +1251,7 @@ def main() -> int: threads=args.threads, requests=args.requests, keep_alive=args.keep_alive, + lb=args.lb, ) if args.cmd == "hang-key": return cmd_hang_key(port) diff --git a/Makefile b/Makefile index 298e60ee..d29b3130 100644 --- a/Makefile +++ b/Makefile @@ -233,7 +233,7 @@ FAILOVER_LABEL ?= baseline bench_failover: $(KEEP_AWAKE) uv run python bench/run.py --profile failover --label $(FAILOVER_LABEL) -# то же короче, режимы stop и kill (самопроверка), ~3 мин; в git не идёт +# то же короче, режимы stop и kill (самопроверка), ~2 мин; в git не идёт .PHONY: bench_failover_quick bench_failover_quick: $(KEEP_AWAKE) uv run python bench/run.py --profile failover_quick --label quick-failover-$(shell date -u +%Y%m%dT%H%M%SZ) diff --git a/bench/compare.py b/bench/compare.py index dc2cee10..1b60295e 100644 --- a/bench/compare.py +++ b/bench/compare.py @@ -138,6 +138,20 @@ def methodology(label: Label) -> dict[str, Any]: def check_methodology(first: Label, second: Label) -> list[str]: """Отказ при различии; возвращает параметры, записанные в одной метке.""" a, b = methodology(first), methodology(second) + # с change graceful-failover в пути запроса стоит HAProxy, и паспорт + # пишет число реплик; метка без него снята мимо LB — другая методика + # (решение 6 design change graceful-failover), а не «параметр + # записан только в одной метке» + without_lb = [ + label.name + for label, flat in ((first, a), (second, b)) + if "limits.api_replicas" not in flat + ] + if len(without_lb) == 1: + raise CompareError( + f"label {without_lb[0]} was measured without the load balancer " + "(before change graceful-failover): different methodology", + ) differs = [ f"{key}: {first.name} = {a[key]!r}, {second.name} = {b[key]!r}" for key in sorted(a.keys() & b.keys()) diff --git a/infra/haproxy/haproxy.cfg b/infra/haproxy/haproxy.cfg index 6c07fa97..e378603f 100644 --- a/infra/haproxy/haproxy.cfg +++ b/infra/haproxy/haproxy.cfg @@ -83,8 +83,9 @@ backend api # LB не повторяет). С пулом (http-reuse safe) последнее простаивающее # соединение LB держал, пока его не закрывала реплика. Гонку при # SIGTERM (uvicorn сразу закрывает простаивающие соединения) не убирает - # ни один режим: одиночный 502 в 2 из 8 фаз stop с never и в 1 из 9 с - # safe (design change graceful-failover, решение 3) + # ни один режим: одиночный 502 в части фаз stop под нагрузкой; убрать + # её может только вывод реплики из LB до SIGTERM (design change + # graceful-failover, решение 3; evidence/failover/keep-alive.md) http-reuse never # активная проверка готовности: /health/live для LB не годится, # живой процесс без PostgreSQL запросы не обслуживает