fix: harden graceful-failover checks found in verify

hang-key names its trigger per run, turns SIGTERM and SIGHUP into an
interrupt so the trigger is always dropped and the replica unpaused, and
prints the cleanup SQL if dropping fails. idle-conns reports who closed
the idle connections and can read the pool of another LB container, so a
variant LB config can be checked against the same replicas. bench_compare
refuses a label measured without the load balancer. Stale numbers removed
from the haproxy.cfg comment.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
2026-10-11 00:00:54 +03:00
co-authored by Claude Opus 5.5
parent 4234df5767
commit 12783aaff1
6 changed files with 106 additions and 29 deletions
+4 -1
View File
@@ -79,7 +79,10 @@ paths:
- healthcheck образа у реплик выключен, но реплику раз в секунду
проверяет LB (`SELECT 1` в квоте API). Вместе с LB в пути запроса это
смена методики относительно лабы 2: метки лабы 3 до этого change (их в
git нет) и метки лабы 2 с новыми не сравниваются.
git нет) и метки лабы 2 с новыми не сравниваются. В паспорте метки со
стендом с LB есть `limits.haproxy` и `limits.api_replicas`;
`make bench_compare` отказывает, если `limits.api_replicas` есть только
в одной из меток.
Стенд — свой проект compose `mtusi-bench`: тот же `docker-compose.yml`
с override `bench/bench.compose.yml` (по образцу `make failure_checks`),
+2 -2
View File
@@ -90,8 +90,8 @@ python3 $D stop
| `student` | `make student_test BASE_URL=http://localhost:<port>` (pytest по `student-tests/`); против своего процесса (есть pid-файл) — с `EXPECT_REPLICAS=1`, тесты реплик пропускаются с причиной; код 1, если каталога нет |
| `instances [--count N]` | вход одним синтетическим пользователем, N (12) × `GET /api/v1/users/me` с одним токеном: `X-Instance-Id` каждого ответа и число ответов каждой реплики; токен не печатается. Его зовёт `make instances` |
| `kill-inflight [--threads 8] [--seconds 4] [--after 1.5]` | только стенд с LB (`--port 8080`): потоки входят по Basic, через `--after` с `scripts/stop-one.sh` в режиме kill убивает реплику пробного запроса. Печатает статусы по репликам и ответы LB: оборванные входы — 502 в формате контракта без повтора, начатые после kill — 201 от другой реплики. Код 1, если оборванных нет. Реплика остаётся остановленной — `make replicas` |
| `idle-conns [--threads 20] [--requests 50] [--keep-alive 60]` | только стенд с LB: всплеск `GET /health/live` через LB с keep-alive соединениями, клиенты остаются подключены и молчат; раз в секунду — установленные соединения на порт API внутри каждой реплики (`/proc/net/tcp`) и пул LB (`idle_conn_cur` + `safe_conn_cur`). Код 0, если реплики остались без соединений раньше `--keep-alive` (`[app] keep_alive_seconds`): закрыл LB по своему `timeout http-keep-alive`, а не реплика |
| `hang-key` | только стенд с LB: временный триггер задерживает вставку пробного сообщения на 2 с, реплика с этой транзакцией замораживается `docker pause`, повторы того же `Idempotency-Key` через LB до 201 (сначала 504 от LB или 503 по ожиданию блокировки), разморозка; печатает `idle_in_transaction_session_timeout` соединения приложения и строку журнала PostgreSQL о прерывании. Код 0 — повтор получил 201, в чате одно сообщение, обе реплики снова `UP`. Триггер удаляется при любом исходе |
| `idle-conns [--threads 20] [--requests 50] [--keep-alive 60] [--lb C]` | только стенд с LB: всплеск `GET /health/live` через LB с keep-alive соединениями, клиенты остаются подключены и молчат; раз в секунду — установленные соединения на порт API внутри каждой реплики (`/proc/net/tcp`) и пул LB (`idle_conn_cur` + `safe_conn_cur`). Код 0, если реплики остались без соединений раньше `--keep-alive` (`[app] keep_alive_seconds`): закрыл LB по своему `timeout http-keep-alive`, а не реплика; иначе код 1 и «closed by the replica». `--lb C` — контейнер LB, если `--port` ведёт на временный LB с другим вариантом конфигурации перед теми же репликами (`evidence/failover/keep-alive.md`) |
| `hang-key` | только стенд с LB: временный триггер `hang_probe_<метка>` задерживает вставку пробного сообщения на 2 с, реплика с этой транзакцией замораживается `docker pause`, повторы того же `Idempotency-Key` через LB до 201 (сначала 504 от LB или 503 по ожиданию блокировки), разморозка; печатает `idle_in_transaction_session_timeout` соединения приложения и строку журнала PostgreSQL о прерывании. Код 0 — повтор получил 201, в чате одно сообщение, обе реплики снова `UP`. Триггер удаляется и реплика размораживается при любом исходе, в том числе по Ctrl+C, SIGTERM и SIGHUP; если удалить не удалось — печатается SQL удаления и код 1 (от SIGKILL уборки нет) |
| `stop` | SIGTERM всей группе; ждёт, пока порт освободится. Чужой сервер и контейнер не трогает |
| `all` | всё подряд (`student` — если есть `student-tests/`), `stop` в `finally` |
+82 -23
View File
@@ -27,17 +27,19 @@
режиме kill убивает реплику пробного запроса; статусы по
репликам и ответы LB. Реплика остаётся остановленной
(make replicas)
idle-conns [--threads N] [--requests M] [--keep-alive S] только
стенд с LB: всплеск запросов через LB, клиенты остаются
подключены; раз в секунду — соединения на порт API внутри
каждой реплики и пул LB; код 1, если реплики держат
idle-conns [--threads N] [--requests M] [--keep-alive S] [--lb C]
только стенд с LB: всплеск запросов через LB, клиенты
остаются подключены; раз в секунду — соединения на порт API
внутри каждой реплики и пул LB (контейнер C, по умолчанию
сервис haproxy стенда); код 1, если реплики держат
соединения дольше S секунд — срока keep-alive реплики
hang-key только стенд с LB: сценарий «Повтор ключа после зависшей
реплики» — временный триггер задерживает вставку пробного
сообщения, реплика с этой транзакцией замораживается
(docker pause), повторы того же ключа через LB до 201,
разморозка, одно сообщение в чате, строка журнала PostgreSQL;
триггер удаляется при любом исходе
триггер удаляется при любом исходе, в том числе по Ctrl+C,
SIGTERM и SIGHUP; не удалось — печатается SQL удаления
stop остановить свой экземпляр на порту
all start → flow → smoke → student (если есть student-tests/) → stop
@@ -746,9 +748,23 @@ def compose(*args: str, stdin: str | None = None) -> str:
return proc.stdout
def lb_slots() -> list[dict[str, str]]:
"""Занятые слоты backend `api`: адрес, состояние, соединения."""
text = compose("exec", "-T", "haproxy", "bash", "-c", LB_STATS)
def lb_slots(lb: str | None = None) -> list[dict[str, str]]:
"""Занятые слоты backend `api`: адрес, состояние, соединения.
`lb` — имя контейнера LB; по умолчанию сервис `haproxy` стенда.
"""
if lb is None:
text = compose("exec", "-T", "haproxy", "bash", "-c", LB_STATS)
else:
proc = subprocess.run(
["docker", "exec", lb, "bash", "-c", LB_STATS],
capture_output=True,
text=True,
check=False,
)
if proc.returncode != 0:
raise RuntimeError(f"docker exec {lb}: {proc.stderr[-500:]}")
text = proc.stdout
lines = [ln for ln in text.splitlines() if ln.startswith(("# ", "api,"))]
if not lines:
return []
@@ -801,6 +817,7 @@ def cmd_idle_conns(
threads: int,
requests: int,
keep_alive: float,
lb: str | None = None,
) -> int:
"""Простаивающие соединения LB → реплика (решение 3 design change
`graceful-failover`): их должен закрыть LB раньше, чем реплика по
@@ -811,6 +828,10 @@ def cmd_idle_conns(
каждой реплики и пул LB. Реплика закрыла бы их через `keep_alive`
секунд, LB — через свой `timeout http-keep-alive` (10 с): по тому,
когда они исчезли, видно, кто закрыл.
`lb` — контейнер LB, если `--port` ведёт не на LB стенда: так
проверяется другой вариант конфигурации LB перед теми же репликами
(verify change `graceful-failover`, `evidence/failover/keep-alive.md`).
"""
if no_lb(port):
return 1
@@ -846,7 +867,7 @@ def cmd_idle_conns(
check=False,
).stdout.strip()
replicas[container] = address
slots = {row["addr"].rsplit(":", 1)[0]: row for row in lb_slots()}
slots = {row["addr"].rsplit(":", 1)[0]: row for row in lb_slots(lb)}
api_port = int(next(iter(slots.values()))["addr"].rsplit(":", 1)[1])
workers = [threading.Thread(target=burst) for _ in range(threads)]
for worker in workers:
@@ -876,7 +897,7 @@ def cmd_idle_conns(
for slots_now in [
{
row["addr"].rsplit(":", 1)[0]: row
for row in lb_slots()
for row in lb_slots(lb)
}.get(address, {}),
]
}
@@ -894,12 +915,14 @@ def cmd_idle_conns(
elif zero_since is None:
zero_since = elapsed
else:
# раньше срока реплики закрыть мог только LB
by_lb = zero_since < keep_alive
print(
f"replicas hold no connections {zero_since:.1f} s after "
f"the last request (replica keep-alive {keep_alive:g} "
"s): closed by LB",
f"s): closed by {'LB' if by_lb else 'the replica'}",
)
return 0 if zero_since < keep_alive else 1
return 0 if by_lb else 1
if elapsed > keep_alive + 10:
print(f"replicas still hold connections after {elapsed:.0f} s")
return 1
@@ -914,11 +937,32 @@ def cmd_hang_key(port: int) -> int:
`load-balancing`, решение 4 design change `graceful-failover`).
Пробный текст уникален: триггер задерживает вставку только этого
сообщения (`pg_sleep`), другие запросы стенда он не трогает и
удаляется в `finally`. Пароль, токен и ключ не печатаются.
сообщения (`pg_sleep`), другие запросы стенда он не трогает. Имена
функции и триггера — с меткой запуска. Триггер удаляется в `finally`
при любом исходе: SIGTERM и SIGHUP превращаются в `KeyboardInterrupt`,
как Ctrl+C. Если удалить не удалось (PostgreSQL недоступен, второе
прерывание), команда печатает SQL удаления и завершается с кодом 1.
От SIGKILL уборки нет. Пароль, токен и ключ не печатаются.
"""
if no_lb(port):
return 1
def interrupted(signum: int, _frame: object) -> None:
raise KeyboardInterrupt(signal.Signals(signum).name)
previous = {
signum: signal.signal(signum, interrupted)
for signum in (signal.SIGTERM, signal.SIGHUP)
}
try:
return hang_key(port)
finally:
for signum, handler in previous.items():
signal.signal(signum, handler)
def hang_key(port: int) -> int:
"""Тело `cmd_hang_key`: сценарий и уборка триггера."""
tag = uuid.uuid4().hex[:8]
username, password = f"hang_{tag}", f"Pw-hang-{uuid.uuid4().hex}"
status, _, user = call(
@@ -957,16 +1001,18 @@ def cmd_hang_key(port: int) -> int:
text = f"hang-probe-{tag}"
path = f"{CHATS}/{chat['id']}/messages"
key = key_header()
# метка — hex: в SQL безопасна и отделяет одновременные запуски
probe = f"hang_probe_{tag}"
trigger = (
"CREATE OR REPLACE FUNCTION hang_probe() RETURNS trigger "
f"CREATE OR REPLACE FUNCTION {probe}() RETURNS trigger "
"LANGUAGE plpgsql AS $$ BEGIN PERFORM pg_sleep(2); RETURN NEW; "
"END $$;\n"
"CREATE TRIGGER hang_probe BEFORE INSERT ON messages FOR EACH ROW "
f"WHEN (NEW.text = '{text}') EXECUTE FUNCTION hang_probe();\n"
f"CREATE TRIGGER {probe} BEFORE INSERT ON messages FOR EACH ROW "
f"WHEN (NEW.text = '{text}') EXECUTE FUNCTION {probe}();\n"
)
cleanup = (
"DROP TRIGGER IF EXISTS hang_probe ON messages;\n"
"DROP FUNCTION IF EXISTS hang_probe();\n"
f"DROP TRIGGER IF EXISTS {probe} ON messages;\n"
f"DROP FUNCTION IF EXISTS {probe}();\n"
)
started = time.time()
t0 = time.monotonic()
@@ -994,8 +1040,9 @@ def cmd_hang_key(port: int) -> int:
try:
compose("exec", "-T", "postgres", "sh", "-c", PSQL, stdin=trigger)
print("trigger: INSERT of the probe message sleeps 2 s")
sender = threading.Thread(target=original)
print(f"trigger {probe}: INSERT of the probe message sleeps 2 s")
# daemon: прерывание не ждёт исходного запроса (до 30 с)
sender = threading.Thread(target=original, daemon=True)
sender.start()
address = ""
deadline = time.monotonic() + 3
@@ -1125,8 +1172,17 @@ def cmd_hang_key(port: int) -> int:
check=False,
capture_output=True,
)
compose("exec", "-T", "postgres", "sh", "-c", PSQL, stdin=cleanup)
print("trigger removed")
try:
compose("exec", "-T", "postgres", "sh", "-c", PSQL, stdin=cleanup)
except (RuntimeError, OSError, KeyboardInterrupt) as error:
print(
f"trigger {probe} NOT removed ({error!r}); remove it from "
f"the repository root:\n docker compose exec -T postgres "
f"sh -c '{PSQL}' <<'SQL'\n{cleanup}SQL",
flush=True,
)
raise SystemExit(1) from error
print(f"trigger {probe} removed", flush=True)
def main() -> int:
@@ -1146,6 +1202,8 @@ def main() -> int:
idle.add_argument("--requests", type=int, default=50)
# [app] keep_alive_seconds реплики
idle.add_argument("--keep-alive", type=float, default=60)
# контейнер LB, если --port ведёт не на LB стенда (вариант конфигурации)
idle.add_argument("--lb")
sub.add_parser("hang-key")
req = sub.add_parser("req")
req.add_argument("method")
@@ -1193,6 +1251,7 @@ def main() -> int:
threads=args.threads,
requests=args.requests,
keep_alive=args.keep_alive,
lb=args.lb,
)
if args.cmd == "hang-key":
return cmd_hang_key(port)
+1 -1
View File
@@ -233,7 +233,7 @@ FAILOVER_LABEL ?= baseline
bench_failover:
$(KEEP_AWAKE) uv run python bench/run.py --profile failover --label $(FAILOVER_LABEL)
# то же короче, режимы stop и kill (самопроверка), ~3 мин; в git не идёт
# то же короче, режимы stop и kill (самопроверка), ~2 мин; в git не идёт
.PHONY: bench_failover_quick
bench_failover_quick:
$(KEEP_AWAKE) uv run python bench/run.py --profile failover_quick --label quick-failover-$(shell date -u +%Y%m%dT%H%M%SZ)
+14
View File
@@ -138,6 +138,20 @@ def methodology(label: Label) -> dict[str, Any]:
def check_methodology(first: Label, second: Label) -> list[str]:
"""Отказ при различии; возвращает параметры, записанные в одной метке."""
a, b = methodology(first), methodology(second)
# с change graceful-failover в пути запроса стоит HAProxy, и паспорт
# пишет число реплик; метка без него снята мимо LB — другая методика
# (решение 6 design change graceful-failover), а не «параметр
# записан только в одной метке»
without_lb = [
label.name
for label, flat in ((first, a), (second, b))
if "limits.api_replicas" not in flat
]
if len(without_lb) == 1:
raise CompareError(
f"label {without_lb[0]} was measured without the load balancer "
"(before change graceful-failover): different methodology",
)
differs = [
f"{key}: {first.name} = {a[key]!r}, {second.name} = {b[key]!r}"
for key in sorted(a.keys() & b.keys())
+3 -2
View File
@@ -83,8 +83,9 @@ backend api
# LB не повторяет). С пулом (http-reuse safe) последнее простаивающее
# соединение LB держал, пока его не закрывала реплика. Гонку при
# SIGTERM (uvicorn сразу закрывает простаивающие соединения) не убирает
# ни один режим: одиночный 502 в 2 из 8 фаз stop с never и в 1 из 9 с
# safe (design change graceful-failover, решение 3)
# ни один режим: одиночный 502 в части фаз stop под нагрузкой; убрать
# её может только вывод реплики из LB до SIGTERM (design change
# graceful-failover, решение 3; evidence/failover/keep-alive.md)
http-reuse never
# активная проверка готовности: /health/live для LB не годится,
# живой процесс без PostgreSQL запросы не обслуживает