Files
mtusi2026lab3/evidence/failover/test-failover-kill.md
T
ricoromaandClaude Opus 5.5 cb14586a19 docs: retake replicas-lb evidence from a4ca9ef after verify
The stand was recreated from a4ca9ef (make down, make run_docker) and
all evidence of the change was taken again on it: stand, distribution,
LB errors, test-persistence, test-failover for each replica (stop and
kill), stop-one refusals, make test and student_test through the LB,
test_isolated, failure_checks and bench self-checks.

New evidence closes scenarios verify found without proof: a real git
clone on non-default ports, a hung replica (docker pause: DOWN after
7.7 s, in-flight request 504), PostgreSQL outage behind the LB, replica
tests failing against one process, aborted responses via
driver.py kill-inflight. REPORT.md gets the corrected detection
formula, the measured cost of the 1 CPU limit for Argon2id and the new
rows.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
2026-10-10 22:09:15 +03:00

11 KiB
Raw Blame History

make test-failover с STOP_MODE=kill и оборванные ответы

Спеки load-balancing «Отказ одной реплики» — «Отказ процесса без graceful»; «Failover hook» — «Реплика не поднимается сама», «Восстановление реплик»; «Повтор только при отказе соединения» — «Оборванный ответ не повторяется»; «Ошибки балансировщика в формате контракта»
Change replicas-lb, задачи 6.1 и 7.2 (оборванные ответы — командой driver.py kill-inflight, добавленной в verify)
Дата 2026-10-10 15:49:00–15:50:00 UTC
Commit a4ca9ef (стенд пересоздан с этого commit, ../replicas/stand.md)
Стенд make run_docker: проект mtusi-lab3, HAProxy на 127.0.0.1:8080, api × 2 (restart: unless-stopped)
Хост Docker Desktop 29.8.1, macOS arm64; ВМ Docker: 12 CPU, 7,7 GiB RAM; ноутбук от батареи

Публичная проверка в режиме kill

$ make replicas      # после прогона 2 из test-failover.md
 Container mtusi-lab3-api-2 Healthy
 Container mtusi-lab3-api-1 Healthy
$ make lb_stats
svname         addr             status  check_status  scur  stot  econ  wretr  wredis  hrsp_5xx
api-1          172.30.0.5:8080  UP      L7OK          0     186   0     0      2       0
api-2          172.30.0.4:8080  UP      L7OK          0     195   0     0      2       0
BACKEND        -                UP      -             0     380   3     0      4       3
free slots: 6

### 2026-10-10T15:49:10Z STOP_MODE=kill
$ ps (до)
api /mtusi-lab3-api-1 3681880fc55f running exit=0 started=2026-10-10T15:49:06.666700721Z
api /mtusi-lab3-api-2 8100f940a5fa running exit=0 started=2026-10-10T15:48:33.765274636Z
haproxy /mtusi-lab3-haproxy-1 f878fd1fbf83 running exit=0 started=2026-10-10T15:47:58.560031592Z
migrate /mtusi-lab3-migrate-1 ffd98512d938 exited exit=0 started=2026-10-10T15:47:56.875245466Z
postgres /mtusi-lab3-postgres-1 da3195a39fcf running exit=0 started=2026-10-10T15:47:55.066928966Z
valkey /mtusi-lab3-valkey-1 169515bef463 running exit=0 started=2026-10-10T15:47:55.039021882Z
$ STOP_MODE=kill STOP_ONE_LOG=$STOP_ONE_LOG make test-failover ACTION_SCRIPT=scripts/stop-one.sh
python3 tests/resilience.py --mode failover --action-script "scripts/stop-one.sh" --base-url "http://localhost:8080"
Executing explicit failover hook; hook output suppressed to avoid leaking secrets.
{"observed_instances_before": 2, "successful_writes": 121, "failed_attempts": 0, "first_recovery_seconds": 0.736}
PASS: failover preserved confirmed data and existing session. Hook scope needs operator evidence.
exit=0
$ tail -1 $STOP_ONE_LOG
2026-10-10T15:49:11Z TARGET_INSTANCE_ID=3681880fc55f container=3681880fc55f353e85c913802f412f13a7846ffd9cb394881d7fafe99d9ebbd4 mode=kill
$ ps (после)
api /mtusi-lab3-api-1 3681880fc55f exited exit=137 started=2026-10-10T15:49:06.666700721Z
api /mtusi-lab3-api-2 8100f940a5fa running exit=0 started=2026-10-10T15:48:33.765274636Z
haproxy /mtusi-lab3-haproxy-1 f878fd1fbf83 running exit=0 started=2026-10-10T15:47:58.560031592Z
migrate /mtusi-lab3-migrate-1 ffd98512d938 exited exit=0 started=2026-10-10T15:47:56.875245466Z
postgres /mtusi-lab3-postgres-1 da3195a39fcf running exit=0 started=2026-10-10T15:47:55.066928966Z
valkey /mtusi-lab3-valkey-1 169515bef463 running exit=0 started=2026-10-10T15:47:55.039021882Z
$ make lb_stats (после)
svname         addr             status  check_status  scur  stot  econ  wretr  wredis  hrsp_5xx
api-2          172.30.0.4:8080  UP      L7OK          0     343   0     0      2       0
BACKEND        -                UP      -             0     553   3     0      6       3
free slots: 7
$ docker compose logs haproxy
172.30.0.1:57970 [10/Oct/2026:15:49:11.658] entry api/api-2 0/0/0/3/3 201 471 - - ---- 1/1/0/0/+1 0/0 "POST /api/v1/chats/a9bfebf9-cc09-49d1-8665-7d92b8efe1c4/messages HTTP/1.1"
Server api/api-1 is going DOWN for maintenance (No IP for server ). 1 active and 0 backup servers left. 1 sessions active, 0 requeued, 0 remaining in queue.
172.30.0.1:57984 [10/Oct/2026:15:49:11.764] entry api/api-2 0/506/1/14/521 201 471 - - ---- 1/1/0/0/+1 0/0 "POST /api/v1/chats/a9bfebf9-cc09-49d1-8665-7d92b8efe1c4/messages HTTP/1.1"
  • Убит контейнер 3681880fc55f… — тот, чей ID начинается с TARGET_INSTANCE_ID. Код выхода 137 (SIGKILL), остальные контейнеры с прежним StartedAt.
  • Отправки идут раз в 0,1 с и обрабатываются ~5 мс, поэтому в момент kill ни одна не была в полёте: обе отправки, попавшие на убитую реплику, получили отказ соединения и были перенаправлены (+1). Оборванные ответы показаны отдельным прогоном ниже.

Реплика не поднимается сама

# через 15 с после прогона (15:49:42)
$ docker inspect -f "{{printf "%.12s" .Id}} {{.State.Status}} exit={{.State.ExitCode}} restarts={{.RestartCount}} finished={{.State.FinishedAt}}" 3681880fc55f
3681880fc55f exited exit=137 restarts=0 finished=2026-10-10T15:49:11.647620542Z
$ make instances
user lb_9f971bae: one login, 12 requests with one token
  8100f940a5fa: 12
instances: 1

restart: unless-stopped не поднял контейнер после docker kill: Docker считает kill ручной остановкой (RestartCount 0). Его X-Instance-Id в ответах через LB не встречается. Поэтому docker stop -t 0 вместо kill (риск из PLAN.md) не понадобился. То же для stop — конец test-failover.md.

Оборванный ответ не повторяется

Команда kill-inflight драйвера скилла run-mtusi-messenger (.claude/skills/run-mtusi-messenger/driver.py, только stdlib): 8 потоков 4 с подряд входят по Basic (POST /api/v1/auth/sessions, Argon2id — сотни миллисекунд на реплике с лимитом 1 CPU, так что запросы в полёте есть всегда). Через 1,5 с scripts/stop-one.sh в режиме kill убивает реплику, ответившую на пробный запрос. Пароль и токены не печатаются, тела успешных ответов не сохраняются.

$ make replicas
 Container mtusi-lab3-api-2 Healthy
 Container mtusi-lab3-api-1 Healthy
$ make lb_stats
svname         addr             status  check_status  scur  stot  econ  wretr  wredis  hrsp_5xx
api-1          172.30.0.5:8080  UP      L7OK          0     213   0     0      4       0
api-2          172.30.0.4:8080  UP      L7OK          0     357   0     0      2       0
BACKEND        -                UP      -             0     567   3     0      6       3
free slots: 6

### 2026-10-10T15:49:54Z
$ python3 .claude/skills/run-mtusi-messenger/driver.py --port 8080 kill-inflight
target replica (X-Instance-Id of a probe): 3681880fc55f
stop-one.sh (kill): exit 0; stop-one: stopped api container 3681880fc55f (mode kill)
35 logins in 4 s by 8 threads
  201 via 3681880fc55f: 9
  201 via 8100f940a5fa: 23
  502 via LB: 3
  LB error 502: {"code": "unavailable", "message": "API replica closed the connection", "request_id": "lb-AC1E0001F9486ACA5EA3026F0008"} request_id == X-Request-Id: True
  LB error 502: {"code": "unavailable", "message": "API replica closed the connection", "request_id": "lb-AC1E0001F9426ACA5EA3026D0008"} request_id == X-Request-Id: True
  LB error 502: {"code": "unavailable", "message": "API replica closed the connection", "request_id": "lb-AC1E0001F9546ACA5EA302710008"} request_id == X-Request-Id: True
replica 3681880fc55f is left stopped; restore: make replicas
exit=0
$ docker compose logs -t haproxy   # окно прогона
2026-10-10T15:49:55.942278466Z 172.30.0.1:63816 [10/Oct/2026:15:49:55.747] entry api/api-1 0/0/0/-1/194 502 0 - - SH-- 8/8/7/2/0 0/0 "POST /api/v1/auth/sessions HTTP/1.1"
2026-10-10T15:49:55.942316633Z 172.30.0.1:63810 [10/Oct/2026:15:49:55.743] entry api/api-1 0/0/0/-1/198 502 0 - - SH-- 7/7/6/1/0 0/0 "POST /api/v1/auth/sessions HTTP/1.1"
2026-10-10T15:49:55.942319674Z 172.30.0.1:63828 [10/Oct/2026:15:49:55.917] entry api/api-1 0/0/0/-1/24 502 0 - - SH-- 6/6/5/0/0 0/0 "POST /api/v1/auth/sessions HTTP/1.1"
2026-10-10T15:49:56.110015716Z Server api/api-1 is going DOWN for maintenance (No IP for server ). 1 active and 0 backup servers left. 0 sessions active, 0 requeued, 0 remaining in queue.
2026-10-10T15:49:57.308339800Z 172.30.0.1:63854 [10/Oct/2026:15:49:55.943] entry api/api-2 0/0/0/1364/1364 201 469 - - ---- 8/8/7/7/+1 0/0 "POST /api/v1/auth/sessions HTTP/1.1"
2026-10-10T15:49:58.015336384Z 172.30.0.1:63872 [10/Oct/2026:15:49:55.943] entry api/api-2 0/0/0/2070/2070 201 469 - - ---- 8/8/7/7/+1 0/0 "POST /api/v1/auth/sessions HTTP/1.1"
$ ps
api /mtusi-lab3-api-1 3681880fc55f exited exit=137 started=2026-10-10T15:49:50.306204047Z
api /mtusi-lab3-api-2 8100f940a5fa running exit=0 started=2026-10-10T15:48:33.765274636Z
  • 3 входа были в обработке на убитой реплике: LB вернул 502 в формате контракта (SH-- — сервер оборвал соединение до заголовков ответа, request_id = X-Request-Id), поле повторов 0 — запрос, который реплика уже получила, на другую реплику не повторялся (retry-on conn-failure без empty-response). Вход — POST, создающий сессию: повтор LB выдал бы клиенту вторую сессию без его ведома.
  • 2 входа, начатые в момент kill, получили отказ соединения и были перенаправлены (+1) — до реплики они не дошли, повтор безопасен.
  • Клиенту оборванный POST повторять самому: отправку сообщения — с тем же Idempotency-Key (make test-failover учитывает такие попытки как неудачные и повторяет), вход — просто заново.

В прогоне apply (разовый скрипт той же логики, до verify) — 4 оборванных входа и 4 перенаправленных; пробный прогон команды в verify на прежнем стенде — 3 оборванных. Стенд восстановлен make replicas (начало stop-one-refusals.md).