The stand was recreated from a4ca9ef (make down, make run_docker) and
all evidence of the change was taken again on it: stand, distribution,
LB errors, test-persistence, test-failover for each replica (stop and
kill), stop-one refusals, make test and student_test through the LB,
test_isolated, failure_checks and bench self-checks.
New evidence closes scenarios verify found without proof: a real git
clone on non-default ports, a hung replica (docker pause: DOWN after
7.7 s, in-flight request 504), PostgreSQL outage behind the LB, replica
tests failing against one process, aborted responses via
driver.py kill-inflight. REPORT.md gets the corrected detection
formula, the measured cost of the 1 CPU limit for Argon2id and the new
rows.
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
11 KiB
make test-failover с STOP_MODE=kill и оборванные ответы
| Спеки | load-balancing «Отказ одной реплики» — «Отказ процесса без graceful»; «Failover hook» — «Реплика не поднимается сама», «Восстановление реплик»; «Повтор только при отказе соединения» — «Оборванный ответ не повторяется»; «Ошибки балансировщика в формате контракта» |
| Change | replicas-lb, задачи 6.1 и 7.2 (оборванные ответы — командой driver.py kill-inflight, добавленной в verify) |
| Дата | 2026-10-10 15:49:00–15:50:00 UTC |
| Commit | a4ca9ef (стенд пересоздан с этого commit, ../replicas/stand.md) |
| Стенд | make run_docker: проект mtusi-lab3, HAProxy на 127.0.0.1:8080, api × 2 (restart: unless-stopped) |
| Хост | Docker Desktop 29.8.1, macOS arm64; ВМ Docker: 12 CPU, 7,7 GiB RAM; ноутбук от батареи |
Публичная проверка в режиме kill
$ make replicas # после прогона 2 из test-failover.md
Container mtusi-lab3-api-2 Healthy
Container mtusi-lab3-api-1 Healthy
$ make lb_stats
svname addr status check_status scur stot econ wretr wredis hrsp_5xx
api-1 172.30.0.5:8080 UP L7OK 0 186 0 0 2 0
api-2 172.30.0.4:8080 UP L7OK 0 195 0 0 2 0
BACKEND - UP - 0 380 3 0 4 3
free slots: 6
### 2026-10-10T15:49:10Z STOP_MODE=kill
$ ps (до)
api /mtusi-lab3-api-1 3681880fc55f running exit=0 started=2026-10-10T15:49:06.666700721Z
api /mtusi-lab3-api-2 8100f940a5fa running exit=0 started=2026-10-10T15:48:33.765274636Z
haproxy /mtusi-lab3-haproxy-1 f878fd1fbf83 running exit=0 started=2026-10-10T15:47:58.560031592Z
migrate /mtusi-lab3-migrate-1 ffd98512d938 exited exit=0 started=2026-10-10T15:47:56.875245466Z
postgres /mtusi-lab3-postgres-1 da3195a39fcf running exit=0 started=2026-10-10T15:47:55.066928966Z
valkey /mtusi-lab3-valkey-1 169515bef463 running exit=0 started=2026-10-10T15:47:55.039021882Z
$ STOP_MODE=kill STOP_ONE_LOG=$STOP_ONE_LOG make test-failover ACTION_SCRIPT=scripts/stop-one.sh
python3 tests/resilience.py --mode failover --action-script "scripts/stop-one.sh" --base-url "http://localhost:8080"
Executing explicit failover hook; hook output suppressed to avoid leaking secrets.
{"observed_instances_before": 2, "successful_writes": 121, "failed_attempts": 0, "first_recovery_seconds": 0.736}
PASS: failover preserved confirmed data and existing session. Hook scope needs operator evidence.
exit=0
$ tail -1 $STOP_ONE_LOG
2026-10-10T15:49:11Z TARGET_INSTANCE_ID=3681880fc55f container=3681880fc55f353e85c913802f412f13a7846ffd9cb394881d7fafe99d9ebbd4 mode=kill
$ ps (после)
api /mtusi-lab3-api-1 3681880fc55f exited exit=137 started=2026-10-10T15:49:06.666700721Z
api /mtusi-lab3-api-2 8100f940a5fa running exit=0 started=2026-10-10T15:48:33.765274636Z
haproxy /mtusi-lab3-haproxy-1 f878fd1fbf83 running exit=0 started=2026-10-10T15:47:58.560031592Z
migrate /mtusi-lab3-migrate-1 ffd98512d938 exited exit=0 started=2026-10-10T15:47:56.875245466Z
postgres /mtusi-lab3-postgres-1 da3195a39fcf running exit=0 started=2026-10-10T15:47:55.066928966Z
valkey /mtusi-lab3-valkey-1 169515bef463 running exit=0 started=2026-10-10T15:47:55.039021882Z
$ make lb_stats (после)
svname addr status check_status scur stot econ wretr wredis hrsp_5xx
api-2 172.30.0.4:8080 UP L7OK 0 343 0 0 2 0
BACKEND - UP - 0 553 3 0 6 3
free slots: 7
$ docker compose logs haproxy
172.30.0.1:57970 [10/Oct/2026:15:49:11.658] entry api/api-2 0/0/0/3/3 201 471 - - ---- 1/1/0/0/+1 0/0 "POST /api/v1/chats/a9bfebf9-cc09-49d1-8665-7d92b8efe1c4/messages HTTP/1.1"
Server api/api-1 is going DOWN for maintenance (No IP for server ). 1 active and 0 backup servers left. 1 sessions active, 0 requeued, 0 remaining in queue.
172.30.0.1:57984 [10/Oct/2026:15:49:11.764] entry api/api-2 0/506/1/14/521 201 471 - - ---- 1/1/0/0/+1 0/0 "POST /api/v1/chats/a9bfebf9-cc09-49d1-8665-7d92b8efe1c4/messages HTTP/1.1"
- Убит контейнер
3681880fc55f…— тот, чей ID начинается сTARGET_INSTANCE_ID. Код выхода 137 (SIGKILL), остальные контейнеры с прежнимStartedAt. - Отправки идут раз в 0,1 с и обрабатываются ~5 мс, поэтому в момент
kill ни одна не была в полёте: обе отправки, попавшие на убитую
реплику, получили отказ соединения и были перенаправлены (
+1). Оборванные ответы показаны отдельным прогоном ниже.
Реплика не поднимается сама
# через 15 с после прогона (15:49:42)
$ docker inspect -f "{{printf "%.12s" .Id}} {{.State.Status}} exit={{.State.ExitCode}} restarts={{.RestartCount}} finished={{.State.FinishedAt}}" 3681880fc55f
3681880fc55f exited exit=137 restarts=0 finished=2026-10-10T15:49:11.647620542Z
$ make instances
user lb_9f971bae: one login, 12 requests with one token
8100f940a5fa: 12
instances: 1
restart: unless-stopped не поднял контейнер после docker kill:
Docker считает kill ручной остановкой (RestartCount 0). Его
X-Instance-Id в ответах через LB не встречается. Поэтому docker stop -t 0 вместо kill (риск из PLAN.md) не понадобился. То же для
stop — конец test-failover.md.
Оборванный ответ не повторяется
Команда kill-inflight драйвера скилла run-mtusi-messenger
(.claude/skills/run-mtusi-messenger/driver.py, только stdlib): 8
потоков 4 с подряд входят по Basic (POST /api/v1/auth/sessions,
Argon2id — сотни миллисекунд на реплике с лимитом 1 CPU, так что запросы
в полёте есть всегда). Через 1,5 с scripts/stop-one.sh в режиме
kill убивает реплику, ответившую на пробный запрос. Пароль и токены не
печатаются, тела успешных ответов не сохраняются.
$ make replicas
Container mtusi-lab3-api-2 Healthy
Container mtusi-lab3-api-1 Healthy
$ make lb_stats
svname addr status check_status scur stot econ wretr wredis hrsp_5xx
api-1 172.30.0.5:8080 UP L7OK 0 213 0 0 4 0
api-2 172.30.0.4:8080 UP L7OK 0 357 0 0 2 0
BACKEND - UP - 0 567 3 0 6 3
free slots: 6
### 2026-10-10T15:49:54Z
$ python3 .claude/skills/run-mtusi-messenger/driver.py --port 8080 kill-inflight
target replica (X-Instance-Id of a probe): 3681880fc55f
stop-one.sh (kill): exit 0; stop-one: stopped api container 3681880fc55f (mode kill)
35 logins in 4 s by 8 threads
201 via 3681880fc55f: 9
201 via 8100f940a5fa: 23
502 via LB: 3
LB error 502: {"code": "unavailable", "message": "API replica closed the connection", "request_id": "lb-AC1E0001F9486ACA5EA3026F0008"} request_id == X-Request-Id: True
LB error 502: {"code": "unavailable", "message": "API replica closed the connection", "request_id": "lb-AC1E0001F9426ACA5EA3026D0008"} request_id == X-Request-Id: True
LB error 502: {"code": "unavailable", "message": "API replica closed the connection", "request_id": "lb-AC1E0001F9546ACA5EA302710008"} request_id == X-Request-Id: True
replica 3681880fc55f is left stopped; restore: make replicas
exit=0
$ docker compose logs -t haproxy # окно прогона
2026-10-10T15:49:55.942278466Z 172.30.0.1:63816 [10/Oct/2026:15:49:55.747] entry api/api-1 0/0/0/-1/194 502 0 - - SH-- 8/8/7/2/0 0/0 "POST /api/v1/auth/sessions HTTP/1.1"
2026-10-10T15:49:55.942316633Z 172.30.0.1:63810 [10/Oct/2026:15:49:55.743] entry api/api-1 0/0/0/-1/198 502 0 - - SH-- 7/7/6/1/0 0/0 "POST /api/v1/auth/sessions HTTP/1.1"
2026-10-10T15:49:55.942319674Z 172.30.0.1:63828 [10/Oct/2026:15:49:55.917] entry api/api-1 0/0/0/-1/24 502 0 - - SH-- 6/6/5/0/0 0/0 "POST /api/v1/auth/sessions HTTP/1.1"
2026-10-10T15:49:56.110015716Z Server api/api-1 is going DOWN for maintenance (No IP for server ). 1 active and 0 backup servers left. 0 sessions active, 0 requeued, 0 remaining in queue.
2026-10-10T15:49:57.308339800Z 172.30.0.1:63854 [10/Oct/2026:15:49:55.943] entry api/api-2 0/0/0/1364/1364 201 469 - - ---- 8/8/7/7/+1 0/0 "POST /api/v1/auth/sessions HTTP/1.1"
2026-10-10T15:49:58.015336384Z 172.30.0.1:63872 [10/Oct/2026:15:49:55.943] entry api/api-2 0/0/0/2070/2070 201 469 - - ---- 8/8/7/7/+1 0/0 "POST /api/v1/auth/sessions HTTP/1.1"
$ ps
api /mtusi-lab3-api-1 3681880fc55f exited exit=137 started=2026-10-10T15:49:50.306204047Z
api /mtusi-lab3-api-2 8100f940a5fa running exit=0 started=2026-10-10T15:48:33.765274636Z
- 3 входа были в обработке на убитой реплике: LB вернул 502 в формате
контракта (
SH--— сервер оборвал соединение до заголовков ответа,request_id=X-Request-Id), поле повторов0— запрос, который реплика уже получила, на другую реплику не повторялся (retry-on conn-failureбезempty-response). Вход —POST, создающий сессию: повтор LB выдал бы клиенту вторую сессию без его ведома. - 2 входа, начатые в момент kill, получили отказ соединения и были
перенаправлены (
+1) — до реплики они не дошли, повтор безопасен. - Клиенту оборванный
POSTповторять самому: отправку сообщения — с тем жеIdempotency-Key(make test-failoverучитывает такие попытки как неудачные и повторяет), вход — просто заново.
В прогоне apply (разовый скрипт той же логики, до verify) — 4
оборванных входа и 4 перенаправленных; пробный прогон команды в verify
на прежнем стенде — 3 оборванных. Стенд восстановлен make replicas
(начало stop-one-refusals.md).