Files
mtusi2026lab3/evidence/failover/test-failover.md
T
ricoromaandClaude Opus 5.5 cb14586a19 docs: retake replicas-lb evidence from a4ca9ef after verify
The stand was recreated from a4ca9ef (make down, make run_docker) and
all evidence of the change was taken again on it: stand, distribution,
LB errors, test-persistence, test-failover for each replica (stop and
kill), stop-one refusals, make test and student_test through the LB,
test_isolated, failure_checks and bench self-checks.

New evidence closes scenarios verify found without proof: a real git
clone on non-default ports, a hung replica (docker pause: DOWN after
7.7 s, in-flight request 504), PostgreSQL outage behind the LB, replica
tests failing against one process, aborted responses via
driver.py kill-inflight. REPORT.md gets the corrected detection
formula, the measured cost of the 1 CPU limit for Argon2id and the new
rows.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
2026-10-10 22:09:15 +03:00

13 KiB
Raw Blame History

make test-failover: штатная остановка каждой реплики

Спеки load-balancing «Отказ одной реплики» — «Штатная остановка каждой реплики»; «Failover hook» — «Остановка по instance id», «Реплика не поднимается сама», «Восстановление реплик»; «Повтор только при отказе соединения» — «Отказ соединения перенаправлен»; «Проверка готовности реплик» — «Остановленная реплика исключена»
Change replicas-lb, задачи 6.1 и 7.2
Дата 2026-10-10 15:48:11–15:48:59 UTC
Commit a4ca9ef (стенд пересоздан с этого commit, ../replicas/stand.md)
Стенд make run_docker: проект mtusi-lab3, HAProxy на 127.0.0.1:8080, api × 2; тест ходит через LB
Хост Docker Desktop 29.8.1, macOS arm64; ВМ Docker: 12 CPU, 7,7 GiB RAM; ноутбук от батареи

tests/resilience.py --mode failover: перед отказом 40 запросов GET /users/me (нужно ≥2 разных X-Instance-Id), затем hook с TARGET_INSTANCE_ID = X-Instance-Id ответа на первую отправку и 15 с отправок раз в 0,1 с. Неопределённый POST повторяется с тем же ключом, запись должна восстановиться ≤10 с от старта hook, остановленной реплики не должно быть в последних 5 ответах, дублей в истории нет. Вывод hook тест скрывает, поэтому выбранный тестом ID и остановленный контейнер записывает сам hook — строкой в файл STOP_ONE_LOG (scripts/stop-one.sh, путь файла не печатается).

ps — docker inspect каждого контейнера проекта: сервис, имя, ID, состояние, код выхода, StartedAt.

Прогон 1: остановлен 8100f940a5fa (mtusi-lab3-api-2)

### 2026-10-10T15:48:11Z STOP_MODE=stop
$ ps (до)
api /mtusi-lab3-api-1 3681880fc55f running exit=0 started=2026-10-10T15:47:58.49368355Z
api /mtusi-lab3-api-2 8100f940a5fa running exit=0 started=2026-10-10T15:47:58.4427858Z
haproxy /mtusi-lab3-haproxy-1 f878fd1fbf83 running exit=0 started=2026-10-10T15:47:58.560031592Z
migrate /mtusi-lab3-migrate-1 ffd98512d938 exited exit=0 started=2026-10-10T15:47:56.875245466Z
postgres /mtusi-lab3-postgres-1 da3195a39fcf running exit=0 started=2026-10-10T15:47:55.066928966Z
valkey /mtusi-lab3-valkey-1 169515bef463 running exit=0 started=2026-10-10T15:47:55.039021882Z
$ make lb_stats (до)
svname         addr             status  check_status  scur  stot  econ  wretr  wredis  hrsp_5xx
api-1          172.30.0.5:8080  UP      L7OK          0     10    0     0      0       0
api-2          172.30.0.4:8080  UP      L7OK          0     7     0     0      0       0
BACKEND        -                UP      -             0     20    3     0      0       3
free slots: 6

$ STOP_MODE=stop STOP_ONE_LOG=$STOP_ONE_LOG make test-failover ACTION_SCRIPT=scripts/stop-one.sh
python3 tests/resilience.py --mode failover --action-script "scripts/stop-one.sh" --base-url "http://localhost:8080"
Executing explicit failover hook; hook output suppressed to avoid leaking secrets.
{"observed_instances_before": 2, "successful_writes": 121, "failed_attempts": 0, "first_recovery_seconds": 1.109}
PASS: failover preserved confirmed data and existing session. Hook scope needs operator evidence.
exit=0
$ tail -1 $STOP_ONE_LOG
2026-10-10T15:48:12Z TARGET_INSTANCE_ID=8100f940a5fa container=8100f940a5facb4becd5b1a415c37f42ccd299f411a5a4a62185dda724a0bcd4 mode=stop

$ ps (после)
api /mtusi-lab3-api-1 3681880fc55f running exit=0 started=2026-10-10T15:47:58.49368355Z
api /mtusi-lab3-api-2 8100f940a5fa exited exit=0 started=2026-10-10T15:47:58.4427858Z
haproxy /mtusi-lab3-haproxy-1 f878fd1fbf83 running exit=0 started=2026-10-10T15:47:58.560031592Z
migrate /mtusi-lab3-migrate-1 ffd98512d938 exited exit=0 started=2026-10-10T15:47:56.875245466Z
postgres /mtusi-lab3-postgres-1 da3195a39fcf running exit=0 started=2026-10-10T15:47:55.066928966Z
valkey /mtusi-lab3-valkey-1 169515bef463 running exit=0 started=2026-10-10T15:47:55.039021882Z
$ make lb_stats (после)
svname         addr             status  check_status  scur  stot  econ  wretr  wredis  hrsp_5xx
api-1          172.30.0.5:8080  UP      L7OK          0     157   0     0      0       0
BACKEND        -                UP      -             0     193   3     0      2       3
free slots: 7
$ docker compose logs haproxy   # окно прогона: ошибки, повторы, смена состояния
172.30.0.1:56902 [10/Oct/2026:15:48:12.189] entry api/api-1 0/0/0/9/9 201 471 - - ---- 1/1/0/0/+1 0/0 "POST /api/v1/chats/444231df-635d-4525-9ebb-755258b79001/messages HTTP/1.1"
Server api/api-2 is going DOWN for maintenance (No IP for server ). 1 active and 0 backup servers left. 1 sessions active, 0 requeued, 0 remaining in queue.
172.30.0.1:56918 [10/Oct/2026:15:48:12.305] entry api/api-1 0/505/2/15/522 201 471 - - ---- 1/1/0/0/+1 0/0 "POST /api/v1/chats/444231df-635d-4525-9ebb-755258b79001/messages HTTP/1.1"
  • ID остановленного контейнера начинается с TARGET_INSTANCE_ID, который выбрал тест: 8100f940a5fa…. Остальные контейнеры стенда работают с прежним StartedAt. Код выхода 0 — graceful (SIGTERM).
  • Ошибок у клиента нет (failed_attempts: 0). Две отправки пришлись на останавливаемую реплику и были перенаправлены LB (+1 в поле повторов — redispatch): первая — сразу по отказу соединения (закрытый сокет), вторая — через 505 мс (timeout connect к уже пропавшему адресу), обе получили 201 от api-1.
  • Пропавший адрес слот HAProxy увёл в обслуживание по DNS (No IP for server), в статистике остался один слот.
  • econ 3 / hrsp_5xx 3 у BACKEND до прогона — с перезапуска LB в test-persistence.md: три GET /health/ready получили 503 от LB, пока реплики не прошли проверки.

Восстановление и сдвиг очереди round-robin

Тест выбирает реплику, ответившую на его первую отправку, а число запросов до неё в сценарии постоянно. При round-robin по двум репликам после восстановления выбор снова пал бы на ту же реплику (так было в прогоне apply). Поэтому перед прогоном 2 очередь сдвинута одним запросом через LB; тест не менялся.

$ make replicas
 Container mtusi-lab3-api-1 Running
 Container mtusi-lab3-api-2 Starting
 Container mtusi-lab3-api-2 Started
 Container mtusi-lab3-api-2 Waiting
 Container mtusi-lab3-api-1 Waiting
 Container mtusi-lab3-api-2 Healthy
 Container mtusi-lab3-api-1 Healthy
$ make lb_stats
svname         addr             status  check_status  scur  stot  econ  wretr  wredis  hrsp_5xx
api-1          172.30.0.5:8080  UP      L7OK          0     157   0     0      0       0
api-2          172.30.0.4:8080  UP      L7OK          0     35    0     0      2       0
BACKEND        -                UP      -             0     193   3     0      2       3
free slots: 6
$ curl -s -o /dev/null -D - http://127.0.0.1:8080/health/live | grep -i x-instance-id   # сдвиг очереди
x-instance-id: 3681880fc55f

make replicas запустил тот же контейнер 8100f940a5fa (новый StartedAt ниже), LB включил его после проверок.

Прогон 2: остановлен 3681880fc55f (mtusi-lab3-api-1)

### 2026-10-10T15:48:37Z STOP_MODE=stop
$ ps (до)
api /mtusi-lab3-api-1 3681880fc55f running exit=0 started=2026-10-10T15:47:58.49368355Z
api /mtusi-lab3-api-2 8100f940a5fa running exit=0 started=2026-10-10T15:48:33.765274636Z
haproxy /mtusi-lab3-haproxy-1 f878fd1fbf83 running exit=0 started=2026-10-10T15:47:58.560031592Z
migrate /mtusi-lab3-migrate-1 ffd98512d938 exited exit=0 started=2026-10-10T15:47:56.875245466Z
postgres /mtusi-lab3-postgres-1 da3195a39fcf running exit=0 started=2026-10-10T15:47:55.066928966Z
valkey /mtusi-lab3-valkey-1 169515bef463 running exit=0 started=2026-10-10T15:47:55.039021882Z
$ STOP_MODE=stop STOP_ONE_LOG=$STOP_ONE_LOG make test-failover ACTION_SCRIPT=scripts/stop-one.sh
python3 tests/resilience.py --mode failover --action-script "scripts/stop-one.sh" --base-url "http://localhost:8080"
Executing explicit failover hook; hook output suppressed to avoid leaking secrets.
{"observed_instances_before": 2, "successful_writes": 120, "failed_attempts": 0, "first_recovery_seconds": 1.098}
PASS: failover preserved confirmed data and existing session. Hook scope needs operator evidence.
exit=0
$ tail -1 $STOP_ONE_LOG
2026-10-10T15:48:38Z TARGET_INSTANCE_ID=3681880fc55f container=3681880fc55f353e85c913802f412f13a7846ffd9cb394881d7fafe99d9ebbd4 mode=stop
$ ps (после)
api /mtusi-lab3-api-1 3681880fc55f exited exit=0 started=2026-10-10T15:47:58.49368355Z
api /mtusi-lab3-api-2 8100f940a5fa running exit=0 started=2026-10-10T15:48:33.765274636Z
haproxy /mtusi-lab3-haproxy-1 f878fd1fbf83 running exit=0 started=2026-10-10T15:47:58.560031592Z
migrate /mtusi-lab3-migrate-1 ffd98512d938 exited exit=0 started=2026-10-10T15:47:56.875245466Z
postgres /mtusi-lab3-postgres-1 da3195a39fcf running exit=0 started=2026-10-10T15:47:55.066928966Z
valkey /mtusi-lab3-valkey-1 169515bef463 running exit=0 started=2026-10-10T15:47:55.039021882Z
$ make lb_stats (после)
svname         addr             status  check_status  scur  stot  econ  wretr  wredis  hrsp_5xx
api-2          172.30.0.4:8080  UP      L7OK          0     181   0     0      2       0
BACKEND        -                UP      -             0     366   3     0      4       3
free slots: 7
$ docker compose logs haproxy
172.30.0.1:56380 [10/Oct/2026:15:48:38.700] entry api/api-2 0/0/0/9/9 201 471 - - ---- 1/1/0/0/+1 0/0 "POST /api/v1/chats/df2c33bd-96ca-4097-a628-5fe131dca1ad/messages HTTP/1.1"
Server api/api-1 is going DOWN for maintenance (No IP for server ). 1 active and 0 backup servers left. 1 sessions active, 0 requeued, 0 remaining in queue.
172.30.0.1:56382 [10/Oct/2026:15:48:38.813] entry api/api-2 0/506/1/15/522 201 471 - - ---- 1/1/0/0/+1 0/0 "POST /api/v1/chats/df2c33bd-96ca-4097-a628-5fe131dca1ad/messages HTTP/1.1"

# через 20 с после остановки
$ docker inspect -f '{{printf "%.12s" .Id}} {{.State.Status}} exit={{.State.ExitCode}} restarts={{.RestartCount}} finished={{.State.FinishedAt}}' 3681880fc55f
3681880fc55f exited exit=0 restarts=0 finished=2026-10-10T15:48:38.745627722Z
$ make instances
user lb_9de93363: one login, 12 requests with one token
  8100f940a5fa: 12
instances: 1

Итог

Прогон Остановлен (TARGET_INSTANCE_ID) Контейнер Успешных записей Неудачных попыток Первая запись после старта hook Перенаправлено LB
1 8100f940a5fa mtusi-lab3-api-2 121 0 1,109 с 2
2 3681880fc55f mtusi-lab3-api-1 120 0 1,098 с 2

Каждая из двух реплик остановлена scripts/stop-one.sh по TARGET_INSTANCE_ID, который выбрал тест, и восстановлена make replicas перед следующим прогоном. ID остановленного контейнера в строке STOP_ONE_LOG начинается с TARGET_INSTANCE_ID, остальные контейнеры работают с прежним StartedAt. Первая успешная запись — в пределах 1,1 с от старта hook (требование — ≤10 с); при stop ошибок у клиента нет: отказ соединения LB перенаправляет на живую реплику. Остановленная stop реплика через 20 с всё ещё exited (RestartCount 0), её X-Instance-Id в ответах нет. «Первая запись» — время первой успешной отправки после возврата hook, а не время обнаружения отказа LB; замер обнаружения — change graceful-failover.

Восстановление после прогона 2 — make replicas (начало test-failover-kill.md).