The stand was recreated from a4ca9ef (make down, make run_docker) and
all evidence of the change was taken again on it: stand, distribution,
LB errors, test-persistence, test-failover for each replica (stop and
kill), stop-one refusals, make test and student_test through the LB,
test_isolated, failure_checks and bench self-checks.
New evidence closes scenarios verify found without proof: a real git
clone on non-default ports, a hung replica (docker pause: DOWN after
7.7 s, in-flight request 504), PostgreSQL outage behind the LB, replica
tests failing against one process, aborted responses via
driver.py kill-inflight. REPORT.md gets the corrected detection
formula, the measured cost of the 1 CPU limit for Argon2id and the new
rows.
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
13 KiB
make test-failover: штатная остановка каждой реплики
| Спеки | load-balancing «Отказ одной реплики» — «Штатная остановка каждой реплики»; «Failover hook» — «Остановка по instance id», «Реплика не поднимается сама», «Восстановление реплик»; «Повтор только при отказе соединения» — «Отказ соединения перенаправлен»; «Проверка готовности реплик» — «Остановленная реплика исключена» |
| Change | replicas-lb, задачи 6.1 и 7.2 |
| Дата | 2026-10-10 15:48:11–15:48:59 UTC |
| Commit | a4ca9ef (стенд пересоздан с этого commit, ../replicas/stand.md) |
| Стенд | make run_docker: проект mtusi-lab3, HAProxy на 127.0.0.1:8080, api × 2; тест ходит через LB |
| Хост | Docker Desktop 29.8.1, macOS arm64; ВМ Docker: 12 CPU, 7,7 GiB RAM; ноутбук от батареи |
tests/resilience.py --mode failover: перед отказом 40 запросов
GET /users/me (нужно ≥2 разных X-Instance-Id), затем hook с
TARGET_INSTANCE_ID = X-Instance-Id ответа на первую отправку и 15 с
отправок раз в 0,1 с. Неопределённый POST повторяется с тем же ключом,
запись должна восстановиться ≤10 с от старта hook, остановленной
реплики не должно быть в последних 5 ответах, дублей в истории нет.
Вывод hook тест скрывает, поэтому выбранный тестом ID и остановленный
контейнер записывает сам hook — строкой в файл STOP_ONE_LOG
(scripts/stop-one.sh, путь файла не печатается).
ps — docker inspect каждого контейнера проекта: сервис, имя, ID,
состояние, код выхода, StartedAt.
Прогон 1: остановлен 8100f940a5fa (mtusi-lab3-api-2)
### 2026-10-10T15:48:11Z STOP_MODE=stop
$ ps (до)
api /mtusi-lab3-api-1 3681880fc55f running exit=0 started=2026-10-10T15:47:58.49368355Z
api /mtusi-lab3-api-2 8100f940a5fa running exit=0 started=2026-10-10T15:47:58.4427858Z
haproxy /mtusi-lab3-haproxy-1 f878fd1fbf83 running exit=0 started=2026-10-10T15:47:58.560031592Z
migrate /mtusi-lab3-migrate-1 ffd98512d938 exited exit=0 started=2026-10-10T15:47:56.875245466Z
postgres /mtusi-lab3-postgres-1 da3195a39fcf running exit=0 started=2026-10-10T15:47:55.066928966Z
valkey /mtusi-lab3-valkey-1 169515bef463 running exit=0 started=2026-10-10T15:47:55.039021882Z
$ make lb_stats (до)
svname addr status check_status scur stot econ wretr wredis hrsp_5xx
api-1 172.30.0.5:8080 UP L7OK 0 10 0 0 0 0
api-2 172.30.0.4:8080 UP L7OK 0 7 0 0 0 0
BACKEND - UP - 0 20 3 0 0 3
free slots: 6
$ STOP_MODE=stop STOP_ONE_LOG=$STOP_ONE_LOG make test-failover ACTION_SCRIPT=scripts/stop-one.sh
python3 tests/resilience.py --mode failover --action-script "scripts/stop-one.sh" --base-url "http://localhost:8080"
Executing explicit failover hook; hook output suppressed to avoid leaking secrets.
{"observed_instances_before": 2, "successful_writes": 121, "failed_attempts": 0, "first_recovery_seconds": 1.109}
PASS: failover preserved confirmed data and existing session. Hook scope needs operator evidence.
exit=0
$ tail -1 $STOP_ONE_LOG
2026-10-10T15:48:12Z TARGET_INSTANCE_ID=8100f940a5fa container=8100f940a5facb4becd5b1a415c37f42ccd299f411a5a4a62185dda724a0bcd4 mode=stop
$ ps (после)
api /mtusi-lab3-api-1 3681880fc55f running exit=0 started=2026-10-10T15:47:58.49368355Z
api /mtusi-lab3-api-2 8100f940a5fa exited exit=0 started=2026-10-10T15:47:58.4427858Z
haproxy /mtusi-lab3-haproxy-1 f878fd1fbf83 running exit=0 started=2026-10-10T15:47:58.560031592Z
migrate /mtusi-lab3-migrate-1 ffd98512d938 exited exit=0 started=2026-10-10T15:47:56.875245466Z
postgres /mtusi-lab3-postgres-1 da3195a39fcf running exit=0 started=2026-10-10T15:47:55.066928966Z
valkey /mtusi-lab3-valkey-1 169515bef463 running exit=0 started=2026-10-10T15:47:55.039021882Z
$ make lb_stats (после)
svname addr status check_status scur stot econ wretr wredis hrsp_5xx
api-1 172.30.0.5:8080 UP L7OK 0 157 0 0 0 0
BACKEND - UP - 0 193 3 0 2 3
free slots: 7
$ docker compose logs haproxy # окно прогона: ошибки, повторы, смена состояния
172.30.0.1:56902 [10/Oct/2026:15:48:12.189] entry api/api-1 0/0/0/9/9 201 471 - - ---- 1/1/0/0/+1 0/0 "POST /api/v1/chats/444231df-635d-4525-9ebb-755258b79001/messages HTTP/1.1"
Server api/api-2 is going DOWN for maintenance (No IP for server ). 1 active and 0 backup servers left. 1 sessions active, 0 requeued, 0 remaining in queue.
172.30.0.1:56918 [10/Oct/2026:15:48:12.305] entry api/api-1 0/505/2/15/522 201 471 - - ---- 1/1/0/0/+1 0/0 "POST /api/v1/chats/444231df-635d-4525-9ebb-755258b79001/messages HTTP/1.1"
- ID остановленного контейнера начинается с
TARGET_INSTANCE_ID, который выбрал тест:8100f940a5fa…. Остальные контейнеры стенда работают с прежнимStartedAt. Код выхода 0 — graceful (SIGTERM). - Ошибок у клиента нет (
failed_attempts: 0). Две отправки пришлись на останавливаемую реплику и были перенаправлены LB (+1в поле повторов — redispatch): первая — сразу по отказу соединения (закрытый сокет), вторая — через 505 мс (timeout connectк уже пропавшему адресу), обе получили 201 отapi-1. - Пропавший адрес слот HAProxy увёл в обслуживание по DNS (
No IP for server), в статистике остался один слот. econ 3/hrsp_5xx 3уBACKENDдо прогона — с перезапуска LB вtest-persistence.md: триGET /health/readyполучили 503 от LB, пока реплики не прошли проверки.
Восстановление и сдвиг очереди round-robin
Тест выбирает реплику, ответившую на его первую отправку, а число запросов до неё в сценарии постоянно. При round-robin по двум репликам после восстановления выбор снова пал бы на ту же реплику (так было в прогоне apply). Поэтому перед прогоном 2 очередь сдвинута одним запросом через LB; тест не менялся.
$ make replicas
Container mtusi-lab3-api-1 Running
Container mtusi-lab3-api-2 Starting
Container mtusi-lab3-api-2 Started
Container mtusi-lab3-api-2 Waiting
Container mtusi-lab3-api-1 Waiting
Container mtusi-lab3-api-2 Healthy
Container mtusi-lab3-api-1 Healthy
$ make lb_stats
svname addr status check_status scur stot econ wretr wredis hrsp_5xx
api-1 172.30.0.5:8080 UP L7OK 0 157 0 0 0 0
api-2 172.30.0.4:8080 UP L7OK 0 35 0 0 2 0
BACKEND - UP - 0 193 3 0 2 3
free slots: 6
$ curl -s -o /dev/null -D - http://127.0.0.1:8080/health/live | grep -i x-instance-id # сдвиг очереди
x-instance-id: 3681880fc55f
make replicas запустил тот же контейнер 8100f940a5fa (новый
StartedAt ниже), LB включил его после проверок.
Прогон 2: остановлен 3681880fc55f (mtusi-lab3-api-1)
### 2026-10-10T15:48:37Z STOP_MODE=stop
$ ps (до)
api /mtusi-lab3-api-1 3681880fc55f running exit=0 started=2026-10-10T15:47:58.49368355Z
api /mtusi-lab3-api-2 8100f940a5fa running exit=0 started=2026-10-10T15:48:33.765274636Z
haproxy /mtusi-lab3-haproxy-1 f878fd1fbf83 running exit=0 started=2026-10-10T15:47:58.560031592Z
migrate /mtusi-lab3-migrate-1 ffd98512d938 exited exit=0 started=2026-10-10T15:47:56.875245466Z
postgres /mtusi-lab3-postgres-1 da3195a39fcf running exit=0 started=2026-10-10T15:47:55.066928966Z
valkey /mtusi-lab3-valkey-1 169515bef463 running exit=0 started=2026-10-10T15:47:55.039021882Z
$ STOP_MODE=stop STOP_ONE_LOG=$STOP_ONE_LOG make test-failover ACTION_SCRIPT=scripts/stop-one.sh
python3 tests/resilience.py --mode failover --action-script "scripts/stop-one.sh" --base-url "http://localhost:8080"
Executing explicit failover hook; hook output suppressed to avoid leaking secrets.
{"observed_instances_before": 2, "successful_writes": 120, "failed_attempts": 0, "first_recovery_seconds": 1.098}
PASS: failover preserved confirmed data and existing session. Hook scope needs operator evidence.
exit=0
$ tail -1 $STOP_ONE_LOG
2026-10-10T15:48:38Z TARGET_INSTANCE_ID=3681880fc55f container=3681880fc55f353e85c913802f412f13a7846ffd9cb394881d7fafe99d9ebbd4 mode=stop
$ ps (после)
api /mtusi-lab3-api-1 3681880fc55f exited exit=0 started=2026-10-10T15:47:58.49368355Z
api /mtusi-lab3-api-2 8100f940a5fa running exit=0 started=2026-10-10T15:48:33.765274636Z
haproxy /mtusi-lab3-haproxy-1 f878fd1fbf83 running exit=0 started=2026-10-10T15:47:58.560031592Z
migrate /mtusi-lab3-migrate-1 ffd98512d938 exited exit=0 started=2026-10-10T15:47:56.875245466Z
postgres /mtusi-lab3-postgres-1 da3195a39fcf running exit=0 started=2026-10-10T15:47:55.066928966Z
valkey /mtusi-lab3-valkey-1 169515bef463 running exit=0 started=2026-10-10T15:47:55.039021882Z
$ make lb_stats (после)
svname addr status check_status scur stot econ wretr wredis hrsp_5xx
api-2 172.30.0.4:8080 UP L7OK 0 181 0 0 2 0
BACKEND - UP - 0 366 3 0 4 3
free slots: 7
$ docker compose logs haproxy
172.30.0.1:56380 [10/Oct/2026:15:48:38.700] entry api/api-2 0/0/0/9/9 201 471 - - ---- 1/1/0/0/+1 0/0 "POST /api/v1/chats/df2c33bd-96ca-4097-a628-5fe131dca1ad/messages HTTP/1.1"
Server api/api-1 is going DOWN for maintenance (No IP for server ). 1 active and 0 backup servers left. 1 sessions active, 0 requeued, 0 remaining in queue.
172.30.0.1:56382 [10/Oct/2026:15:48:38.813] entry api/api-2 0/506/1/15/522 201 471 - - ---- 1/1/0/0/+1 0/0 "POST /api/v1/chats/df2c33bd-96ca-4097-a628-5fe131dca1ad/messages HTTP/1.1"
# через 20 с после остановки
$ docker inspect -f '{{printf "%.12s" .Id}} {{.State.Status}} exit={{.State.ExitCode}} restarts={{.RestartCount}} finished={{.State.FinishedAt}}' 3681880fc55f
3681880fc55f exited exit=0 restarts=0 finished=2026-10-10T15:48:38.745627722Z
$ make instances
user lb_9de93363: one login, 12 requests with one token
8100f940a5fa: 12
instances: 1
Итог
| Прогон | Остановлен (TARGET_INSTANCE_ID) |
Контейнер | Успешных записей | Неудачных попыток | Первая запись после старта hook | Перенаправлено LB |
|---|---|---|---|---|---|---|
| 1 | 8100f940a5fa |
mtusi-lab3-api-2 |
121 | 0 | 1,109 с | 2 |
| 2 | 3681880fc55f |
mtusi-lab3-api-1 |
120 | 0 | 1,098 с | 2 |
Каждая из двух реплик остановлена scripts/stop-one.sh по
TARGET_INSTANCE_ID, который выбрал тест, и восстановлена make replicas перед следующим прогоном. ID остановленного контейнера в
строке STOP_ONE_LOG начинается с TARGET_INSTANCE_ID, остальные
контейнеры работают с прежним StartedAt. Первая успешная запись — в
пределах 1,1 с от старта hook (требование — ≤10 с); при stop ошибок у
клиента нет: отказ соединения LB перенаправляет на живую реплику.
Остановленная stop реплика через 20 с всё ещё exited
(RestartCount 0), её X-Instance-Id в ответах нет. «Первая запись» —
время первой успешной отправки после возврата hook, а не время
обнаружения отказа LB; замер обнаружения — change graceful-failover.
Восстановление после прогона 2 — make replicas (начало
test-failover-kill.md).