Files
mtusi2026lab3/evidence/failover/detection.md
T
ricoromaandClaude Opus 5.5 4234df5767 docs: add graceful-failover evidence and report
Failover profile label baseline from 459f84c on a checked host: stop and
kill of each replica under 200 req/s give 0 errors and LB exclusion in
0.79-1.81 s (bound 2.5 s), pause gives LB exclusion in 5.83-6.00 s
(bound 6.5 s) with 504s for half the requests and recovery in 6 s;
reconciliation of retried writes matches. Evidence for detection,
keep-alive (LB closes idle replica connections at 10.1 s) and the hung
replica key lock, regression checks, timeout chain and level 4 rows in
REPORT.md.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
2026-10-10 23:52:47 +03:00

11 KiB
Raw Blame History

Время обнаружения отказа реплики: замер по режимам под нагрузкой

Спеки load-balancing «Время обнаружения отказа» — «Остановка и убитый процесс», «Зависшая реплика»; «Проверка готовности реплик» — «Остановленная реплика исключена», «Вернувшаяся реплика включена»; «Отказ реплики под нагрузкой» — «Каждая реплика в каждом режиме», «Ответы распределяются снова»
Change graceful-failover, задачи 6.1 и 6.2 (design, решения 1, 2 и 5)
Дата 2026-10-10 20:42:05–20:47:58 UTC
Commit 459f84c, рабочее дерево чистое (meta.json: dirty: false)
Стенд make bench_failover FAILOVER_LABEL=baseline: проект mtusi-bench, HAProxy 3.4.6 (1 CPU / 256 МиБ) с тем же infra/haproxy/haproxy.cfg, api × 2 (1 CPU / 512 МиБ каждая), PostgreSQL 2 CPU / 1 ГиБ, Valkey 0,5 CPU / 128 МиБ — лимиты рабочего стенда; k6 в сети стенда, 100 записей с ключом и 100 чтений истории в секунду
Хост Docker Desktop 29.8.2, macOS arm64; ВМ Docker: 12 CPU, 7,7 GiB RAM. Перед замером: питание от сети, свободной памяти 56 %, посторонних контейнеров нет (рабочий стенд остановлен make stop); Swapouts 6 697 411 до и 6 697 411 после — выгрузки во время прогона не было (swap занят 960 МиБ с прошлых сессий, не менялся)

Результаты метки — baseline/ (summary.md, phases.csv, timeline.csv, raw/); здесь — замер обнаружения из неё и сверка с формулой.

Как меряется

Все отметки — часы ВМ Docker, часы хоста не участвуют (design, решение 5):

  • действие — событие Docker kill с сигналом 15 (docker stop) или 9 (docker kill), либо pause; возврат — start того же контейнера или unpause;
  • исключение и возврат в LB — строки журнала HAProxy с отметкой docker logs -t: первая «is DOWN» или «… for maintenance» слота реплики после действия, «is UP» после возврата. Слот найден по адресу контейнера в статистике LB перед действием;
  • ответы — Date.now() k6 при отправке каждого запроса, статус и X-Instance-Id.

Формула худшего случая по проверкам (haproxy.cfg: inter 1s, fastinter 500ms, fall 2, timeout check 2500ms, таймаут соединения проверки 0,5 с):

Режим Как выглядит для проверки Граница
stop после выхода процесса, kill адрес пропал: таймаут соединения 1 + 0,5 + 0,5 + 0,5 = 2,5 с
pause соединение есть, ответа нет 1 + 2,5 + 0,5 + 2,5 = 6,5 с

Остановленный контейнер ещё и пропадает из DNS Docker, и слот уходит в обслуживание за hold 1–2 с. Действует то, что раньше.

Замер

Фаза Реплика (слот) Действие (часы ВМ) Исключение LB, с Как Граница, с Первая запись / чтение после действия, с Ошибки в окне отказа Восстановление ≥ 99 %, с Возврат в LB после start / unpause, с
01-stop-r1 8c238aef7975 (api-2) 20:42:40.136, сигнал 15 1,06 DNS: обслуживание (No IP) 2,5 0,01 / 0,01 0 0 1,73
02-stop-r2 a5d4fe1bb879 (api-1) 20:43:33.240, сигнал 15 1,01 DNS 2,5 0 / 0 0 0 1,21
03-kill-r1 8c238aef7975 (api-2) 20:44:26.487, сигнал 9 1,81 DNS 2,5 0,01 / 0,01 0 0 1,16
04-kill-r2 a5d4fe1bb879 (api-1) 20:45:19.549, сигнал 9 0,79 DNS 2,5 0 / 0 0 0 1,75
05-pause-r1 8c238aef7975 (api-2) 20:46:12.647, pause 6,00 проверки: DOWN, Layer7 timeout 6,5 0,03 / 0,01 602 × 504 6 1,53
06-pause-r2 a5d4fe1bb879 (api-1) 20:47:06.382, pause 5,83 проверки: DOWN, Layer7 timeout 6,5 5,83 / 0 584 × 504 6 1,53

Журнал LB по фазам (baseline/raw/<фаза>-lb.log, строки смены состояния; дубли с префиксом [WARNING] опущены):

== 01-stop-r1
2026-10-10T20:42:41.198877336Z Server api/api-2 is going DOWN for maintenance (No IP for server ). 1 active and 0 backup servers left. 50 sessions active, 0 requeued, 0 remaining in queue.
2026-10-10T20:43:00.214192095Z Server api/api-2 ('api') is DOWN/READY (resolves again).
2026-10-10T20:43:01.931775554Z Server api/api-2 is UP, reason: Layer7 check passed, code: 200, check duration: 1ms. 2 active and 0 backup servers online. 0 sessions requeued, 0 total in queue.
== 02-stop-r2
2026-10-10T20:43:34.249205013Z Server api/api-1 is going DOWN for maintenance (No IP for server ). 1 active and 0 backup servers left. 50 sessions active, 0 requeued, 0 remaining in queue.
2026-10-10T20:43:54.264597800Z Server api/api-1 ('api') is DOWN/READY (resolves again).
2026-10-10T20:43:54.502118467Z Server api/api-1 is UP, reason: Layer7 check passed, code: 200, check duration: 18ms. 2 active and 0 backup servers online. 0 sessions requeued, 0 total in queue.
== 03-kill-r1
2026-10-10T20:44:28.298169844Z Server api/api-2 is going DOWN for maintenance (No IP for server ). 1 active and 0 backup servers left. 68 sessions active, 0 requeued, 0 remaining in queue.
2026-10-10T20:44:47.306262797Z Server api/api-2 ('api') is DOWN/READY (resolves again).
2026-10-10T20:44:47.720969172Z Server api/api-2 is UP, reason: Layer7 check passed, code: 200, check duration: 18ms. 2 active and 0 backup servers online. 0 sessions requeued, 0 total in queue.
== 04-kill-r2
2026-10-10T20:45:20.335422215Z Server api/api-1 is going DOWN for maintenance (No IP for server ). 1 active and 0 backup servers left. 50 sessions active, 0 requeued, 0 remaining in queue.
2026-10-10T20:45:40.361189335Z Server api/api-1 ('api') is DOWN/READY (resolves again).
2026-10-10T20:45:41.366675461Z Server api/api-1 is UP, reason: Layer7 check passed, code: 200, check duration: 19ms. 2 active and 0 backup servers online. 0 sessions requeued, 0 total in queue.
== 05-pause-r1
2026-10-10T20:46:18.650221339Z Server api/api-2 is DOWN, reason: Layer7 timeout, check duration: 2501ms. 1 active and 0 backup servers left. 602 sessions active, 0 requeued, 0 remaining in queue.
2026-10-10T20:46:34.178240805Z Server api/api-2 is UP, reason: Layer7 check passed, code: 200, check duration: 1ms. 2 active and 0 backup servers online. 0 sessions requeued, 0 total in queue.
== 06-pause-r2
2026-10-10T20:47:12.208024545Z Server api/api-1 is DOWN, reason: Layer7 timeout, check duration: 2502ms. 1 active and 0 backup servers left. 584 sessions active, 0 requeued, 0 remaining in queue.
2026-10-10T20:47:27.907817677Z Server api/api-1 is UP, reason: Layer7 check passed, code: 200, check duration: 1ms. 2 active and 0 backup servers online. 0 sessions requeued, 0 total in queue.

Что видно

  • Все шесть измерений — в пределах формулы и 10 с. stop и kill — 0,79–1,81 с при границе 2,5 с; pause — 5,83–6,00 с при границе 6,5 с.
  • Остановленную и убитую реплику первым убирает DNS. Контейнер завершился, его адрес пропал из DNS Docker, и слот ушёл в обслуживание раньше, чем две проверки успели провалиться. В самопроверках быстрого профиля (../tests/graceful-failover-checks.md, разведка) встречалось и DOWN по проверкам («Layer4 timeout»); самое долгое исключение там — 2,25 с, тоже в пределах 2,5 с.
  • Ошибок при stop и kill в этом прогоне нет. Запросы, назначенные на пропавший адрес до исключения, ждали timeout connect 0,5 с и уходили на другую реплику: p95 в секунде действия — 505 мс при 4–5 мс до него (baseline/summary.md), ошибок клиенту нет. При kill запрос в полёте рвётся (502 от LB, повтор не делается), но запросы здесь короткие (p50 3 мс), и в этих двух фазах в полёте не оказалось ни одного. В самопроверках быстрого профиля — 1–2 таких 502 на фазу kill.
  • Зависшая реплика стоит ошибок. До исключения (≈6 с) LB отправлял на неё половину запросов, и каждый ждал timeout server 10 с и получал 504: 602 и 584 ошибки, доля успешных — 0,5 в секундах 0–5, восстановление 6 с. В фазе 06 все записи этих секунд попали на замороженную реплику (первая успешная запись — 5,83 с): k6 отправляет записи и чтения поровну и вперемешку, а round-robin чередует реплики запрос за запросом, поэтому весь поток записей совпал с одной репликой. После повтора с тем же ключом все 240 и 584 неуспешные записи получили 201, дублей нет (сверка baseline/).
  • Сравнение с replicas-lb. До change зависшую реплику исключали за 7,3–7,7 с при формуле 8 с (docker pause без нагрузки, ../replicas/lb-errors.md); теперь 5,83–6,00 с при 6,5 с: fastinter 500ms и timeout check 2,5 с вместо 3 с. Без нагрузки — 5,8 с (hung-key.md).
  • Возврат реплики — 1,16–1,75 с от start / unpause до UP, без ошибок: слот начинает в DOWN (init-state down) и получает запросы после двух успешных проверок. Её X-Instance-Id снова в ответах через 1,17–1,75 с.