Failover profile label baseline from 459f84c on a checked host: stop and
kill of each replica under 200 req/s give 0 errors and LB exclusion in
0.79-1.81 s (bound 2.5 s), pause gives LB exclusion in 5.83-6.00 s
(bound 6.5 s) with 504s for half the requests and recovery in 6 s;
reconciliation of retried writes matches. Evidence for detection,
keep-alive (LB closes idle replica connections at 10.1 s) and the hung
replica key lock, regression checks, timeout chain and level 4 rows in
REPORT.md.
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
11 KiB
11 KiB
Время обнаружения отказа реплики: замер по режимам под нагрузкой
| Спеки | load-balancing «Время обнаружения отказа» — «Остановка и убитый процесс», «Зависшая реплика»; «Проверка готовности реплик» — «Остановленная реплика исключена», «Вернувшаяся реплика включена»; «Отказ реплики под нагрузкой» — «Каждая реплика в каждом режиме», «Ответы распределяются снова» |
| Change | graceful-failover, задачи 6.1 и 6.2 (design, решения 1, 2 и 5) |
| Дата | 2026-10-10 20:42:05–20:47:58 UTC |
| Commit | 459f84c, рабочее дерево чистое (meta.json: dirty: false) |
| Стенд | make bench_failover FAILOVER_LABEL=baseline: проект mtusi-bench, HAProxy 3.4.6 (1 CPU / 256 МиБ) с тем же infra/haproxy/haproxy.cfg, api × 2 (1 CPU / 512 МиБ каждая), PostgreSQL 2 CPU / 1 ГиБ, Valkey 0,5 CPU / 128 МиБ — лимиты рабочего стенда; k6 в сети стенда, 100 записей с ключом и 100 чтений истории в секунду |
| Хост | Docker Desktop 29.8.2, macOS arm64; ВМ Docker: 12 CPU, 7,7 GiB RAM. Перед замером: питание от сети, свободной памяти 56 %, посторонних контейнеров нет (рабочий стенд остановлен make stop); Swapouts 6 697 411 до и 6 697 411 после — выгрузки во время прогона не было (swap занят 960 МиБ с прошлых сессий, не менялся) |
Результаты метки — baseline/ (summary.md, phases.csv,
timeline.csv, raw/); здесь — замер обнаружения из неё и сверка с
формулой.
Как меряется
Все отметки — часы ВМ Docker, часы хоста не участвуют (design, решение 5):
- действие — событие Docker
killс сигналом 15 (docker stop) или 9 (docker kill), либоpause; возврат —startтого же контейнера илиunpause; - исключение и возврат в LB — строки журнала HAProxy с отметкой
docker logs -t: первая «is DOWN» или «… for maintenance» слота реплики после действия, «is UP» после возврата. Слот найден по адресу контейнера в статистике LB перед действием; - ответы —
Date.now()k6 при отправке каждого запроса, статус иX-Instance-Id.
Формула худшего случая по проверкам (haproxy.cfg: inter 1s,
fastinter 500ms, fall 2, timeout check 2500ms, таймаут соединения
проверки 0,5 с):
| Режим | Как выглядит для проверки | Граница |
|---|---|---|
stop после выхода процесса, kill |
адрес пропал: таймаут соединения | 1 + 0,5 + 0,5 + 0,5 = 2,5 с |
pause |
соединение есть, ответа нет | 1 + 2,5 + 0,5 + 2,5 = 6,5 с |
Остановленный контейнер ещё и пропадает из DNS Docker, и слот уходит
в обслуживание за hold 1–2 с. Действует то, что раньше.
Замер
| Фаза | Реплика (слот) | Действие (часы ВМ) | Исключение LB, с | Как | Граница, с | Первая запись / чтение после действия, с | Ошибки в окне отказа | Восстановление ≥ 99 %, с | Возврат в LB после start / unpause, с |
|---|---|---|---|---|---|---|---|---|---|
| 01-stop-r1 | 8c238aef7975 (api-2) |
20:42:40.136, сигнал 15 | 1,06 | DNS: обслуживание (No IP) | 2,5 | 0,01 / 0,01 | 0 | 0 | 1,73 |
| 02-stop-r2 | a5d4fe1bb879 (api-1) |
20:43:33.240, сигнал 15 | 1,01 | DNS | 2,5 | 0 / 0 | 0 | 0 | 1,21 |
| 03-kill-r1 | 8c238aef7975 (api-2) |
20:44:26.487, сигнал 9 | 1,81 | DNS | 2,5 | 0,01 / 0,01 | 0 | 0 | 1,16 |
| 04-kill-r2 | a5d4fe1bb879 (api-1) |
20:45:19.549, сигнал 9 | 0,79 | DNS | 2,5 | 0 / 0 | 0 | 0 | 1,75 |
| 05-pause-r1 | 8c238aef7975 (api-2) |
20:46:12.647, pause |
6,00 | проверки: DOWN, Layer7 timeout |
6,5 | 0,03 / 0,01 | 602 × 504 | 6 | 1,53 |
| 06-pause-r2 | a5d4fe1bb879 (api-1) |
20:47:06.382, pause |
5,83 | проверки: DOWN, Layer7 timeout |
6,5 | 5,83 / 0 | 584 × 504 | 6 | 1,53 |
Журнал LB по фазам (baseline/raw/<фаза>-lb.log, строки смены
состояния; дубли с префиксом [WARNING] опущены):
== 01-stop-r1
2026-10-10T20:42:41.198877336Z Server api/api-2 is going DOWN for maintenance (No IP for server ). 1 active and 0 backup servers left. 50 sessions active, 0 requeued, 0 remaining in queue.
2026-10-10T20:43:00.214192095Z Server api/api-2 ('api') is DOWN/READY (resolves again).
2026-10-10T20:43:01.931775554Z Server api/api-2 is UP, reason: Layer7 check passed, code: 200, check duration: 1ms. 2 active and 0 backup servers online. 0 sessions requeued, 0 total in queue.
== 02-stop-r2
2026-10-10T20:43:34.249205013Z Server api/api-1 is going DOWN for maintenance (No IP for server ). 1 active and 0 backup servers left. 50 sessions active, 0 requeued, 0 remaining in queue.
2026-10-10T20:43:54.264597800Z Server api/api-1 ('api') is DOWN/READY (resolves again).
2026-10-10T20:43:54.502118467Z Server api/api-1 is UP, reason: Layer7 check passed, code: 200, check duration: 18ms. 2 active and 0 backup servers online. 0 sessions requeued, 0 total in queue.
== 03-kill-r1
2026-10-10T20:44:28.298169844Z Server api/api-2 is going DOWN for maintenance (No IP for server ). 1 active and 0 backup servers left. 68 sessions active, 0 requeued, 0 remaining in queue.
2026-10-10T20:44:47.306262797Z Server api/api-2 ('api') is DOWN/READY (resolves again).
2026-10-10T20:44:47.720969172Z Server api/api-2 is UP, reason: Layer7 check passed, code: 200, check duration: 18ms. 2 active and 0 backup servers online. 0 sessions requeued, 0 total in queue.
== 04-kill-r2
2026-10-10T20:45:20.335422215Z Server api/api-1 is going DOWN for maintenance (No IP for server ). 1 active and 0 backup servers left. 50 sessions active, 0 requeued, 0 remaining in queue.
2026-10-10T20:45:40.361189335Z Server api/api-1 ('api') is DOWN/READY (resolves again).
2026-10-10T20:45:41.366675461Z Server api/api-1 is UP, reason: Layer7 check passed, code: 200, check duration: 19ms. 2 active and 0 backup servers online. 0 sessions requeued, 0 total in queue.
== 05-pause-r1
2026-10-10T20:46:18.650221339Z Server api/api-2 is DOWN, reason: Layer7 timeout, check duration: 2501ms. 1 active and 0 backup servers left. 602 sessions active, 0 requeued, 0 remaining in queue.
2026-10-10T20:46:34.178240805Z Server api/api-2 is UP, reason: Layer7 check passed, code: 200, check duration: 1ms. 2 active and 0 backup servers online. 0 sessions requeued, 0 total in queue.
== 06-pause-r2
2026-10-10T20:47:12.208024545Z Server api/api-1 is DOWN, reason: Layer7 timeout, check duration: 2502ms. 1 active and 0 backup servers left. 584 sessions active, 0 requeued, 0 remaining in queue.
2026-10-10T20:47:27.907817677Z Server api/api-1 is UP, reason: Layer7 check passed, code: 200, check duration: 1ms. 2 active and 0 backup servers online. 0 sessions requeued, 0 total in queue.
Что видно
- Все шесть измерений — в пределах формулы и 10 с.
stopиkill— 0,79–1,81 с при границе 2,5 с;pause— 5,83–6,00 с при границе 6,5 с. - Остановленную и убитую реплику первым убирает DNS. Контейнер
завершился, его адрес пропал из DNS Docker, и слот ушёл в
обслуживание раньше, чем две проверки успели провалиться. В
самопроверках быстрого профиля (
../tests/graceful-failover-checks.md, разведка) встречалось иDOWNпо проверкам («Layer4 timeout»); самое долгое исключение там — 2,25 с, тоже в пределах 2,5 с. - Ошибок при
stopиkillв этом прогоне нет. Запросы, назначенные на пропавший адрес до исключения, ждалиtimeout connect0,5 с и уходили на другую реплику: p95 в секунде действия — 505 мс при 4–5 мс до него (baseline/summary.md), ошибок клиенту нет. Приkillзапрос в полёте рвётся (502 от LB, повтор не делается), но запросы здесь короткие (p50 3 мс), и в этих двух фазах в полёте не оказалось ни одного. В самопроверках быстрого профиля — 1–2 таких 502 на фазуkill. - Зависшая реплика стоит ошибок. До исключения (≈6 с) LB отправлял
на неё половину запросов, и каждый ждал
timeout server10 с и получал 504: 602 и 584 ошибки, доля успешных — 0,5 в секундах 0–5, восстановление 6 с. В фазе06все записи этих секунд попали на замороженную реплику (первая успешная запись — 5,83 с): k6 отправляет записи и чтения поровну и вперемешку, а round-robin чередует реплики запрос за запросом, поэтому весь поток записей совпал с одной репликой. После повтора с тем же ключом все 240 и 584 неуспешные записи получили 201, дублей нет (сверкаbaseline/). - Сравнение с
replicas-lb. До change зависшую реплику исключали за 7,3–7,7 с при формуле 8 с (docker pauseбез нагрузки,../replicas/lb-errors.md); теперь 5,83–6,00 с при 6,5 с:fastinter 500msиtimeout check2,5 с вместо 3 с. Без нагрузки — 5,8 с (hung-key.md). - Возврат реплики — 1,16–1,75 с от
start/unpauseдоUP, без ошибок: слот начинает вDOWN(init-state down) и получает запросы после двух успешных проверок. ЕёX-Instance-Idснова в ответах через 1,17–1,75 с.