Files
mtusi2026lab3/evidence/failover/baseline/summary.md
T
ricoromaandClaude Opus 5.5 4234df5767 docs: add graceful-failover evidence and report
Failover profile label baseline from 459f84c on a checked host: stop and
kill of each replica under 200 req/s give 0 errors and LB exclusion in
0.79-1.81 s (bound 2.5 s), pause gives LB exclusion in 5.83-6.00 s
(bound 6.5 s) with 504s for half the requests and recovery in 6 s;
reconciliation of retried writes matches. Evidence for detection,
keep-alive (LB closes idle replica connections at 10.1 s) and the hung
replica key lock, regression checks, timeout chain and level 4 rows in
REPORT.md.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
2026-10-10 23:52:47 +03:00

12 KiB
Raw Blame History

Отказ реплик под нагрузкой: метка baseline

  • Статус: complete
  • Commit: 459f84c
  • Профиль failover: 2 реплики за HAProxy; 100 записей с ключом и 100 чтений страницы истории в секунду (k6, постоянная интенсивность); режимы stop, kill, pause; окна фазы: 15 с до действия, 20 с до возврата, 15 с после; порог восстановления 99%
  • Лимиты без swap: API 1 CPU / 512m на реплику, HAProxy 1 CPU / 256m, PostgreSQL 2 CPU / 1g, Valkey 0.5 CPU / 128m
  • Посторонние контейнеры в VM во время замера: нет

Время — секунды на часах ВМ Docker. Действие — событие Docker (kill с сигналом 15 у docker stop, 9 у docker kill, pause), исключение и возврат — строки журнала HAProxy, ответы — отметки k6 при отправке. Граница — худший случай формулы проверок LB для режима. Восстановление — конец последней секунды окна отказа с долей успешных ниже порога (0 — таких секунд нет). Сверка — после повтора неуспешных записей с тем же ключом: сообщений в чате записи и разных текстов столько, сколько отправлено разных ключей.

Фаза Реплика Исключение LB, с (граница) Причина Первая запись / чтение, с Ошибки в окне отказа Мин. доля успешных Восстановление, с Возврат в LB, с Ошибки после возврата Повтор записей Сообщений = ключей PG: прервано простоев Пометки
01-stop-r1 8c238aef7975 (api-2) 1.06 (2.5) MAINT: No IP for server 0.01 / 0.01 0 — 1 0 1.73 0 0 → 0 5001 = 5001 0 —
02-stop-r2 a5d4fe1bb879 (api-1) 1.01 (2.5) MAINT: No IP for server 0 / 0 0 — 1 0 1.21 0 0 → 0 10002 = 10002 0 —
03-kill-r1 8c238aef7975 (api-2) 1.81 (2.5) MAINT: No IP for server 0.01 / 0.01 0 — 1 0 1.16 0 0 → 0 15002 = 15002 0 —
04-kill-r2 a5d4fe1bb879 (api-1) 0.79 (2.5) MAINT: No IP for server 0 / 0 0 — 1 0 1.75 0 0 → 0 20003 = 20003 0 —
05-pause-r1 8c238aef7975 (api-2) 6 (6.5) DOWN: Layer7 timeout 0.03 / 0.01 602 504:602 0.5 6 1.53 0 240 → 240 25004 = 25004 0 —
06-pause-r2 a5d4fe1bb879 (api-1) 5.83 (6.5) DOWN: Layer7 timeout 5.83 / 0 584 504:584 0.5 6 1.53 0 584 → 584 30005 = 30005 0 —

Фаза 01-stop-r1

Действие 2026-10-10T20:42:40.136+00:00 над 8c238aef7975 (слот api-2), возврат 2026-10-10T20:43:00.202+00:00; ответов 10002, до действия 200 успешных/с, p95 5 мс. Полная шкала — timeline.csv.

с от действия Записи ok / ош Чтения ok / ош Коды ошибок Доля успешных p50 / p95, мс Ответы реплик
-2 100 / 0 100 / 0 — 1 3 / 4 8c238aef7975:100 a5d4fe1bb879:100
-1 100 / 0 100 / 0 — 1 3 / 5 8c238aef7975:100 a5d4fe1bb879:100
0 100 / 0 100 / 0 — 1 5 / 505 a5d4fe1bb879:200
1 100 / 0 100 / 0 — 1 4 / 107 a5d4fe1bb879:200
2 100 / 0 100 / 0 — 1 4 / 4 a5d4fe1bb879:200
3 100 / 0 100 / 0 — 1 4 / 8 a5d4fe1bb879:200
4 100 / 0 100 / 0 — 1 4 / 6 a5d4fe1bb879:200
…
19 100 / 0 100 / 0 — 1 4 / 6 a5d4fe1bb879:200
20 100 / 0 100 / 0 — 1 4 / 96 a5d4fe1bb879:200
21 100 / 0 100 / 0 — 1 4 / 82 8c238aef7975:21 a5d4fe1bb879:179
22 100 / 0 100 / 0 — 1 3 / 4 8c238aef7975:100 a5d4fe1bb879:100
23 100 / 0 100 / 0 — 1 3 / 7 8c238aef7975:100 a5d4fe1bb879:100

Фаза 02-stop-r2

Действие 2026-10-10T20:43:33.240+00:00 над a5d4fe1bb879 (слот api-1), возврат 2026-10-10T20:43:53.297+00:00; ответов 10002, до действия 200 успешных/с, p95 4 мс. Полная шкала — timeline.csv.

с от действия Записи ok / ош Чтения ok / ош Коды ошибок Доля успешных p50 / p95, мс Ответы реплик
-2 100 / 0 100 / 0 — 1 3 / 4 8c238aef7975:100 a5d4fe1bb879:100
-1 100 / 0 100 / 0 — 1 3 / 5 8c238aef7975:100 a5d4fe1bb879:100
0 100 / 0 100 / 0 — 1 5 / 505 8c238aef7975:196 a5d4fe1bb879:4
1 100 / 0 100 / 0 — 1 4 / 17 8c238aef7975:200
2 100 / 0 100 / 0 — 1 4 / 5 8c238aef7975:200
3 100 / 0 100 / 0 — 1 4 / 4 8c238aef7975:200
4 100 / 0 100 / 0 — 1 4 / 4 8c238aef7975:200
…
19 100 / 0 100 / 0 — 1 4 / 101 8c238aef7975:200
20 100 / 0 100 / 0 — 1 4 / 7 8c238aef7975:200
21 100 / 0 100 / 0 — 1 3 / 85 8c238aef7975:126 a5d4fe1bb879:74
22 100 / 0 100 / 0 — 1 3 / 4 8c238aef7975:100 a5d4fe1bb879:100
23 100 / 0 100 / 0 — 1 3 / 4 8c238aef7975:100 a5d4fe1bb879:100

Фаза 03-kill-r1

Действие 2026-10-10T20:44:26.487+00:00 над 8c238aef7975 (слот api-2), возврат 2026-10-10T20:44:46.557+00:00; ответов 10000, до действия 200.1 успешных/с, p95 4 мс. Полная шкала — timeline.csv.

с от действия Записи ok / ош Чтения ok / ош Коды ошибок Доля успешных p50 / p95, мс Ответы реплик
-2 100 / 0 100 / 0 — 1 3 / 4 8c238aef7975:100 a5d4fe1bb879:100
-1 100 / 0 100 / 0 — 1 3 / 4 8c238aef7975:99 a5d4fe1bb879:101
0 100 / 0 100 / 0 — 1 502 / 504 a5d4fe1bb879:200
1 100 / 0 100 / 0 — 1 502 / 505 a5d4fe1bb879:200
2 100 / 0 100 / 0 — 1 3 / 4 a5d4fe1bb879:200
3 100 / 0 100 / 0 — 1 3 / 3 a5d4fe1bb879:200
4 100 / 0 100 / 0 — 1 3 / 71 a5d4fe1bb879:200
…
19 100 / 0 100 / 0 — 1 3 / 4 a5d4fe1bb879:200
20 100 / 0 100 / 0 — 1 2 / 5 a5d4fe1bb879:200
21 100 / 0 100 / 0 — 1 3 / 64 8c238aef7975:77 a5d4fe1bb879:123
22 100 / 0 100 / 0 — 1 3 / 4 8c238aef7975:100 a5d4fe1bb879:100
23 100 / 0 99 / 0 — 1 3 / 5 8c238aef7975:99 a5d4fe1bb879:100

Фаза 04-kill-r2

Действие 2026-10-10T20:45:19.549+00:00 над a5d4fe1bb879 (слот api-1), возврат 2026-10-10T20:45:39.619+00:00; ответов 10002, до действия 200 успешных/с, p95 5 мс. Полная шкала — timeline.csv.

с от действия Записи ok / ош Чтения ok / ош Коды ошибок Доля успешных p50 / p95, мс Ответы реплик
-2 100 / 0 100 / 0 — 1 3 / 5 8c238aef7975:100 a5d4fe1bb879:100
-1 100 / 0 100 / 0 — 1 3 / 4 8c238aef7975:100 a5d4fe1bb879:100
0 100 / 0 100 / 0 — 1 5 / 505 8c238aef7975:200
1 100 / 0 100 / 0 — 1 4 / 5 8c238aef7975:200
2 100 / 0 100 / 0 — 1 4 / 5 8c238aef7975:200
3 100 / 0 100 / 0 — 1 4 / 58 8c238aef7975:200
…
19 100 / 0 100 / 0 — 1 4 / 4 8c238aef7975:200
20 100 / 0 100 / 0 — 1 4 / 13 8c238aef7975:200
21 100 / 0 100 / 0 — 1 4 / 127 8c238aef7975:182 a5d4fe1bb879:18
22 100 / 0 100 / 0 — 1 3 / 5 8c238aef7975:100 a5d4fe1bb879:100
23 100 / 0 100 / 0 — 1 3 / 4 8c238aef7975:100 a5d4fe1bb879:100

Фаза 05-pause-r1

Действие 2026-10-10T20:46:12.647+00:00 над 8c238aef7975 (слот api-2), возврат 2026-10-10T20:46:32.647+00:00; ответов 10002, до действия 199.8 успешных/с, p95 5 мс. Полная шкала — timeline.csv.

с от действия Записи ok / ош Чтения ok / ош Коды ошибок Доля успешных p50 / p95, мс Ответы реплик
-2 100 / 0 100 / 0 — 1 3 / 4 8c238aef7975:100 a5d4fe1bb879:100
-1 99 / 1 99 / 1 504:2 0.99 3 / 5 8c238aef7975:98 a5d4fe1bb879:100
0 53 / 47 47 / 53 504:100 0.5 2 / 5 a5d4fe1bb879:100
1 62 / 38 38 / 62 504:100 0.5 3 / 6 a5d4fe1bb879:100
2 63 / 37 37 / 63 504:100 0.5 4 / 5 a5d4fe1bb879:100
3 58 / 41 41 / 58 504:99 0.5 3 / 5 a5d4fe1bb879:99
4 65 / 36 36 / 65 504:101 0.5 3 / 4 a5d4fe1bb879:101
5 60 / 40 40 / 60 504:100 0.5 3 / 35 a5d4fe1bb879:100
6 100 / 0 100 / 0 — 1 4 / 5 a5d4fe1bb879:200
7 99 / 0 99 / 0 — 1 4 / 4 a5d4fe1bb879:198
8 101 / 0 101 / 0 — 1 4 / 5 a5d4fe1bb879:202
…
19 100 / 0 100 / 0 — 1 4 / 5 a5d4fe1bb879:200
20 100 / 0 100 / 0 — 1 4 / 93 a5d4fe1bb879:200
21 100 / 0 100 / 0 — 1 3 / 6 8c238aef7975:47 a5d4fe1bb879:153
22 100 / 0 100 / 0 — 1 3 / 4 8c238aef7975:100 a5d4fe1bb879:100
23 100 / 0 100 / 0 — 1 3 / 5 8c238aef7975:100 a5d4fe1bb879:100

Фаза 06-pause-r2

Действие 2026-10-10T20:47:06.382+00:00 над a5d4fe1bb879 (слот api-1), возврат 2026-10-10T20:47:26.381+00:00; ответов 10002, до действия 199.9 успешных/с, p95 4 мс. Полная шкала — timeline.csv.

с от действия Записи ok / ош Чтения ok / ош Коды ошибок Доля успешных p50 / p95, мс Ответы реплик
-2 100 / 0 100 / 0 — 1 2 / 3 8c238aef7975:100 a5d4fe1bb879:100
-1 99 / 1 100 / 0 504:1 0.995 2 / 3 8c238aef7975:100 a5d4fe1bb879:99
0 0 / 100 100 / 0 504:100 0.5 3 / 4 8c238aef7975:100
1 0 / 100 100 / 0 504:100 0.5 3 / 3 8c238aef7975:100
2 0 / 100 100 / 0 504:100 0.5 3 / 3 8c238aef7975:100
3 0 / 100 100 / 0 504:100 0.5 3 / 4 8c238aef7975:100
4 0 / 100 100 / 0 504:100 0.5 3 / 3 8c238aef7975:100
5 17 / 83 100 / 0 504:83 0.585 3 / 4 8c238aef7975:117
6 100 / 0 100 / 0 — 1 3 / 67 8c238aef7975:200
7 100 / 0 100 / 0 — 1 3 / 7 8c238aef7975:200
8 100 / 0 100 / 0 — 1 3 / 3 8c238aef7975:200
…
19 100 / 0 100 / 0 — 1 2 / 4 8c238aef7975:200
20 100 / 0 100 / 0 — 1 3 / 4 8c238aef7975:200
21 100 / 0 100 / 0 — 1 3 / 3 8c238aef7975:153 a5d4fe1bb879:47
22 100 / 0 100 / 0 — 1 3 / 4 8c238aef7975:100 a5d4fe1bb879:100
23 100 / 0 100 / 0 — 1 3 / 4 8c238aef7975:100 a5d4fe1bb879:100