Failover profile label baseline from 459f84c on a checked host: stop and
kill of each replica under 200 req/s give 0 errors and LB exclusion in
0.79-1.81 s (bound 2.5 s), pause gives LB exclusion in 5.83-6.00 s
(bound 6.5 s) with 504s for half the requests and recovery in 6 s;
reconciliation of retried writes matches. Evidence for detection,
keep-alive (LB closes idle replica connections at 10.1 s) and the hung
replica key lock, regression checks, timeout chain and level 4 rows in
REPORT.md.
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
12 KiB
Отказ реплик под нагрузкой: метка baseline
- Статус: complete
- Commit:
459f84c - Профиль
failover: 2 реплики за HAProxy; 100 записей с ключом и 100 чтений страницы истории в секунду (k6, постоянная интенсивность); режимы stop, kill, pause; окна фазы: 15 с до действия, 20 с до возврата, 15 с после; порог восстановления 99% - Лимиты без swap: API 1 CPU / 512m на реплику, HAProxy 1 CPU / 256m, PostgreSQL 2 CPU / 1g, Valkey 0.5 CPU / 128m
- Посторонние контейнеры в VM во время замера: нет
Время — секунды на часах ВМ Docker. Действие — событие Docker (kill с сигналом 15 у docker stop, 9 у docker kill, pause), исключение и возврат — строки журнала HAProxy, ответы — отметки k6 при отправке. Граница — худший случай формулы проверок LB для режима. Восстановление — конец последней секунды окна отказа с долей успешных ниже порога (0 — таких секунд нет). Сверка — после повтора неуспешных записей с тем же ключом: сообщений в чате записи и разных текстов столько, сколько отправлено разных ключей.
| Фаза | Реплика | Исключение LB, с (граница) | Причина | Первая запись / чтение, с | Ошибки в окне отказа | Мин. доля успешных | Восстановление, с | Возврат в LB, с | Ошибки после возврата | Повтор записей | Сообщений = ключей | PG: прервано простоев | Пометки |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| 01-stop-r1 | 8c238aef7975 (api-2) | 1.06 (2.5) | MAINT: No IP for server | 0.01 / 0.01 | 0 — | 1 | 0 | 1.73 | 0 | 0 → 0 | 5001 = 5001 | 0 | — |
| 02-stop-r2 | a5d4fe1bb879 (api-1) | 1.01 (2.5) | MAINT: No IP for server | 0 / 0 | 0 — | 1 | 0 | 1.21 | 0 | 0 → 0 | 10002 = 10002 | 0 | — |
| 03-kill-r1 | 8c238aef7975 (api-2) | 1.81 (2.5) | MAINT: No IP for server | 0.01 / 0.01 | 0 — | 1 | 0 | 1.16 | 0 | 0 → 0 | 15002 = 15002 | 0 | — |
| 04-kill-r2 | a5d4fe1bb879 (api-1) | 0.79 (2.5) | MAINT: No IP for server | 0 / 0 | 0 — | 1 | 0 | 1.75 | 0 | 0 → 0 | 20003 = 20003 | 0 | — |
| 05-pause-r1 | 8c238aef7975 (api-2) | 6 (6.5) | DOWN: Layer7 timeout | 0.03 / 0.01 | 602 504:602 | 0.5 | 6 | 1.53 | 0 | 240 → 240 | 25004 = 25004 | 0 | — |
| 06-pause-r2 | a5d4fe1bb879 (api-1) | 5.83 (6.5) | DOWN: Layer7 timeout | 5.83 / 0 | 584 504:584 | 0.5 | 6 | 1.53 | 0 | 584 → 584 | 30005 = 30005 | 0 | — |
Фаза 01-stop-r1
Действие 2026-10-10T20:42:40.136+00:00 над 8c238aef7975 (слот api-2), возврат 2026-10-10T20:43:00.202+00:00; ответов 10002, до действия 200 успешных/с, p95 5 мс. Полная шкала — timeline.csv.
| с от действия | Записи ok / ош | Чтения ok / ош | Коды ошибок | Доля успешных | p50 / p95, мс | Ответы реплик |
|---|---|---|---|---|---|---|
| -2 | 100 / 0 | 100 / 0 | — | 1 | 3 / 4 | 8c238aef7975:100 a5d4fe1bb879:100 |
| -1 | 100 / 0 | 100 / 0 | — | 1 | 3 / 5 | 8c238aef7975:100 a5d4fe1bb879:100 |
| 0 | 100 / 0 | 100 / 0 | — | 1 | 5 / 505 | a5d4fe1bb879:200 |
| 1 | 100 / 0 | 100 / 0 | — | 1 | 4 / 107 | a5d4fe1bb879:200 |
| 2 | 100 / 0 | 100 / 0 | — | 1 | 4 / 4 | a5d4fe1bb879:200 |
| 3 | 100 / 0 | 100 / 0 | — | 1 | 4 / 8 | a5d4fe1bb879:200 |
| 4 | 100 / 0 | 100 / 0 | — | 1 | 4 / 6 | a5d4fe1bb879:200 |
| … | ||||||
| 19 | 100 / 0 | 100 / 0 | — | 1 | 4 / 6 | a5d4fe1bb879:200 |
| 20 | 100 / 0 | 100 / 0 | — | 1 | 4 / 96 | a5d4fe1bb879:200 |
| 21 | 100 / 0 | 100 / 0 | — | 1 | 4 / 82 | 8c238aef7975:21 a5d4fe1bb879:179 |
| 22 | 100 / 0 | 100 / 0 | — | 1 | 3 / 4 | 8c238aef7975:100 a5d4fe1bb879:100 |
| 23 | 100 / 0 | 100 / 0 | — | 1 | 3 / 7 | 8c238aef7975:100 a5d4fe1bb879:100 |
Фаза 02-stop-r2
Действие 2026-10-10T20:43:33.240+00:00 над a5d4fe1bb879 (слот api-1), возврат 2026-10-10T20:43:53.297+00:00; ответов 10002, до действия 200 успешных/с, p95 4 мс. Полная шкала — timeline.csv.
| с от действия | Записи ok / ош | Чтения ok / ош | Коды ошибок | Доля успешных | p50 / p95, мс | Ответы реплик |
|---|---|---|---|---|---|---|
| -2 | 100 / 0 | 100 / 0 | — | 1 | 3 / 4 | 8c238aef7975:100 a5d4fe1bb879:100 |
| -1 | 100 / 0 | 100 / 0 | — | 1 | 3 / 5 | 8c238aef7975:100 a5d4fe1bb879:100 |
| 0 | 100 / 0 | 100 / 0 | — | 1 | 5 / 505 | 8c238aef7975:196 a5d4fe1bb879:4 |
| 1 | 100 / 0 | 100 / 0 | — | 1 | 4 / 17 | 8c238aef7975:200 |
| 2 | 100 / 0 | 100 / 0 | — | 1 | 4 / 5 | 8c238aef7975:200 |
| 3 | 100 / 0 | 100 / 0 | — | 1 | 4 / 4 | 8c238aef7975:200 |
| 4 | 100 / 0 | 100 / 0 | — | 1 | 4 / 4 | 8c238aef7975:200 |
| … | ||||||
| 19 | 100 / 0 | 100 / 0 | — | 1 | 4 / 101 | 8c238aef7975:200 |
| 20 | 100 / 0 | 100 / 0 | — | 1 | 4 / 7 | 8c238aef7975:200 |
| 21 | 100 / 0 | 100 / 0 | — | 1 | 3 / 85 | 8c238aef7975:126 a5d4fe1bb879:74 |
| 22 | 100 / 0 | 100 / 0 | — | 1 | 3 / 4 | 8c238aef7975:100 a5d4fe1bb879:100 |
| 23 | 100 / 0 | 100 / 0 | — | 1 | 3 / 4 | 8c238aef7975:100 a5d4fe1bb879:100 |
Фаза 03-kill-r1
Действие 2026-10-10T20:44:26.487+00:00 над 8c238aef7975 (слот api-2), возврат 2026-10-10T20:44:46.557+00:00; ответов 10000, до действия 200.1 успешных/с, p95 4 мс. Полная шкала — timeline.csv.
| с от действия | Записи ok / ош | Чтения ok / ош | Коды ошибок | Доля успешных | p50 / p95, мс | Ответы реплик |
|---|---|---|---|---|---|---|
| -2 | 100 / 0 | 100 / 0 | — | 1 | 3 / 4 | 8c238aef7975:100 a5d4fe1bb879:100 |
| -1 | 100 / 0 | 100 / 0 | — | 1 | 3 / 4 | 8c238aef7975:99 a5d4fe1bb879:101 |
| 0 | 100 / 0 | 100 / 0 | — | 1 | 502 / 504 | a5d4fe1bb879:200 |
| 1 | 100 / 0 | 100 / 0 | — | 1 | 502 / 505 | a5d4fe1bb879:200 |
| 2 | 100 / 0 | 100 / 0 | — | 1 | 3 / 4 | a5d4fe1bb879:200 |
| 3 | 100 / 0 | 100 / 0 | — | 1 | 3 / 3 | a5d4fe1bb879:200 |
| 4 | 100 / 0 | 100 / 0 | — | 1 | 3 / 71 | a5d4fe1bb879:200 |
| … | ||||||
| 19 | 100 / 0 | 100 / 0 | — | 1 | 3 / 4 | a5d4fe1bb879:200 |
| 20 | 100 / 0 | 100 / 0 | — | 1 | 2 / 5 | a5d4fe1bb879:200 |
| 21 | 100 / 0 | 100 / 0 | — | 1 | 3 / 64 | 8c238aef7975:77 a5d4fe1bb879:123 |
| 22 | 100 / 0 | 100 / 0 | — | 1 | 3 / 4 | 8c238aef7975:100 a5d4fe1bb879:100 |
| 23 | 100 / 0 | 99 / 0 | — | 1 | 3 / 5 | 8c238aef7975:99 a5d4fe1bb879:100 |
Фаза 04-kill-r2
Действие 2026-10-10T20:45:19.549+00:00 над a5d4fe1bb879 (слот api-1), возврат 2026-10-10T20:45:39.619+00:00; ответов 10002, до действия 200 успешных/с, p95 5 мс. Полная шкала — timeline.csv.
| с от действия | Записи ok / ош | Чтения ok / ош | Коды ошибок | Доля успешных | p50 / p95, мс | Ответы реплик |
|---|---|---|---|---|---|---|
| -2 | 100 / 0 | 100 / 0 | — | 1 | 3 / 5 | 8c238aef7975:100 a5d4fe1bb879:100 |
| -1 | 100 / 0 | 100 / 0 | — | 1 | 3 / 4 | 8c238aef7975:100 a5d4fe1bb879:100 |
| 0 | 100 / 0 | 100 / 0 | — | 1 | 5 / 505 | 8c238aef7975:200 |
| 1 | 100 / 0 | 100 / 0 | — | 1 | 4 / 5 | 8c238aef7975:200 |
| 2 | 100 / 0 | 100 / 0 | — | 1 | 4 / 5 | 8c238aef7975:200 |
| 3 | 100 / 0 | 100 / 0 | — | 1 | 4 / 58 | 8c238aef7975:200 |
| … | ||||||
| 19 | 100 / 0 | 100 / 0 | — | 1 | 4 / 4 | 8c238aef7975:200 |
| 20 | 100 / 0 | 100 / 0 | — | 1 | 4 / 13 | 8c238aef7975:200 |
| 21 | 100 / 0 | 100 / 0 | — | 1 | 4 / 127 | 8c238aef7975:182 a5d4fe1bb879:18 |
| 22 | 100 / 0 | 100 / 0 | — | 1 | 3 / 5 | 8c238aef7975:100 a5d4fe1bb879:100 |
| 23 | 100 / 0 | 100 / 0 | — | 1 | 3 / 4 | 8c238aef7975:100 a5d4fe1bb879:100 |
Фаза 05-pause-r1
Действие 2026-10-10T20:46:12.647+00:00 над 8c238aef7975 (слот api-2), возврат 2026-10-10T20:46:32.647+00:00; ответов 10002, до действия 199.8 успешных/с, p95 5 мс. Полная шкала — timeline.csv.
| с от действия | Записи ok / ош | Чтения ok / ош | Коды ошибок | Доля успешных | p50 / p95, мс | Ответы реплик |
|---|---|---|---|---|---|---|
| -2 | 100 / 0 | 100 / 0 | — | 1 | 3 / 4 | 8c238aef7975:100 a5d4fe1bb879:100 |
| -1 | 99 / 1 | 99 / 1 | 504:2 | 0.99 | 3 / 5 | 8c238aef7975:98 a5d4fe1bb879:100 |
| 0 | 53 / 47 | 47 / 53 | 504:100 | 0.5 | 2 / 5 | a5d4fe1bb879:100 |
| 1 | 62 / 38 | 38 / 62 | 504:100 | 0.5 | 3 / 6 | a5d4fe1bb879:100 |
| 2 | 63 / 37 | 37 / 63 | 504:100 | 0.5 | 4 / 5 | a5d4fe1bb879:100 |
| 3 | 58 / 41 | 41 / 58 | 504:99 | 0.5 | 3 / 5 | a5d4fe1bb879:99 |
| 4 | 65 / 36 | 36 / 65 | 504:101 | 0.5 | 3 / 4 | a5d4fe1bb879:101 |
| 5 | 60 / 40 | 40 / 60 | 504:100 | 0.5 | 3 / 35 | a5d4fe1bb879:100 |
| 6 | 100 / 0 | 100 / 0 | — | 1 | 4 / 5 | a5d4fe1bb879:200 |
| 7 | 99 / 0 | 99 / 0 | — | 1 | 4 / 4 | a5d4fe1bb879:198 |
| 8 | 101 / 0 | 101 / 0 | — | 1 | 4 / 5 | a5d4fe1bb879:202 |
| … | ||||||
| 19 | 100 / 0 | 100 / 0 | — | 1 | 4 / 5 | a5d4fe1bb879:200 |
| 20 | 100 / 0 | 100 / 0 | — | 1 | 4 / 93 | a5d4fe1bb879:200 |
| 21 | 100 / 0 | 100 / 0 | — | 1 | 3 / 6 | 8c238aef7975:47 a5d4fe1bb879:153 |
| 22 | 100 / 0 | 100 / 0 | — | 1 | 3 / 4 | 8c238aef7975:100 a5d4fe1bb879:100 |
| 23 | 100 / 0 | 100 / 0 | — | 1 | 3 / 5 | 8c238aef7975:100 a5d4fe1bb879:100 |
Фаза 06-pause-r2
Действие 2026-10-10T20:47:06.382+00:00 над a5d4fe1bb879 (слот api-1), возврат 2026-10-10T20:47:26.381+00:00; ответов 10002, до действия 199.9 успешных/с, p95 4 мс. Полная шкала — timeline.csv.
| с от действия | Записи ok / ош | Чтения ok / ош | Коды ошибок | Доля успешных | p50 / p95, мс | Ответы реплик |
|---|---|---|---|---|---|---|
| -2 | 100 / 0 | 100 / 0 | — | 1 | 2 / 3 | 8c238aef7975:100 a5d4fe1bb879:100 |
| -1 | 99 / 1 | 100 / 0 | 504:1 | 0.995 | 2 / 3 | 8c238aef7975:100 a5d4fe1bb879:99 |
| 0 | 0 / 100 | 100 / 0 | 504:100 | 0.5 | 3 / 4 | 8c238aef7975:100 |
| 1 | 0 / 100 | 100 / 0 | 504:100 | 0.5 | 3 / 3 | 8c238aef7975:100 |
| 2 | 0 / 100 | 100 / 0 | 504:100 | 0.5 | 3 / 3 | 8c238aef7975:100 |
| 3 | 0 / 100 | 100 / 0 | 504:100 | 0.5 | 3 / 4 | 8c238aef7975:100 |
| 4 | 0 / 100 | 100 / 0 | 504:100 | 0.5 | 3 / 3 | 8c238aef7975:100 |
| 5 | 17 / 83 | 100 / 0 | 504:83 | 0.585 | 3 / 4 | 8c238aef7975:117 |
| 6 | 100 / 0 | 100 / 0 | — | 1 | 3 / 67 | 8c238aef7975:200 |
| 7 | 100 / 0 | 100 / 0 | — | 1 | 3 / 7 | 8c238aef7975:200 |
| 8 | 100 / 0 | 100 / 0 | — | 1 | 3 / 3 | 8c238aef7975:200 |
| … | ||||||
| 19 | 100 / 0 | 100 / 0 | — | 1 | 2 / 4 | 8c238aef7975:200 |
| 20 | 100 / 0 | 100 / 0 | — | 1 | 3 / 4 | 8c238aef7975:200 |
| 21 | 100 / 0 | 100 / 0 | — | 1 | 3 / 3 | 8c238aef7975:153 a5d4fe1bb879:47 |
| 22 | 100 / 0 | 100 / 0 | — | 1 | 3 / 4 | 8c238aef7975:100 a5d4fe1bb879:100 |
| 23 | 100 / 0 | 100 / 0 | — | 1 | 3 / 4 | 8c238aef7975:100 a5d4fe1bb879:100 |