Files
mtusi2026lab3/evidence/failover/keep-alive.md
T
ricoromaandClaude Opus 5.5 f38a56c4ea docs: retake graceful-failover checks after verify
The rejected LB pool variant is re-measured on committed code with a
temporary second HAProxy differing in http-reuse only: the replica, not
the LB, closed the last idle connection after 60.4 s. Exploratory
never/safe SIGTERM numbers are separated from evidence. hang-key cleanup
is shown under Ctrl+C and SIGTERM, bench_compare refuses a label without
the LB. Drain before SIGTERM and the run_docker recreate issue are handed
to rolling-update in PLAN.md and KNOWN_ISSUES.md; design gains decision 10.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
2026-10-11 00:07:21 +03:00

14 KiB
Raw Blame History

Простаивающие соединения LB → реплика и гонка при SIGTERM

Спеки graceful-shutdown «Простаивающие соединения закрывает балансировщик» — «Клиенты молчат после всплеска»; «Остановка реплики за балансировщиком» — «docker stop под нагрузкой», «Клиент с новым соединением на запрос»
Change graceful-failover, задачи 2.1, 4.1 и 6.2 (design, решения 3 и 10)
Дата 2026-10-10: проверка итога 20:22:46 UTC; verify — 21:02:12 (итог) и 21:02:56 UTC (вариант safe); разведка и сравнение вариантов — 19:18–20:41 UTC
Commit итог — 459f84c (стенд пересоздан с него); verify — 12783aa (код приложения и действующая часть haproxy.cfg те же, что в 459f84c: git diff 459f84c 12783aa -- src docker-compose.yml Dockerfile пуст, в haproxy.cfg изменён только комментарий); разведка — aec6f23 (до change) и рабочее дерево поверх b76a666 с вариантами конфигурации, помечено у каждой таблицы
Стенд make run_docker: проект mtusi-lab3, HAProxy на 127.0.0.1:8080, api × 2; вариант safe — временный второй HAProxy того же образа в сети стенда (ниже); сравнение под нагрузкой — профиль failover_quick на стенде mtusi-bench
Хост Docker Desktop 29.8.2, macOS arm64; ВМ Docker: 12 CPU, 7,7 GiB RAM; питание от сети

Задача

uvicorn закрывает простаивающее keep-alive соединение через timeout_keep_alive. Если в этот момент LB отправит в него запрос, ответа не будет, а empty-response LB не повторяет намеренно (POST /users и POST /chats не идемпотентны): клиент получит 502. Значит, простаивающее соединение должен закрывать LB, а реплика — держать его дольше.

Итог: http-reuse never и keep-alive реплики 60 с

python3 .claude/skills/run-mtusi-messenger/driver.py --port 8080 idle-conns: 20 клиентов с keep-alive делают по 50 запросов через LB и остаются подключены, молча. Раз в секунду — установленные соединения на порт API внутри каждой реплики (/proc/net/tcp) и пул LB (idle_conn_cur + safe_conn_cur).

### 2026-10-10T20:22:46Z $ python3 .claude/skills/run-mtusi-messenger/driver.py --port 8080 idle-conns
burst: 20 keep-alive clients × 50 GET /health/live through LB: {200: 1000}; clients stay connected and idle
t, s   replica: connections on its API port | LB pool idle+safe
  0.0  abd10a328015: 20 | 0  bbc91284862a: 20 | 0
  1.0  abd10a328015: 20 | 0  bbc91284862a: 20 | 0
  2.0  abd10a328015: 20 | 0  bbc91284862a: 20 | 0
  3.0  abd10a328015: 20 | 0  bbc91284862a: 20 | 0
  4.0  abd10a328015: 20 | 0  bbc91284862a: 20 | 0
  5.1  abd10a328015: 20 | 0  bbc91284862a: 20 | 0
  6.1  abd10a328015: 20 | 0  bbc91284862a: 20 | 0
  7.1  abd10a328015: 20 | 0  bbc91284862a: 20 | 0
  8.1  abd10a328015: 20 | 0  bbc91284862a: 20 | 0
  9.1  abd10a328015: 20 | 0  bbc91284862a: 20 | 0
 10.1  abd10a328015: 0 | 0  bbc91284862a: 0 | 0
 11.1  abd10a328015: 0 | 0  bbc91284862a: 0 | 0
replicas hold no connections 10.1 s after the last request (replica keep-alive 60 s): closed by LB
### exit 0
  • С http-reuse never соединение с репликой принадлежит сеансу клиента и в общий пул не уходит (пул LB — 0). Каждый клиент держит по соединению с каждой репликой: round-robin чередует реплики запрос за запросом.
  • Через 10,1 с LB закрыл молчащих клиентов (timeout http-keep-alive 10 с), а с ними — их соединения с репликами. Реплика держала бы их до 60 с ([app] keep_alive_seconds), прежние 5 с uvicorn уже прошли — значит, новый срок действует, и закрыл LB.

Отвергнутый вариант на закоммиченном коде (verify)

Первый вариант design — пул LB (http-reuse safe) и длинный keep-alive реплики — в apply проверялся только на рабочем дереве. В verify он переснят на закоммиченном коде переключением одного параметра LB, без правки дерева: реплики стенда — образ 459f84c с keep-alive 60 с, перед ними временный второй HAProxy того же образа с копией закоммиченного haproxy.cfg, где отличается одна строка:

$ diff infra/haproxy/haproxy.cfg <копия>/haproxy-safe.cfg
89c89
<     http-reuse never
---
>     http-reuse safe
$ docker run -d --name mtusi-lab3-lbvariant --network mtusi-lab3_default \
    -p 127.0.0.1:18081:8080 -e API_PORT=8080 --cpus 1 --memory 256m --memory-swap 256m \
    -v <копия>/haproxy-safe.cfg:/usr/local/etc/haproxy/haproxy.cfg:ro \
    haproxy:3.4.6-trixie@sha256:e2739156…   # тот же пин, что в docker-compose.yml

pool-purge-delay не задан: по умолчанию он и есть 5 с, как в первом варианте. Сначала тот же замер через LB стенда (never) кодом 12783aa, затем через временный LB (safe); пул в последнем столбце — этого временного LB (--lb):

### 2026-10-10T21:02:12Z $ python3 .claude/skills/run-mtusi-messenger/driver.py --port 8080 idle-conns
burst: 20 keep-alive clients × 50 GET /health/live through LB: {200: 1000}; clients stay connected and idle
t, s   replica: connections on its API port | LB pool idle+safe
  0.0  abd10a328015: 20 | 0  bbc91284862a: 20 | 0
  …    (без изменений до 9,1 с)
  9.1  abd10a328015: 20 | 0  bbc91284862a: 20 | 0
 10.1  abd10a328015: 0 | 0  bbc91284862a: 0 | 0
 11.1  abd10a328015: 0 | 0  bbc91284862a: 0 | 0
replicas hold no connections 10.1 s after the last request (replica keep-alive 60 s): closed by LB
### exit 0

### 2026-10-10T21:02:56Z $ python3 .claude/skills/run-mtusi-messenger/driver.py --port 18081 idle-conns --lb mtusi-lab3-lbvariant
burst: 20 keep-alive clients × 50 GET /health/live through LB: {200: 1000}; clients stay connected and idle
t, s   replica: connections on its API port | LB pool idle+safe
  0.0  abd10a328015: 10 | 10  bbc91284862a: 15 | 15
  …    (без изменений до 14,1 с)
 14.1  abd10a328015: 10 | 10  bbc91284862a: 15 | 15
 15.1  abd10a328015: 6 | 6  bbc91284862a: 10 | 10
 20.1  abd10a328015: 3 | 3  bbc91284862a: 6 | 6
 25.1  abd10a328015: 1 | 1  bbc91284862a: 3 | 3
 30.2  abd10a328015: 1 | 1  bbc91284862a: 1 | 1
  …    (без изменений до 59,4 с)
 59.4  abd10a328015: 1 | 1  bbc91284862a: 1 | 1
 60.4  abd10a328015: 0 | 0  bbc91284862a: 0 | 0
 61.4  abd10a328015: 0 | 0  bbc91284862a: 0 | 0
replicas hold no connections 60.4 s after the last request (replica keep-alive 60 s): closed by the replica
### exit 1
$ docker rm -f mtusi-lab3-lbvariant

Строки между отмеченными секундами опущены: числа в них те же, что в строке выше. Полный вывод — 62 строки, по одной в секунду.

  • С пулом соединения с репликами живут в общем пуле LB (столбец пула равен соединениям реплики). Клиенты замолчали — через 10 с LB закрыл их сеансы, а соединения с репликами остались в пуле. Дальше уборка пула закрывает около половины каждые 5 с (15 → 10 → 6 → 3 → 1), но последнее соединение к каждой реплике держит, пока его не закрывает реплика по своему keep-alive — через 60,4 с. В этот момент LB может отправить в него запрос, клиент получит 502.
  • С never соединения принадлежат сеансам клиентов и закрываются вместе с ними через 10,1 с: раньше срока реплики, закрывает LB.

Так на закоммиченном коде подтверждён вывод разведки (таблица ниже): длинный keep-alive реплики с пулом LB делает гонку реже, но не убирает её, поэтому выбран never.

Как пришли к итогу (разведка)

Эта таблица — история поиска. Доказательство итога и отвергнутого варианта — разделы выше, снятые с закоммиченного кода.

Конфигурация Когда реплики остались без соединений Кто закрыл Где снято
http-reuse safe (по умолчанию), keep-alive uvicorn 5 с — до change весь пул LB разом через ~5 с после всплеска реплика aec6f23, всплеск k6 300 запросов/с 5 с, статистика LB раз в секунду: safe_conn_cur 22 и 13 → 0 между 4-й и 5-й секундой
http-reuse safe, keep-alive 60 с, pool-purge-delay 5s — первый вариант design пул уменьшался ступенями каждые 5 с (15 → 10 → 6 → 3 → 1 у одной реплики, 11 → 7 → 4 → 2 → 0 у другой), но последнее соединение LB держал до 60,3 с реплика рабочее дерево с этим вариантом, первая версия idle-conns (клиенты закрывались после всплеска); переснято в verify — раздел выше, 60,4 с
http-reuse never, keep-alive 60 с — итог 10,1 с LB 459f84c, вывод выше; в verify — то же на 12783aa

Гонка при SIGTERM остаётся

При docker stop uvicorn сразу закрывает простаивающие соединения. Запрос, который LB отправил в такое соединение в тот же миг, ответа не получает: 502 от LB через доли секунды после SIGTERM. Ни один режим http-reuse этого не убирает. Фазы stop профиля failover (100 записей и 100 чтений в секунду, ~4 600 запросов в быстрой фазе и ~10 000 в полной):

Закоммиченный код (459f84c, http-reuse never) — доказательство:

Прогон Фаз stop Фаз с ошибкой Ошибки
регрессия: quick-failover-20261010T203941Z (../tests/graceful-failover-checks.md) 2 1 один 502
замер: метка baseline (baseline/) 2 0 —

Разведка в apply на рабочем дереве поверх b76a666 — история поиска, не доказательство:

Режим LB Прогон Фаз stop Фаз с ошибкой Ошибки
safe quick-failover-20261010T194148Z, …194627Z, quick-failover-safe-201319, …-201424 (одна фаза), …-201530 9 1 один 502
never quick-failover-20261010T200206Z, quick-failover-never-200944, …-201055, …-201201, quick-failover-20261010T201807Z 10 2 по одному 502; в 200206Z — через 0,07 с после SIGTERM

Пробные метки quick-* в git не идут (.gitignore), числа выше перенесены из их phases.csv.

  • Гонку при SIGTERM never не убирает: на закоммиченном коде — одиночный 502 в 1 из 4 фаз stop. Сравнение с safe под нагрузкой есть только в разведке (2 из 10 против 1 из 9 — одиночные события на тысячи запросов фазы, разница в пределах случайности), поэтому «never лучше safe при SIGTERM» не утверждается. never выбран за другое: он убирает гонку по сроку простоя (раздел «Отвергнутый вариант на закоммиченном коде»).
  • Ни в одной фазе stop доля успешных в секунде не опустилась ниже 99 %, время восстановления — 0 с. Спек graceful-shutdown называет этот одиночный 502 исключением прямо.
  • Клиенты с новым соединением на запрос гонку не встречают: их запрос всегда идёт по новому соединению с репликой. Поэтому make test-failover (urllib) в режиме stop — 0 неудачных попыток (../tests/graceful-failover-checks.md).
  • Убрать гонку совсем может только дренаж перед SIGTERM: реплику выводят из LB, затем останавливают. Это меняет спек graceful-shutdown и срок остановки (1,5 + 8 с > 9 с hook) и в этот change не входит: README допускает краткие ошибки при обнаружении отказа, если они измерены. Дренаж перенесён в change rolling-update — поочерёдная замена и так выводит старую реплику из LB до остановки (design, Risks; REPORT.md, «Ограничения»).