The rejected LB pool variant is re-measured on committed code with a temporary second HAProxy differing in http-reuse only: the replica, not the LB, closed the last idle connection after 60.4 s. Exploratory never/safe SIGTERM numbers are separated from evidence. hang-key cleanup is shown under Ctrl+C and SIGTERM, bench_compare refuses a label without the LB. Drain before SIGTERM and the run_docker recreate issue are handed to rolling-update in PLAN.md and KNOWN_ISSUES.md; design gains decision 10. Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
14 KiB
Простаивающие соединения LB → реплика и гонка при SIGTERM
| Спеки | graceful-shutdown «Простаивающие соединения закрывает балансировщик» — «Клиенты молчат после всплеска»; «Остановка реплики за балансировщиком» — «docker stop под нагрузкой», «Клиент с новым соединением на запрос» |
| Change | graceful-failover, задачи 2.1, 4.1 и 6.2 (design, решения 3 и 10) |
| Дата | 2026-10-10: проверка итога 20:22:46 UTC; verify — 21:02:12 (итог) и 21:02:56 UTC (вариант safe); разведка и сравнение вариантов — 19:18–20:41 UTC |
| Commit | итог — 459f84c (стенд пересоздан с него); verify — 12783aa (код приложения и действующая часть haproxy.cfg те же, что в 459f84c: git diff 459f84c 12783aa -- src docker-compose.yml Dockerfile пуст, в haproxy.cfg изменён только комментарий); разведка — aec6f23 (до change) и рабочее дерево поверх b76a666 с вариантами конфигурации, помечено у каждой таблицы |
| Стенд | make run_docker: проект mtusi-lab3, HAProxy на 127.0.0.1:8080, api × 2; вариант safe — временный второй HAProxy того же образа в сети стенда (ниже); сравнение под нагрузкой — профиль failover_quick на стенде mtusi-bench |
| Хост | Docker Desktop 29.8.2, macOS arm64; ВМ Docker: 12 CPU, 7,7 GiB RAM; питание от сети |
Задача
uvicorn закрывает простаивающее keep-alive соединение через
timeout_keep_alive. Если в этот момент LB отправит в него запрос,
ответа не будет, а empty-response LB не повторяет намеренно
(POST /users и POST /chats не идемпотентны): клиент получит 502.
Значит, простаивающее соединение должен закрывать LB, а реплика —
держать его дольше.
Итог: http-reuse never и keep-alive реплики 60 с
python3 .claude/skills/run-mtusi-messenger/driver.py --port 8080 idle-conns: 20 клиентов с keep-alive делают по 50 запросов через LB и
остаются подключены, молча. Раз в секунду — установленные соединения на
порт API внутри каждой реплики (/proc/net/tcp) и пул LB
(idle_conn_cur + safe_conn_cur).
### 2026-10-10T20:22:46Z $ python3 .claude/skills/run-mtusi-messenger/driver.py --port 8080 idle-conns
burst: 20 keep-alive clients × 50 GET /health/live through LB: {200: 1000}; clients stay connected and idle
t, s replica: connections on its API port | LB pool idle+safe
0.0 abd10a328015: 20 | 0 bbc91284862a: 20 | 0
1.0 abd10a328015: 20 | 0 bbc91284862a: 20 | 0
2.0 abd10a328015: 20 | 0 bbc91284862a: 20 | 0
3.0 abd10a328015: 20 | 0 bbc91284862a: 20 | 0
4.0 abd10a328015: 20 | 0 bbc91284862a: 20 | 0
5.1 abd10a328015: 20 | 0 bbc91284862a: 20 | 0
6.1 abd10a328015: 20 | 0 bbc91284862a: 20 | 0
7.1 abd10a328015: 20 | 0 bbc91284862a: 20 | 0
8.1 abd10a328015: 20 | 0 bbc91284862a: 20 | 0
9.1 abd10a328015: 20 | 0 bbc91284862a: 20 | 0
10.1 abd10a328015: 0 | 0 bbc91284862a: 0 | 0
11.1 abd10a328015: 0 | 0 bbc91284862a: 0 | 0
replicas hold no connections 10.1 s after the last request (replica keep-alive 60 s): closed by LB
### exit 0
- С
http-reuse neverсоединение с репликой принадлежит сеансу клиента и в общий пул не уходит (пул LB — 0). Каждый клиент держит по соединению с каждой репликой: round-robin чередует реплики запрос за запросом. - Через 10,1 с LB закрыл молчащих клиентов (
timeout http-keep-alive10 с), а с ними — их соединения с репликами. Реплика держала бы их до 60 с ([app] keep_alive_seconds), прежние 5 с uvicorn уже прошли — значит, новый срок действует, и закрыл LB.
Отвергнутый вариант на закоммиченном коде (verify)
Первый вариант design — пул LB (http-reuse safe) и длинный keep-alive
реплики — в apply проверялся только на рабочем дереве. В verify он
переснят на закоммиченном коде переключением одного параметра LB, без
правки дерева: реплики стенда — образ 459f84c с keep-alive 60 с, перед
ними временный второй HAProxy того же образа с копией закоммиченного
haproxy.cfg, где отличается одна строка:
$ diff infra/haproxy/haproxy.cfg <копия>/haproxy-safe.cfg
89c89
< http-reuse never
---
> http-reuse safe
$ docker run -d --name mtusi-lab3-lbvariant --network mtusi-lab3_default \
-p 127.0.0.1:18081:8080 -e API_PORT=8080 --cpus 1 --memory 256m --memory-swap 256m \
-v <копия>/haproxy-safe.cfg:/usr/local/etc/haproxy/haproxy.cfg:ro \
haproxy:3.4.6-trixie@sha256:e2739156… # тот же пин, что в docker-compose.yml
pool-purge-delay не задан: по умолчанию он и есть 5 с, как в первом
варианте. Сначала тот же замер через LB стенда (never) кодом
12783aa, затем через временный LB (safe); пул в последнем столбце —
этого временного LB (--lb):
### 2026-10-10T21:02:12Z $ python3 .claude/skills/run-mtusi-messenger/driver.py --port 8080 idle-conns
burst: 20 keep-alive clients × 50 GET /health/live through LB: {200: 1000}; clients stay connected and idle
t, s replica: connections on its API port | LB pool idle+safe
0.0 abd10a328015: 20 | 0 bbc91284862a: 20 | 0
… (без изменений до 9,1 с)
9.1 abd10a328015: 20 | 0 bbc91284862a: 20 | 0
10.1 abd10a328015: 0 | 0 bbc91284862a: 0 | 0
11.1 abd10a328015: 0 | 0 bbc91284862a: 0 | 0
replicas hold no connections 10.1 s after the last request (replica keep-alive 60 s): closed by LB
### exit 0
### 2026-10-10T21:02:56Z $ python3 .claude/skills/run-mtusi-messenger/driver.py --port 18081 idle-conns --lb mtusi-lab3-lbvariant
burst: 20 keep-alive clients × 50 GET /health/live through LB: {200: 1000}; clients stay connected and idle
t, s replica: connections on its API port | LB pool idle+safe
0.0 abd10a328015: 10 | 10 bbc91284862a: 15 | 15
… (без изменений до 14,1 с)
14.1 abd10a328015: 10 | 10 bbc91284862a: 15 | 15
15.1 abd10a328015: 6 | 6 bbc91284862a: 10 | 10
20.1 abd10a328015: 3 | 3 bbc91284862a: 6 | 6
25.1 abd10a328015: 1 | 1 bbc91284862a: 3 | 3
30.2 abd10a328015: 1 | 1 bbc91284862a: 1 | 1
… (без изменений до 59,4 с)
59.4 abd10a328015: 1 | 1 bbc91284862a: 1 | 1
60.4 abd10a328015: 0 | 0 bbc91284862a: 0 | 0
61.4 abd10a328015: 0 | 0 bbc91284862a: 0 | 0
replicas hold no connections 60.4 s after the last request (replica keep-alive 60 s): closed by the replica
### exit 1
$ docker rm -f mtusi-lab3-lbvariant
Строки между отмеченными секундами опущены: числа в них те же, что в строке выше. Полный вывод — 62 строки, по одной в секунду.
- С пулом соединения с репликами живут в общем пуле LB (столбец пула равен соединениям реплики). Клиенты замолчали — через 10 с LB закрыл их сеансы, а соединения с репликами остались в пуле. Дальше уборка пула закрывает около половины каждые 5 с (15 → 10 → 6 → 3 → 1), но последнее соединение к каждой реплике держит, пока его не закрывает реплика по своему keep-alive — через 60,4 с. В этот момент LB может отправить в него запрос, клиент получит 502.
- С
neverсоединения принадлежат сеансам клиентов и закрываются вместе с ними через 10,1 с: раньше срока реплики, закрывает LB.
Так на закоммиченном коде подтверждён вывод разведки (таблица ниже):
длинный keep-alive реплики с пулом LB делает гонку реже, но не убирает
её, поэтому выбран never.
Как пришли к итогу (разведка)
Эта таблица — история поиска. Доказательство итога и отвергнутого варианта — разделы выше, снятые с закоммиченного кода.
| Конфигурация | Когда реплики остались без соединений | Кто закрыл | Где снято |
|---|---|---|---|
http-reuse safe (по умолчанию), keep-alive uvicorn 5 с — до change |
весь пул LB разом через ~5 с после всплеска | реплика | aec6f23, всплеск k6 300 запросов/с 5 с, статистика LB раз в секунду: safe_conn_cur 22 и 13 → 0 между 4-й и 5-й секундой |
http-reuse safe, keep-alive 60 с, pool-purge-delay 5s — первый вариант design |
пул уменьшался ступенями каждые 5 с (15 → 10 → 6 → 3 → 1 у одной реплики, 11 → 7 → 4 → 2 → 0 у другой), но последнее соединение LB держал до 60,3 с | реплика | рабочее дерево с этим вариантом, первая версия idle-conns (клиенты закрывались после всплеска); переснято в verify — раздел выше, 60,4 с |
http-reuse never, keep-alive 60 с — итог |
10,1 с | LB | 459f84c, вывод выше; в verify — то же на 12783aa |
Гонка при SIGTERM остаётся
При docker stop uvicorn сразу закрывает простаивающие соединения.
Запрос, который LB отправил в такое соединение в тот же миг, ответа не
получает: 502 от LB через доли секунды после SIGTERM. Ни один режим
http-reuse этого не убирает. Фазы stop профиля failover (100
записей и 100 чтений в секунду, ~4 600 запросов в быстрой фазе и
~10 000 в полной):
Закоммиченный код (459f84c, http-reuse never) — доказательство:
| Прогон | Фаз stop |
Фаз с ошибкой | Ошибки |
|---|---|---|---|
регрессия: quick-failover-20261010T203941Z (../tests/graceful-failover-checks.md) |
2 | 1 | один 502 |
замер: метка baseline (baseline/) |
2 | 0 | — |
Разведка в apply на рабочем дереве поверх b76a666 — история поиска,
не доказательство:
| Режим LB | Прогон | Фаз stop |
Фаз с ошибкой | Ошибки |
|---|---|---|---|---|
safe |
quick-failover-20261010T194148Z, …194627Z, quick-failover-safe-201319, …-201424 (одна фаза), …-201530 |
9 | 1 | один 502 |
never |
quick-failover-20261010T200206Z, quick-failover-never-200944, …-201055, …-201201, quick-failover-20261010T201807Z |
10 | 2 | по одному 502; в 200206Z — через 0,07 с после SIGTERM |
Пробные метки quick-* в git не идут (.gitignore), числа выше
перенесены из их phases.csv.
- Гонку при SIGTERM
neverне убирает: на закоммиченном коде — одиночный 502 в 1 из 4 фазstop. Сравнение сsafeпод нагрузкой есть только в разведке (2 из 10 против 1 из 9 — одиночные события на тысячи запросов фазы, разница в пределах случайности), поэтому «neverлучшеsafeпри SIGTERM» не утверждается.neverвыбран за другое: он убирает гонку по сроку простоя (раздел «Отвергнутый вариант на закоммиченном коде»). - Ни в одной фазе
stopдоля успешных в секунде не опустилась ниже 99 %, время восстановления — 0 с. Спекgraceful-shutdownназывает этот одиночный 502 исключением прямо. - Клиенты с новым соединением на запрос гонку не встречают: их запрос
всегда идёт по новому соединению с репликой. Поэтому
make test-failover(urllib) в режимеstop— 0 неудачных попыток (../tests/graceful-failover-checks.md). - Убрать гонку совсем может только дренаж перед SIGTERM: реплику
выводят из LB, затем останавливают. Это меняет спек
graceful-shutdownи срок остановки (1,5 + 8 с > 9 с hook) и в этот change не входит: README допускает краткие ошибки при обнаружении отказа, если они измерены. Дренаж перенесён в changerolling-update— поочерёдная замена и так выводит старую реплику из LB до остановки (design, Risks;REPORT.md, «Ограничения»).