The rejected LB pool variant is re-measured on committed code with a temporary second HAProxy differing in http-reuse only: the replica, not the LB, closed the last idle connection after 60.4 s. Exploratory never/safe SIGTERM numbers are separated from evidence. hang-key cleanup is shown under Ctrl+C and SIGTERM, bench_compare refuses a label without the LB. Drain before SIGTERM and the run_docker recreate issue are handed to rolling-update in PLAN.md and KNOWN_ISSUES.md; design gains decision 10. Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
9.0 KiB
Tasks
Как строить — design.md (дальше «решение N»). Что должно получиться
— дельты в specs/. Перед первым файлом слоя прочитать его правило:
balancer.md, bench.md, run-modes.md, infra.md, settings.md,
docker.md.
Evidence снимается с закоммиченного кода: сначала коммит кода, потом
evidence, потом коммит evidence и отчёта. Замеры для отчёта (полный
профиль failover, замер обнаружения) — только после проверки хоста по
брифу основной сессии; рабочий стенд на время замера остановлен.
1. Приложение: сроки простоя соединений
-
1.1
src/config/settings.pyиconfig_example.tomlпо решениям 3 и 4:[app] keep_alive_seconds(int, ≥ 1, по умолчанию 60);[database] idle_in_transaction_timeout_ms(int, ≥ 0, по умолчанию 10000);- валидатор
Database: 0 или большеrequest_timeout_seconds× 1000, иначе ошибка с обоими именами.
Проверка:
uv run python -cпечатает поля по умолчанию; запуск сAPP__KEEP_ALIVE_SECONDS=0,DATABASE__IDLE_IN_TRANSACTION_TIMEOUT_MS=abcи=5000— код 1, ошибка называет поле. -
1.2
src/main.py:timeout_keep_aliveуuvicorn.run.src/infra/db/engine.py:idle_in_transaction_session_timeoutвserver_settings, если значение не 0. Проверка:SHOW idle_in_transaction_session_timeoutна соединении engine приложения внутри реплики —10s.
2. Балансировщик
-
2.1
infra/haproxy/haproxy.cfgпо решениям 1–3:fastinter 500msвdefault-server;timeout check 2500ms;http-reuse neverвbackend api(вместоpool-purge-delay 5sпервого варианта: проверкаidle-connsего опровергла, design, решение 3);- комментарии к числам — формулы обнаружения по режимам из таблицы
решения 1 и соотношение с
keep_alive_seconds.
Проверка:
haproxy -cв закреплённом образе сAPI_PORT=8080—Configuration file is valid.
3. Стенд bench/ на HAProxy + N реплик
-
3.1
bench/bench.compose.ymlиbench/run.pyпо решению 6:- реплики без
container_name,BENCH_API_REPLICAS; haproxyс лимитамиBENCH_LB_*;- поля
Profilereplicas,lb_cpus,lb_memory; - готовность по статистике LB;
- снимки — сумма по репликам;
- паспорт с LB и числом реплик;
switch_apiс ожиданием реплик в LB.
bench/k6/lib.js: адрес LB по умолчанию, ключ отправки задаётся. Проверка:make lint;make bench_quickиmake bench_restore_quick— код 0, в паспортеapi_replicas1 и лимиты LB. - реплики без
-
3.2 Профиль
failoverпо решениям 5 и 7:- новые
bench/failover.py,bench/k6/failover.js,bench/k6/retry.js; - профили
failoverиfailover_quickвrun.py, оркестрация фаз, результаты вevidence/failover/<метка>/; - цели
bench_failover,bench_failover_quickвMakefile; evidence/failover/quick-*/в.gitignore.
Проверка:
make bench_failover_quick— код 0, четыре фазы. Вphases.csvу каждой фазы есть обнаружение, восстановление, возврат в LB и сошедшаяся сверка;timeline.csvпосекундный; занятая метка — отказ до запуска стенда. - новые
4. Команды драйвера
- 4.1
.claude/skills/run-mtusi-messenger/driver.pyиSKILL.mdпо решению 8:idle-conns,hang-key. Проверка на рабочем стенде после пересоздания с новым кодом:driver.py --port 8080 idle-conns— у реплик не осталось соединений раньше 60 с (их закрыл LB), код 0;driver.py --port 8080 hang-key— повтор ключа получает 201 после прерывания транзакции, одно сообщение, в журнале PostgreSQL — «idle-in-transaction timeout»; триггера после команды нет.
5. Документы и общая проверка кода
-
5.1 Правила и инструкции под решения:
balancer.md— цепочка (fastinter,timeout check,http-reuse neverи keep-alive, обнаружение по режимам);bench.md— стенд с LB и N репликами, профильfailover, его результаты, методика лабы 3;run-modes.md—timeout_keep_alive;infra.md—idle_in_transaction_session_timeout;- скилл — новые команды.
AGENTS.md:- «Переходное состояние» — убрать закрытый пункт
bench/; - карта кода —
failover.py,k6/failover.js,k6/retry.js,evidence/failover/<метка>/; - команды —
bench_failover,bench_failover_quick.
Проверка:
grep -n "graceful-failover" AGENTS.md .claude/rules/*.md— нет обещаний «будет в этом change». -
5.2 Общая проверка кода:
make lint,make check;openspec validate graceful-failover --strict;make down,make run_docker;make test,make student_testчерез LB;make test_isolated,make failure_checks;make test-persistence ACTION_SCRIPT=scripts/restart.sh;make test-failover ACTION_SCRIPT=scripts/stop-one.shв режимахstopиkill,make replicasмежду прогонами;make bench_quick,make bench_restore_quick,make bench_failover_quick.
Затем коммит кода.
6. Замеры, evidence и отчёт
-
6.1 Хост по брифу: питание, давление на память, посторонние контейнеры,
vm_stat(Swapouts) до. Рабочий стенд —make stop.make bench_failoverотвязанно черезnohup, затемSwapoutsпосле. Проверка: меткаevidence/failover/baseline/со статусомcomplete, шесть фаз, сверка сошлась. -
6.2 Evidence по таблице решения 9 с закоммиченного кода:
detection.md,keep-alive.md,hung-key.md;evidence/tests/graceful-failover-checks.md.
Проверка: в шапке каждого — спеки, change, дата, commit, стенд, хост. Нет паролей, токенов и абсолютных путей домашнего каталога.
-
6.3
REPORT.mdпо решению 9:- цепочка таймаутов;
- формула и замер обнаружения;
- строки доказательств уровня «4»;
- «Эксперименты и отказы»;
- ответ «отказ процесса и отказ узла»;
- ограничения.
Проверка: у каждой новой строки таблицы доказательств есть команда, наблюдение и файл.
-
6.4 Финал:
make lint,make check,openspec validate graceful-failover --strict;- отметить задачи, коммит evidence и отчёта;
graphify update .;- рабочий стенд
mtusi-lab3запущен через LB, обе репликиUP; - рабочее дерево чистое.
7. Правки по verify
-
7.1 По решению 10:
hang-keyубирает триггер при Ctrl+C, SIGTERM и SIGHUP и печатает SQL удаления при неудаче;idle-conns --lbи честный итог «кто закрыл»;make bench_compareотказывает метке без LB; комментарийhaproxy.cfg. Коммит кода, затем evidence с него:idle-connsчерез LB стенда (never) и через временный HAProxy сhttp-reuse safe—keep-alive.md;hang-keyцеликом и с прерыванием Ctrl+C и SIGTERM во время заморозки —hung-key.md;bench/compare.pyна метке без LB — отказ, на двух метках с LB — сравнение.
Перенос в
rolling-update—PLAN.mdиKNOWN_ISSUES.md.