Files
mtusi2026lab3/openspec/changes/graceful-failover/tasks.md
T
ricoromaandClaude Opus 5.5 f38a56c4ea docs: retake graceful-failover checks after verify
The rejected LB pool variant is re-measured on committed code with a
temporary second HAProxy differing in http-reuse only: the replica, not
the LB, closed the last idle connection after 60.4 s. Exploratory
never/safe SIGTERM numbers are separated from evidence. hang-key cleanup
is shown under Ctrl+C and SIGTERM, bench_compare refuses a label without
the LB. Drain before SIGTERM and the run_docker recreate issue are handed
to rolling-update in PLAN.md and KNOWN_ISSUES.md; design gains decision 10.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
2026-10-11 00:07:21 +03:00

9.0 KiB
Raw Blame History

Tasks

Как строить — design.md (дальше «решение N»). Что должно получиться — дельты в specs/. Перед первым файлом слоя прочитать его правило: balancer.md, bench.md, run-modes.md, infra.md, settings.md, docker.md.

Evidence снимается с закоммиченного кода: сначала коммит кода, потом evidence, потом коммит evidence и отчёта. Замеры для отчёта (полный профиль failover, замер обнаружения) — только после проверки хоста по брифу основной сессии; рабочий стенд на время замера остановлен.

1. Приложение: сроки простоя соединений

  • 1.1 src/config/settings.py и config_example.toml по решениям 3 и 4:

    • [app] keep_alive_seconds (int, ≥ 1, по умолчанию 60);
    • [database] idle_in_transaction_timeout_ms (int, ≥ 0, по умолчанию 10000);
    • валидатор Database: 0 или больше request_timeout_seconds × 1000, иначе ошибка с обоими именами.

    Проверка: uv run python -c печатает поля по умолчанию; запуск с APP__KEEP_ALIVE_SECONDS=0, DATABASE__IDLE_IN_TRANSACTION_TIMEOUT_MS=abc и =5000 — код 1, ошибка называет поле.

  • 1.2 src/main.py: timeout_keep_alive у uvicorn.run. src/infra/db/engine.py: idle_in_transaction_session_timeout в server_settings, если значение не 0. Проверка: SHOW idle_in_transaction_session_timeout на соединении engine приложения внутри реплики — 10s.

2. Балансировщик

  • 2.1 infra/haproxy/haproxy.cfg по решениям 1–3:

    • fastinter 500ms в default-server;
    • timeout check 2500ms;
    • http-reuse never в backend api (вместо pool-purge-delay 5s первого варианта: проверка idle-conns его опровергла, design, решение 3);
    • комментарии к числам — формулы обнаружения по режимам из таблицы решения 1 и соотношение с keep_alive_seconds.

    Проверка: haproxy -c в закреплённом образе с API_PORT=8080 — Configuration file is valid.

3. Стенд bench/ на HAProxy + N реплик

  • 3.1 bench/bench.compose.yml и bench/run.py по решению 6:

    • реплики без container_name, BENCH_API_REPLICAS;
    • haproxy с лимитами BENCH_LB_*;
    • поля Profile replicas, lb_cpus, lb_memory;
    • готовность по статистике LB;
    • снимки — сумма по репликам;
    • паспорт с LB и числом реплик;
    • switch_api с ожиданием реплик в LB.

    bench/k6/lib.js: адрес LB по умолчанию, ключ отправки задаётся. Проверка: make lint; make bench_quick и make bench_restore_quick — код 0, в паспорте api_replicas 1 и лимиты LB.

  • 3.2 Профиль failover по решениям 5 и 7:

    • новые bench/failover.py, bench/k6/failover.js, bench/k6/retry.js;
    • профили failover и failover_quick в run.py, оркестрация фаз, результаты в evidence/failover/<метка>/;
    • цели bench_failover, bench_failover_quick в Makefile;
    • evidence/failover/quick-*/ в .gitignore.

    Проверка: make bench_failover_quick — код 0, четыре фазы. В phases.csv у каждой фазы есть обнаружение, восстановление, возврат в LB и сошедшаяся сверка; timeline.csv посекундный; занятая метка — отказ до запуска стенда.

4. Команды драйвера

  • 4.1 .claude/skills/run-mtusi-messenger/driver.py и SKILL.md по решению 8: idle-conns, hang-key. Проверка на рабочем стенде после пересоздания с новым кодом:
    • driver.py --port 8080 idle-conns — у реплик не осталось соединений раньше 60 с (их закрыл LB), код 0;
    • driver.py --port 8080 hang-key — повтор ключа получает 201 после прерывания транзакции, одно сообщение, в журнале PostgreSQL — «idle-in-transaction timeout»; триггера после команды нет.

5. Документы и общая проверка кода

  • 5.1 Правила и инструкции под решения:

    • balancer.md — цепочка (fastinter, timeout check, http-reuse never и keep-alive, обнаружение по режимам);
    • bench.md — стенд с LB и N репликами, профиль failover, его результаты, методика лабы 3;
    • run-modes.md — timeout_keep_alive;
    • infra.md — idle_in_transaction_session_timeout;
    • скилл — новые команды.

    AGENTS.md:

    • «Переходное состояние» — убрать закрытый пункт bench/;
    • карта кода — failover.py, k6/failover.js, k6/retry.js, evidence/failover/<метка>/;
    • команды — bench_failover, bench_failover_quick.

    Проверка: grep -n "graceful-failover" AGENTS.md .claude/rules/*.md — нет обещаний «будет в этом change».

  • 5.2 Общая проверка кода:

    • make lint, make check;
    • openspec validate graceful-failover --strict;
    • make down, make run_docker;
    • make test, make student_test через LB;
    • make test_isolated, make failure_checks;
    • make test-persistence ACTION_SCRIPT=scripts/restart.sh;
    • make test-failover ACTION_SCRIPT=scripts/stop-one.sh в режимах stop и kill, make replicas между прогонами;
    • make bench_quick, make bench_restore_quick, make bench_failover_quick.

    Затем коммит кода.

6. Замеры, evidence и отчёт

  • 6.1 Хост по брифу: питание, давление на память, посторонние контейнеры, vm_stat (Swapouts) до. Рабочий стенд — make stop. make bench_failover отвязанно через nohup, затем Swapouts после. Проверка: метка evidence/failover/baseline/ со статусом complete, шесть фаз, сверка сошлась.

  • 6.2 Evidence по таблице решения 9 с закоммиченного кода:

    • detection.md, keep-alive.md, hung-key.md;
    • evidence/tests/graceful-failover-checks.md.

    Проверка: в шапке каждого — спеки, change, дата, commit, стенд, хост. Нет паролей, токенов и абсолютных путей домашнего каталога.

  • 6.3 REPORT.md по решению 9:

    • цепочка таймаутов;
    • формула и замер обнаружения;
    • строки доказательств уровня «4»;
    • «Эксперименты и отказы»;
    • ответ «отказ процесса и отказ узла»;
    • ограничения.

    Проверка: у каждой новой строки таблицы доказательств есть команда, наблюдение и файл.

  • 6.4 Финал:

    • make lint, make check, openspec validate graceful-failover --strict;
    • отметить задачи, коммит evidence и отчёта;
    • graphify update .;
    • рабочий стенд mtusi-lab3 запущен через LB, обе реплики UP;
    • рабочее дерево чистое.

7. Правки по verify

  • 7.1 По решению 10: hang-key убирает триггер при Ctrl+C, SIGTERM и SIGHUP и печатает SQL удаления при неудаче; idle-conns --lb и честный итог «кто закрыл»; make bench_compare отказывает метке без LB; комментарий haproxy.cfg. Коммит кода, затем evidence с него:

    • idle-conns через LB стенда (never) и через временный HAProxy с http-reuse safe — keep-alive.md;
    • hang-key целиком и с прерыванием Ctrl+C и SIGTERM во время заморозки — hung-key.md;
    • bench/compare.py на метке без LB — отказ, на двух метках с LB — сравнение.

    Перенос в rolling-update — PLAN.md и KNOWN_ISSUES.md.