From f38a56c4eae6f2d9287065b74a609b27eccfde2c Mon Sep 17 00:00:00 2001 From: roman Date: Sun, 11 Oct 2026 00:07:21 +0300 Subject: [PATCH] docs: retake graceful-failover checks after verify The rejected LB pool variant is re-measured on committed code with a temporary second HAProxy differing in http-reuse only: the replica, not the LB, closed the last idle connection after 60.4 s. Exploratory never/safe SIGTERM numbers are separated from evidence. hang-key cleanup is shown under Ctrl+C and SIGTERM, bench_compare refuses a label without the LB. Drain before SIGTERM and the run_docker recreate issue are handed to rolling-update in PLAN.md and KNOWN_ISSUES.md; design gains decision 10. Co-Authored-By: Claude Opus 5.5 --- .claude/rules/run-modes.md | 10 +- KNOWN_ISSUES.md | 22 ++++ PLAN.md | 29 ++++ REPORT.md | 26 ++-- evidence/failover/hung-key.md | 77 ++++++++++- evidence/failover/keep-alive.md | 132 +++++++++++++++---- evidence/tests/graceful-failover-checks.md | 35 ++++- openspec/changes/graceful-failover/design.md | 108 +++++++++++---- openspec/changes/graceful-failover/tasks.md | 16 +++ 9 files changed, 387 insertions(+), 68 deletions(-) diff --git a/.claude/rules/run-modes.md b/.claude/rules/run-modes.md index a89922e5..79c981c2 100644 --- a/.claude/rules/run-modes.md +++ b/.claude/rules/run-modes.md @@ -56,10 +56,12 @@ access_log=False)`. раньше реплики (`balancer.md`, цепочка таймаутов). При SIGTERM uvicorn закрывает простаивающие соединения сразу. Запрос, который LB отправил в такое соединение в тот же миг, получает 502: под нагрузкой - 200 запросов в секунду — одиночный 502 в каждой 4–8-й фазе `stop` - профиля `failover`. Клиенты с новым соединением на запрос - (`tests/resilience.py`) его не встречают. Убрать его может только - дренаж перед SIGTERM (readiness 503, затем остановка) — его нет. + 200 запросов в секунду — одиночный 502 в части фаз `stop` профиля + `failover` (1 из 4 на `459f84c`). Клиенты с новым соединением на + запрос (`tests/resilience.py`) его не встречают. Убрать его может + только дренаж перед SIGTERM (вывод реплики из LB, затем остановка) — + его нет, он перенесён в change `rolling-update` (design + `graceful-failover`, решение 10). - Console-режим — один процесс на `127.0.0.1` без LB, для разработки и скилла `run-mtusi-messenger`. Проверки лабы 3 (≥2 реплики, failover, гонка через разные реплики) — только на стенде compose через LB. diff --git a/KNOWN_ISSUES.md b/KNOWN_ISSUES.md index 0dcd999a..f5e48d7d 100644 --- a/KNOWN_ISSUES.md +++ b/KNOWN_ISSUES.md @@ -20,3 +20,25 @@ `evidence/cache/` и `evidence/auth/`, либо сослаться на файлы репозитория лабы 2 с commit. Тест `test_coverage.py` существование файлов не проверяет. + +## `make run_docker` не пересоздаёт работающие реплики после пересборки + +- **Где:** `Makefile`, цель `run_docker` (`$(DC) build`, затем + `$(DC) up -d`). +- **Что не так:** на Docker Desktop 29.8 (Compose 5.5) после пересборки + образа `mtusi-messenger:lab3` повторный `make run_docker` оставлял + работающие контейнеры `api` на прежнем образе: новый код до реплик не + доходил. Поэтому evidence `replicas-lb` и `graceful-failover` снято + после `make down` и `make run_docker`, а не одного `make run_docker`. + Отдельно не воспроизводилось: наблюдение verify `replicas-lb`, + записанное в design `graceful-failover` (решение 9). +- **Найдено:** verify change `replicas-lb` (2026-10-10); перенесено + сюда verify `graceful-failover`, чтобы не потерялось в архиве. +- **Предложение:** решить в change `rolling-update`, где замена реплик + на новый образ — главный сценарий: сначала воспроизвести (пересборка + с безвредной правкой `src`, `make run_docker`, сравнить файл в + контейнере с деревом), затем либо `up -d --force-recreate api` в + `run_docker` (рестарт всех реплик разом — допустим для запуска, не для + обновления), либо направлять обновление только через + `scripts/rolling-update.sh`, а в `run_docker` печатать + предупреждение, если образ реплик не совпадает с собранным. diff --git a/PLAN.md b/PLAN.md index 89d515cf..732c13d4 100644 --- a/PLAN.md +++ b/PLAN.md @@ -492,6 +492,35 @@ Swarm дал бы встроенный rolling update (`update_config`), но э **Evidence:** `evidence/rollout/` (ошибки по секундам, какие контейнеры и образы до и после). +**Передано из `graceful-failover`** (design, решение 10; архив +`openspec/changes/archive/`): +- **Дренаж до SIGTERM.** При `docker stop` под нагрузкой остаётся + одиночный 502 (гонка keep-alive: uvicorn закрывает простаивающие + соединения, LB в тот же миг шлёт в одно из них запрос) — 1 из 4 фаз + `stop`. Шаг 5 скрипта должен сначала вывести старую реплику из LB и + дождаться конца её запросов, потом `docker stop`. Варианты: runtime + API HAProxy (`set server api/<слот> state drain`; нужен admin-сокет + внутри сети, слот искать по адресу контейнера, как `lb_stats`) или + readiness 503 по сигналу (меняет спек `graceful-shutdown`). Срок: + вывод из LB ≤ 1,5 с по проверкам (`inter` + `fastinter`) + до 8 с + graceful — больше 9 с `stop-one.sh`, поэтому дренаж — в + `rolling-update.sh`, а не в hook. +- **`make run_docker` не пересоздаёт работающие `api`** после + пересборки образа — `KNOWN_ISSUES.md`. +- **Таймауты для поочерёдной замены:** новая реплика попадает в LB + через ≤ 1,5 с после готовности (`init-state down`, `rise 2`, + `downinter` 1 с + `fastinter` 0,5 с) — шаг 4 ждёт `UP` в статистике + LB, а не только `healthy` контейнера. `http-reuse never`: соединения + с репликой принадлежат сеансам клиентов, клиент k6 с keep-alive + держит соединение с уходящей репликой до её закрытия. + `stop_grace_period` 10 с, `graceful_shutdown_seconds` 8 с. +- **Профиль `rollout` стенда `bench/`** строится по образцу `failover` + (`bench/run.py`, `bench/failover.py`, `k6/failover.js`, `k6/retry.js`): + постоянная интенсивность, строка k6 на запрос, посекундная шкала, + повтор неуспешных записей с тем же ключом и сверка. Метки в + `evidence/rollout/<метка>/`, пробные — в `.gitignore`. + `make bench_compare` метки без LB уже не сравнивает. + ### 5. `scaling-bench` — уровень 5, трек 1 **Пункты рубрики «5».** diff --git a/REPORT.md b/REPORT.md index d54e7875..e47d1c6e 100644 --- a/REPORT.md +++ b/REPORT.md @@ -287,14 +287,14 @@ TODO: остальные имена skeleton (`APP_HOST`, `APP_PORT`, `APP_ENV`, | Публичный smoke | `make test` через LB на стенде `make run_docker`; `make test_isolated` (образ из `a4ca9ef`, временная база, один контейнер): `make test` + `make student_test EXPECT_REPLICAS=1`; `make test` через LB стенда из настоящего `git clone` на нестандартных портах | `PASS: lab3 public API scenario` во всех трёх; в изоляции 127 passed, 4 теста реплик пропущены с причиной «one API process»; сверка покрытия: 135 сценариев, 123 тестом, 12 исключений | `evidence/tests/student-test-lb.md`, `evidence/tests/test-isolated.md`, `evidence/replicas/clean-clone-ports.md` | | «3»: стенд одной командой, ≥2 API, одна точка входа, общие БД и сессии | `make run_docker` (рабочий стенд и настоящий `git clone`); `docker compose ps`, `docker port`, `docker compose config` | `haproxy` — единственный порт API на хосте (`127.0.0.1:8080`), `api` × 2 без портов и `container_name`; общие Postgres (сессии, данные, ключи) и Valkey; миграции — один прогон `migrate` на каждый up, в журналах реплик `alembic` нет; из клона стенд поднимается одной командой, `.env` и `config.toml` создаются сами | `evidence/replicas/stand.md`, `evidence/replicas/clean-clone-ports.md` | | «3»: разные запросы одного пользователя — разными репликами без повторного входа | `make instances` (один вход, 12 × `GET /users/me` с одним токеном); `test_load_balancing.py` | ответы чередуются `3681880fc55f` / `8100f940a5fa` по 6; 20 запросов сессии — по 10; запись через одну реплику видна в чтениях через другую | `evidence/replicas/distribution.md`, `evidence/tests/student-test-lb.md` | -| «3»: отказ любой одной реплики — ≤10 с до новых чтений и записей; `make test-failover` | `make test-failover ACTION_SCRIPT=scripts/stop-one.sh` для каждой реплики, `make replicas` и сдвиг очереди round-robin одним запросом между прогонами; `STOP_ONE_LOG` — какой `TARGET_INSTANCE_ID` выбрал тест; `docker compose ps -a` и `StartedAt` до и после | 2 × `PASS`: остановлены `8100f940a5fa`, затем `3681880fc55f`; первая запись через 1,10–1,11 с, 0 неудачных попыток, по 2 запроса перенаправлены LB; ID остановленного контейнера = `TARGET_INSTANCE_ID`, остальные контейнеры с прежним `StartedAt`; через 20 с реплика всё ещё `exited` | `evidence/failover/test-failover.md` | +| «3»: отказ любой одной реплики — ≤10 с до новых чтений и записей; `make test-failover` | `make test-failover ACTION_SCRIPT=scripts/stop-one.sh` для каждой реплики, `make replicas` и сдвиг очереди round-robin одним запросом между прогонами; `STOP_ONE_LOG` — какой `TARGET_INSTANCE_ID` выбрал тест; `docker compose ps -a` и `StartedAt` до и после | 2 × `PASS`: остановлены `8100f940a5fa`, затем `3681880fc55f`; первая запись через 1,10–1,11 с, 0 неудачных попыток, по 2 запроса перенаправлены LB; ID остановленного контейнера = `TARGET_INSTANCE_ID`, остальные контейнеры с прежним `StartedAt`; через 20 с реплика всё ещё `exited`. С цепочкой таймаутов `graceful-failover` (commit `459f84c`) — снова `PASS` для каждой реплики: `stop` — 0 неудачных попыток, первая запись через 1,62 с; `kill` — 1 неудачная попытка (запрос в полёте), повторена с тем же ключом, первая запись через 0,23 с | `evidence/failover/test-failover.md`, `evidence/tests/graceful-failover-checks.md` | | «3»: отказ процесса без graceful, реплика остаётся остановленной | `STOP_MODE=kill make test-failover …`; через 15 с `docker inspect`; `driver.py --port 8080 kill-inflight` (kill во время входов по Basic) | `PASS`, первая запись через 0,74 с; контейнер `exited` 137, `RestartCount` 0 через 15 с (`restart: unless-stopped` его не поднял); 3 входа в полёте — 502 от LB в формате контракта без повтора (`SH--`, повторов 0), 2 в момент kill — перенаправлены | `evidence/failover/test-failover-kill.md` | | «3»: `make test-persistence` с LB | `make test-persistence ACTION_SCRIPT=scripts/restart.sh`; `StartedAt` до и после | `PASS` за 6,4 с; перезапущены LB, обе реплики, Postgres и Valkey (те же ID, новый `StartedAt`), volume с прежней датой создания | `evidence/replicas/test-persistence.md` | | «3»: повтор `POST` с тем же ключом при переключении реплики | `test_idempotency.py::test_replay_on_other_replica` через LB | отправка через `8100f940a5fa`, повтор через `3681880fc55f` — тот же JSON; другое тело — 409 от обеих реплик | `evidence/tests/student-test-lb.md` | | Failover hook не трогает чужое | `scripts/stop-one.sh` с пустым, не-hex, коротким ID, ID Postgres / Valkey / LB / `migrate`, несуществующим, контейнером `mtusi-lab2`, `STOP_MODE=pause` | код 2 (неверное значение или режим, до вызова docker) или 3 (нет такой работающей реплики); состояние и `StartedAt` всех контейнеров не изменились | `evidence/failover/stop-one-refusals.md` | | «4»: лимиты CPU/RAM, порты API не наружу, секреты только где нужно, нет `container_name` | `docker inspect` (`NanoCpus`, `Memory`), `docker port`, имена переменных из `docker compose config` | лимиты у всех 6 контейнеров; порт API только у LB; пароль Valkey только у `valkey` и `api`, у LB секретов нет; `container_name` нет. Цена лимита 1 CPU для Argon2id измерена (раздел «Ограничения») | `evidence/replicas/stand.md` | | «4» (часть): LB исключает недоступный backend; период проверок | `make lb_stats`, `docker compose logs -t haproxy`; все реплики остановлены; одна реплика заморожена `docker pause`; PostgreSQL остановлен | период 1 с, `fall 2`, `rise 2`, `timeout check` 3 с; остановленные реплики `DOWN` / в обслуживании, вернувшиеся — после проверки; зависшая — `DOWN` через 7,7 с (формула худшего случая — 8 с), запрос в полёте — 504 в формате контракта; без PostgreSQL обе реплики отвечают на проверку 503 и исключаются за 1,2–1,8 с; без реплик LB отвечает 503 в формате контракта, healthcheck LB `unhealthy`. Замер обнаружения по режимам под нагрузкой — строка ниже (change `graceful-failover`; `timeout check` с тех пор 2,5 с и `fastinter 500ms`) | `evidence/replicas/lb-errors.md`, `evidence/failover/test-failover.md` | -| «4»: health/readiness, таймауты и прекращение приёма при SIGTERM согласованы; период проверок и максимальное время обнаружения | таблица цепочки таймаутов (раздел «Балансировщик и реплики»); `make bench_failover FAILOVER_LABEL=baseline` (commit `459f84c`, хост проверен); `driver.py --port 8080 idle-conns`; `driver.py --port 8080 hang-key`; запуск с неверными сроками | проверка раз в 1 с, `fastinter` 0,5 с, `fall 2`, `rise 2`, `timeout check` 2,5 с > 2 с готовности; худшее обнаружение — 2,5 с для остановленной и убитой реплики, 6,5 с для зависшей (было 8 с). Замер под нагрузкой: `stop` и `kill` — 0,79–1,81 с, `pause` — 5,83–6,00 с; возврат в LB — 1,2–1,8 с. Простаивающие соединения с репликами закрывает LB через 10,1 с (keep-alive реплики 60 с > `timeout http-keep-alive` 10 с, `http-reuse never`). Транзакцию замороженной реплики PostgreSQL прерывает через 10 с простоя: повтор того же ключа — 201, одно сообщение. Неверные сроки — сервис не стартует | `evidence/failover/detection.md`, `evidence/failover/keep-alive.md`, `evidence/failover/hung-key.md`, `evidence/failover/baseline/` | +| «4»: health/readiness, таймауты и прекращение приёма при SIGTERM согласованы; период проверок и максимальное время обнаружения | таблица цепочки таймаутов (раздел «Балансировщик и реплики»); `make bench_failover FAILOVER_LABEL=baseline` (commit `459f84c`, хост проверен); `driver.py --port 8080 idle-conns`; `driver.py --port 8080 hang-key`; запуск с неверными сроками | проверка раз в 1 с, `fastinter` 0,5 с, `fall 2`, `rise 2`, `timeout check` 2,5 с > 2 с готовности; худшее обнаружение — 2,5 с для остановленной и убитой реплики, 6,5 с для зависшей (было 8 с). Замер под нагрузкой: `stop` и `kill` — 0,79–1,81 с, `pause` — 5,83–6,00 с; возврат в LB — 1,2–1,8 с. Простаивающие соединения с репликами закрывает LB через 10,1 с (keep-alive реплики 60 с > `timeout http-keep-alive` 10 с, `http-reuse never`). Отвергнутый вариант — пул LB (`http-reuse safe`) при том же keep-alive 60 с — переснят на закоммиченном коде временным вторым HAProxy с одной изменённой строкой: последнее соединение закрыла реплика через 60,4 с. Транзакцию замороженной реплики PostgreSQL прерывает через 10 с простоя: повтор того же ключа — 201, одно сообщение; временный триггер сценария удаляется и при Ctrl+C или SIGTERM. Неверные сроки — сервис не стартует | `evidence/failover/detection.md`, `evidence/failover/keep-alive.md`, `evidence/failover/hung-key.md`, `evidence/failover/baseline/` | | «4»: последовательная остановка каждой реплики с восстановлением предыдущей: RPS, ошибки, время восстановления | `make bench_failover FAILOVER_LABEL=baseline`: 100 записей с ключом и 100 чтений в секунду, каждая из двух реплик в режимах `stop`, `kill`, `pause`, возврат через 20 с | 6 фаз. `stop` и `kill`: ~200 успешных ответов в секунду всё время, 0 ошибок, восстановление 0 с, всплеск p95 до 505 мс в секунду действия. `pause`: 602 и 584 ответа 504 (половина запросов ~6 с до исключения), доля успешных 0,5, восстановление 6 с. После возврата ошибок нет. Неуспешные записи повторены с тем же ключом: сообщений 30 005 = ключей 30 005, одинаковых текстов нет | `evidence/failover/baseline/summary.md`, `evidence/failover/detection.md` | | Регрессия на итоговом commit `graceful-failover` | `make test`, `make student_test` через LB, `make test-persistence`, `make test-failover` (`stop` и `kill`), `make test_isolated`, `make failure_checks`, `make bench_quick`, `make bench_restore_quick`, `make bench_failover_quick` | всё код 0: 131 passed через LB; 127 passed и 4 пропуска с причиной в изоляции; 15 проверок отказов; профили лабы 2 на стенде с HAProxy и одной репликой; быстрый профиль отказа — 4 фазы, сверка сошлась | `evidence/tests/graceful-failover-checks.md` | | Масштабирование без правки LB | `make replicas API_REPLICAS=3`, затем `make replicas` | третья реплика в распределении через 2 с без правки `haproxy.cfg`; обратно — две | `evidence/replicas/distribution.md` | @@ -500,14 +500,20 @@ TODO: какие отказы выдерживаются и какие нет; `evidence/failover/keep-alive.md`). Но при SIGTERM uvicorn сразу закрывает простаивающие соединения, и запрос, который LB в тот же миг отправил в такое соединение, получает 502 без повтора. Под - нагрузкой 200 запросов в секунду — одиночный 502 в 3 из 14 фаз `stop` - с `http-reuse never` и в 1 из 9 с пулом (`safe`), доля успешных в - секунде не ниже 99 %. Клиенты с новым соединением на запрос (`make - test-failover`) его не встречают; отправку сообщения клиент повторяет - с тем же ключом. Убрать гонку совсем может дренаж перед SIGTERM: - `/health/ready` отвечает 503, LB выводит реплику за 1,5 с, затем - остановка. Это меняет поведение остановки (новые запросы после - SIGTERM ещё принимаются) и срок (1,5 + 8 с > 9 с hook) — не сделано. + нагрузкой 200 запросов в секунду на закоммиченном коде — одиночный 502 + в 1 из 4 фаз `stop` (регрессия и замер `baseline`), доля успешных в + секунде не ниже 99 %. С пулом (`safe`) гонка та же: в разведке на + рабочем дереве — 1 из 9 фаз против 2 из 10 с `never`, разница в + пределах случайности (это история поиска, не доказательство, + `evidence/failover/keep-alive.md`). Клиенты с новым соединением на + запрос (`make test-failover`) его не встречают; отправку сообщения + клиент повторяет с тем же ключом. README допускает краткие ошибки во + время обнаружения отказа, если они измерены. Убрать гонку совсем может + дренаж перед SIGTERM: реплика выводится из LB, затем остановка. Это + меняет поведение остановки (новые запросы после SIGTERM ещё + принимаются) или срок hook (1,5 + 8 с > 9 с) — здесь не сделано, + перенесено в change `rolling-update`: поочерёдная замена и так выводит + старую реплику из LB до остановки. - **Профиль отказа — один прогон на фазу, один хост.** Замер показывает поведение и порядок величин, а не распределение. Генератор, LB, реплики и PostgreSQL делят ВМ Docker (`evidence/failover/baseline/`). diff --git a/evidence/failover/hung-key.md b/evidence/failover/hung-key.md index a647eeff..53b87dd3 100644 --- a/evidence/failover/hung-key.md +++ b/evidence/failover/hung-key.md @@ -3,9 +3,9 @@ | | | |---|---| | Спеки | `load-balancing` «Транзакции зависшей реплики» — «Простой в транзакции», «Повтор ключа после зависшей реплики»; «Время обнаружения отказа» — «Зависшая реплика» (вне нагрузки); `service-configuration` «Таймауты соединений за балансировщиком» — «Сроки по умолчанию», «Срок не число», «Срок простоя транзакции не больше срока запроса» | -| Change | `graceful-failover`, задачи 1.1, 1.2, 4.1 и 6.2 (design, решения 4 и 8) | -| Дата | 2026-10-10 20:22:58–20:23:18 UTC (сценарий), проверки настроек — ниже | -| Commit | `459f84c` (стенд пересоздан с этого commit: `make down`, `make run_docker`) | +| Change | `graceful-failover`, задачи 1.1, 1.2, 4.1 и 6.2 (design, решения 4, 8 и 10) | +| Дата | 2026-10-10 20:22:58–20:23:18 UTC (сценарий), проверки настроек — ниже; verify (уборка триггера при прерывании) — 21:01:27–21:02:10 UTC | +| Commit | `459f84c` (стенд пересоздан с этого commit: `make down`, `make run_docker`); verify — драйвер `12783aa` против того же стенда (код приложения не менялся) | | Стенд | `make run_docker`: проект `mtusi-lab3`, HAProxy на `127.0.0.1:8080`, `api` × 2 | | Хост | Docker Desktop 29.8.2, macOS arm64; ВМ Docker: 12 CPU, 7,7 GiB RAM; питание от сети | @@ -35,7 +35,9 @@ hang-key`: вставляется раньше сообщения, `service-layer.md`); 4. повторы K с тем же телом через LB до 201; 5. разморозка, история чата через LB, строка журнала PostgreSQL; -6. триггер удаляется в `finally`. +6. триггер удаляется в `finally`, реплика размораживается — при любом + исходе, в том числе по Ctrl+C, SIGTERM и SIGHUP (с `12783aa`, раздел + «Уборка при прерывании»). Ключ, токен и пароль не печатаются. Время — секунды от начала сценария. @@ -104,6 +106,73 @@ free slots: 6 держит транзакцию не дольше этого срока — `get_db_session` закрывает соединение по сроку (`infra.md`). +## Уборка при прерывании (verify) + +Триггер — изменение схемы базы рабочего стенда, поэтому verify +проверил, что он не остаётся. С `12783aa`: + +- функция и триггер называются `hang_probe_<метка запуска>` и + срабатывают только на пробный текст `hang-probe-<метка>`: другие + вставки и одновременный второй запуск они не задевают; +- SIGTERM и SIGHUP драйвер превращает в `KeyboardInterrupt`, как + Ctrl+C, и `finally` размораживает реплику и удаляет триггер; +- если удалить не удалось (PostgreSQL недоступен, второе прерывание + во время уборки), команда печатает SQL удаления и выходит с кодом 1. + От SIGKILL уборки нет — это единственный исход, после которого + триггер остаётся. + +Тот же сценарий целиком, затем прерывание через 1–1,5 с после заморозки +— Ctrl+C (SIGINT группе процессов) и `kill` (SIGTERM процессу +драйвера). Обёртка (вне репозитория) запускает драйвер, ждёт строку +о заморозке, проверяет в PostgreSQL число функций и триггеров +`hang_probe%` и состояние реплик, шлёт сигнал и проверяет снова. +Traceback прерывания сокращён до последней строки: + +```text +### 2026-10-10T21:01:27Z $ python3 .claude/skills/run-mtusi-messenger/driver.py --port 8080 hang-key +trigger hang_probe_0766bae7: INSERT of the probe message sleeps 2 s + 0.86 s paused replica bbc91284862a inside the transaction with the key (INSERT of the probe message); its connections: idle_in_transaction_session_timeout = 10s + 0.86 s retry with the same key: 503 via abd10a328015 in 5.03 s + 6.40 s retry with the same key: 504 via LB in 10.02 s +16.92 s retry with the same key: 201 via abd10a328015 in 2.04 s +10.17 s original request answered: 504 via LB +12.20 s postgres: 2026-10-10 21:01:39.529 UTC [46] FATAL: terminating connection due to idle-in-transaction timeout +19.09 s unpaused bbc91284862a +chat history: 200, 1 message(s) with the probe text; all replicas UP in LB: True +trigger hang_probe_0766bae7 removed + +### 2026-10-10T21:01:53Z — SIGINT группе (Ctrl+C) +before: triggers=0 functions=0; abd10a328015 running paused=false; bbc91284862a running paused=false + | trigger hang_probe_4b7969f3: INSERT of the probe message sleeps 2 s + | 0.78 s paused replica abd10a328015 inside the transaction with the key (INSERT of the probe message); its connections: idle_in_transaction_session_timeout = 10s + 1.93 s during pause: triggers=1 functions=1; abd10a328015 paused paused=true; bbc91284862a running paused=false + 2.19 s sent SIGINT + | trigger hang_probe_4b7969f3 removed + | Traceback (most recent call last): … KeyboardInterrupt +driver exit code -2 +after: triggers=0 functions=0; abd10a328015 running paused=false; bbc91284862a running paused=false + +### 2026-10-10T21:02:02Z — SIGTERM процессу драйвера (kill) +before: triggers=0 functions=0; abd10a328015 running paused=false; bbc91284862a running paused=false + | trigger hang_probe_9d7f5195: INSERT of the probe message sleeps 2 s + | 0.81 s paused replica bbc91284862a inside the transaction with the key (INSERT of the probe message); its connections: idle_in_transaction_session_timeout = 10s + 2.04 s during pause: triggers=1 functions=1; abd10a328015 running paused=false; bbc91284862a paused paused=true + 2.24 s sent SIGTERM + | trigger hang_probe_9d7f5195 removed + | Traceback (most recent call last): … KeyboardInterrupt: SIGTERM +driver exit code -2 +after: triggers=0 functions=0; abd10a328015 running paused=false; bbc91284862a running paused=false +``` + +- Полный сценарий на новом коде — тот же итог, что выше: 201 после + прерывания транзакции, одно сообщение, триггер удалён. +- При обоих прерываниях во время заморозки триггер и функция были + (`triggers=1 functions=1`, реплика `paused`), после — нет, обе реплики + работают и не заморожены. Код выхода −2: необработанный + `KeyboardInterrupt` Python завершает процесс сигналом SIGINT. +- Ветка «удалить не удалось» не воспроизводилась: для неё нужен + недоступный PostgreSQL ровно во время уборки. + ## Настройки сроков (`service-configuration`) 2026-10-10 ~20:48 UTC, тот же стенд и образ `459f84c`. Значения по diff --git a/evidence/failover/keep-alive.md b/evidence/failover/keep-alive.md index 407a6380..5649da05 100644 --- a/evidence/failover/keep-alive.md +++ b/evidence/failover/keep-alive.md @@ -3,10 +3,10 @@ | | | |---|---| | Спеки | `graceful-shutdown` «Простаивающие соединения закрывает балансировщик» — «Клиенты молчат после всплеска»; «Остановка реплики за балансировщиком» — «docker stop под нагрузкой», «Клиент с новым соединением на запрос» | -| Change | `graceful-failover`, задачи 2.1, 4.1 и 6.2 (design, решение 3) | -| Дата | 2026-10-10: проверка итога 20:22:46 UTC; разведка и сравнение вариантов — 19:18–20:41 UTC | -| Commit | итог — `459f84c` (стенд пересоздан с него); разведка — `aec6f23` (до change) и рабочее дерево поверх `b76a666` с вариантами конфигурации, помечено у каждой таблицы | -| Стенд | `make run_docker`: проект `mtusi-lab3`, HAProxy на `127.0.0.1:8080`, `api` × 2; сравнение под нагрузкой — профиль `failover_quick` на стенде `mtusi-bench` | +| Change | `graceful-failover`, задачи 2.1, 4.1 и 6.2 (design, решения 3 и 10) | +| Дата | 2026-10-10: проверка итога 20:22:46 UTC; verify — 21:02:12 (итог) и 21:02:56 UTC (вариант `safe`); разведка и сравнение вариантов — 19:18–20:41 UTC | +| Commit | итог — `459f84c` (стенд пересоздан с него); verify — `12783aa` (код приложения и действующая часть `haproxy.cfg` те же, что в `459f84c`: `git diff 459f84c 12783aa -- src docker-compose.yml Dockerfile` пуст, в `haproxy.cfg` изменён только комментарий); разведка — `aec6f23` (до change) и рабочее дерево поверх `b76a666` с вариантами конфигурации, помечено у каждой таблицы | +| Стенд | `make run_docker`: проект `mtusi-lab3`, HAProxy на `127.0.0.1:8080`, `api` × 2; вариант `safe` — временный второй HAProxy того же образа в сети стенда (ниже); сравнение под нагрузкой — профиль `failover_quick` на стенде `mtusi-bench` | | Хост | Docker Desktop 29.8.2, macOS arm64; ВМ Docker: 12 CPU, 7,7 GiB RAM; питание от сети | ## Задача @@ -55,18 +55,90 @@ replicas hold no connections 10.1 s after the last request (replica keep-alive 6 60 с (`[app] keep_alive_seconds`), прежние 5 с uvicorn уже прошли — значит, новый срок действует, и закрыл LB. +## Отвергнутый вариант на закоммиченном коде (verify) + +Первый вариант design — пул LB (`http-reuse safe`) и длинный keep-alive +реплики — в apply проверялся только на рабочем дереве. В verify он +переснят на закоммиченном коде переключением одного параметра LB, без +правки дерева: реплики стенда — образ `459f84c` с keep-alive 60 с, перед +ними временный второй HAProxy того же образа с копией закоммиченного +`haproxy.cfg`, где отличается одна строка: + +```text +$ diff infra/haproxy/haproxy.cfg <копия>/haproxy-safe.cfg +89c89 +< http-reuse never +--- +> http-reuse safe +$ docker run -d --name mtusi-lab3-lbvariant --network mtusi-lab3_default \ + -p 127.0.0.1:18081:8080 -e API_PORT=8080 --cpus 1 --memory 256m --memory-swap 256m \ + -v <копия>/haproxy-safe.cfg:/usr/local/etc/haproxy/haproxy.cfg:ro \ + haproxy:3.4.6-trixie@sha256:e2739156… # тот же пин, что в docker-compose.yml +``` + +`pool-purge-delay` не задан: по умолчанию он и есть 5 с, как в первом +варианте. Сначала тот же замер через LB стенда (`never`) кодом +`12783aa`, затем через временный LB (`safe`); пул в последнем столбце — +этого временного LB (`--lb`): + +```text +### 2026-10-10T21:02:12Z $ python3 .claude/skills/run-mtusi-messenger/driver.py --port 8080 idle-conns +burst: 20 keep-alive clients × 50 GET /health/live through LB: {200: 1000}; clients stay connected and idle +t, s replica: connections on its API port | LB pool idle+safe + 0.0 abd10a328015: 20 | 0 bbc91284862a: 20 | 0 + … (без изменений до 9,1 с) + 9.1 abd10a328015: 20 | 0 bbc91284862a: 20 | 0 + 10.1 abd10a328015: 0 | 0 bbc91284862a: 0 | 0 + 11.1 abd10a328015: 0 | 0 bbc91284862a: 0 | 0 +replicas hold no connections 10.1 s after the last request (replica keep-alive 60 s): closed by LB +### exit 0 + +### 2026-10-10T21:02:56Z $ python3 .claude/skills/run-mtusi-messenger/driver.py --port 18081 idle-conns --lb mtusi-lab3-lbvariant +burst: 20 keep-alive clients × 50 GET /health/live through LB: {200: 1000}; clients stay connected and idle +t, s replica: connections on its API port | LB pool idle+safe + 0.0 abd10a328015: 10 | 10 bbc91284862a: 15 | 15 + … (без изменений до 14,1 с) + 14.1 abd10a328015: 10 | 10 bbc91284862a: 15 | 15 + 15.1 abd10a328015: 6 | 6 bbc91284862a: 10 | 10 + 20.1 abd10a328015: 3 | 3 bbc91284862a: 6 | 6 + 25.1 abd10a328015: 1 | 1 bbc91284862a: 3 | 3 + 30.2 abd10a328015: 1 | 1 bbc91284862a: 1 | 1 + … (без изменений до 59,4 с) + 59.4 abd10a328015: 1 | 1 bbc91284862a: 1 | 1 + 60.4 abd10a328015: 0 | 0 bbc91284862a: 0 | 0 + 61.4 abd10a328015: 0 | 0 bbc91284862a: 0 | 0 +replicas hold no connections 60.4 s after the last request (replica keep-alive 60 s): closed by the replica +### exit 1 +$ docker rm -f mtusi-lab3-lbvariant +``` + +Строки между отмеченными секундами опущены: числа в них те же, что в +строке выше. Полный вывод — 62 строки, по одной в секунду. + +- С пулом соединения с репликами живут в общем пуле LB (столбец пула + равен соединениям реплики). Клиенты замолчали — через 10 с LB закрыл + их сеансы, а соединения с репликами остались в пуле. Дальше уборка + пула закрывает около половины каждые 5 с (15 → 10 → 6 → 3 → 1), но + последнее соединение к каждой реплике держит, пока его не закрывает + реплика по своему keep-alive — через 60,4 с. В этот момент LB может + отправить в него запрос, клиент получит 502. +- С `never` соединения принадлежат сеансам клиентов и закрываются вместе + с ними через 10,1 с: раньше срока реплики, закрывает LB. + +Так на закоммиченном коде подтверждён вывод разведки (таблица ниже): +длинный keep-alive реплики с пулом LB делает гонку реже, но не убирает +её, поэтому выбран `never`. + ## Как пришли к итогу (разведка) +Эта таблица — история поиска. Доказательство итога и отвергнутого +варианта — разделы выше, снятые с закоммиченного кода. + | Конфигурация | Когда реплики остались без соединений | Кто закрыл | Где снято | |---|---|---|---| | `http-reuse safe` (по умолчанию), keep-alive uvicorn 5 с — до change | весь пул LB разом через ~5 с после всплеска | реплика | `aec6f23`, всплеск k6 300 запросов/с 5 с, статистика LB раз в секунду: `safe_conn_cur` 22 и 13 → 0 между 4-й и 5-й секундой | -| `http-reuse safe`, keep-alive 60 с, `pool-purge-delay 5s` — первый вариант design | пул уменьшался ступенями каждые 5 с (15 → 10 → 6 → 3 → 1 у одной реплики, 11 → 7 → 4 → 2 → 0 у другой), но последнее соединение LB держал до 60,3 с | реплика | рабочее дерево с этим вариантом, первая версия `idle-conns` (клиенты закрывались после всплеска) | -| `http-reuse never`, keep-alive 60 с — итог | 10,1 с | LB | `459f84c`, вывод выше | - -Первый вариант опирался на то, что уборка пула HAProxy закроет и -последнее простаивающее соединение. Проверка это опровергла: одно -соединение к реплике HAProxy оставляет сколь угодно долго. Длинный -keep-alive делал гонку реже, но не убирал её. +| `http-reuse safe`, keep-alive 60 с, `pool-purge-delay 5s` — первый вариант design | пул уменьшался ступенями каждые 5 с (15 → 10 → 6 → 3 → 1 у одной реплики, 11 → 7 → 4 → 2 → 0 у другой), но последнее соединение LB держал до 60,3 с | реплика | рабочее дерево с этим вариантом, первая версия `idle-conns` (клиенты закрывались после всплеска); переснято в verify — раздел выше, 60,4 с | +| `http-reuse never`, keep-alive 60 с — итог | 10,1 с | LB | `459f84c`, вывод выше; в verify — то же на `12783aa` | ## Гонка при SIGTERM остаётся @@ -77,19 +149,31 @@ keep-alive делал гонку реже, но не убирал её. записей и 100 чтений в секунду, ~4 600 запросов в быстрой фазе и ~10 000 в полной): +Закоммиченный код (`459f84c`, `http-reuse never`) — доказательство: + +| Прогон | Фаз `stop` | Фаз с ошибкой | Ошибки | +|---|---|---|---| +| регрессия: `quick-failover-20261010T203941Z` (`../tests/graceful-failover-checks.md`) | 2 | 1 | один 502 | +| замер: метка `baseline` (`baseline/`) | 2 | 0 | — | + +Разведка в apply на рабочем дереве поверх `b76a666` — история поиска, +не доказательство: + | Режим LB | Прогон | Фаз `stop` | Фаз с ошибкой | Ошибки | |---|---|---|---|---| -| `safe` | разведка, рабочее дерево поверх `b76a666`: `quick-failover-20261010T194148Z`, `…194627Z`, `quick-failover-safe-201319`, `…-201424` (одна фаза), `…-201530` | 9 | 1 | один 502 | -| `never` | разведка, рабочее дерево поверх `b76a666`: `quick-failover-20261010T200206Z`, `quick-failover-never-200944`, `…-201055`, `…-201201`, `quick-failover-20261010T201807Z` | 10 | 2 | по одному 502; в `200206Z` — через 0,07 с после SIGTERM | -| `never` | регрессия `459f84c`: `quick-failover-20261010T203941Z` (`../tests/graceful-failover-checks.md`) | 2 | 1 | один 502 | -| `never` | замер `459f84c`: метка `baseline` (`baseline/`) | 2 | 0 | — | +| `safe` | `quick-failover-20261010T194148Z`, `…194627Z`, `quick-failover-safe-201319`, `…-201424` (одна фаза), `…-201530` | 9 | 1 | один 502 | +| `never` | `quick-failover-20261010T200206Z`, `quick-failover-never-200944`, `…-201055`, `…-201201`, `quick-failover-20261010T201807Z` | 10 | 2 | по одному 502; в `200206Z` — через 0,07 с после SIGTERM | Пробные метки `quick-*` в git не идут (`.gitignore`), числа выше перенесены из их `phases.csv`. -- Разница между режимами в пределах случайности: одиночные события на - тысячи запросов фазы. `never` при этом убирает гонку по сроку - простоя, поэтому выбран он. +- Гонку при SIGTERM `never` не убирает: на закоммиченном коде — + одиночный 502 в 1 из 4 фаз `stop`. Сравнение с `safe` под нагрузкой + есть только в разведке (2 из 10 против 1 из 9 — одиночные события на + тысячи запросов фазы, разница в пределах случайности), поэтому + «`never` лучше `safe` при SIGTERM» не утверждается. `never` выбран за + другое: он убирает гонку по сроку простоя (раздел «Отвергнутый + вариант на закоммиченном коде»). - Ни в одной фазе `stop` доля успешных в секунде не опустилась ниже 99 %, время восстановления — 0 с. Спек `graceful-shutdown` называет этот одиночный 502 исключением прямо. @@ -97,8 +181,10 @@ keep-alive делал гонку реже, но не убирал её. всегда идёт по новому соединению с репликой. Поэтому `make test-failover` (urllib) в режиме `stop` — 0 неудачных попыток (`../tests/graceful-failover-checks.md`). -- Убрать гонку совсем может только дренаж перед SIGTERM: реплика - отвечает на `/health/ready` 503, LB выводит её за 1,5 с, затем - остановка. Это меняет спек `graceful-shutdown` и срок остановки - (1,5 + 8 с > 9 с hook) и в этот change не входит (`REPORT.md`, - «Ограничения»). +- Убрать гонку совсем может только дренаж перед SIGTERM: реплику + выводят из LB, затем останавливают. Это меняет спек + `graceful-shutdown` и срок остановки (1,5 + 8 с > 9 с hook) и в этот + change не входит: README допускает краткие ошибки при обнаружении + отказа, если они измерены. Дренаж перенесён в change `rolling-update` + — поочерёдная замена и так выводит старую реплику из LB до остановки + (design, Risks; `REPORT.md`, «Ограничения»). diff --git a/evidence/tests/graceful-failover-checks.md b/evidence/tests/graceful-failover-checks.md index 66be1699..4d2b8f31 100644 --- a/evidence/tests/graceful-failover-checks.md +++ b/evidence/tests/graceful-failover-checks.md @@ -3,9 +3,9 @@ | | | |---|---| | Спеки | все основные спеки через `make student_test` и сверку покрытия; `load-balancing` «Отказ одной реплики», «Failover hook»; `data-storage` «Данные переживают рестарт»; `load-benchmark` «Фиксированный стенд» — «Одна реплика за балансировщиком», «Лимиты в паспорте», «Профиль отказа реплик» — «Быстрый профиль»; `graceful-shutdown` «Простаивающие соединения закрывает балансировщик» — «Клиенты молчат после всплеска» | -| Change | `graceful-failover`, задача 5.2 | -| Дата | 2026-10-10 20:21:28–20:41:38 UTC | -| Commit | `459f84c` (рабочий стенд пересоздан с него: `make down`, `make run_docker`) | +| Change | `graceful-failover`, задачи 5.2 и 7.1 | +| Дата | 2026-10-10 20:21:28–20:41:38 UTC; часть C (verify) — 21:07:00–21:07:02 UTC | +| Commit | `459f84c` (рабочий стенд пересоздан с него: `make down`, `make run_docker`); часть C — `12783aa` (код приложения тот же) | | Стенд | часть A — рабочий `mtusi-lab3`: HAProxy на `127.0.0.1:8080`, `api` × 2; часть B — свои стенды (`test_isolated`, `<рабочий>-failures`, `mtusi-bench`) | | Хост | Docker Desktop 29.8.2, macOS arm64; ВМ Docker: 12 CPU, 7,7 GiB RAM; питание от сети. Самопроверки, не замеры: хост не готовился, рабочий стенд в части B работал | @@ -139,3 +139,32 @@ coverage: 135 scenarios in 11 specs, 123 tested (16 by make failure_checks), 12 успешных в каждой секунде выше 99 %. - В паспортах самопроверок части B `dirty: true`: в рабочем дереве в это время лежал неотслеживаемый черновик evidence. Код — `459f84c`. + +## Часть C: правки verify (`12783aa`) + +Правки verify (design, решение 10) не меняют приложение и действующую +конфигурацию LB: `git diff 459f84c 12783aa -- src docker-compose.yml +Dockerfile` пуст, в `haproxy.cfg` — только комментарий (`haproxy -c` в +закреплённом образе — код 0). Профили `bench` не перезапускались: их +код не менялся, кроме `compare.py`. Команды драйвера — в +`../failover/keep-alive.md` и `../failover/hung-key.md`. + +```text +### 2026-10-10T21:07:00Z $ uv run python bench/compare.py --before quick-20261010T155358Z --after quick-20261010T203408Z +compare failed: label quick-20261010T155358Z was measured without the load balancer (before change graceful-failover): different methodology +### exit 1 +### 2026-10-10T21:07:01Z $ uv run python bench/compare.py --before quick-20261010T203408Z --after quick-20261010T203408Z +saved to evidence/compare/quick-20261010T203408Z__quick-20261010T203408Z.md +### exit 0 +### 2026-10-10T21:07:01Z $ make test +PASS: lab3 public API scenario; infrastructure and grading evidence remain separate. +``` + +- `quick-20261010T155358Z` — самопроверка до change, стенд без LB (в + паспорте нет `limits.haproxy` и `limits.api_replicas`), сравнение с + меткой стенда с LB — отказ. Раньше команда сравнила бы их и только + предупредила «записан только в одной метке». Две метки стенда с LB + сравниваются как прежде (сравнение пробной метки с собой, файл + результата удалён, `evidence/compare/*quick-*` — в `.gitignore`). +- `make lint`, `make check`, `openspec validate graceful-failover + --strict` — без ошибок. diff --git a/openspec/changes/graceful-failover/design.md b/openspec/changes/graceful-failover/design.md index e4344c08..cfeedaa6 100644 --- a/openspec/changes/graceful-failover/design.md +++ b/openspec/changes/graceful-failover/design.md @@ -191,7 +191,9 @@ uvicorn закрывает простаивающее соединение че Первый вариант design опирался на то, что уборка пула HAProxy закроет и последнее соединение. Проверка это опровергла: HAProxy оставляет одно простаивающее соединение к реплике сколь угодно долго. Длинный -keep-alive делал гонку реже, но не убирал её. +keep-alive делал гонку реже, но не убирал её. В apply вторая строка +таблицы снята на рабочем дереве; verify переснял её на закоммиченном +коде (решение 10): последнее соединение закрыла реплика через 60,4 с. Цена `http-reuse never`: @@ -222,21 +224,23 @@ keep-alive делал гонку реже, но не убирал её. есть доли миллисекунды. Клиенты с новым соединением на запрос, как `tests/resilience.py`, этой гонки не встречают: их запрос всегда идёт по новому соединению с репликой. Профиль `failover` (k6 держит -keep-alive) её измерил в apply, фазы `stop` быстрого профиля: +keep-alive) её измерил, фазы `stop`: -| Режим LB | Фаз `stop` | Фаз с ошибкой | Ошибки | -|---|---|---|---| -| `http-reuse never` | 14 (10 — разведка, 2 — регрессия, 2 — замер `baseline`) | 3 | по одному 502 через доли секунды после SIGTERM | -| `http-reuse safe` | 9 (разведка) | 1 | один 502 | +| Режим LB | Код | Фаз `stop` | Фаз с ошибкой | Ошибки | +|---|---|---|---|---| +| `http-reuse never` | `459f84c`: регрессия и замер `baseline` | 4 | 1 | один 502 через доли секунды после SIGTERM | +| `http-reuse never` | разведка, рабочее дерево | 10 | 2 | по одному 502 | +| `http-reuse safe` | разведка, рабочее дерево | 9 | 1 | один 502 | -Разница в пределах случайности (одиночные события на 4 600–10 000 -запросов фазы), а `never` ещё и убирает гонку по сроку простоя. -Поэтому `never` (на момент выбора было 8 и 2 фазы — так и записано в -комментарии `haproxy.cfg`; таблица по прогонам — -`evidence/failover/keep-alive.md`). Доля успешных в каждой секунде остаётся выше 99 %, время -восстановления — 0 с; дельта спека `graceful-shutdown` называет это -исключение прямо. Убрать гонку совсем может только дренаж перед -SIGTERM (readiness 503, затем остановка) — Risks. +Доказательство — первая строка. Сравнение режимов под нагрузкой есть +только в разведке, и разница в нём в пределах случайности (одиночные +события на 4 600–10 000 запросов фазы). Поэтому выбор `never` опирается +не на него, а на гонку по сроку простоя, которую `never` убирает +(таблица выше, переснята в verify). Таблица по прогонам — +`evidence/failover/keep-alive.md`. Доля успешных в каждой секунде +остаётся выше 99 %, время восстановления — 0 с; дельта спека +`graceful-shutdown` называет это исключение прямо. Убрать гонку совсем +может только дренаж перед SIGTERM — Risks, перенесён в `rolling-update`. ### 4. `idle_in_transaction_session_timeout` 10 с @@ -521,19 +525,73 @@ LB перед действием: слот получает адрес из DNS, Всё снимается с закоммиченного кода. Рабочий стенд пересоздаётся `make down` и `make run_docker`: после пересборки на Docker 29.8 `make run_docker` не пересоздаёт работающие `api` (verify -`replicas-lb`). +`replicas-lb`; записано в `KNOWN_ISSUES.md` для change +`rolling-update`). + +### 10. Правки по verify (2026-10-10) + +Verify сверил код, конфиги, дельты спеков, evidence и `REPORT.md` с +артефактами. Задачи закрыты, требования реализованы (CRITICAL нет). +Найдено и исправлено (commit `12783aa`, evidence — с него): + +- **Отвергнутый вариант опирался на прогон с рабочего дерева.** Вывод + «пул LB и длинный keep-alive реплики не убирают гонку по сроку + простоя» (решение 3) был снят на незакоммиченной конфигурации. + Переснят на закоммиченном коде переключением одного параметра без + правки дерева: временный второй HAProxy того же образа с копией + `haproxy.cfg`, где `http-reuse safe`, перед теми же репликами. + Последнее соединение закрыла реплика через 60,4 с, с `never` — LB + через 10,1 с (`evidence/failover/keep-alive.md`). Для этого у + `idle-conns` появился `--lb <контейнер>`, а итог называет, кто закрыл + (раньше при любом исходе печаталось «closed by LB»). +- **Сравнение `never` и `safe` при SIGTERM — только разведка.** + Формулировки в design, `REPORT.md` и `keep-alive.md` разделяют + доказательство (1 из 4 фаз `stop` на `459f84c`) и разведку; вывод + «`never` лучше при SIGTERM» не делается. +- **Уборка триггера `hang-key`.** Design обещал SQL удаления после + прерванного запуска, а код его не печатал; SIGTERM и SIGHUP обходили + `finally`. Теперь имя триггера с меткой запуска, сигналы превращаются + в `KeyboardInterrupt`, при неудаче уборки печатается SQL и код 1. + Проверено прерыванием Ctrl+C и SIGTERM во время заморозки + (`evidence/failover/hung-key.md`). +- **`make bench_compare` пропускал смену методики.** Метка без LB + сравнивалась с меткой со стендом на LB с одним предупреждением + «записано только в одной метке». Теперь отказ, если + `limits.api_replicas` есть только в одной (`bench.md`). +- **Перенос в `rolling-update`** (записано в `PLAN.md`, раздел change, и + в `KNOWN_ISSUES.md`): + - дренаж перед SIGTERM — убирает одиночный 502 гонки keep-alive + (Risks); README допускает измеренные краткие ошибки, поэтому здесь + не делается; + - `make run_docker` не пересоздаёт работающие `api` после пересборки + образа. +- Мелочи: из комментария `haproxy.cfg` убраны устаревшие числа фаз, в + `Makefile` — длительность быстрого профиля. + +Решено или оставлено осознанно — пункты, переданные из `replicas-lb`: +запас обнаружения зависшей реплики (8 → 6,5 с, решение 2), гонка +keep-alive (по сроку простоя решена, при SIGTERM — исключение и перенос +дренажа), отказ PostgreSQL выводит из LB все реплики (оставлено, Risks и +`REPORT.md`, «Ограничения»), `kill` под нагрузкой (замер `baseline`). ## Risks / Trade-offs - **[Гонка keep-alive при SIGTERM остаётся]** → окно — доли миллисекунды, под нагрузкой 200 запросов в секунду — одиночный 502 в - каждой 4–8-й фазе `stop` (решение 3). Клиенты с новым соединением на - запрос её не встречают. Отправку сообщения клиент повторяет с тем же - ключом. Убрать гонку совсем может дренаж перед SIGTERM: readiness 503, - LB выводит реплику за 1,5 с, затем остановка. Это меняет спек - `graceful-shutdown` (новые запросы после SIGTERM ещё принимаются) и - срок остановки (1,5 с + 8 с > 9 с hook), поэтому не в этом change. - Ограничение — в `REPORT.md`. + части фаз `stop` (1 из 4 на закоммиченном коде, решение 3). Клиенты с + новым соединением на запрос её не встречают. Отправку сообщения клиент + повторяет с тем же ключом. README лабы допускает «краткие ошибки / + оборванные запросы во время обнаружения отказа», если они измерены, а + `make test-failover` учитывает ошибки переходного периода, поэтому + исключение в дельте `graceful-shutdown` не противоречит рубрике. + Убрать гонку совсем может дренаж перед SIGTERM: реплика выводится из + LB (readiness 503 или runtime API HAProxy `set server … state + drain`), затем остановка. Это меняет спек `graceful-shutdown` (новые + запросы после SIGTERM ещё принимаются) или hook (срок остановки 1,5 с + + 8 с > 9 с), поэтому не в этом change. **Перенесено в change + `rolling-update`** (решение 10): поочерёдная замена и так должна + выводить старую реплику из LB до `docker stop`, там дренаж и + появляется. Ограничение — в `REPORT.md`. - **[`/health/ready` через общий пул]** → под перегрузкой проверка ждёт пул, и реплика может выйти из LB. Таймаут 2 с — длиннее любого ожидания в пределах SLO трека 1 (p95 200 мс), поэтому на сериях не @@ -556,8 +614,10 @@ LB перед действием: слот получает адрес из DNS, нет. Новая методика записана в `bench.md`, базовый замер трека 1 снимается после change. - **[Триггер `hang-key` на рабочем стенде]** → срабатывает только на - пробный текст, удаляется в `finally`. Прерванный запуск оставил бы - функцию и триггер: команда печатает SQL удаления. + пробный текст, имя — с меткой запуска, удаляется в `finally`, в том + числе по Ctrl+C, SIGTERM и SIGHUP. Если удалить не удалось, команда + печатает SQL удаления и выходит с кодом 1 (решение 10). Остаётся только + SIGKILL драйвера. ## Migration Plan diff --git a/openspec/changes/graceful-failover/tasks.md b/openspec/changes/graceful-failover/tasks.md index c9ee9f46..00c6ac00 100644 --- a/openspec/changes/graceful-failover/tasks.md +++ b/openspec/changes/graceful-failover/tasks.md @@ -144,3 +144,19 @@ evidence, потом коммит evidence и отчёта. Замеры для - `graphify update .`; - рабочий стенд `mtusi-lab3` запущен через LB, обе реплики `UP`; - рабочее дерево чистое. + +## 7. Правки по verify + +- [x] 7.1 По решению 10: `hang-key` убирает триггер при Ctrl+C, + SIGTERM и SIGHUP и печатает SQL удаления при неудаче; `idle-conns + --lb` и честный итог «кто закрыл»; `make bench_compare` отказывает + метке без LB; комментарий `haproxy.cfg`. Коммит кода, затем evidence с + него: + - `idle-conns` через LB стенда (`never`) и через временный HAProxy с + `http-reuse safe` — `keep-alive.md`; + - `hang-key` целиком и с прерыванием Ctrl+C и SIGTERM во время + заморозки — `hung-key.md`; + - `bench/compare.py` на метке без LB — отказ, на двух метках с LB — + сравнение. + + Перенос в `rolling-update` — `PLAN.md` и `KNOWN_ISSUES.md`.