docs: retake graceful-failover checks after verify

The rejected LB pool variant is re-measured on committed code with a
temporary second HAProxy differing in http-reuse only: the replica, not
the LB, closed the last idle connection after 60.4 s. Exploratory
never/safe SIGTERM numbers are separated from evidence. hang-key cleanup
is shown under Ctrl+C and SIGTERM, bench_compare refuses a label without
the LB. Drain before SIGTERM and the run_docker recreate issue are handed
to rolling-update in PLAN.md and KNOWN_ISSUES.md; design gains decision 10.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
2026-10-11 00:07:21 +03:00
co-authored by Claude Opus 5.5
parent 12783aaff1
commit f38a56c4ea
9 changed files with 387 additions and 68 deletions
+6 -4
View File
@@ -56,10 +56,12 @@ access_log=False)`.
раньше реплики (`balancer.md`, цепочка таймаутов). При SIGTERM uvicorn
закрывает простаивающие соединения сразу. Запрос, который LB отправил
в такое соединение в тот же миг, получает 502: под нагрузкой
200 запросов в секунду — одиночный 502 в каждой 4–8-й фазе `stop`
профиля `failover`. Клиенты с новым соединением на запрос
(`tests/resilience.py`) его не встречают. Убрать его может только
дренаж перед SIGTERM (readiness 503, затем остановка) — его нет.
200 запросов в секунду — одиночный 502 в части фаз `stop` профиля
`failover` (1 из 4 на `459f84c`). Клиенты с новым соединением на
запрос (`tests/resilience.py`) его не встречают. Убрать его может
только дренаж перед SIGTERM (вывод реплики из LB, затем остановка) —
его нет, он перенесён в change `rolling-update` (design
`graceful-failover`, решение 10).
- Console-режим — один процесс на `127.0.0.1` без LB, для разработки и
скилла `run-mtusi-messenger`. Проверки лабы 3 (≥2 реплики, failover,
гонка через разные реплики) — только на стенде compose через LB.
+22
View File
@@ -20,3 +20,25 @@
`evidence/cache/` и `evidence/auth/`, либо сослаться на файлы
репозитория лабы 2 с commit. Тест `test_coverage.py` существование
файлов не проверяет.
## `make run_docker` не пересоздаёт работающие реплики после пересборки
- **Где:** `Makefile`, цель `run_docker` (`$(DC) build`, затем
`$(DC) up -d`).
- **Что не так:** на Docker Desktop 29.8 (Compose 5.5) после пересборки
образа `mtusi-messenger:lab3` повторный `make run_docker` оставлял
работающие контейнеры `api` на прежнем образе: новый код до реплик не
доходил. Поэтому evidence `replicas-lb` и `graceful-failover` снято
после `make down` и `make run_docker`, а не одного `make run_docker`.
Отдельно не воспроизводилось: наблюдение verify `replicas-lb`,
записанное в design `graceful-failover` (решение 9).
- **Найдено:** verify change `replicas-lb` (2026-10-10); перенесено
сюда verify `graceful-failover`, чтобы не потерялось в архиве.
- **Предложение:** решить в change `rolling-update`, где замена реплик
на новый образ — главный сценарий: сначала воспроизвести (пересборка
с безвредной правкой `src`, `make run_docker`, сравнить файл в
контейнере с деревом), затем либо `up -d --force-recreate api` в
`run_docker` (рестарт всех реплик разом — допустим для запуска, не для
обновления), либо направлять обновление только через
`scripts/rolling-update.sh`, а в `run_docker` печатать
предупреждение, если образ реплик не совпадает с собранным.
+29
View File
@@ -492,6 +492,35 @@ Swarm дал бы встроенный rolling update (`update_config`), но э
**Evidence:** `evidence/rollout/` (ошибки по секундам, какие
контейнеры и образы до и после).
**Передано из `graceful-failover`** (design, решение 10; архив
`openspec/changes/archive/`):
- **Дренаж до SIGTERM.** При `docker stop` под нагрузкой остаётся
одиночный 502 (гонка keep-alive: uvicorn закрывает простаивающие
соединения, LB в тот же миг шлёт в одно из них запрос) — 1 из 4 фаз
`stop`. Шаг 5 скрипта должен сначала вывести старую реплику из LB и
дождаться конца её запросов, потом `docker stop`. Варианты: runtime
API HAProxy (`set server api/<слот> state drain`; нужен admin-сокет
внутри сети, слот искать по адресу контейнера, как `lb_stats`) или
readiness 503 по сигналу (меняет спек `graceful-shutdown`). Срок:
вывод из LB ≤ 1,5 с по проверкам (`inter` + `fastinter`) + до 8 с
graceful — больше 9 с `stop-one.sh`, поэтому дренаж — в
`rolling-update.sh`, а не в hook.
- **`make run_docker` не пересоздаёт работающие `api`** после
пересборки образа — `KNOWN_ISSUES.md`.
- **Таймауты для поочерёдной замены:** новая реплика попадает в LB
через ≤ 1,5 с после готовности (`init-state down`, `rise 2`,
`downinter` 1 с + `fastinter` 0,5 с) — шаг 4 ждёт `UP` в статистике
LB, а не только `healthy` контейнера. `http-reuse never`: соединения
с репликой принадлежат сеансам клиентов, клиент k6 с keep-alive
держит соединение с уходящей репликой до её закрытия.
`stop_grace_period` 10 с, `graceful_shutdown_seconds` 8 с.
- **Профиль `rollout` стенда `bench/`** строится по образцу `failover`
(`bench/run.py`, `bench/failover.py`, `k6/failover.js`, `k6/retry.js`):
постоянная интенсивность, строка k6 на запрос, посекундная шкала,
повтор неуспешных записей с тем же ключом и сверка. Метки в
`evidence/rollout/<метка>/`, пробные — в `.gitignore`.
`make bench_compare` метки без LB уже не сравнивает.
### 5. `scaling-bench` — уровень 5, трек 1
**Пункты рубрики «5».**
+16 -10
View File
@@ -287,14 +287,14 @@ TODO: остальные имена skeleton (`APP_HOST`, `APP_PORT`, `APP_ENV`,
| Публичный smoke | `make test` через LB на стенде `make run_docker`; `make test_isolated` (образ из `a4ca9ef`, временная база, один контейнер): `make test` + `make student_test EXPECT_REPLICAS=1`; `make test` через LB стенда из настоящего `git clone` на нестандартных портах | `PASS: lab3 public API scenario` во всех трёх; в изоляции 127 passed, 4 теста реплик пропущены с причиной «one API process»; сверка покрытия: 135 сценариев, 123 тестом, 12 исключений | `evidence/tests/student-test-lb.md`, `evidence/tests/test-isolated.md`, `evidence/replicas/clean-clone-ports.md` |
| «3»: стенд одной командой, ≥2 API, одна точка входа, общие БД и сессии | `make run_docker` (рабочий стенд и настоящий `git clone`); `docker compose ps`, `docker port`, `docker compose config` | `haproxy` — единственный порт API на хосте (`127.0.0.1:8080`), `api` × 2 без портов и `container_name`; общие Postgres (сессии, данные, ключи) и Valkey; миграции — один прогон `migrate` на каждый up, в журналах реплик `alembic` нет; из клона стенд поднимается одной командой, `.env` и `config.toml` создаются сами | `evidence/replicas/stand.md`, `evidence/replicas/clean-clone-ports.md` |
| «3»: разные запросы одного пользователя — разными репликами без повторного входа | `make instances` (один вход, 12 × `GET /users/me` с одним токеном); `test_load_balancing.py` | ответы чередуются `3681880fc55f` / `8100f940a5fa` по 6; 20 запросов сессии — по 10; запись через одну реплику видна в чтениях через другую | `evidence/replicas/distribution.md`, `evidence/tests/student-test-lb.md` |
| «3»: отказ любой одной реплики — ≤10 с до новых чтений и записей; `make test-failover` | `make test-failover ACTION_SCRIPT=scripts/stop-one.sh` для каждой реплики, `make replicas` и сдвиг очереди round-robin одним запросом между прогонами; `STOP_ONE_LOG` — какой `TARGET_INSTANCE_ID` выбрал тест; `docker compose ps -a` и `StartedAt` до и после | 2 × `PASS`: остановлены `8100f940a5fa`, затем `3681880fc55f`; первая запись через 1,10–1,11 с, 0 неудачных попыток, по 2 запроса перенаправлены LB; ID остановленного контейнера = `TARGET_INSTANCE_ID`, остальные контейнеры с прежним `StartedAt`; через 20 с реплика всё ещё `exited` | `evidence/failover/test-failover.md` |
| «3»: отказ любой одной реплики — ≤10 с до новых чтений и записей; `make test-failover` | `make test-failover ACTION_SCRIPT=scripts/stop-one.sh` для каждой реплики, `make replicas` и сдвиг очереди round-robin одним запросом между прогонами; `STOP_ONE_LOG` — какой `TARGET_INSTANCE_ID` выбрал тест; `docker compose ps -a` и `StartedAt` до и после | 2 × `PASS`: остановлены `8100f940a5fa`, затем `3681880fc55f`; первая запись через 1,10–1,11 с, 0 неудачных попыток, по 2 запроса перенаправлены LB; ID остановленного контейнера = `TARGET_INSTANCE_ID`, остальные контейнеры с прежним `StartedAt`; через 20 с реплика всё ещё `exited`. С цепочкой таймаутов `graceful-failover` (commit `459f84c`) — снова `PASS` для каждой реплики: `stop` — 0 неудачных попыток, первая запись через 1,62 с; `kill` — 1 неудачная попытка (запрос в полёте), повторена с тем же ключом, первая запись через 0,23 с | `evidence/failover/test-failover.md`, `evidence/tests/graceful-failover-checks.md` |
| «3»: отказ процесса без graceful, реплика остаётся остановленной | `STOP_MODE=kill make test-failover …`; через 15 с `docker inspect`; `driver.py --port 8080 kill-inflight` (kill во время входов по Basic) | `PASS`, первая запись через 0,74 с; контейнер `exited` 137, `RestartCount` 0 через 15 с (`restart: unless-stopped` его не поднял); 3 входа в полёте — 502 от LB в формате контракта без повтора (`SH--`, повторов 0), 2 в момент kill — перенаправлены | `evidence/failover/test-failover-kill.md` |
| «3»: `make test-persistence` с LB | `make test-persistence ACTION_SCRIPT=scripts/restart.sh`; `StartedAt` до и после | `PASS` за 6,4 с; перезапущены LB, обе реплики, Postgres и Valkey (те же ID, новый `StartedAt`), volume с прежней датой создания | `evidence/replicas/test-persistence.md` |
| «3»: повтор `POST` с тем же ключом при переключении реплики | `test_idempotency.py::test_replay_on_other_replica` через LB | отправка через `8100f940a5fa`, повтор через `3681880fc55f` — тот же JSON; другое тело — 409 от обеих реплик | `evidence/tests/student-test-lb.md` |
| Failover hook не трогает чужое | `scripts/stop-one.sh` с пустым, не-hex, коротким ID, ID Postgres / Valkey / LB / `migrate`, несуществующим, контейнером `mtusi-lab2`, `STOP_MODE=pause` | код 2 (неверное значение или режим, до вызова docker) или 3 (нет такой работающей реплики); состояние и `StartedAt` всех контейнеров не изменились | `evidence/failover/stop-one-refusals.md` |
| «4»: лимиты CPU/RAM, порты API не наружу, секреты только где нужно, нет `container_name` | `docker inspect` (`NanoCpus`, `Memory`), `docker port`, имена переменных из `docker compose config` | лимиты у всех 6 контейнеров; порт API только у LB; пароль Valkey только у `valkey` и `api`, у LB секретов нет; `container_name` нет. Цена лимита 1 CPU для Argon2id измерена (раздел «Ограничения») | `evidence/replicas/stand.md` |
| «4» (часть): LB исключает недоступный backend; период проверок | `make lb_stats`, `docker compose logs -t haproxy`; все реплики остановлены; одна реплика заморожена `docker pause`; PostgreSQL остановлен | период 1 с, `fall 2`, `rise 2`, `timeout check` 3 с; остановленные реплики `DOWN` / в обслуживании, вернувшиеся — после проверки; зависшая — `DOWN` через 7,7 с (формула худшего случая — 8 с), запрос в полёте — 504 в формате контракта; без PostgreSQL обе реплики отвечают на проверку 503 и исключаются за 1,2–1,8 с; без реплик LB отвечает 503 в формате контракта, healthcheck LB `unhealthy`. Замер обнаружения по режимам под нагрузкой — строка ниже (change `graceful-failover`; `timeout check` с тех пор 2,5 с и `fastinter 500ms`) | `evidence/replicas/lb-errors.md`, `evidence/failover/test-failover.md` |
| «4»: health/readiness, таймауты и прекращение приёма при SIGTERM согласованы; период проверок и максимальное время обнаружения | таблица цепочки таймаутов (раздел «Балансировщик и реплики»); `make bench_failover FAILOVER_LABEL=baseline` (commit `459f84c`, хост проверен); `driver.py --port 8080 idle-conns`; `driver.py --port 8080 hang-key`; запуск с неверными сроками | проверка раз в 1 с, `fastinter` 0,5 с, `fall 2`, `rise 2`, `timeout check` 2,5 с > 2 с готовности; худшее обнаружение — 2,5 с для остановленной и убитой реплики, 6,5 с для зависшей (было 8 с). Замер под нагрузкой: `stop` и `kill` — 0,79–1,81 с, `pause` — 5,83–6,00 с; возврат в LB — 1,2–1,8 с. Простаивающие соединения с репликами закрывает LB через 10,1 с (keep-alive реплики 60 с > `timeout http-keep-alive` 10 с, `http-reuse never`). Транзакцию замороженной реплики PostgreSQL прерывает через 10 с простоя: повтор того же ключа — 201, одно сообщение. Неверные сроки — сервис не стартует | `evidence/failover/detection.md`, `evidence/failover/keep-alive.md`, `evidence/failover/hung-key.md`, `evidence/failover/baseline/` |
| «4»: health/readiness, таймауты и прекращение приёма при SIGTERM согласованы; период проверок и максимальное время обнаружения | таблица цепочки таймаутов (раздел «Балансировщик и реплики»); `make bench_failover FAILOVER_LABEL=baseline` (commit `459f84c`, хост проверен); `driver.py --port 8080 idle-conns`; `driver.py --port 8080 hang-key`; запуск с неверными сроками | проверка раз в 1 с, `fastinter` 0,5 с, `fall 2`, `rise 2`, `timeout check` 2,5 с > 2 с готовности; худшее обнаружение — 2,5 с для остановленной и убитой реплики, 6,5 с для зависшей (было 8 с). Замер под нагрузкой: `stop` и `kill` — 0,79–1,81 с, `pause` — 5,83–6,00 с; возврат в LB — 1,2–1,8 с. Простаивающие соединения с репликами закрывает LB через 10,1 с (keep-alive реплики 60 с > `timeout http-keep-alive` 10 с, `http-reuse never`). Отвергнутый вариант — пул LB (`http-reuse safe`) при том же keep-alive 60 с — переснят на закоммиченном коде временным вторым HAProxy с одной изменённой строкой: последнее соединение закрыла реплика через 60,4 с. Транзакцию замороженной реплики PostgreSQL прерывает через 10 с простоя: повтор того же ключа — 201, одно сообщение; временный триггер сценария удаляется и при Ctrl+C или SIGTERM. Неверные сроки — сервис не стартует | `evidence/failover/detection.md`, `evidence/failover/keep-alive.md`, `evidence/failover/hung-key.md`, `evidence/failover/baseline/` |
| «4»: последовательная остановка каждой реплики с восстановлением предыдущей: RPS, ошибки, время восстановления | `make bench_failover FAILOVER_LABEL=baseline`: 100 записей с ключом и 100 чтений в секунду, каждая из двух реплик в режимах `stop`, `kill`, `pause`, возврат через 20 с | 6 фаз. `stop` и `kill`: ~200 успешных ответов в секунду всё время, 0 ошибок, восстановление 0 с, всплеск p95 до 505 мс в секунду действия. `pause`: 602 и 584 ответа 504 (половина запросов ~6 с до исключения), доля успешных 0,5, восстановление 6 с. После возврата ошибок нет. Неуспешные записи повторены с тем же ключом: сообщений 30 005 = ключей 30 005, одинаковых текстов нет | `evidence/failover/baseline/summary.md`, `evidence/failover/detection.md` |
| Регрессия на итоговом commit `graceful-failover` | `make test`, `make student_test` через LB, `make test-persistence`, `make test-failover` (`stop` и `kill`), `make test_isolated`, `make failure_checks`, `make bench_quick`, `make bench_restore_quick`, `make bench_failover_quick` | всё код 0: 131 passed через LB; 127 passed и 4 пропуска с причиной в изоляции; 15 проверок отказов; профили лабы 2 на стенде с HAProxy и одной репликой; быстрый профиль отказа — 4 фазы, сверка сошлась | `evidence/tests/graceful-failover-checks.md` |
| Масштабирование без правки LB | `make replicas API_REPLICAS=3`, затем `make replicas` | третья реплика в распределении через 2 с без правки `haproxy.cfg`; обратно — две | `evidence/replicas/distribution.md` |
@@ -500,14 +500,20 @@ TODO: какие отказы выдерживаются и какие нет;
`evidence/failover/keep-alive.md`). Но при SIGTERM uvicorn сразу
закрывает простаивающие соединения, и запрос, который LB в тот же
миг отправил в такое соединение, получает 502 без повтора. Под
нагрузкой 200 запросов в секунду — одиночный 502 в 3 из 14 фаз `stop`
с `http-reuse never` и в 1 из 9 с пулом (`safe`), доля успешных в
секунде не ниже 99 %. Клиенты с новым соединением на запрос (`make
test-failover`) его не встречают; отправку сообщения клиент повторяет
с тем же ключом. Убрать гонку совсем может дренаж перед SIGTERM:
`/health/ready` отвечает 503, LB выводит реплику за 1,5 с, затем
остановка. Это меняет поведение остановки (новые запросы после
SIGTERM ещё принимаются) и срок (1,5 + 8 с > 9 с hook) — не сделано.
нагрузкой 200 запросов в секунду на закоммиченном коде — одиночный 502
в 1 из 4 фаз `stop` (регрессия и замер `baseline`), доля успешных в
секунде не ниже 99 %. С пулом (`safe`) гонка та же: в разведке на
рабочем дереве — 1 из 9 фаз против 2 из 10 с `never`, разница в
пределах случайности (это история поиска, не доказательство,
`evidence/failover/keep-alive.md`). Клиенты с новым соединением на
запрос (`make test-failover`) его не встречают; отправку сообщения
клиент повторяет с тем же ключом. README допускает краткие ошибки во
время обнаружения отказа, если они измерены. Убрать гонку совсем может
дренаж перед SIGTERM: реплика выводится из LB, затем остановка. Это
меняет поведение остановки (новые запросы после SIGTERM ещё
принимаются) или срок hook (1,5 + 8 с > 9 с) — здесь не сделано,
перенесено в change `rolling-update`: поочерёдная замена и так выводит
старую реплику из LB до остановки.
- **Профиль отказа — один прогон на фазу, один хост.** Замер показывает
поведение и порядок величин, а не распределение. Генератор, LB,
реплики и PostgreSQL делят ВМ Docker (`evidence/failover/baseline/`).
+73 -4
View File
@@ -3,9 +3,9 @@
| | |
|---|---|
| Спеки | `load-balancing` «Транзакции зависшей реплики» — «Простой в транзакции», «Повтор ключа после зависшей реплики»; «Время обнаружения отказа» — «Зависшая реплика» (вне нагрузки); `service-configuration` «Таймауты соединений за балансировщиком» — «Сроки по умолчанию», «Срок не число», «Срок простоя транзакции не больше срока запроса» |
| Change | `graceful-failover`, задачи 1.1, 1.2, 4.1 и 6.2 (design, решения 4 и 8) |
| Дата | 2026-10-10 20:22:58–20:23:18 UTC (сценарий), проверки настроек — ниже |
| Commit | `459f84c` (стенд пересоздан с этого commit: `make down`, `make run_docker`) |
| Change | `graceful-failover`, задачи 1.1, 1.2, 4.1 и 6.2 (design, решения 4, 8 и 10) |
| Дата | 2026-10-10 20:22:58–20:23:18 UTC (сценарий), проверки настроек — ниже; verify (уборка триггера при прерывании) — 21:01:27–21:02:10 UTC |
| Commit | `459f84c` (стенд пересоздан с этого commit: `make down`, `make run_docker`); verify — драйвер `12783aa` против того же стенда (код приложения не менялся) |
| Стенд | `make run_docker`: проект `mtusi-lab3`, HAProxy на `127.0.0.1:8080`, `api` × 2 |
| Хост | Docker Desktop 29.8.2, macOS arm64; ВМ Docker: 12 CPU, 7,7 GiB RAM; питание от сети |
@@ -35,7 +35,9 @@ hang-key`:
вставляется раньше сообщения, `service-layer.md`);
4. повторы K с тем же телом через LB до 201;
5. разморозка, история чата через LB, строка журнала PostgreSQL;
6. триггер удаляется в `finally`.
6. триггер удаляется в `finally`, реплика размораживается — при любом
исходе, в том числе по Ctrl+C, SIGTERM и SIGHUP (с `12783aa`, раздел
«Уборка при прерывании»).
Ключ, токен и пароль не печатаются. Время — секунды от начала сценария.
@@ -104,6 +106,73 @@ free slots: 6
держит транзакцию не дольше этого срока — `get_db_session` закрывает
соединение по сроку (`infra.md`).
## Уборка при прерывании (verify)
Триггер — изменение схемы базы рабочего стенда, поэтому verify
проверил, что он не остаётся. С `12783aa`:
- функция и триггер называются `hang_probe_<метка запуска>` и
срабатывают только на пробный текст `hang-probe-<метка>`: другие
вставки и одновременный второй запуск они не задевают;
- SIGTERM и SIGHUP драйвер превращает в `KeyboardInterrupt`, как
Ctrl+C, и `finally` размораживает реплику и удаляет триггер;
- если удалить не удалось (PostgreSQL недоступен, второе прерывание
во время уборки), команда печатает SQL удаления и выходит с кодом 1.
От SIGKILL уборки нет — это единственный исход, после которого
триггер остаётся.
Тот же сценарий целиком, затем прерывание через 1–1,5 с после заморозки
— Ctrl+C (SIGINT группе процессов) и `kill` (SIGTERM процессу
драйвера). Обёртка (вне репозитория) запускает драйвер, ждёт строку
о заморозке, проверяет в PostgreSQL число функций и триггеров
`hang_probe%` и состояние реплик, шлёт сигнал и проверяет снова.
Traceback прерывания сокращён до последней строки:
```text
### 2026-10-10T21:01:27Z $ python3 .claude/skills/run-mtusi-messenger/driver.py --port 8080 hang-key
trigger hang_probe_0766bae7: INSERT of the probe message sleeps 2 s
0.86 s paused replica bbc91284862a inside the transaction with the key (INSERT of the probe message); its connections: idle_in_transaction_session_timeout = 10s
0.86 s retry with the same key: 503 via abd10a328015 in 5.03 s
6.40 s retry with the same key: 504 via LB in 10.02 s
16.92 s retry with the same key: 201 via abd10a328015 in 2.04 s
10.17 s original request answered: 504 via LB
12.20 s postgres: 2026-10-10 21:01:39.529 UTC [46] FATAL: terminating connection due to idle-in-transaction timeout
19.09 s unpaused bbc91284862a
chat history: 200, 1 message(s) with the probe text; all replicas UP in LB: True
trigger hang_probe_0766bae7 removed
### 2026-10-10T21:01:53Z — SIGINT группе (Ctrl+C)
before: triggers=0 functions=0; abd10a328015 running paused=false; bbc91284862a running paused=false
| trigger hang_probe_4b7969f3: INSERT of the probe message sleeps 2 s
| 0.78 s paused replica abd10a328015 inside the transaction with the key (INSERT of the probe message); its connections: idle_in_transaction_session_timeout = 10s
1.93 s during pause: triggers=1 functions=1; abd10a328015 paused paused=true; bbc91284862a running paused=false
2.19 s sent SIGINT
| trigger hang_probe_4b7969f3 removed
| Traceback (most recent call last): … KeyboardInterrupt
driver exit code -2
after: triggers=0 functions=0; abd10a328015 running paused=false; bbc91284862a running paused=false
### 2026-10-10T21:02:02Z — SIGTERM процессу драйвера (kill)
before: triggers=0 functions=0; abd10a328015 running paused=false; bbc91284862a running paused=false
| trigger hang_probe_9d7f5195: INSERT of the probe message sleeps 2 s
| 0.81 s paused replica bbc91284862a inside the transaction with the key (INSERT of the probe message); its connections: idle_in_transaction_session_timeout = 10s
2.04 s during pause: triggers=1 functions=1; abd10a328015 running paused=false; bbc91284862a paused paused=true
2.24 s sent SIGTERM
| trigger hang_probe_9d7f5195 removed
| Traceback (most recent call last): … KeyboardInterrupt: SIGTERM
driver exit code -2
after: triggers=0 functions=0; abd10a328015 running paused=false; bbc91284862a running paused=false
```
- Полный сценарий на новом коде — тот же итог, что выше: 201 после
прерывания транзакции, одно сообщение, триггер удалён.
- При обоих прерываниях во время заморозки триггер и функция были
(`triggers=1 functions=1`, реплика `paused`), после — нет, обе реплики
работают и не заморожены. Код выхода −2: необработанный
`KeyboardInterrupt` Python завершает процесс сигналом SIGINT.
- Ветка «удалить не удалось» не воспроизводилась: для неё нужен
недоступный PostgreSQL ровно во время уборки.
## Настройки сроков (`service-configuration`)
2026-10-10 ~20:48 UTC, тот же стенд и образ `459f84c`. Значения по
+109 -23
View File
@@ -3,10 +3,10 @@
| | |
|---|---|
| Спеки | `graceful-shutdown` «Простаивающие соединения закрывает балансировщик» — «Клиенты молчат после всплеска»; «Остановка реплики за балансировщиком» — «docker stop под нагрузкой», «Клиент с новым соединением на запрос» |
| Change | `graceful-failover`, задачи 2.1, 4.1 и 6.2 (design, решение 3) |
| Дата | 2026-10-10: проверка итога 20:22:46 UTC; разведка и сравнение вариантов — 19:18–20:41 UTC |
| Commit | итог — `459f84c` (стенд пересоздан с него); разведка — `aec6f23` (до change) и рабочее дерево поверх `b76a666` с вариантами конфигурации, помечено у каждой таблицы |
| Стенд | `make run_docker`: проект `mtusi-lab3`, HAProxy на `127.0.0.1:8080`, `api` × 2; сравнение под нагрузкой — профиль `failover_quick` на стенде `mtusi-bench` |
| Change | `graceful-failover`, задачи 2.1, 4.1 и 6.2 (design, решения 3 и 10) |
| Дата | 2026-10-10: проверка итога 20:22:46 UTC; verify — 21:02:12 (итог) и 21:02:56 UTC (вариант `safe`); разведка и сравнение вариантов — 19:18–20:41 UTC |
| Commit | итог — `459f84c` (стенд пересоздан с него); verify — `12783aa` (код приложения и действующая часть `haproxy.cfg` те же, что в `459f84c`: `git diff 459f84c 12783aa -- src docker-compose.yml Dockerfile` пуст, в `haproxy.cfg` изменён только комментарий); разведка — `aec6f23` (до change) и рабочее дерево поверх `b76a666` с вариантами конфигурации, помечено у каждой таблицы |
| Стенд | `make run_docker`: проект `mtusi-lab3`, HAProxy на `127.0.0.1:8080`, `api` × 2; вариант `safe` — временный второй HAProxy того же образа в сети стенда (ниже); сравнение под нагрузкой — профиль `failover_quick` на стенде `mtusi-bench` |
| Хост | Docker Desktop 29.8.2, macOS arm64; ВМ Docker: 12 CPU, 7,7 GiB RAM; питание от сети |
## Задача
@@ -55,18 +55,90 @@ replicas hold no connections 10.1 s after the last request (replica keep-alive 6
60 с (`[app] keep_alive_seconds`), прежние 5 с uvicorn уже прошли —
значит, новый срок действует, и закрыл LB.
## Отвергнутый вариант на закоммиченном коде (verify)
Первый вариант design — пул LB (`http-reuse safe`) и длинный keep-alive
реплики — в apply проверялся только на рабочем дереве. В verify он
переснят на закоммиченном коде переключением одного параметра LB, без
правки дерева: реплики стенда — образ `459f84c` с keep-alive 60 с, перед
ними временный второй HAProxy того же образа с копией закоммиченного
`haproxy.cfg`, где отличается одна строка:
```text
$ diff infra/haproxy/haproxy.cfg <копия>/haproxy-safe.cfg
89c89
< http-reuse never
---
> http-reuse safe
$ docker run -d --name mtusi-lab3-lbvariant --network mtusi-lab3_default \
-p 127.0.0.1:18081:8080 -e API_PORT=8080 --cpus 1 --memory 256m --memory-swap 256m \
-v <копия>/haproxy-safe.cfg:/usr/local/etc/haproxy/haproxy.cfg:ro \
haproxy:3.4.6-trixie@sha256:e2739156… # тот же пин, что в docker-compose.yml
```
`pool-purge-delay` не задан: по умолчанию он и есть 5 с, как в первом
варианте. Сначала тот же замер через LB стенда (`never`) кодом
`12783aa`, затем через временный LB (`safe`); пул в последнем столбце —
этого временного LB (`--lb`):
```text
### 2026-10-10T21:02:12Z $ python3 .claude/skills/run-mtusi-messenger/driver.py --port 8080 idle-conns
burst: 20 keep-alive clients × 50 GET /health/live through LB: {200: 1000}; clients stay connected and idle
t, s replica: connections on its API port | LB pool idle+safe
0.0 abd10a328015: 20 | 0 bbc91284862a: 20 | 0
… (без изменений до 9,1 с)
9.1 abd10a328015: 20 | 0 bbc91284862a: 20 | 0
10.1 abd10a328015: 0 | 0 bbc91284862a: 0 | 0
11.1 abd10a328015: 0 | 0 bbc91284862a: 0 | 0
replicas hold no connections 10.1 s after the last request (replica keep-alive 60 s): closed by LB
### exit 0
### 2026-10-10T21:02:56Z $ python3 .claude/skills/run-mtusi-messenger/driver.py --port 18081 idle-conns --lb mtusi-lab3-lbvariant
burst: 20 keep-alive clients × 50 GET /health/live through LB: {200: 1000}; clients stay connected and idle
t, s replica: connections on its API port | LB pool idle+safe
0.0 abd10a328015: 10 | 10 bbc91284862a: 15 | 15
… (без изменений до 14,1 с)
14.1 abd10a328015: 10 | 10 bbc91284862a: 15 | 15
15.1 abd10a328015: 6 | 6 bbc91284862a: 10 | 10
20.1 abd10a328015: 3 | 3 bbc91284862a: 6 | 6
25.1 abd10a328015: 1 | 1 bbc91284862a: 3 | 3
30.2 abd10a328015: 1 | 1 bbc91284862a: 1 | 1
… (без изменений до 59,4 с)
59.4 abd10a328015: 1 | 1 bbc91284862a: 1 | 1
60.4 abd10a328015: 0 | 0 bbc91284862a: 0 | 0
61.4 abd10a328015: 0 | 0 bbc91284862a: 0 | 0
replicas hold no connections 60.4 s after the last request (replica keep-alive 60 s): closed by the replica
### exit 1
$ docker rm -f mtusi-lab3-lbvariant
```
Строки между отмеченными секундами опущены: числа в них те же, что в
строке выше. Полный вывод — 62 строки, по одной в секунду.
- С пулом соединения с репликами живут в общем пуле LB (столбец пула
равен соединениям реплики). Клиенты замолчали — через 10 с LB закрыл
их сеансы, а соединения с репликами остались в пуле. Дальше уборка
пула закрывает около половины каждые 5 с (15 → 10 → 6 → 3 → 1), но
последнее соединение к каждой реплике держит, пока его не закрывает
реплика по своему keep-alive — через 60,4 с. В этот момент LB может
отправить в него запрос, клиент получит 502.
- С `never` соединения принадлежат сеансам клиентов и закрываются вместе
с ними через 10,1 с: раньше срока реплики, закрывает LB.
Так на закоммиченном коде подтверждён вывод разведки (таблица ниже):
длинный keep-alive реплики с пулом LB делает гонку реже, но не убирает
её, поэтому выбран `never`.
## Как пришли к итогу (разведка)
Эта таблица — история поиска. Доказательство итога и отвергнутого
варианта — разделы выше, снятые с закоммиченного кода.
| Конфигурация | Когда реплики остались без соединений | Кто закрыл | Где снято |
|---|---|---|---|
| `http-reuse safe` (по умолчанию), keep-alive uvicorn 5 с — до change | весь пул LB разом через ~5 с после всплеска | реплика | `aec6f23`, всплеск k6 300 запросов/с 5 с, статистика LB раз в секунду: `safe_conn_cur` 22 и 13 → 0 между 4-й и 5-й секундой |
| `http-reuse safe`, keep-alive 60 с, `pool-purge-delay 5s` — первый вариант design | пул уменьшался ступенями каждые 5 с (15 → 10 → 6 → 3 → 1 у одной реплики, 11 → 7 → 4 → 2 → 0 у другой), но последнее соединение LB держал до 60,3 с | реплика | рабочее дерево с этим вариантом, первая версия `idle-conns` (клиенты закрывались после всплеска) |
| `http-reuse never`, keep-alive 60 с — итог | 10,1 с | LB | `459f84c`, вывод выше |
Первый вариант опирался на то, что уборка пула HAProxy закроет и
последнее простаивающее соединение. Проверка это опровергла: одно
соединение к реплике HAProxy оставляет сколь угодно долго. Длинный
keep-alive делал гонку реже, но не убирал её.
| `http-reuse safe`, keep-alive 60 с, `pool-purge-delay 5s` — первый вариант design | пул уменьшался ступенями каждые 5 с (15 → 10 → 6 → 3 → 1 у одной реплики, 11 → 7 → 4 → 2 → 0 у другой), но последнее соединение LB держал до 60,3 с | реплика | рабочее дерево с этим вариантом, первая версия `idle-conns` (клиенты закрывались после всплеска); переснято в verify — раздел выше, 60,4 с |
| `http-reuse never`, keep-alive 60 с — итог | 10,1 с | LB | `459f84c`, вывод выше; в verify — то же на `12783aa` |
## Гонка при SIGTERM остаётся
@@ -77,19 +149,31 @@ keep-alive делал гонку реже, но не убирал её.
записей и 100 чтений в секунду, ~4 600 запросов в быстрой фазе и
~10 000 в полной):
Закоммиченный код (`459f84c`, `http-reuse never`) — доказательство:
| Прогон | Фаз `stop` | Фаз с ошибкой | Ошибки |
|---|---|---|---|
| регрессия: `quick-failover-20261010T203941Z` (`../tests/graceful-failover-checks.md`) | 2 | 1 | один 502 |
| замер: метка `baseline` (`baseline/`) | 2 | 0 | — |
Разведка в apply на рабочем дереве поверх `b76a666` — история поиска,
не доказательство:
| Режим LB | Прогон | Фаз `stop` | Фаз с ошибкой | Ошибки |
|---|---|---|---|---|
| `safe` | разведка, рабочее дерево поверх `b76a666`: `quick-failover-20261010T194148Z`, `…194627Z`, `quick-failover-safe-201319`, `…-201424` (одна фаза), `…-201530` | 9 | 1 | один 502 |
| `never` | разведка, рабочее дерево поверх `b76a666`: `quick-failover-20261010T200206Z`, `quick-failover-never-200944`, `…-201055`, `…-201201`, `quick-failover-20261010T201807Z` | 10 | 2 | по одному 502; в `200206Z` — через 0,07 с после SIGTERM |
| `never` | регрессия `459f84c`: `quick-failover-20261010T203941Z` (`../tests/graceful-failover-checks.md`) | 2 | 1 | один 502 |
| `never` | замер `459f84c`: метка `baseline` (`baseline/`) | 2 | 0 | — |
| `safe` | `quick-failover-20261010T194148Z`, `…194627Z`, `quick-failover-safe-201319`, `…-201424` (одна фаза), `…-201530` | 9 | 1 | один 502 |
| `never` | `quick-failover-20261010T200206Z`, `quick-failover-never-200944`, `…-201055`, `…-201201`, `quick-failover-20261010T201807Z` | 10 | 2 | по одному 502; в `200206Z` — через 0,07 с после SIGTERM |
Пробные метки `quick-*` в git не идут (`.gitignore`), числа выше
перенесены из их `phases.csv`.
- Разница между режимами в пределах случайности: одиночные события на
тысячи запросов фазы. `never` при этом убирает гонку по сроку
простоя, поэтому выбран он.
- Гонку при SIGTERM `never` не убирает: на закоммиченном коде —
одиночный 502 в 1 из 4 фаз `stop`. Сравнение с `safe` под нагрузкой
есть только в разведке (2 из 10 против 1 из 9 — одиночные события на
тысячи запросов фазы, разница в пределах случайности), поэтому
«`never` лучше `safe` при SIGTERM» не утверждается. `never` выбран за
другое: он убирает гонку по сроку простоя (раздел «Отвергнутый
вариант на закоммиченном коде»).
- Ни в одной фазе `stop` доля успешных в секунде не опустилась ниже
99 %, время восстановления — 0 с. Спек `graceful-shutdown` называет
этот одиночный 502 исключением прямо.
@@ -97,8 +181,10 @@ keep-alive делал гонку реже, но не убирал её.
всегда идёт по новому соединению с репликой. Поэтому `make
test-failover` (urllib) в режиме `stop` — 0 неудачных попыток
(`../tests/graceful-failover-checks.md`).
- Убрать гонку совсем может только дренаж перед SIGTERM: реплика
отвечает на `/health/ready` 503, LB выводит её за 1,5 с, затем
остановка. Это меняет спек `graceful-shutdown` и срок остановки
(1,5 + 8 с > 9 с hook) и в этот change не входит (`REPORT.md`,
«Ограничения»).
- Убрать гонку совсем может только дренаж перед SIGTERM: реплику
выводят из LB, затем останавливают. Это меняет спек
`graceful-shutdown` и срок остановки (1,5 + 8 с > 9 с hook) и в этот
change не входит: README допускает краткие ошибки при обнаружении
отказа, если они измерены. Дренаж перенесён в change `rolling-update`
— поочерёдная замена и так выводит старую реплику из LB до остановки
(design, Risks; `REPORT.md`, «Ограничения»).
+32 -3
View File
@@ -3,9 +3,9 @@
| | |
|---|---|
| Спеки | все основные спеки через `make student_test` и сверку покрытия; `load-balancing` «Отказ одной реплики», «Failover hook»; `data-storage` «Данные переживают рестарт»; `load-benchmark` «Фиксированный стенд» — «Одна реплика за балансировщиком», «Лимиты в паспорте», «Профиль отказа реплик» — «Быстрый профиль»; `graceful-shutdown` «Простаивающие соединения закрывает балансировщик» — «Клиенты молчат после всплеска» |
| Change | `graceful-failover`, задача 5.2 |
| Дата | 2026-10-10 20:21:28–20:41:38 UTC |
| Commit | `459f84c` (рабочий стенд пересоздан с него: `make down`, `make run_docker`) |
| Change | `graceful-failover`, задачи 5.2 и 7.1 |
| Дата | 2026-10-10 20:21:28–20:41:38 UTC; часть C (verify) — 21:07:00–21:07:02 UTC |
| Commit | `459f84c` (рабочий стенд пересоздан с него: `make down`, `make run_docker`); часть C — `12783aa` (код приложения тот же) |
| Стенд | часть A — рабочий `mtusi-lab3`: HAProxy на `127.0.0.1:8080`, `api` × 2; часть B — свои стенды (`test_isolated`, `<рабочий>-failures`, `mtusi-bench`) |
| Хост | Docker Desktop 29.8.2, macOS arm64; ВМ Docker: 12 CPU, 7,7 GiB RAM; питание от сети. Самопроверки, не замеры: хост не готовился, рабочий стенд в части B работал |
@@ -139,3 +139,32 @@ coverage: 135 scenarios in 11 specs, 123 tested (16 by make failure_checks), 12
успешных в каждой секунде выше 99 %.
- В паспортах самопроверок части B `dirty: true`: в рабочем дереве в
это время лежал неотслеживаемый черновик evidence. Код — `459f84c`.
## Часть C: правки verify (`12783aa`)
Правки verify (design, решение 10) не меняют приложение и действующую
конфигурацию LB: `git diff 459f84c 12783aa -- src docker-compose.yml
Dockerfile` пуст, в `haproxy.cfg` — только комментарий (`haproxy -c` в
закреплённом образе — код 0). Профили `bench` не перезапускались: их
код не менялся, кроме `compare.py`. Команды драйвера — в
`../failover/keep-alive.md` и `../failover/hung-key.md`.
```text
### 2026-10-10T21:07:00Z $ uv run python bench/compare.py --before quick-20261010T155358Z --after quick-20261010T203408Z
compare failed: label quick-20261010T155358Z was measured without the load balancer (before change graceful-failover): different methodology
### exit 1
### 2026-10-10T21:07:01Z $ uv run python bench/compare.py --before quick-20261010T203408Z --after quick-20261010T203408Z
saved to evidence/compare/quick-20261010T203408Z__quick-20261010T203408Z.md
### exit 0
### 2026-10-10T21:07:01Z $ make test
PASS: lab3 public API scenario; infrastructure and grading evidence remain separate.
```
- `quick-20261010T155358Z` — самопроверка до change, стенд без LB (в
паспорте нет `limits.haproxy` и `limits.api_replicas`), сравнение с
меткой стенда с LB — отказ. Раньше команда сравнила бы их и только
предупредила «записан только в одной метке». Две метки стенда с LB
сравниваются как прежде (сравнение пробной метки с собой, файл
результата удалён, `evidence/compare/*quick-*` — в `.gitignore`).
- `make lint`, `make check`, `openspec validate graceful-failover
--strict` — без ошибок.
+84 -24
View File
@@ -191,7 +191,9 @@ uvicorn закрывает простаивающее соединение че
Первый вариант design опирался на то, что уборка пула HAProxy закроет
и последнее соединение. Проверка это опровергла: HAProxy оставляет одно
простаивающее соединение к реплике сколь угодно долго. Длинный
keep-alive делал гонку реже, но не убирал её.
keep-alive делал гонку реже, но не убирал её. В apply вторая строка
таблицы снята на рабочем дереве; verify переснял её на закоммиченном
коде (решение 10): последнее соединение закрыла реплика через 60,4 с.
Цена `http-reuse never`:
@@ -222,21 +224,23 @@ keep-alive делал гонку реже, но не убирал её.
есть доли миллисекунды. Клиенты с новым соединением на запрос, как
`tests/resilience.py`, этой гонки не встречают: их запрос всегда идёт
по новому соединению с репликой. Профиль `failover` (k6 держит
keep-alive) её измерил в apply, фазы `stop` быстрого профиля:
keep-alive) её измерил, фазы `stop`:
| Режим LB | Фаз `stop` | Фаз с ошибкой | Ошибки |
|---|---|---|---|
| `http-reuse never` | 14 (10 — разведка, 2 — регрессия, 2 — замер `baseline`) | 3 | по одному 502 через доли секунды после SIGTERM |
| `http-reuse safe` | 9 (разведка) | 1 | один 502 |
| Режим LB | Код | Фаз `stop` | Фаз с ошибкой | Ошибки |
|---|---|---|---|---|
| `http-reuse never` | `459f84c`: регрессия и замер `baseline` | 4 | 1 | один 502 через доли секунды после SIGTERM |
| `http-reuse never` | разведка, рабочее дерево | 10 | 2 | по одному 502 |
| `http-reuse safe` | разведка, рабочее дерево | 9 | 1 | один 502 |
Разница в пределах случайности (одиночные события на 4 600–10 000
запросов фазы), а `never` ещё и убирает гонку по сроку простоя.
Поэтому `never` (на момент выбора было 8 и 2 фазы — так и записано в
комментарии `haproxy.cfg`; таблица по прогонам —
`evidence/failover/keep-alive.md`). Доля успешных в каждой секунде остаётся выше 99 %, время
восстановления — 0 с; дельта спека `graceful-shutdown` называет это
исключение прямо. Убрать гонку совсем может только дренаж перед
SIGTERM (readiness 503, затем остановка) — Risks.
Доказательство — первая строка. Сравнение режимов под нагрузкой есть
только в разведке, и разница в нём в пределах случайности (одиночные
события на 4 600–10 000 запросов фазы). Поэтому выбор `never` опирается
не на него, а на гонку по сроку простоя, которую `never` убирает
(таблица выше, переснята в verify). Таблица по прогонам —
`evidence/failover/keep-alive.md`. Доля успешных в каждой секунде
остаётся выше 99 %, время восстановления — 0 с; дельта спека
`graceful-shutdown` называет это исключение прямо. Убрать гонку совсем
может только дренаж перед SIGTERM — Risks, перенесён в `rolling-update`.
### 4. `idle_in_transaction_session_timeout` 10 с
@@ -521,19 +525,73 @@ LB перед действием: слот получает адрес из DNS,
Всё снимается с закоммиченного кода. Рабочий стенд пересоздаётся
`make down` и `make run_docker`: после пересборки на Docker 29.8
`make run_docker` не пересоздаёт работающие `api` (verify
`replicas-lb`).
`replicas-lb`; записано в `KNOWN_ISSUES.md` для change
`rolling-update`).
### 10. Правки по verify (2026-10-10)
Verify сверил код, конфиги, дельты спеков, evidence и `REPORT.md` с
артефактами. Задачи закрыты, требования реализованы (CRITICAL нет).
Найдено и исправлено (commit `12783aa`, evidence — с него):
- **Отвергнутый вариант опирался на прогон с рабочего дерева.** Вывод
«пул LB и длинный keep-alive реплики не убирают гонку по сроку
простоя» (решение 3) был снят на незакоммиченной конфигурации.
Переснят на закоммиченном коде переключением одного параметра без
правки дерева: временный второй HAProxy того же образа с копией
`haproxy.cfg`, где `http-reuse safe`, перед теми же репликами.
Последнее соединение закрыла реплика через 60,4 с, с `never` — LB
через 10,1 с (`evidence/failover/keep-alive.md`). Для этого у
`idle-conns` появился `--lb <контейнер>`, а итог называет, кто закрыл
(раньше при любом исходе печаталось «closed by LB»).
- **Сравнение `never` и `safe` при SIGTERM — только разведка.**
Формулировки в design, `REPORT.md` и `keep-alive.md` разделяют
доказательство (1 из 4 фаз `stop` на `459f84c`) и разведку; вывод
«`never` лучше при SIGTERM» не делается.
- **Уборка триггера `hang-key`.** Design обещал SQL удаления после
прерванного запуска, а код его не печатал; SIGTERM и SIGHUP обходили
`finally`. Теперь имя триггера с меткой запуска, сигналы превращаются
в `KeyboardInterrupt`, при неудаче уборки печатается SQL и код 1.
Проверено прерыванием Ctrl+C и SIGTERM во время заморозки
(`evidence/failover/hung-key.md`).
- **`make bench_compare` пропускал смену методики.** Метка без LB
сравнивалась с меткой со стендом на LB с одним предупреждением
«записано только в одной метке». Теперь отказ, если
`limits.api_replicas` есть только в одной (`bench.md`).
- **Перенос в `rolling-update`** (записано в `PLAN.md`, раздел change, и
в `KNOWN_ISSUES.md`):
- дренаж перед SIGTERM — убирает одиночный 502 гонки keep-alive
(Risks); README допускает измеренные краткие ошибки, поэтому здесь
не делается;
- `make run_docker` не пересоздаёт работающие `api` после пересборки
образа.
- Мелочи: из комментария `haproxy.cfg` убраны устаревшие числа фаз, в
`Makefile` — длительность быстрого профиля.
Решено или оставлено осознанно — пункты, переданные из `replicas-lb`:
запас обнаружения зависшей реплики (8 → 6,5 с, решение 2), гонка
keep-alive (по сроку простоя решена, при SIGTERM — исключение и перенос
дренажа), отказ PostgreSQL выводит из LB все реплики (оставлено, Risks и
`REPORT.md`, «Ограничения»), `kill` под нагрузкой (замер `baseline`).
## Risks / Trade-offs
- **[Гонка keep-alive при SIGTERM остаётся]** → окно — доли
миллисекунды, под нагрузкой 200 запросов в секунду — одиночный 502 в
каждой 4–8-й фазе `stop` (решение 3). Клиенты с новым соединением на
запрос её не встречают. Отправку сообщения клиент повторяет с тем же
ключом. Убрать гонку совсем может дренаж перед SIGTERM: readiness 503,
LB выводит реплику за 1,5 с, затем остановка. Это меняет спек
`graceful-shutdown` (новые запросы после SIGTERM ещё принимаются) и
срок остановки (1,5 с + 8 с > 9 с hook), поэтому не в этом change.
Ограничение — в `REPORT.md`.
части фаз `stop` (1 из 4 на закоммиченном коде, решение 3). Клиенты с
новым соединением на запрос её не встречают. Отправку сообщения клиент
повторяет с тем же ключом. README лабы допускает «краткие ошибки /
оборванные запросы во время обнаружения отказа», если они измерены, а
`make test-failover` учитывает ошибки переходного периода, поэтому
исключение в дельте `graceful-shutdown` не противоречит рубрике.
Убрать гонку совсем может дренаж перед SIGTERM: реплика выводится из
LB (readiness 503 или runtime API HAProxy `set server … state
drain`), затем остановка. Это меняет спек `graceful-shutdown` (новые
запросы после SIGTERM ещё принимаются) или hook (срок остановки 1,5 с
+ 8 с > 9 с), поэтому не в этом change. **Перенесено в change
`rolling-update`** (решение 10): поочерёдная замена и так должна
выводить старую реплику из LB до `docker stop`, там дренаж и
появляется. Ограничение — в `REPORT.md`.
- **[`/health/ready` через общий пул]** → под перегрузкой проверка ждёт
пул, и реплика может выйти из LB. Таймаут 2 с — длиннее любого
ожидания в пределах SLO трека 1 (p95 200 мс), поэтому на сериях не
@@ -556,8 +614,10 @@ LB перед действием: слот получает адрес из DNS,
нет. Новая методика записана в `bench.md`, базовый замер трека 1
снимается после change.
- **[Триггер `hang-key` на рабочем стенде]** → срабатывает только на
пробный текст, удаляется в `finally`. Прерванный запуск оставил бы
функцию и триггер: команда печатает SQL удаления.
пробный текст, имя — с меткой запуска, удаляется в `finally`, в том
числе по Ctrl+C, SIGTERM и SIGHUP. Если удалить не удалось, команда
печатает SQL удаления и выходит с кодом 1 (решение 10). Остаётся только
SIGKILL драйвера.
## Migration Plan
@@ -144,3 +144,19 @@ evidence, потом коммит evidence и отчёта. Замеры для
- `graphify update .`;
- рабочий стенд `mtusi-lab3` запущен через LB, обе реплики `UP`;
- рабочее дерево чистое.
## 7. Правки по verify
- [x] 7.1 По решению 10: `hang-key` убирает триггер при Ctrl+C,
SIGTERM и SIGHUP и печатает SQL удаления при неудаче; `idle-conns
--lb` и честный итог «кто закрыл»; `make bench_compare` отказывает
метке без LB; комментарий `haproxy.cfg`. Коммит кода, затем evidence с
него:
- `idle-conns` через LB стенда (`never`) и через временный HAProxy с
`http-reuse safe` — `keep-alive.md`;
- `hang-key` целиком и с прерыванием Ctrl+C и SIGTERM во время
заморозки — `hung-key.md`;
- `bench/compare.py` на метке без LB — отказ, на двух метках с LB —
сравнение.
Перенос в `rolling-update` — `PLAN.md` и `KNOWN_ISSUES.md`.