docs: retake graceful-failover checks after verify
The rejected LB pool variant is re-measured on committed code with a temporary second HAProxy differing in http-reuse only: the replica, not the LB, closed the last idle connection after 60.4 s. Exploratory never/safe SIGTERM numbers are separated from evidence. hang-key cleanup is shown under Ctrl+C and SIGTERM, bench_compare refuses a label without the LB. Drain before SIGTERM and the run_docker recreate issue are handed to rolling-update in PLAN.md and KNOWN_ISSUES.md; design gains decision 10. Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
@@ -56,10 +56,12 @@ access_log=False)`.
|
||||
раньше реплики (`balancer.md`, цепочка таймаутов). При SIGTERM uvicorn
|
||||
закрывает простаивающие соединения сразу. Запрос, который LB отправил
|
||||
в такое соединение в тот же миг, получает 502: под нагрузкой
|
||||
200 запросов в секунду — одиночный 502 в каждой 4–8-й фазе `stop`
|
||||
профиля `failover`. Клиенты с новым соединением на запрос
|
||||
(`tests/resilience.py`) его не встречают. Убрать его может только
|
||||
дренаж перед SIGTERM (readiness 503, затем остановка) — его нет.
|
||||
200 запросов в секунду — одиночный 502 в части фаз `stop` профиля
|
||||
`failover` (1 из 4 на `459f84c`). Клиенты с новым соединением на
|
||||
запрос (`tests/resilience.py`) его не встречают. Убрать его может
|
||||
только дренаж перед SIGTERM (вывод реплики из LB, затем остановка) —
|
||||
его нет, он перенесён в change `rolling-update` (design
|
||||
`graceful-failover`, решение 10).
|
||||
- Console-режим — один процесс на `127.0.0.1` без LB, для разработки и
|
||||
скилла `run-mtusi-messenger`. Проверки лабы 3 (≥2 реплики, failover,
|
||||
гонка через разные реплики) — только на стенде compose через LB.
|
||||
|
||||
@@ -20,3 +20,25 @@
|
||||
`evidence/cache/` и `evidence/auth/`, либо сослаться на файлы
|
||||
репозитория лабы 2 с commit. Тест `test_coverage.py` существование
|
||||
файлов не проверяет.
|
||||
|
||||
## `make run_docker` не пересоздаёт работающие реплики после пересборки
|
||||
|
||||
- **Где:** `Makefile`, цель `run_docker` (`$(DC) build`, затем
|
||||
`$(DC) up -d`).
|
||||
- **Что не так:** на Docker Desktop 29.8 (Compose 5.5) после пересборки
|
||||
образа `mtusi-messenger:lab3` повторный `make run_docker` оставлял
|
||||
работающие контейнеры `api` на прежнем образе: новый код до реплик не
|
||||
доходил. Поэтому evidence `replicas-lb` и `graceful-failover` снято
|
||||
после `make down` и `make run_docker`, а не одного `make run_docker`.
|
||||
Отдельно не воспроизводилось: наблюдение verify `replicas-lb`,
|
||||
записанное в design `graceful-failover` (решение 9).
|
||||
- **Найдено:** verify change `replicas-lb` (2026-10-10); перенесено
|
||||
сюда verify `graceful-failover`, чтобы не потерялось в архиве.
|
||||
- **Предложение:** решить в change `rolling-update`, где замена реплик
|
||||
на новый образ — главный сценарий: сначала воспроизвести (пересборка
|
||||
с безвредной правкой `src`, `make run_docker`, сравнить файл в
|
||||
контейнере с деревом), затем либо `up -d --force-recreate api` в
|
||||
`run_docker` (рестарт всех реплик разом — допустим для запуска, не для
|
||||
обновления), либо направлять обновление только через
|
||||
`scripts/rolling-update.sh`, а в `run_docker` печатать
|
||||
предупреждение, если образ реплик не совпадает с собранным.
|
||||
|
||||
@@ -492,6 +492,35 @@ Swarm дал бы встроенный rolling update (`update_config`), но э
|
||||
**Evidence:** `evidence/rollout/` (ошибки по секундам, какие
|
||||
контейнеры и образы до и после).
|
||||
|
||||
**Передано из `graceful-failover`** (design, решение 10; архив
|
||||
`openspec/changes/archive/`):
|
||||
- **Дренаж до SIGTERM.** При `docker stop` под нагрузкой остаётся
|
||||
одиночный 502 (гонка keep-alive: uvicorn закрывает простаивающие
|
||||
соединения, LB в тот же миг шлёт в одно из них запрос) — 1 из 4 фаз
|
||||
`stop`. Шаг 5 скрипта должен сначала вывести старую реплику из LB и
|
||||
дождаться конца её запросов, потом `docker stop`. Варианты: runtime
|
||||
API HAProxy (`set server api/<слот> state drain`; нужен admin-сокет
|
||||
внутри сети, слот искать по адресу контейнера, как `lb_stats`) или
|
||||
readiness 503 по сигналу (меняет спек `graceful-shutdown`). Срок:
|
||||
вывод из LB ≤ 1,5 с по проверкам (`inter` + `fastinter`) + до 8 с
|
||||
graceful — больше 9 с `stop-one.sh`, поэтому дренаж — в
|
||||
`rolling-update.sh`, а не в hook.
|
||||
- **`make run_docker` не пересоздаёт работающие `api`** после
|
||||
пересборки образа — `KNOWN_ISSUES.md`.
|
||||
- **Таймауты для поочерёдной замены:** новая реплика попадает в LB
|
||||
через ≤ 1,5 с после готовности (`init-state down`, `rise 2`,
|
||||
`downinter` 1 с + `fastinter` 0,5 с) — шаг 4 ждёт `UP` в статистике
|
||||
LB, а не только `healthy` контейнера. `http-reuse never`: соединения
|
||||
с репликой принадлежат сеансам клиентов, клиент k6 с keep-alive
|
||||
держит соединение с уходящей репликой до её закрытия.
|
||||
`stop_grace_period` 10 с, `graceful_shutdown_seconds` 8 с.
|
||||
- **Профиль `rollout` стенда `bench/`** строится по образцу `failover`
|
||||
(`bench/run.py`, `bench/failover.py`, `k6/failover.js`, `k6/retry.js`):
|
||||
постоянная интенсивность, строка k6 на запрос, посекундная шкала,
|
||||
повтор неуспешных записей с тем же ключом и сверка. Метки в
|
||||
`evidence/rollout/<метка>/`, пробные — в `.gitignore`.
|
||||
`make bench_compare` метки без LB уже не сравнивает.
|
||||
|
||||
### 5. `scaling-bench` — уровень 5, трек 1
|
||||
|
||||
**Пункты рубрики «5».**
|
||||
|
||||
@@ -287,14 +287,14 @@ TODO: остальные имена skeleton (`APP_HOST`, `APP_PORT`, `APP_ENV`,
|
||||
| Публичный smoke | `make test` через LB на стенде `make run_docker`; `make test_isolated` (образ из `a4ca9ef`, временная база, один контейнер): `make test` + `make student_test EXPECT_REPLICAS=1`; `make test` через LB стенда из настоящего `git clone` на нестандартных портах | `PASS: lab3 public API scenario` во всех трёх; в изоляции 127 passed, 4 теста реплик пропущены с причиной «one API process»; сверка покрытия: 135 сценариев, 123 тестом, 12 исключений | `evidence/tests/student-test-lb.md`, `evidence/tests/test-isolated.md`, `evidence/replicas/clean-clone-ports.md` |
|
||||
| «3»: стенд одной командой, ≥2 API, одна точка входа, общие БД и сессии | `make run_docker` (рабочий стенд и настоящий `git clone`); `docker compose ps`, `docker port`, `docker compose config` | `haproxy` — единственный порт API на хосте (`127.0.0.1:8080`), `api` × 2 без портов и `container_name`; общие Postgres (сессии, данные, ключи) и Valkey; миграции — один прогон `migrate` на каждый up, в журналах реплик `alembic` нет; из клона стенд поднимается одной командой, `.env` и `config.toml` создаются сами | `evidence/replicas/stand.md`, `evidence/replicas/clean-clone-ports.md` |
|
||||
| «3»: разные запросы одного пользователя — разными репликами без повторного входа | `make instances` (один вход, 12 × `GET /users/me` с одним токеном); `test_load_balancing.py` | ответы чередуются `3681880fc55f` / `8100f940a5fa` по 6; 20 запросов сессии — по 10; запись через одну реплику видна в чтениях через другую | `evidence/replicas/distribution.md`, `evidence/tests/student-test-lb.md` |
|
||||
| «3»: отказ любой одной реплики — ≤10 с до новых чтений и записей; `make test-failover` | `make test-failover ACTION_SCRIPT=scripts/stop-one.sh` для каждой реплики, `make replicas` и сдвиг очереди round-robin одним запросом между прогонами; `STOP_ONE_LOG` — какой `TARGET_INSTANCE_ID` выбрал тест; `docker compose ps -a` и `StartedAt` до и после | 2 × `PASS`: остановлены `8100f940a5fa`, затем `3681880fc55f`; первая запись через 1,10–1,11 с, 0 неудачных попыток, по 2 запроса перенаправлены LB; ID остановленного контейнера = `TARGET_INSTANCE_ID`, остальные контейнеры с прежним `StartedAt`; через 20 с реплика всё ещё `exited` | `evidence/failover/test-failover.md` |
|
||||
| «3»: отказ любой одной реплики — ≤10 с до новых чтений и записей; `make test-failover` | `make test-failover ACTION_SCRIPT=scripts/stop-one.sh` для каждой реплики, `make replicas` и сдвиг очереди round-robin одним запросом между прогонами; `STOP_ONE_LOG` — какой `TARGET_INSTANCE_ID` выбрал тест; `docker compose ps -a` и `StartedAt` до и после | 2 × `PASS`: остановлены `8100f940a5fa`, затем `3681880fc55f`; первая запись через 1,10–1,11 с, 0 неудачных попыток, по 2 запроса перенаправлены LB; ID остановленного контейнера = `TARGET_INSTANCE_ID`, остальные контейнеры с прежним `StartedAt`; через 20 с реплика всё ещё `exited`. С цепочкой таймаутов `graceful-failover` (commit `459f84c`) — снова `PASS` для каждой реплики: `stop` — 0 неудачных попыток, первая запись через 1,62 с; `kill` — 1 неудачная попытка (запрос в полёте), повторена с тем же ключом, первая запись через 0,23 с | `evidence/failover/test-failover.md`, `evidence/tests/graceful-failover-checks.md` |
|
||||
| «3»: отказ процесса без graceful, реплика остаётся остановленной | `STOP_MODE=kill make test-failover …`; через 15 с `docker inspect`; `driver.py --port 8080 kill-inflight` (kill во время входов по Basic) | `PASS`, первая запись через 0,74 с; контейнер `exited` 137, `RestartCount` 0 через 15 с (`restart: unless-stopped` его не поднял); 3 входа в полёте — 502 от LB в формате контракта без повтора (`SH--`, повторов 0), 2 в момент kill — перенаправлены | `evidence/failover/test-failover-kill.md` |
|
||||
| «3»: `make test-persistence` с LB | `make test-persistence ACTION_SCRIPT=scripts/restart.sh`; `StartedAt` до и после | `PASS` за 6,4 с; перезапущены LB, обе реплики, Postgres и Valkey (те же ID, новый `StartedAt`), volume с прежней датой создания | `evidence/replicas/test-persistence.md` |
|
||||
| «3»: повтор `POST` с тем же ключом при переключении реплики | `test_idempotency.py::test_replay_on_other_replica` через LB | отправка через `8100f940a5fa`, повтор через `3681880fc55f` — тот же JSON; другое тело — 409 от обеих реплик | `evidence/tests/student-test-lb.md` |
|
||||
| Failover hook не трогает чужое | `scripts/stop-one.sh` с пустым, не-hex, коротким ID, ID Postgres / Valkey / LB / `migrate`, несуществующим, контейнером `mtusi-lab2`, `STOP_MODE=pause` | код 2 (неверное значение или режим, до вызова docker) или 3 (нет такой работающей реплики); состояние и `StartedAt` всех контейнеров не изменились | `evidence/failover/stop-one-refusals.md` |
|
||||
| «4»: лимиты CPU/RAM, порты API не наружу, секреты только где нужно, нет `container_name` | `docker inspect` (`NanoCpus`, `Memory`), `docker port`, имена переменных из `docker compose config` | лимиты у всех 6 контейнеров; порт API только у LB; пароль Valkey только у `valkey` и `api`, у LB секретов нет; `container_name` нет. Цена лимита 1 CPU для Argon2id измерена (раздел «Ограничения») | `evidence/replicas/stand.md` |
|
||||
| «4» (часть): LB исключает недоступный backend; период проверок | `make lb_stats`, `docker compose logs -t haproxy`; все реплики остановлены; одна реплика заморожена `docker pause`; PostgreSQL остановлен | период 1 с, `fall 2`, `rise 2`, `timeout check` 3 с; остановленные реплики `DOWN` / в обслуживании, вернувшиеся — после проверки; зависшая — `DOWN` через 7,7 с (формула худшего случая — 8 с), запрос в полёте — 504 в формате контракта; без PostgreSQL обе реплики отвечают на проверку 503 и исключаются за 1,2–1,8 с; без реплик LB отвечает 503 в формате контракта, healthcheck LB `unhealthy`. Замер обнаружения по режимам под нагрузкой — строка ниже (change `graceful-failover`; `timeout check` с тех пор 2,5 с и `fastinter 500ms`) | `evidence/replicas/lb-errors.md`, `evidence/failover/test-failover.md` |
|
||||
| «4»: health/readiness, таймауты и прекращение приёма при SIGTERM согласованы; период проверок и максимальное время обнаружения | таблица цепочки таймаутов (раздел «Балансировщик и реплики»); `make bench_failover FAILOVER_LABEL=baseline` (commit `459f84c`, хост проверен); `driver.py --port 8080 idle-conns`; `driver.py --port 8080 hang-key`; запуск с неверными сроками | проверка раз в 1 с, `fastinter` 0,5 с, `fall 2`, `rise 2`, `timeout check` 2,5 с > 2 с готовности; худшее обнаружение — 2,5 с для остановленной и убитой реплики, 6,5 с для зависшей (было 8 с). Замер под нагрузкой: `stop` и `kill` — 0,79–1,81 с, `pause` — 5,83–6,00 с; возврат в LB — 1,2–1,8 с. Простаивающие соединения с репликами закрывает LB через 10,1 с (keep-alive реплики 60 с > `timeout http-keep-alive` 10 с, `http-reuse never`). Транзакцию замороженной реплики PostgreSQL прерывает через 10 с простоя: повтор того же ключа — 201, одно сообщение. Неверные сроки — сервис не стартует | `evidence/failover/detection.md`, `evidence/failover/keep-alive.md`, `evidence/failover/hung-key.md`, `evidence/failover/baseline/` |
|
||||
| «4»: health/readiness, таймауты и прекращение приёма при SIGTERM согласованы; период проверок и максимальное время обнаружения | таблица цепочки таймаутов (раздел «Балансировщик и реплики»); `make bench_failover FAILOVER_LABEL=baseline` (commit `459f84c`, хост проверен); `driver.py --port 8080 idle-conns`; `driver.py --port 8080 hang-key`; запуск с неверными сроками | проверка раз в 1 с, `fastinter` 0,5 с, `fall 2`, `rise 2`, `timeout check` 2,5 с > 2 с готовности; худшее обнаружение — 2,5 с для остановленной и убитой реплики, 6,5 с для зависшей (было 8 с). Замер под нагрузкой: `stop` и `kill` — 0,79–1,81 с, `pause` — 5,83–6,00 с; возврат в LB — 1,2–1,8 с. Простаивающие соединения с репликами закрывает LB через 10,1 с (keep-alive реплики 60 с > `timeout http-keep-alive` 10 с, `http-reuse never`). Отвергнутый вариант — пул LB (`http-reuse safe`) при том же keep-alive 60 с — переснят на закоммиченном коде временным вторым HAProxy с одной изменённой строкой: последнее соединение закрыла реплика через 60,4 с. Транзакцию замороженной реплики PostgreSQL прерывает через 10 с простоя: повтор того же ключа — 201, одно сообщение; временный триггер сценария удаляется и при Ctrl+C или SIGTERM. Неверные сроки — сервис не стартует | `evidence/failover/detection.md`, `evidence/failover/keep-alive.md`, `evidence/failover/hung-key.md`, `evidence/failover/baseline/` |
|
||||
| «4»: последовательная остановка каждой реплики с восстановлением предыдущей: RPS, ошибки, время восстановления | `make bench_failover FAILOVER_LABEL=baseline`: 100 записей с ключом и 100 чтений в секунду, каждая из двух реплик в режимах `stop`, `kill`, `pause`, возврат через 20 с | 6 фаз. `stop` и `kill`: ~200 успешных ответов в секунду всё время, 0 ошибок, восстановление 0 с, всплеск p95 до 505 мс в секунду действия. `pause`: 602 и 584 ответа 504 (половина запросов ~6 с до исключения), доля успешных 0,5, восстановление 6 с. После возврата ошибок нет. Неуспешные записи повторены с тем же ключом: сообщений 30 005 = ключей 30 005, одинаковых текстов нет | `evidence/failover/baseline/summary.md`, `evidence/failover/detection.md` |
|
||||
| Регрессия на итоговом commit `graceful-failover` | `make test`, `make student_test` через LB, `make test-persistence`, `make test-failover` (`stop` и `kill`), `make test_isolated`, `make failure_checks`, `make bench_quick`, `make bench_restore_quick`, `make bench_failover_quick` | всё код 0: 131 passed через LB; 127 passed и 4 пропуска с причиной в изоляции; 15 проверок отказов; профили лабы 2 на стенде с HAProxy и одной репликой; быстрый профиль отказа — 4 фазы, сверка сошлась | `evidence/tests/graceful-failover-checks.md` |
|
||||
| Масштабирование без правки LB | `make replicas API_REPLICAS=3`, затем `make replicas` | третья реплика в распределении через 2 с без правки `haproxy.cfg`; обратно — две | `evidence/replicas/distribution.md` |
|
||||
@@ -500,14 +500,20 @@ TODO: какие отказы выдерживаются и какие нет;
|
||||
`evidence/failover/keep-alive.md`). Но при SIGTERM uvicorn сразу
|
||||
закрывает простаивающие соединения, и запрос, который LB в тот же
|
||||
миг отправил в такое соединение, получает 502 без повтора. Под
|
||||
нагрузкой 200 запросов в секунду — одиночный 502 в 3 из 14 фаз `stop`
|
||||
с `http-reuse never` и в 1 из 9 с пулом (`safe`), доля успешных в
|
||||
секунде не ниже 99 %. Клиенты с новым соединением на запрос (`make
|
||||
test-failover`) его не встречают; отправку сообщения клиент повторяет
|
||||
с тем же ключом. Убрать гонку совсем может дренаж перед SIGTERM:
|
||||
`/health/ready` отвечает 503, LB выводит реплику за 1,5 с, затем
|
||||
остановка. Это меняет поведение остановки (новые запросы после
|
||||
SIGTERM ещё принимаются) и срок (1,5 + 8 с > 9 с hook) — не сделано.
|
||||
нагрузкой 200 запросов в секунду на закоммиченном коде — одиночный 502
|
||||
в 1 из 4 фаз `stop` (регрессия и замер `baseline`), доля успешных в
|
||||
секунде не ниже 99 %. С пулом (`safe`) гонка та же: в разведке на
|
||||
рабочем дереве — 1 из 9 фаз против 2 из 10 с `never`, разница в
|
||||
пределах случайности (это история поиска, не доказательство,
|
||||
`evidence/failover/keep-alive.md`). Клиенты с новым соединением на
|
||||
запрос (`make test-failover`) его не встречают; отправку сообщения
|
||||
клиент повторяет с тем же ключом. README допускает краткие ошибки во
|
||||
время обнаружения отказа, если они измерены. Убрать гонку совсем может
|
||||
дренаж перед SIGTERM: реплика выводится из LB, затем остановка. Это
|
||||
меняет поведение остановки (новые запросы после SIGTERM ещё
|
||||
принимаются) или срок hook (1,5 + 8 с > 9 с) — здесь не сделано,
|
||||
перенесено в change `rolling-update`: поочерёдная замена и так выводит
|
||||
старую реплику из LB до остановки.
|
||||
- **Профиль отказа — один прогон на фазу, один хост.** Замер показывает
|
||||
поведение и порядок величин, а не распределение. Генератор, LB,
|
||||
реплики и PostgreSQL делят ВМ Docker (`evidence/failover/baseline/`).
|
||||
|
||||
@@ -3,9 +3,9 @@
|
||||
| | |
|
||||
|---|---|
|
||||
| Спеки | `load-balancing` «Транзакции зависшей реплики» — «Простой в транзакции», «Повтор ключа после зависшей реплики»; «Время обнаружения отказа» — «Зависшая реплика» (вне нагрузки); `service-configuration` «Таймауты соединений за балансировщиком» — «Сроки по умолчанию», «Срок не число», «Срок простоя транзакции не больше срока запроса» |
|
||||
| Change | `graceful-failover`, задачи 1.1, 1.2, 4.1 и 6.2 (design, решения 4 и 8) |
|
||||
| Дата | 2026-10-10 20:22:58–20:23:18 UTC (сценарий), проверки настроек — ниже |
|
||||
| Commit | `459f84c` (стенд пересоздан с этого commit: `make down`, `make run_docker`) |
|
||||
| Change | `graceful-failover`, задачи 1.1, 1.2, 4.1 и 6.2 (design, решения 4, 8 и 10) |
|
||||
| Дата | 2026-10-10 20:22:58–20:23:18 UTC (сценарий), проверки настроек — ниже; verify (уборка триггера при прерывании) — 21:01:27–21:02:10 UTC |
|
||||
| Commit | `459f84c` (стенд пересоздан с этого commit: `make down`, `make run_docker`); verify — драйвер `12783aa` против того же стенда (код приложения не менялся) |
|
||||
| Стенд | `make run_docker`: проект `mtusi-lab3`, HAProxy на `127.0.0.1:8080`, `api` × 2 |
|
||||
| Хост | Docker Desktop 29.8.2, macOS arm64; ВМ Docker: 12 CPU, 7,7 GiB RAM; питание от сети |
|
||||
|
||||
@@ -35,7 +35,9 @@ hang-key`:
|
||||
вставляется раньше сообщения, `service-layer.md`);
|
||||
4. повторы K с тем же телом через LB до 201;
|
||||
5. разморозка, история чата через LB, строка журнала PostgreSQL;
|
||||
6. триггер удаляется в `finally`.
|
||||
6. триггер удаляется в `finally`, реплика размораживается — при любом
|
||||
исходе, в том числе по Ctrl+C, SIGTERM и SIGHUP (с `12783aa`, раздел
|
||||
«Уборка при прерывании»).
|
||||
|
||||
Ключ, токен и пароль не печатаются. Время — секунды от начала сценария.
|
||||
|
||||
@@ -104,6 +106,73 @@ free slots: 6
|
||||
держит транзакцию не дольше этого срока — `get_db_session` закрывает
|
||||
соединение по сроку (`infra.md`).
|
||||
|
||||
## Уборка при прерывании (verify)
|
||||
|
||||
Триггер — изменение схемы базы рабочего стенда, поэтому verify
|
||||
проверил, что он не остаётся. С `12783aa`:
|
||||
|
||||
- функция и триггер называются `hang_probe_<метка запуска>` и
|
||||
срабатывают только на пробный текст `hang-probe-<метка>`: другие
|
||||
вставки и одновременный второй запуск они не задевают;
|
||||
- SIGTERM и SIGHUP драйвер превращает в `KeyboardInterrupt`, как
|
||||
Ctrl+C, и `finally` размораживает реплику и удаляет триггер;
|
||||
- если удалить не удалось (PostgreSQL недоступен, второе прерывание
|
||||
во время уборки), команда печатает SQL удаления и выходит с кодом 1.
|
||||
От SIGKILL уборки нет — это единственный исход, после которого
|
||||
триггер остаётся.
|
||||
|
||||
Тот же сценарий целиком, затем прерывание через 1–1,5 с после заморозки
|
||||
— Ctrl+C (SIGINT группе процессов) и `kill` (SIGTERM процессу
|
||||
драйвера). Обёртка (вне репозитория) запускает драйвер, ждёт строку
|
||||
о заморозке, проверяет в PostgreSQL число функций и триггеров
|
||||
`hang_probe%` и состояние реплик, шлёт сигнал и проверяет снова.
|
||||
Traceback прерывания сокращён до последней строки:
|
||||
|
||||
```text
|
||||
### 2026-10-10T21:01:27Z $ python3 .claude/skills/run-mtusi-messenger/driver.py --port 8080 hang-key
|
||||
trigger hang_probe_0766bae7: INSERT of the probe message sleeps 2 s
|
||||
0.86 s paused replica bbc91284862a inside the transaction with the key (INSERT of the probe message); its connections: idle_in_transaction_session_timeout = 10s
|
||||
0.86 s retry with the same key: 503 via abd10a328015 in 5.03 s
|
||||
6.40 s retry with the same key: 504 via LB in 10.02 s
|
||||
16.92 s retry with the same key: 201 via abd10a328015 in 2.04 s
|
||||
10.17 s original request answered: 504 via LB
|
||||
12.20 s postgres: 2026-10-10 21:01:39.529 UTC [46] FATAL: terminating connection due to idle-in-transaction timeout
|
||||
19.09 s unpaused bbc91284862a
|
||||
chat history: 200, 1 message(s) with the probe text; all replicas UP in LB: True
|
||||
trigger hang_probe_0766bae7 removed
|
||||
|
||||
### 2026-10-10T21:01:53Z — SIGINT группе (Ctrl+C)
|
||||
before: triggers=0 functions=0; abd10a328015 running paused=false; bbc91284862a running paused=false
|
||||
| trigger hang_probe_4b7969f3: INSERT of the probe message sleeps 2 s
|
||||
| 0.78 s paused replica abd10a328015 inside the transaction with the key (INSERT of the probe message); its connections: idle_in_transaction_session_timeout = 10s
|
||||
1.93 s during pause: triggers=1 functions=1; abd10a328015 paused paused=true; bbc91284862a running paused=false
|
||||
2.19 s sent SIGINT
|
||||
| trigger hang_probe_4b7969f3 removed
|
||||
| Traceback (most recent call last): … KeyboardInterrupt
|
||||
driver exit code -2
|
||||
after: triggers=0 functions=0; abd10a328015 running paused=false; bbc91284862a running paused=false
|
||||
|
||||
### 2026-10-10T21:02:02Z — SIGTERM процессу драйвера (kill)
|
||||
before: triggers=0 functions=0; abd10a328015 running paused=false; bbc91284862a running paused=false
|
||||
| trigger hang_probe_9d7f5195: INSERT of the probe message sleeps 2 s
|
||||
| 0.81 s paused replica bbc91284862a inside the transaction with the key (INSERT of the probe message); its connections: idle_in_transaction_session_timeout = 10s
|
||||
2.04 s during pause: triggers=1 functions=1; abd10a328015 running paused=false; bbc91284862a paused paused=true
|
||||
2.24 s sent SIGTERM
|
||||
| trigger hang_probe_9d7f5195 removed
|
||||
| Traceback (most recent call last): … KeyboardInterrupt: SIGTERM
|
||||
driver exit code -2
|
||||
after: triggers=0 functions=0; abd10a328015 running paused=false; bbc91284862a running paused=false
|
||||
```
|
||||
|
||||
- Полный сценарий на новом коде — тот же итог, что выше: 201 после
|
||||
прерывания транзакции, одно сообщение, триггер удалён.
|
||||
- При обоих прерываниях во время заморозки триггер и функция были
|
||||
(`triggers=1 functions=1`, реплика `paused`), после — нет, обе реплики
|
||||
работают и не заморожены. Код выхода −2: необработанный
|
||||
`KeyboardInterrupt` Python завершает процесс сигналом SIGINT.
|
||||
- Ветка «удалить не удалось» не воспроизводилась: для неё нужен
|
||||
недоступный PostgreSQL ровно во время уборки.
|
||||
|
||||
## Настройки сроков (`service-configuration`)
|
||||
|
||||
2026-10-10 ~20:48 UTC, тот же стенд и образ `459f84c`. Значения по
|
||||
|
||||
+109
-23
@@ -3,10 +3,10 @@
|
||||
| | |
|
||||
|---|---|
|
||||
| Спеки | `graceful-shutdown` «Простаивающие соединения закрывает балансировщик» — «Клиенты молчат после всплеска»; «Остановка реплики за балансировщиком» — «docker stop под нагрузкой», «Клиент с новым соединением на запрос» |
|
||||
| Change | `graceful-failover`, задачи 2.1, 4.1 и 6.2 (design, решение 3) |
|
||||
| Дата | 2026-10-10: проверка итога 20:22:46 UTC; разведка и сравнение вариантов — 19:18–20:41 UTC |
|
||||
| Commit | итог — `459f84c` (стенд пересоздан с него); разведка — `aec6f23` (до change) и рабочее дерево поверх `b76a666` с вариантами конфигурации, помечено у каждой таблицы |
|
||||
| Стенд | `make run_docker`: проект `mtusi-lab3`, HAProxy на `127.0.0.1:8080`, `api` × 2; сравнение под нагрузкой — профиль `failover_quick` на стенде `mtusi-bench` |
|
||||
| Change | `graceful-failover`, задачи 2.1, 4.1 и 6.2 (design, решения 3 и 10) |
|
||||
| Дата | 2026-10-10: проверка итога 20:22:46 UTC; verify — 21:02:12 (итог) и 21:02:56 UTC (вариант `safe`); разведка и сравнение вариантов — 19:18–20:41 UTC |
|
||||
| Commit | итог — `459f84c` (стенд пересоздан с него); verify — `12783aa` (код приложения и действующая часть `haproxy.cfg` те же, что в `459f84c`: `git diff 459f84c 12783aa -- src docker-compose.yml Dockerfile` пуст, в `haproxy.cfg` изменён только комментарий); разведка — `aec6f23` (до change) и рабочее дерево поверх `b76a666` с вариантами конфигурации, помечено у каждой таблицы |
|
||||
| Стенд | `make run_docker`: проект `mtusi-lab3`, HAProxy на `127.0.0.1:8080`, `api` × 2; вариант `safe` — временный второй HAProxy того же образа в сети стенда (ниже); сравнение под нагрузкой — профиль `failover_quick` на стенде `mtusi-bench` |
|
||||
| Хост | Docker Desktop 29.8.2, macOS arm64; ВМ Docker: 12 CPU, 7,7 GiB RAM; питание от сети |
|
||||
|
||||
## Задача
|
||||
@@ -55,18 +55,90 @@ replicas hold no connections 10.1 s after the last request (replica keep-alive 6
|
||||
60 с (`[app] keep_alive_seconds`), прежние 5 с uvicorn уже прошли —
|
||||
значит, новый срок действует, и закрыл LB.
|
||||
|
||||
## Отвергнутый вариант на закоммиченном коде (verify)
|
||||
|
||||
Первый вариант design — пул LB (`http-reuse safe`) и длинный keep-alive
|
||||
реплики — в apply проверялся только на рабочем дереве. В verify он
|
||||
переснят на закоммиченном коде переключением одного параметра LB, без
|
||||
правки дерева: реплики стенда — образ `459f84c` с keep-alive 60 с, перед
|
||||
ними временный второй HAProxy того же образа с копией закоммиченного
|
||||
`haproxy.cfg`, где отличается одна строка:
|
||||
|
||||
```text
|
||||
$ diff infra/haproxy/haproxy.cfg <копия>/haproxy-safe.cfg
|
||||
89c89
|
||||
< http-reuse never
|
||||
---
|
||||
> http-reuse safe
|
||||
$ docker run -d --name mtusi-lab3-lbvariant --network mtusi-lab3_default \
|
||||
-p 127.0.0.1:18081:8080 -e API_PORT=8080 --cpus 1 --memory 256m --memory-swap 256m \
|
||||
-v <копия>/haproxy-safe.cfg:/usr/local/etc/haproxy/haproxy.cfg:ro \
|
||||
haproxy:3.4.6-trixie@sha256:e2739156… # тот же пин, что в docker-compose.yml
|
||||
```
|
||||
|
||||
`pool-purge-delay` не задан: по умолчанию он и есть 5 с, как в первом
|
||||
варианте. Сначала тот же замер через LB стенда (`never`) кодом
|
||||
`12783aa`, затем через временный LB (`safe`); пул в последнем столбце —
|
||||
этого временного LB (`--lb`):
|
||||
|
||||
```text
|
||||
### 2026-10-10T21:02:12Z $ python3 .claude/skills/run-mtusi-messenger/driver.py --port 8080 idle-conns
|
||||
burst: 20 keep-alive clients × 50 GET /health/live through LB: {200: 1000}; clients stay connected and idle
|
||||
t, s replica: connections on its API port | LB pool idle+safe
|
||||
0.0 abd10a328015: 20 | 0 bbc91284862a: 20 | 0
|
||||
… (без изменений до 9,1 с)
|
||||
9.1 abd10a328015: 20 | 0 bbc91284862a: 20 | 0
|
||||
10.1 abd10a328015: 0 | 0 bbc91284862a: 0 | 0
|
||||
11.1 abd10a328015: 0 | 0 bbc91284862a: 0 | 0
|
||||
replicas hold no connections 10.1 s after the last request (replica keep-alive 60 s): closed by LB
|
||||
### exit 0
|
||||
|
||||
### 2026-10-10T21:02:56Z $ python3 .claude/skills/run-mtusi-messenger/driver.py --port 18081 idle-conns --lb mtusi-lab3-lbvariant
|
||||
burst: 20 keep-alive clients × 50 GET /health/live through LB: {200: 1000}; clients stay connected and idle
|
||||
t, s replica: connections on its API port | LB pool idle+safe
|
||||
0.0 abd10a328015: 10 | 10 bbc91284862a: 15 | 15
|
||||
… (без изменений до 14,1 с)
|
||||
14.1 abd10a328015: 10 | 10 bbc91284862a: 15 | 15
|
||||
15.1 abd10a328015: 6 | 6 bbc91284862a: 10 | 10
|
||||
20.1 abd10a328015: 3 | 3 bbc91284862a: 6 | 6
|
||||
25.1 abd10a328015: 1 | 1 bbc91284862a: 3 | 3
|
||||
30.2 abd10a328015: 1 | 1 bbc91284862a: 1 | 1
|
||||
… (без изменений до 59,4 с)
|
||||
59.4 abd10a328015: 1 | 1 bbc91284862a: 1 | 1
|
||||
60.4 abd10a328015: 0 | 0 bbc91284862a: 0 | 0
|
||||
61.4 abd10a328015: 0 | 0 bbc91284862a: 0 | 0
|
||||
replicas hold no connections 60.4 s after the last request (replica keep-alive 60 s): closed by the replica
|
||||
### exit 1
|
||||
$ docker rm -f mtusi-lab3-lbvariant
|
||||
```
|
||||
|
||||
Строки между отмеченными секундами опущены: числа в них те же, что в
|
||||
строке выше. Полный вывод — 62 строки, по одной в секунду.
|
||||
|
||||
- С пулом соединения с репликами живут в общем пуле LB (столбец пула
|
||||
равен соединениям реплики). Клиенты замолчали — через 10 с LB закрыл
|
||||
их сеансы, а соединения с репликами остались в пуле. Дальше уборка
|
||||
пула закрывает около половины каждые 5 с (15 → 10 → 6 → 3 → 1), но
|
||||
последнее соединение к каждой реплике держит, пока его не закрывает
|
||||
реплика по своему keep-alive — через 60,4 с. В этот момент LB может
|
||||
отправить в него запрос, клиент получит 502.
|
||||
- С `never` соединения принадлежат сеансам клиентов и закрываются вместе
|
||||
с ними через 10,1 с: раньше срока реплики, закрывает LB.
|
||||
|
||||
Так на закоммиченном коде подтверждён вывод разведки (таблица ниже):
|
||||
длинный keep-alive реплики с пулом LB делает гонку реже, но не убирает
|
||||
её, поэтому выбран `never`.
|
||||
|
||||
## Как пришли к итогу (разведка)
|
||||
|
||||
Эта таблица — история поиска. Доказательство итога и отвергнутого
|
||||
варианта — разделы выше, снятые с закоммиченного кода.
|
||||
|
||||
| Конфигурация | Когда реплики остались без соединений | Кто закрыл | Где снято |
|
||||
|---|---|---|---|
|
||||
| `http-reuse safe` (по умолчанию), keep-alive uvicorn 5 с — до change | весь пул LB разом через ~5 с после всплеска | реплика | `aec6f23`, всплеск k6 300 запросов/с 5 с, статистика LB раз в секунду: `safe_conn_cur` 22 и 13 → 0 между 4-й и 5-й секундой |
|
||||
| `http-reuse safe`, keep-alive 60 с, `pool-purge-delay 5s` — первый вариант design | пул уменьшался ступенями каждые 5 с (15 → 10 → 6 → 3 → 1 у одной реплики, 11 → 7 → 4 → 2 → 0 у другой), но последнее соединение LB держал до 60,3 с | реплика | рабочее дерево с этим вариантом, первая версия `idle-conns` (клиенты закрывались после всплеска) |
|
||||
| `http-reuse never`, keep-alive 60 с — итог | 10,1 с | LB | `459f84c`, вывод выше |
|
||||
|
||||
Первый вариант опирался на то, что уборка пула HAProxy закроет и
|
||||
последнее простаивающее соединение. Проверка это опровергла: одно
|
||||
соединение к реплике HAProxy оставляет сколь угодно долго. Длинный
|
||||
keep-alive делал гонку реже, но не убирал её.
|
||||
| `http-reuse safe`, keep-alive 60 с, `pool-purge-delay 5s` — первый вариант design | пул уменьшался ступенями каждые 5 с (15 → 10 → 6 → 3 → 1 у одной реплики, 11 → 7 → 4 → 2 → 0 у другой), но последнее соединение LB держал до 60,3 с | реплика | рабочее дерево с этим вариантом, первая версия `idle-conns` (клиенты закрывались после всплеска); переснято в verify — раздел выше, 60,4 с |
|
||||
| `http-reuse never`, keep-alive 60 с — итог | 10,1 с | LB | `459f84c`, вывод выше; в verify — то же на `12783aa` |
|
||||
|
||||
## Гонка при SIGTERM остаётся
|
||||
|
||||
@@ -77,19 +149,31 @@ keep-alive делал гонку реже, но не убирал её.
|
||||
записей и 100 чтений в секунду, ~4 600 запросов в быстрой фазе и
|
||||
~10 000 в полной):
|
||||
|
||||
Закоммиченный код (`459f84c`, `http-reuse never`) — доказательство:
|
||||
|
||||
| Прогон | Фаз `stop` | Фаз с ошибкой | Ошибки |
|
||||
|---|---|---|---|
|
||||
| регрессия: `quick-failover-20261010T203941Z` (`../tests/graceful-failover-checks.md`) | 2 | 1 | один 502 |
|
||||
| замер: метка `baseline` (`baseline/`) | 2 | 0 | — |
|
||||
|
||||
Разведка в apply на рабочем дереве поверх `b76a666` — история поиска,
|
||||
не доказательство:
|
||||
|
||||
| Режим LB | Прогон | Фаз `stop` | Фаз с ошибкой | Ошибки |
|
||||
|---|---|---|---|---|
|
||||
| `safe` | разведка, рабочее дерево поверх `b76a666`: `quick-failover-20261010T194148Z`, `…194627Z`, `quick-failover-safe-201319`, `…-201424` (одна фаза), `…-201530` | 9 | 1 | один 502 |
|
||||
| `never` | разведка, рабочее дерево поверх `b76a666`: `quick-failover-20261010T200206Z`, `quick-failover-never-200944`, `…-201055`, `…-201201`, `quick-failover-20261010T201807Z` | 10 | 2 | по одному 502; в `200206Z` — через 0,07 с после SIGTERM |
|
||||
| `never` | регрессия `459f84c`: `quick-failover-20261010T203941Z` (`../tests/graceful-failover-checks.md`) | 2 | 1 | один 502 |
|
||||
| `never` | замер `459f84c`: метка `baseline` (`baseline/`) | 2 | 0 | — |
|
||||
| `safe` | `quick-failover-20261010T194148Z`, `…194627Z`, `quick-failover-safe-201319`, `…-201424` (одна фаза), `…-201530` | 9 | 1 | один 502 |
|
||||
| `never` | `quick-failover-20261010T200206Z`, `quick-failover-never-200944`, `…-201055`, `…-201201`, `quick-failover-20261010T201807Z` | 10 | 2 | по одному 502; в `200206Z` — через 0,07 с после SIGTERM |
|
||||
|
||||
Пробные метки `quick-*` в git не идут (`.gitignore`), числа выше
|
||||
перенесены из их `phases.csv`.
|
||||
|
||||
- Разница между режимами в пределах случайности: одиночные события на
|
||||
тысячи запросов фазы. `never` при этом убирает гонку по сроку
|
||||
простоя, поэтому выбран он.
|
||||
- Гонку при SIGTERM `never` не убирает: на закоммиченном коде —
|
||||
одиночный 502 в 1 из 4 фаз `stop`. Сравнение с `safe` под нагрузкой
|
||||
есть только в разведке (2 из 10 против 1 из 9 — одиночные события на
|
||||
тысячи запросов фазы, разница в пределах случайности), поэтому
|
||||
«`never` лучше `safe` при SIGTERM» не утверждается. `never` выбран за
|
||||
другое: он убирает гонку по сроку простоя (раздел «Отвергнутый
|
||||
вариант на закоммиченном коде»).
|
||||
- Ни в одной фазе `stop` доля успешных в секунде не опустилась ниже
|
||||
99 %, время восстановления — 0 с. Спек `graceful-shutdown` называет
|
||||
этот одиночный 502 исключением прямо.
|
||||
@@ -97,8 +181,10 @@ keep-alive делал гонку реже, но не убирал её.
|
||||
всегда идёт по новому соединению с репликой. Поэтому `make
|
||||
test-failover` (urllib) в режиме `stop` — 0 неудачных попыток
|
||||
(`../tests/graceful-failover-checks.md`).
|
||||
- Убрать гонку совсем может только дренаж перед SIGTERM: реплика
|
||||
отвечает на `/health/ready` 503, LB выводит её за 1,5 с, затем
|
||||
остановка. Это меняет спек `graceful-shutdown` и срок остановки
|
||||
(1,5 + 8 с > 9 с hook) и в этот change не входит (`REPORT.md`,
|
||||
«Ограничения»).
|
||||
- Убрать гонку совсем может только дренаж перед SIGTERM: реплику
|
||||
выводят из LB, затем останавливают. Это меняет спек
|
||||
`graceful-shutdown` и срок остановки (1,5 + 8 с > 9 с hook) и в этот
|
||||
change не входит: README допускает краткие ошибки при обнаружении
|
||||
отказа, если они измерены. Дренаж перенесён в change `rolling-update`
|
||||
— поочерёдная замена и так выводит старую реплику из LB до остановки
|
||||
(design, Risks; `REPORT.md`, «Ограничения»).
|
||||
|
||||
@@ -3,9 +3,9 @@
|
||||
| | |
|
||||
|---|---|
|
||||
| Спеки | все основные спеки через `make student_test` и сверку покрытия; `load-balancing` «Отказ одной реплики», «Failover hook»; `data-storage` «Данные переживают рестарт»; `load-benchmark` «Фиксированный стенд» — «Одна реплика за балансировщиком», «Лимиты в паспорте», «Профиль отказа реплик» — «Быстрый профиль»; `graceful-shutdown` «Простаивающие соединения закрывает балансировщик» — «Клиенты молчат после всплеска» |
|
||||
| Change | `graceful-failover`, задача 5.2 |
|
||||
| Дата | 2026-10-10 20:21:28–20:41:38 UTC |
|
||||
| Commit | `459f84c` (рабочий стенд пересоздан с него: `make down`, `make run_docker`) |
|
||||
| Change | `graceful-failover`, задачи 5.2 и 7.1 |
|
||||
| Дата | 2026-10-10 20:21:28–20:41:38 UTC; часть C (verify) — 21:07:00–21:07:02 UTC |
|
||||
| Commit | `459f84c` (рабочий стенд пересоздан с него: `make down`, `make run_docker`); часть C — `12783aa` (код приложения тот же) |
|
||||
| Стенд | часть A — рабочий `mtusi-lab3`: HAProxy на `127.0.0.1:8080`, `api` × 2; часть B — свои стенды (`test_isolated`, `<рабочий>-failures`, `mtusi-bench`) |
|
||||
| Хост | Docker Desktop 29.8.2, macOS arm64; ВМ Docker: 12 CPU, 7,7 GiB RAM; питание от сети. Самопроверки, не замеры: хост не готовился, рабочий стенд в части B работал |
|
||||
|
||||
@@ -139,3 +139,32 @@ coverage: 135 scenarios in 11 specs, 123 tested (16 by make failure_checks), 12
|
||||
успешных в каждой секунде выше 99 %.
|
||||
- В паспортах самопроверок части B `dirty: true`: в рабочем дереве в
|
||||
это время лежал неотслеживаемый черновик evidence. Код — `459f84c`.
|
||||
|
||||
## Часть C: правки verify (`12783aa`)
|
||||
|
||||
Правки verify (design, решение 10) не меняют приложение и действующую
|
||||
конфигурацию LB: `git diff 459f84c 12783aa -- src docker-compose.yml
|
||||
Dockerfile` пуст, в `haproxy.cfg` — только комментарий (`haproxy -c` в
|
||||
закреплённом образе — код 0). Профили `bench` не перезапускались: их
|
||||
код не менялся, кроме `compare.py`. Команды драйвера — в
|
||||
`../failover/keep-alive.md` и `../failover/hung-key.md`.
|
||||
|
||||
```text
|
||||
### 2026-10-10T21:07:00Z $ uv run python bench/compare.py --before quick-20261010T155358Z --after quick-20261010T203408Z
|
||||
compare failed: label quick-20261010T155358Z was measured without the load balancer (before change graceful-failover): different methodology
|
||||
### exit 1
|
||||
### 2026-10-10T21:07:01Z $ uv run python bench/compare.py --before quick-20261010T203408Z --after quick-20261010T203408Z
|
||||
saved to evidence/compare/quick-20261010T203408Z__quick-20261010T203408Z.md
|
||||
### exit 0
|
||||
### 2026-10-10T21:07:01Z $ make test
|
||||
PASS: lab3 public API scenario; infrastructure and grading evidence remain separate.
|
||||
```
|
||||
|
||||
- `quick-20261010T155358Z` — самопроверка до change, стенд без LB (в
|
||||
паспорте нет `limits.haproxy` и `limits.api_replicas`), сравнение с
|
||||
меткой стенда с LB — отказ. Раньше команда сравнила бы их и только
|
||||
предупредила «записан только в одной метке». Две метки стенда с LB
|
||||
сравниваются как прежде (сравнение пробной метки с собой, файл
|
||||
результата удалён, `evidence/compare/*quick-*` — в `.gitignore`).
|
||||
- `make lint`, `make check`, `openspec validate graceful-failover
|
||||
--strict` — без ошибок.
|
||||
|
||||
@@ -191,7 +191,9 @@ uvicorn закрывает простаивающее соединение че
|
||||
Первый вариант design опирался на то, что уборка пула HAProxy закроет
|
||||
и последнее соединение. Проверка это опровергла: HAProxy оставляет одно
|
||||
простаивающее соединение к реплике сколь угодно долго. Длинный
|
||||
keep-alive делал гонку реже, но не убирал её.
|
||||
keep-alive делал гонку реже, но не убирал её. В apply вторая строка
|
||||
таблицы снята на рабочем дереве; verify переснял её на закоммиченном
|
||||
коде (решение 10): последнее соединение закрыла реплика через 60,4 с.
|
||||
|
||||
Цена `http-reuse never`:
|
||||
|
||||
@@ -222,21 +224,23 @@ keep-alive делал гонку реже, но не убирал её.
|
||||
есть доли миллисекунды. Клиенты с новым соединением на запрос, как
|
||||
`tests/resilience.py`, этой гонки не встречают: их запрос всегда идёт
|
||||
по новому соединению с репликой. Профиль `failover` (k6 держит
|
||||
keep-alive) её измерил в apply, фазы `stop` быстрого профиля:
|
||||
keep-alive) её измерил, фазы `stop`:
|
||||
|
||||
| Режим LB | Фаз `stop` | Фаз с ошибкой | Ошибки |
|
||||
|---|---|---|---|
|
||||
| `http-reuse never` | 14 (10 — разведка, 2 — регрессия, 2 — замер `baseline`) | 3 | по одному 502 через доли секунды после SIGTERM |
|
||||
| `http-reuse safe` | 9 (разведка) | 1 | один 502 |
|
||||
| Режим LB | Код | Фаз `stop` | Фаз с ошибкой | Ошибки |
|
||||
|---|---|---|---|---|
|
||||
| `http-reuse never` | `459f84c`: регрессия и замер `baseline` | 4 | 1 | один 502 через доли секунды после SIGTERM |
|
||||
| `http-reuse never` | разведка, рабочее дерево | 10 | 2 | по одному 502 |
|
||||
| `http-reuse safe` | разведка, рабочее дерево | 9 | 1 | один 502 |
|
||||
|
||||
Разница в пределах случайности (одиночные события на 4 600–10 000
|
||||
запросов фазы), а `never` ещё и убирает гонку по сроку простоя.
|
||||
Поэтому `never` (на момент выбора было 8 и 2 фазы — так и записано в
|
||||
комментарии `haproxy.cfg`; таблица по прогонам —
|
||||
`evidence/failover/keep-alive.md`). Доля успешных в каждой секунде остаётся выше 99 %, время
|
||||
восстановления — 0 с; дельта спека `graceful-shutdown` называет это
|
||||
исключение прямо. Убрать гонку совсем может только дренаж перед
|
||||
SIGTERM (readiness 503, затем остановка) — Risks.
|
||||
Доказательство — первая строка. Сравнение режимов под нагрузкой есть
|
||||
только в разведке, и разница в нём в пределах случайности (одиночные
|
||||
события на 4 600–10 000 запросов фазы). Поэтому выбор `never` опирается
|
||||
не на него, а на гонку по сроку простоя, которую `never` убирает
|
||||
(таблица выше, переснята в verify). Таблица по прогонам —
|
||||
`evidence/failover/keep-alive.md`. Доля успешных в каждой секунде
|
||||
остаётся выше 99 %, время восстановления — 0 с; дельта спека
|
||||
`graceful-shutdown` называет это исключение прямо. Убрать гонку совсем
|
||||
может только дренаж перед SIGTERM — Risks, перенесён в `rolling-update`.
|
||||
|
||||
### 4. `idle_in_transaction_session_timeout` 10 с
|
||||
|
||||
@@ -521,19 +525,73 @@ LB перед действием: слот получает адрес из DNS,
|
||||
Всё снимается с закоммиченного кода. Рабочий стенд пересоздаётся
|
||||
`make down` и `make run_docker`: после пересборки на Docker 29.8
|
||||
`make run_docker` не пересоздаёт работающие `api` (verify
|
||||
`replicas-lb`).
|
||||
`replicas-lb`; записано в `KNOWN_ISSUES.md` для change
|
||||
`rolling-update`).
|
||||
|
||||
### 10. Правки по verify (2026-10-10)
|
||||
|
||||
Verify сверил код, конфиги, дельты спеков, evidence и `REPORT.md` с
|
||||
артефактами. Задачи закрыты, требования реализованы (CRITICAL нет).
|
||||
Найдено и исправлено (commit `12783aa`, evidence — с него):
|
||||
|
||||
- **Отвергнутый вариант опирался на прогон с рабочего дерева.** Вывод
|
||||
«пул LB и длинный keep-alive реплики не убирают гонку по сроку
|
||||
простоя» (решение 3) был снят на незакоммиченной конфигурации.
|
||||
Переснят на закоммиченном коде переключением одного параметра без
|
||||
правки дерева: временный второй HAProxy того же образа с копией
|
||||
`haproxy.cfg`, где `http-reuse safe`, перед теми же репликами.
|
||||
Последнее соединение закрыла реплика через 60,4 с, с `never` — LB
|
||||
через 10,1 с (`evidence/failover/keep-alive.md`). Для этого у
|
||||
`idle-conns` появился `--lb <контейнер>`, а итог называет, кто закрыл
|
||||
(раньше при любом исходе печаталось «closed by LB»).
|
||||
- **Сравнение `never` и `safe` при SIGTERM — только разведка.**
|
||||
Формулировки в design, `REPORT.md` и `keep-alive.md` разделяют
|
||||
доказательство (1 из 4 фаз `stop` на `459f84c`) и разведку; вывод
|
||||
«`never` лучше при SIGTERM» не делается.
|
||||
- **Уборка триггера `hang-key`.** Design обещал SQL удаления после
|
||||
прерванного запуска, а код его не печатал; SIGTERM и SIGHUP обходили
|
||||
`finally`. Теперь имя триггера с меткой запуска, сигналы превращаются
|
||||
в `KeyboardInterrupt`, при неудаче уборки печатается SQL и код 1.
|
||||
Проверено прерыванием Ctrl+C и SIGTERM во время заморозки
|
||||
(`evidence/failover/hung-key.md`).
|
||||
- **`make bench_compare` пропускал смену методики.** Метка без LB
|
||||
сравнивалась с меткой со стендом на LB с одним предупреждением
|
||||
«записано только в одной метке». Теперь отказ, если
|
||||
`limits.api_replicas` есть только в одной (`bench.md`).
|
||||
- **Перенос в `rolling-update`** (записано в `PLAN.md`, раздел change, и
|
||||
в `KNOWN_ISSUES.md`):
|
||||
- дренаж перед SIGTERM — убирает одиночный 502 гонки keep-alive
|
||||
(Risks); README допускает измеренные краткие ошибки, поэтому здесь
|
||||
не делается;
|
||||
- `make run_docker` не пересоздаёт работающие `api` после пересборки
|
||||
образа.
|
||||
- Мелочи: из комментария `haproxy.cfg` убраны устаревшие числа фаз, в
|
||||
`Makefile` — длительность быстрого профиля.
|
||||
|
||||
Решено или оставлено осознанно — пункты, переданные из `replicas-lb`:
|
||||
запас обнаружения зависшей реплики (8 → 6,5 с, решение 2), гонка
|
||||
keep-alive (по сроку простоя решена, при SIGTERM — исключение и перенос
|
||||
дренажа), отказ PostgreSQL выводит из LB все реплики (оставлено, Risks и
|
||||
`REPORT.md`, «Ограничения»), `kill` под нагрузкой (замер `baseline`).
|
||||
|
||||
## Risks / Trade-offs
|
||||
|
||||
- **[Гонка keep-alive при SIGTERM остаётся]** → окно — доли
|
||||
миллисекунды, под нагрузкой 200 запросов в секунду — одиночный 502 в
|
||||
каждой 4–8-й фазе `stop` (решение 3). Клиенты с новым соединением на
|
||||
запрос её не встречают. Отправку сообщения клиент повторяет с тем же
|
||||
ключом. Убрать гонку совсем может дренаж перед SIGTERM: readiness 503,
|
||||
LB выводит реплику за 1,5 с, затем остановка. Это меняет спек
|
||||
`graceful-shutdown` (новые запросы после SIGTERM ещё принимаются) и
|
||||
срок остановки (1,5 с + 8 с > 9 с hook), поэтому не в этом change.
|
||||
Ограничение — в `REPORT.md`.
|
||||
части фаз `stop` (1 из 4 на закоммиченном коде, решение 3). Клиенты с
|
||||
новым соединением на запрос её не встречают. Отправку сообщения клиент
|
||||
повторяет с тем же ключом. README лабы допускает «краткие ошибки /
|
||||
оборванные запросы во время обнаружения отказа», если они измерены, а
|
||||
`make test-failover` учитывает ошибки переходного периода, поэтому
|
||||
исключение в дельте `graceful-shutdown` не противоречит рубрике.
|
||||
Убрать гонку совсем может дренаж перед SIGTERM: реплика выводится из
|
||||
LB (readiness 503 или runtime API HAProxy `set server … state
|
||||
drain`), затем остановка. Это меняет спек `graceful-shutdown` (новые
|
||||
запросы после SIGTERM ещё принимаются) или hook (срок остановки 1,5 с
|
||||
+ 8 с > 9 с), поэтому не в этом change. **Перенесено в change
|
||||
`rolling-update`** (решение 10): поочерёдная замена и так должна
|
||||
выводить старую реплику из LB до `docker stop`, там дренаж и
|
||||
появляется. Ограничение — в `REPORT.md`.
|
||||
- **[`/health/ready` через общий пул]** → под перегрузкой проверка ждёт
|
||||
пул, и реплика может выйти из LB. Таймаут 2 с — длиннее любого
|
||||
ожидания в пределах SLO трека 1 (p95 200 мс), поэтому на сериях не
|
||||
@@ -556,8 +614,10 @@ LB перед действием: слот получает адрес из DNS,
|
||||
нет. Новая методика записана в `bench.md`, базовый замер трека 1
|
||||
снимается после change.
|
||||
- **[Триггер `hang-key` на рабочем стенде]** → срабатывает только на
|
||||
пробный текст, удаляется в `finally`. Прерванный запуск оставил бы
|
||||
функцию и триггер: команда печатает SQL удаления.
|
||||
пробный текст, имя — с меткой запуска, удаляется в `finally`, в том
|
||||
числе по Ctrl+C, SIGTERM и SIGHUP. Если удалить не удалось, команда
|
||||
печатает SQL удаления и выходит с кодом 1 (решение 10). Остаётся только
|
||||
SIGKILL драйвера.
|
||||
|
||||
## Migration Plan
|
||||
|
||||
|
||||
@@ -144,3 +144,19 @@ evidence, потом коммит evidence и отчёта. Замеры для
|
||||
- `graphify update .`;
|
||||
- рабочий стенд `mtusi-lab3` запущен через LB, обе реплики `UP`;
|
||||
- рабочее дерево чистое.
|
||||
|
||||
## 7. Правки по verify
|
||||
|
||||
- [x] 7.1 По решению 10: `hang-key` убирает триггер при Ctrl+C,
|
||||
SIGTERM и SIGHUP и печатает SQL удаления при неудаче; `idle-conns
|
||||
--lb` и честный итог «кто закрыл»; `make bench_compare` отказывает
|
||||
метке без LB; комментарий `haproxy.cfg`. Коммит кода, затем evidence с
|
||||
него:
|
||||
- `idle-conns` через LB стенда (`never`) и через временный HAProxy с
|
||||
`http-reuse safe` — `keep-alive.md`;
|
||||
- `hang-key` целиком и с прерыванием Ctrl+C и SIGTERM во время
|
||||
заморозки — `hung-key.md`;
|
||||
- `bench/compare.py` на метке без LB — отказ, на двух метках с LB —
|
||||
сравнение.
|
||||
|
||||
Перенос в `rolling-update` — `PLAN.md` и `KNOWN_ISSUES.md`.
|
||||
|
||||
Reference in New Issue
Block a user