From 502c7d8ace8adb4e00af97c2e7ab49506192fef1 Mon Sep 17 00:00:00 2001 From: Artyom Date: Wed, 28 Oct 2026 19:51:49 +0300 Subject: [PATCH] Keep a returning replica out of rotation until its checks pass The first failover-each run had no errors, yet the balancer counted 19 and 49 redispatches. The HAProxy log showed why: when a stopped container comes back into Docker DNS, its server-template slot leaves MAINT (resolution) as UP/READY at once, before any health check, so requests went to a gunicorn that was not listening yet and were redispatched to the other replica. default-server now sets init-state fully-down (HAProxy 3.1+): at start, on discovery through DNS and on leaving maintenance a server stays DOWN until rise 2 checks pass. A rerun under 100 rps shows zero retries and redispatches for both replicas; rejoining takes about a second longer. The design and the failover spec of the change record the finding. Co-Authored-By: Claude Opus 5.5 (1M context) --- infra/haproxy/haproxy.cfg | 2 +- openspec/changes/add-lab3-failover-operations/design.md | 4 ++++ .../specs/lab3-failover-operations/spec.md | 9 +++++++-- openspec/changes/add-lab3-failover-operations/tasks.md | 1 + 4 files changed, 13 insertions(+), 3 deletions(-) diff --git a/infra/haproxy/haproxy.cfg b/infra/haproxy/haproxy.cfg index 421b78f9..c9bcacf1 100644 --- a/infra/haproxy/haproxy.cfg +++ b/infra/haproxy/haproxy.cfg @@ -54,7 +54,7 @@ backend api http-request set-var(txn.replay_safe) bool(1) if METH_GET http-request set-var(txn.replay_safe) bool(1) if METH_POST message_path has_key http-request disable-l7-retry unless { var(txn.replay_safe) -m bool } - default-server check inter 1s fastinter 500ms downinter 2s fall 2 rise 2 resolvers docker resolve-prefer ipv4 init-addr none maxconn "${API_SERVER_MAXCONN-64}" + default-server check init-state fully-down inter 1s fastinter 500ms downinter 2s fall 2 rise 2 resolvers docker resolve-prefer ipv4 init-addr none maxconn "${API_SERVER_MAXCONN-64}" server-template api 8 api:8080 frontend stats diff --git a/openspec/changes/add-lab3-failover-operations/design.md b/openspec/changes/add-lab3-failover-operations/design.md index b4034c3f..11d75e64 100644 --- a/openspec/changes/add-lab3-failover-operations/design.md +++ b/openspec/changes/add-lab3-failover-operations/design.md @@ -27,6 +27,10 @@ `Database.ping` берёт соединение с таймаутом 0,4 с и выполняет `SELECT 1` с таймаутом 0,4 с: худший ответ 0,8 с < `timeout check 1s`. Раньше пинг мог ждать пул 1 с и запрос ещё 1 с, и при занятом пуле LB видел таймаут проверки вместо явного `503`. Остальные запросы сохраняют свои таймауты. +### D2a. Возврат в ротацию только после проверок + +Найдено первым прогоном `failover-each`: ошибок не было, но `wredis` в статистике LB был 19 и 49. Журнал HAProxy показал, что слот `server-template`, вышедший из `MAINT (resolution)`, когда остановленный контейнер снова появился в DNS, сразу становится `UP/READY (resolves again)` — до проверок. Запросы шли в ещё не слушающий gunicorn и перенаправлялись на соседа. `default-server … init-state fully-down` (HAProxy ≥ 3.1) делает начальное состояние сервера при старте, появлении через DNS и выходе из обслуживания `DOWN` до `rise 2` успешных проверок. Что получаем: новая и возвращённая реплика не получает трафика раньше готовности, повторов 0. Чего стоит: возврат в ротацию дольше на ≈1 с (две проверки), и старт LB ждёт первых проверок. + ### D3. Цепочка таймаутов — тест, а не только таблица | Звено | Значение | Условие | diff --git a/openspec/changes/add-lab3-failover-operations/specs/lab3-failover-operations/spec.md b/openspec/changes/add-lab3-failover-operations/specs/lab3-failover-operations/spec.md index 3421bbed..d9ba0871 100644 --- a/openspec/changes/add-lab3-failover-operations/specs/lab3-failover-operations/spec.md +++ b/openspec/changes/add-lab3-failover-operations/specs/lab3-failover-operations/spec.md @@ -6,7 +6,7 @@ ### Requirement: Согласованные проверки, таймауты и остановка -Балансировщик SHALL проверять каждую реплику `GET /health/ready` с периодом 1 с, после первого провала — каждые 0,5 с, исключать её после 2 провалов подряд и возвращать после 2 успехов. Максимальное время обнаружения SHALL составлять 1,5 с для реплики, которая отвечает `503` или отказывает в соединении, и 3,5 с для зависшей реплики (с таймаутом проверки 1 с). Readiness реплики SHALL отвечать быстрее таймаута проверки. Цепочка таймаутов SHALL убывать от внешнего звена к внутреннему: ожидание ответа балансировщиком > таймаут запроса в приложении > таймаут оператора и ожидания соединения с БД. Срок остановки реплики SHALL укладываться в таймаут хука остановки, а тот — в `stop_grace_period` и в 10 с. +Балансировщик SHALL проверять каждую реплику `GET /health/ready` с периодом 1 с, после первого провала — каждые 0,5 с, исключать её после 2 провалов подряд и возвращать после 2 успехов. Реплика, которая появилась или вернулась через DNS (запуск, `restore.sh`, новая реплика rolling update), SHALL получать запросы только после 2 успешных проверок, а не сразу после появления адреса. Максимальное время обнаружения SHALL составлять 1,5 с для реплики, которая отвечает `503` или отказывает в соединении, и 3,5 с для зависшей реплики (с таймаутом проверки 1 с). Readiness реплики SHALL отвечать быстрее таймаута проверки. Цепочка таймаутов SHALL убывать от внешнего звена к внутреннему: ожидание ответа балансировщиком > таймаут запроса в приложении > таймаут оператора и ожидания соединения с БД. Срок остановки реплики SHALL укладываться в таймаут хука остановки, а тот — в `stop_grace_period` и в 10 с. #### Scenario: Конфигурация согласована @@ -23,6 +23,11 @@ - **WHEN** реплике посылается `SIGTERM` через `scripts/stop-one.sh` - **THEN** балансировщик исключает её раньше, чем хук завершился, а реплика закрывает приём соединений только после этого +#### Scenario: Возврат реплики без преждевременного трафика + +- **WHEN** остановленная реплика запускается снова под нагрузкой +- **THEN** балансировщик не направляет на неё запросы, пока она не прошла 2 проверки готовности: счётчики повторов и перенаправлений LB (`wretr`, `wredis`) за прогон равны 0 + #### Scenario: Зависшая реплика - **WHEN** процесс реплики приостановлен (`docker pause`) и не отвечает на проверки @@ -53,7 +58,7 @@ #### Scenario: Проверка лимитов и изоляции - **WHEN** выполняется `make limits` -- **THEN** проверка по `docker compose config` и `docker inspect` запущенных контейнеров печатает таблицу сервисов с лимитами, портами, секретами, volumes и сетями в `evidence/limits.txt` и завершается `PASS`; `docker compose port api 8080` не находит опубликованного порта +- **THEN** проверка по `docker compose config` и `docker inspect` запущенных контейнеров печатает таблицу сервисов с лимитами, портами, секретами, volumes и сетями в `evidence/limits.txt` и завершается `PASS`; ни у одного контейнера `api` нет опубликованных портов #### Scenario: Нарушение политики diff --git a/openspec/changes/add-lab3-failover-operations/tasks.md b/openspec/changes/add-lab3-failover-operations/tasks.md index e4e758ce..9a72e4b8 100644 --- a/openspec/changes/add-lab3-failover-operations/tasks.md +++ b/openspec/changes/add-lab3-failover-operations/tasks.md @@ -9,6 +9,7 @@ - [x] 2.1 `compose.yaml`: явные `DRAIN_SECONDS`, `DB_ACQUIRE_TIMEOUT_SECONDS`, `DB_COMMAND_TIMEOUT_SECONDS` у `api`; сервис `k6` под профилем `bench`; `.env.example`, Dockerfile - [x] 2.2 Тест цепочки таймаутов по `compose.yaml`, `haproxy.cfg` и `scripts/stop-one.sh` +- [x] 2.4 HAProxy `init-state fully-down`: вернувшаяся через DNS реплика ждёт `rise 2` проверок - [x] 2.3 Проверка группы: `docker compose --profile bench config --quiet`, `make student-test -k "timeouts or drain"` ## 3. Нагрузка и зонд