Keep a returning replica out of rotation until its checks pass
The first failover-each run had no errors, yet the balancer counted 19 and 49 redispatches. The HAProxy log showed why: when a stopped container comes back into Docker DNS, its server-template slot leaves MAINT (resolution) as UP/READY at once, before any health check, so requests went to a gunicorn that was not listening yet and were redispatched to the other replica. default-server now sets init-state fully-down (HAProxy 3.1+): at start, on discovery through DNS and on leaving maintenance a server stays DOWN until rise 2 checks pass. A rerun under 100 rps shows zero retries and redispatches for both replicas; rejoining takes about a second longer. The design and the failover spec of the change record the finding. Co-Authored-By: Claude Opus 5.5 (1M context) <noreply@anthropic.com>
This commit is contained in:
co-authored by
Claude Opus 5.5
parent
85ed37914d
commit
502c7d8ace
@@ -54,7 +54,7 @@ backend api
|
||||
http-request set-var(txn.replay_safe) bool(1) if METH_GET
|
||||
http-request set-var(txn.replay_safe) bool(1) if METH_POST message_path has_key
|
||||
http-request disable-l7-retry unless { var(txn.replay_safe) -m bool }
|
||||
default-server check inter 1s fastinter 500ms downinter 2s fall 2 rise 2 resolvers docker resolve-prefer ipv4 init-addr none maxconn "${API_SERVER_MAXCONN-64}"
|
||||
default-server check init-state fully-down inter 1s fastinter 500ms downinter 2s fall 2 rise 2 resolvers docker resolve-prefer ipv4 init-addr none maxconn "${API_SERVER_MAXCONN-64}"
|
||||
server-template api 8 api:8080
|
||||
|
||||
frontend stats
|
||||
|
||||
@@ -27,6 +27,10 @@
|
||||
|
||||
`Database.ping` берёт соединение с таймаутом 0,4 с и выполняет `SELECT 1` с таймаутом 0,4 с: худший ответ 0,8 с < `timeout check 1s`. Раньше пинг мог ждать пул 1 с и запрос ещё 1 с, и при занятом пуле LB видел таймаут проверки вместо явного `503`. Остальные запросы сохраняют свои таймауты.
|
||||
|
||||
### D2a. Возврат в ротацию только после проверок
|
||||
|
||||
Найдено первым прогоном `failover-each`: ошибок не было, но `wredis` в статистике LB был 19 и 49. Журнал HAProxy показал, что слот `server-template`, вышедший из `MAINT (resolution)`, когда остановленный контейнер снова появился в DNS, сразу становится `UP/READY (resolves again)` — до проверок. Запросы шли в ещё не слушающий gunicorn и перенаправлялись на соседа. `default-server … init-state fully-down` (HAProxy ≥ 3.1) делает начальное состояние сервера при старте, появлении через DNS и выходе из обслуживания `DOWN` до `rise 2` успешных проверок. Что получаем: новая и возвращённая реплика не получает трафика раньше готовности, повторов 0. Чего стоит: возврат в ротацию дольше на ≈1 с (две проверки), и старт LB ждёт первых проверок.
|
||||
|
||||
### D3. Цепочка таймаутов — тест, а не только таблица
|
||||
|
||||
| Звено | Значение | Условие |
|
||||
|
||||
+7
-2
@@ -6,7 +6,7 @@
|
||||
|
||||
### Requirement: Согласованные проверки, таймауты и остановка
|
||||
|
||||
Балансировщик SHALL проверять каждую реплику `GET /health/ready` с периодом 1 с, после первого провала — каждые 0,5 с, исключать её после 2 провалов подряд и возвращать после 2 успехов. Максимальное время обнаружения SHALL составлять 1,5 с для реплики, которая отвечает `503` или отказывает в соединении, и 3,5 с для зависшей реплики (с таймаутом проверки 1 с). Readiness реплики SHALL отвечать быстрее таймаута проверки. Цепочка таймаутов SHALL убывать от внешнего звена к внутреннему: ожидание ответа балансировщиком > таймаут запроса в приложении > таймаут оператора и ожидания соединения с БД. Срок остановки реплики SHALL укладываться в таймаут хука остановки, а тот — в `stop_grace_period` и в 10 с.
|
||||
Балансировщик SHALL проверять каждую реплику `GET /health/ready` с периодом 1 с, после первого провала — каждые 0,5 с, исключать её после 2 провалов подряд и возвращать после 2 успехов. Реплика, которая появилась или вернулась через DNS (запуск, `restore.sh`, новая реплика rolling update), SHALL получать запросы только после 2 успешных проверок, а не сразу после появления адреса. Максимальное время обнаружения SHALL составлять 1,5 с для реплики, которая отвечает `503` или отказывает в соединении, и 3,5 с для зависшей реплики (с таймаутом проверки 1 с). Readiness реплики SHALL отвечать быстрее таймаута проверки. Цепочка таймаутов SHALL убывать от внешнего звена к внутреннему: ожидание ответа балансировщиком > таймаут запроса в приложении > таймаут оператора и ожидания соединения с БД. Срок остановки реплики SHALL укладываться в таймаут хука остановки, а тот — в `stop_grace_period` и в 10 с.
|
||||
|
||||
#### Scenario: Конфигурация согласована
|
||||
|
||||
@@ -23,6 +23,11 @@
|
||||
- **WHEN** реплике посылается `SIGTERM` через `scripts/stop-one.sh`
|
||||
- **THEN** балансировщик исключает её раньше, чем хук завершился, а реплика закрывает приём соединений только после этого
|
||||
|
||||
#### Scenario: Возврат реплики без преждевременного трафика
|
||||
|
||||
- **WHEN** остановленная реплика запускается снова под нагрузкой
|
||||
- **THEN** балансировщик не направляет на неё запросы, пока она не прошла 2 проверки готовности: счётчики повторов и перенаправлений LB (`wretr`, `wredis`) за прогон равны 0
|
||||
|
||||
#### Scenario: Зависшая реплика
|
||||
|
||||
- **WHEN** процесс реплики приостановлен (`docker pause`) и не отвечает на проверки
|
||||
@@ -53,7 +58,7 @@
|
||||
#### Scenario: Проверка лимитов и изоляции
|
||||
|
||||
- **WHEN** выполняется `make limits`
|
||||
- **THEN** проверка по `docker compose config` и `docker inspect` запущенных контейнеров печатает таблицу сервисов с лимитами, портами, секретами, volumes и сетями в `evidence/limits.txt` и завершается `PASS`; `docker compose port api 8080` не находит опубликованного порта
|
||||
- **THEN** проверка по `docker compose config` и `docker inspect` запущенных контейнеров печатает таблицу сервисов с лимитами, портами, секретами, volumes и сетями в `evidence/limits.txt` и завершается `PASS`; ни у одного контейнера `api` нет опубликованных портов
|
||||
|
||||
#### Scenario: Нарушение политики
|
||||
|
||||
|
||||
@@ -9,6 +9,7 @@
|
||||
|
||||
- [x] 2.1 `compose.yaml`: явные `DRAIN_SECONDS`, `DB_ACQUIRE_TIMEOUT_SECONDS`, `DB_COMMAND_TIMEOUT_SECONDS` у `api`; сервис `k6` под профилем `bench`; `.env.example`, Dockerfile
|
||||
- [x] 2.2 Тест цепочки таймаутов по `compose.yaml`, `haproxy.cfg` и `scripts/stop-one.sh`
|
||||
- [x] 2.4 HAProxy `init-state fully-down`: вернувшаяся через DNS реплика ждёт `rise 2` проверок
|
||||
- [x] 2.3 Проверка группы: `docker compose --profile bench config --quiet`, `make student-test -k "timeouts or drain"`
|
||||
|
||||
## 3. Нагрузка и зонд
|
||||
|
||||
Reference in New Issue
Block a user