fix: start DNS-resolved replicas down until checks pass
Without init-state down HAProxy marked a slot UP as soon as Docker DNS returned the container address, before uvicorn listened, so requests after LB restart or scale-up hit a replica that was not ready. Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
@@ -57,6 +57,11 @@ paths:
|
||||
меньше максимального числа реплик в сериях трека 1 (сейчас 8). Слоты
|
||||
HAProxy (`api-1`, `api-2`) не совпадают с именами контейнеров
|
||||
compose: слот получает адрес из DNS.
|
||||
- `init-state down` у слотов: адрес из DNS появляется при старте
|
||||
контейнера, раньше, чем uvicorn слушает порт. Без него слот сразу
|
||||
`UP`, и запросы уходят на неготовую реплику; с ним — только после
|
||||
`rise` проверок `/health/ready` (старт LB, `make replicas`,
|
||||
поочерёдная замена).
|
||||
- Проверка готовности — активная: `option httpchk GET /health/ready`,
|
||||
`http-check expect status 200`, `inter`/`fall`/`rise` и
|
||||
`timeout check` явно. `/health/live` для LB не годится: живой
|
||||
|
||||
@@ -76,8 +76,12 @@ backend api
|
||||
http-check send meth GET uri /health/ready
|
||||
http-check expect status 200
|
||||
# реплика исключается после 2 неудачных проверок подряд и
|
||||
# возвращается после 2 успешных; проверка раз в секунду
|
||||
default-server check inter 1s fall 2 rise 2 resolvers docker init-addr none resolve-prefer ipv4
|
||||
# возвращается после 2 успешных; проверка раз в секунду. init-state
|
||||
# down: слот, получивший адрес из DNS (старт LB, новая или
|
||||
# вернувшаяся реплика), начинает DOWN и получает запросы только после
|
||||
# rise проверок, а не сразу — иначе запросы шли бы на процесс, который
|
||||
# ещё не слушает порт
|
||||
default-server check inter 1s fall 2 rise 2 resolvers docker init-addr none init-state down resolve-prefer ipv4
|
||||
# 8 слотов — максимум реплик в сериях трека 1; лишние слоты в MAINT,
|
||||
# девятую реплику LB не увидит
|
||||
server-template api- 8 "api:${API_PORT}"
|
||||
|
||||
@@ -109,13 +109,23 @@ HAProxy и Compose без Swarm подтверждён пользователе
|
||||
### 2. Реплики через DNS Docker: `server-template api- 8`
|
||||
|
||||
```
|
||||
default-server check inter 1s fall 2 rise 2 resolvers docker init-addr none resolve-prefer ipv4
|
||||
default-server check inter 1s fall 2 rise 2 resolvers docker init-addr none init-state down resolve-prefer ipv4
|
||||
server-template api- 8 "api:${API_PORT}"
|
||||
```
|
||||
|
||||
- DNS Docker отвечает на имя сервиса `api` адресами всех работающих
|
||||
реплик. HAProxy раскладывает их по 8 слотам, лишние слоты в `MAINT`.
|
||||
`init-addr none` позволяет LB стартовать без реплик.
|
||||
- **`init-state down`** (добавлено в apply). Без него слот, получивший
|
||||
адрес из DNS, сразу считается `UP` («UP/READY (resolves again)» в
|
||||
журнале), до первой проверки. Docker регистрирует адрес контейнера
|
||||
при старте, раньше, чем uvicorn открыл порт. Поэтому после рестарта
|
||||
LB, `make replicas` и масштабирования запросы шли на неслушающую
|
||||
реплику: отказ соединения, повторы, а когда обе реплики ещё не
|
||||
слушали — 503 от LB (видно на `scripts/restart.sh`). С `init-state
|
||||
down` слот начинает `DOWN` и получает запросы только после `rise`
|
||||
успешных проверок `/health/ready`. Новая реплика при `make replicas
|
||||
API_REPLICAS=3` вошла в распределение через 4 с.
|
||||
- `resolvers docker`: `timeout resolve 1s`, `hold valid 1s`,
|
||||
`hold obsolete 1s`, `hold nx 1s`, `accepted_payload_size 8192`.
|
||||
Пропавший адрес уходит из слота за 1–2 с, новый появляется за то же
|
||||
|
||||
@@ -159,7 +159,7 @@ evidence, потом коммит evidence и отчёта (бриф основ
|
||||
|
||||
Проверка: `grep -n "(лаба 3)" AGENTS.md` — только
|
||||
`rolling-update.sh`.
|
||||
- [ ] 5.2 Общая проверка кода:
|
||||
- [x] 5.2 Общая проверка кода:
|
||||
- `make lint`, `make check`;
|
||||
- `openspec validate replicas-lb --strict`;
|
||||
- `make test`, `make student_test` через LB;
|
||||
|
||||
Reference in New Issue
Block a user