fix: start DNS-resolved replicas down until checks pass

Without init-state down HAProxy marked a slot UP as soon as Docker DNS
returned the container address, before uvicorn listened, so requests
after LB restart or scale-up hit a replica that was not ready.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
2026-10-10 18:08:50 +03:00
co-authored by Claude Opus 5.5
parent ab71c3b51e
commit 4e0cc4e965
4 changed files with 23 additions and 4 deletions
+5
View File
@@ -57,6 +57,11 @@ paths:
меньше максимального числа реплик в сериях трека 1 (сейчас 8). Слоты меньше максимального числа реплик в сериях трека 1 (сейчас 8). Слоты
HAProxy (`api-1`, `api-2`) не совпадают с именами контейнеров HAProxy (`api-1`, `api-2`) не совпадают с именами контейнеров
compose: слот получает адрес из DNS. compose: слот получает адрес из DNS.
- `init-state down` у слотов: адрес из DNS появляется при старте
контейнера, раньше, чем uvicorn слушает порт. Без него слот сразу
`UP`, и запросы уходят на неготовую реплику; с ним — только после
`rise` проверок `/health/ready` (старт LB, `make replicas`,
поочерёдная замена).
- Проверка готовности — активная: `option httpchk GET /health/ready`, - Проверка готовности — активная: `option httpchk GET /health/ready`,
`http-check expect status 200`, `inter`/`fall`/`rise` и `http-check expect status 200`, `inter`/`fall`/`rise` и
`timeout check` явно. `/health/live` для LB не годится: живой `timeout check` явно. `/health/live` для LB не годится: живой
+6 -2
View File
@@ -76,8 +76,12 @@ backend api
http-check send meth GET uri /health/ready http-check send meth GET uri /health/ready
http-check expect status 200 http-check expect status 200
# реплика исключается после 2 неудачных проверок подряд и # реплика исключается после 2 неудачных проверок подряд и
# возвращается после 2 успешных; проверка раз в секунду # возвращается после 2 успешных; проверка раз в секунду. init-state
default-server check inter 1s fall 2 rise 2 resolvers docker init-addr none resolve-prefer ipv4 # down: слот, получивший адрес из DNS (старт LB, новая или
# вернувшаяся реплика), начинает DOWN и получает запросы только после
# rise проверок, а не сразу — иначе запросы шли бы на процесс, который
# ещё не слушает порт
default-server check inter 1s fall 2 rise 2 resolvers docker init-addr none init-state down resolve-prefer ipv4
# 8 слотов — максимум реплик в сериях трека 1; лишние слоты в MAINT, # 8 слотов — максимум реплик в сериях трека 1; лишние слоты в MAINT,
# девятую реплику LB не увидит # девятую реплику LB не увидит
server-template api- 8 "api:${API_PORT}" server-template api- 8 "api:${API_PORT}"
+11 -1
View File
@@ -109,13 +109,23 @@ HAProxy и Compose без Swarm подтверждён пользователе
### 2. Реплики через DNS Docker: `server-template api- 8` ### 2. Реплики через DNS Docker: `server-template api- 8`
``` ```
default-server check inter 1s fall 2 rise 2 resolvers docker init-addr none resolve-prefer ipv4 default-server check inter 1s fall 2 rise 2 resolvers docker init-addr none init-state down resolve-prefer ipv4
server-template api- 8 "api:${API_PORT}" server-template api- 8 "api:${API_PORT}"
``` ```
- DNS Docker отвечает на имя сервиса `api` адресами всех работающих - DNS Docker отвечает на имя сервиса `api` адресами всех работающих
реплик. HAProxy раскладывает их по 8 слотам, лишние слоты в `MAINT`. реплик. HAProxy раскладывает их по 8 слотам, лишние слоты в `MAINT`.
`init-addr none` позволяет LB стартовать без реплик. `init-addr none` позволяет LB стартовать без реплик.
- **`init-state down`** (добавлено в apply). Без него слот, получивший
адрес из DNS, сразу считается `UP` («UP/READY (resolves again)» в
журнале), до первой проверки. Docker регистрирует адрес контейнера
при старте, раньше, чем uvicorn открыл порт. Поэтому после рестарта
LB, `make replicas` и масштабирования запросы шли на неслушающую
реплику: отказ соединения, повторы, а когда обе реплики ещё не
слушали — 503 от LB (видно на `scripts/restart.sh`). С `init-state
down` слот начинает `DOWN` и получает запросы только после `rise`
успешных проверок `/health/ready`. Новая реплика при `make replicas
API_REPLICAS=3` вошла в распределение через 4 с.
- `resolvers docker`: `timeout resolve 1s`, `hold valid 1s`, - `resolvers docker`: `timeout resolve 1s`, `hold valid 1s`,
`hold obsolete 1s`, `hold nx 1s`, `accepted_payload_size 8192`. `hold obsolete 1s`, `hold nx 1s`, `accepted_payload_size 8192`.
Пропавший адрес уходит из слота за 1–2 с, новый появляется за то же Пропавший адрес уходит из слота за 1–2 с, новый появляется за то же
+1 -1
View File
@@ -159,7 +159,7 @@ evidence, потом коммит evidence и отчёта (бриф основ
Проверка: `grep -n "(лаба 3)" AGENTS.md` — только Проверка: `grep -n "(лаба 3)" AGENTS.md` — только
`rolling-update.sh`. `rolling-update.sh`.
- [ ] 5.2 Общая проверка кода: - [x] 5.2 Общая проверка кода:
- `make lint`, `make check`; - `make lint`, `make check`;
- `openspec validate replicas-lb --strict`; - `openspec validate replicas-lb --strict`;
- `make test`, `make student_test` через LB; - `make test`, `make student_test` через LB;