The stand was recreated from a4ca9ef (make down, make run_docker) and
all evidence of the change was taken again on it: stand, distribution,
LB errors, test-persistence, test-failover for each replica (stop and
kill), stop-one refusals, make test and student_test through the LB,
test_isolated, failure_checks and bench self-checks.
New evidence closes scenarios verify found without proof: a real git
clone on non-default ports, a hung replica (docker pause: DOWN after
7.7 s, in-flight request 504), PostgreSQL outage behind the LB, replica
tests failing against one process, aborted responses via
driver.py kill-inflight. REPORT.md gets the corrected detection
formula, the measured cost of the 1 CPU limit for Argon2id and the new
rows.
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
210 lines
14 KiB
Markdown
210 lines
14 KiB
Markdown
# Ответы самого балансировщика и исключение неготовых реплик
|
||
|
||
| | |
|
||
|---|---|
|
||
| Спеки | `load-balancing` «Ошибки балансировщика в формате контракта» — «Нет готовых реплик»; «Проверка готовности реплик» — «Остановленная реплика исключена», «Вернувшаяся реплика включена» и три случая требования: реплика остановлена, не отвечает, отвечает 503; `api-conventions` «X-Instance-Id на каждом ответе» (ответы LB — исключение по контракту) |
|
||
| Change | `replicas-lb`, задачи 6.1 и 7.2 (разделы «Зависшая реплика» и «PostgreSQL недоступен» добавлены в verify) |
|
||
| Дата | 2026-10-10 15:46:41–15:47:43 UTC |
|
||
| Commit | `a4ca9ef` (стенд пересоздан с этого commit, `stand.md`) |
|
||
| Стенд | `make run_docker`: проект `mtusi-lab3`, HAProxy на `127.0.0.1:8080`, `api` × 2; проверки LB — `inter 1s fall 2 rise 2`, `timeout check 3s`, `timeout connect 500ms`, `timeout server 10s` |
|
||
| Хост | Docker Desktop 29.8.1, macOS arm64; ВМ Docker: 12 CPU, 7,7 GiB RAM; ноутбук от батареи |
|
||
|
||
Время событий LB — из `docker compose logs -t` (сам журнал HAProxy в
|
||
формате `raw` строки о состоянии реплик без времени).
|
||
|
||
## Все реплики остановлены: 503 от LB
|
||
|
||
Обе реплики остановлены напрямую `docker stop` (не `stop-one.sh`: он
|
||
останавливает ровно одну). Через 3 с:
|
||
|
||
```text
|
||
### 2026-10-10T15:46:41Z
|
||
$ docker stop $(docker compose ps -q api)
|
||
3681880fc55f
|
||
8100f940a5fa
|
||
$ make lb_stats
|
||
svname addr status check_status scur stot econ wretr wredis hrsp_5xx
|
||
api-1 172.30.0.5:8080 DOWN L4TOUT 0 173 0 0 0 0
|
||
api-2 172.30.0.4:8080 DOWN L4TOUT 0 172 0 0 0 0
|
||
BACKEND - DOWN - 0 354 0 0 0 0
|
||
free slots: 6
|
||
|
||
$ curl -si http://127.0.0.1:8080/health/ready
|
||
HTTP/1.1 503 Service Unavailable
|
||
x-request-id: lb-AC1E0001E4906ACA5DE4017A0007
|
||
content-length: 119
|
||
content-type: application/json
|
||
|
||
{"error":{"code":"unavailable","message":"No API replica is available","request_id":"lb-AC1E0001E4906ACA5DE4017A0007"}}
|
||
|
||
$ curl -si -X POST -H "Content-Type: application/json" -d "{}" http://127.0.0.1:8080/api/v1/users
|
||
HTTP/1.1 503 Service Unavailable
|
||
x-request-id: lb-AC1E0001E4966ACA5DE4017B0007
|
||
content-length: 119
|
||
content-type: application/json
|
||
|
||
{"error":{"code":"unavailable","message":"No API replica is available","request_id":"lb-AC1E0001E4966ACA5DE4017B0007"}}
|
||
|
||
# проверка формы ответа LB (stdlib)
|
||
status 503 | keys ['error'] ['code', 'message', 'request_id'] | code unavailable | request_id == X-Request-Id: True | X-Instance-Id: None
|
||
|
||
$ docker inspect -f '{{.State.Health.Status}}' <haproxy> # 15 с после остановки
|
||
unhealthy
|
||
```
|
||
|
||
- Ответ создал HAProxy (`http-error status 503 … lf-string` в
|
||
`defaults`): тело — формат ошибки контракта без лишних полей, `code`
|
||
`unavailable`, `request_id` совпадает с `X-Request-Id`.
|
||
`X-Instance-Id` нет — контракт это разрешает для ответов LB.
|
||
- `POST /api/v1/users` тоже получил 503 от LB и до API не дошёл.
|
||
- Healthcheck контейнера LB (`/lb/ready`, 503 при `nbsrv(api) < 1`)
|
||
перевёл `haproxy` в `unhealthy`: «через LB нельзя обслужить запрос».
|
||
|
||
### Восстановление
|
||
|
||
```text
|
||
### 15:46:57 make replicas
|
||
Container mtusi-lab3-api-2 Healthy
|
||
Container mtusi-lab3-api-1 Healthy
|
||
$ docker compose ps api haproxy # через 3 с
|
||
mtusi-lab3-api-1 Up 4 seconds (healthy)
|
||
mtusi-lab3-api-2 Up 4 seconds (healthy)
|
||
mtusi-lab3-haproxy-1 Up About a minute (healthy)
|
||
$ curl -s -o /dev/null -w "%{http_code}" http://127.0.0.1:8080/health/ready
|
||
200
|
||
```
|
||
|
||
### Журнал LB за окно
|
||
|
||
```text
|
||
2026-10-10T15:46:44.109414960Z Server api/api-2 is DOWN, reason: Layer4 timeout, check duration: 506ms. 1 active and 0 backup servers left. 0 sessions active, 0 requeued, 0 remaining in queue.
|
||
2026-10-10T15:46:44.154104794Z Server api/api-1 is DOWN, reason: Layer4 timeout, check duration: 503ms. 0 active and 0 backup servers left. 0 sessions active, 0 requeued, 0 remaining in queue.
|
||
2026-10-10T15:46:44.154255752Z backend api has no server available!
|
||
2026-10-10T15:46:44.867770711Z 172.30.0.1:58512 [10/Oct/2026:15:46:44.867] entry api/<NOSRV> 0/-1/-1/-1/0 503 0 - - SC-- 1/1/0/0/0 0/0 "GET /health/ready HTTP/1.1"
|
||
2026-10-10T15:46:44.878003669Z 172.30.0.1:58518 [10/Oct/2026:15:46:44.877] entry api/<NOSRV> 0/-1/-1/-1/0 503 0 - - SC-- 1/1/0/0/0 0/0 "POST /api/v1/users HTTP/1.1"
|
||
2026-10-10T15:46:45.530593294Z Server api/api-1 was DOWN and now enters maintenance (DNS NX status).
|
||
2026-10-10T15:46:45.530603211Z Server api/api-2 was DOWN and now enters maintenance (DNS NX status).
|
||
2026-10-10T15:46:57.637092675Z api/api-1: IP changed from '(none)' to '172.30.0.5' by 'docker/dns'.
|
||
2026-10-10T15:46:57.637108883Z api/api-2: IP changed from '(none)' to '172.30.0.4' by 'DNS cache'.
|
||
2026-10-10T15:46:57.637109883Z Server api/api-1 ('api') is DOWN/READY (resolves again).
|
||
2026-10-10T15:46:57.637153050Z Server api/api-2 ('api') is DOWN/READY (resolves again).
|
||
2026-10-10T15:46:58.635265301Z Server api/api-2 is UP, reason: Layer7 check passed, code: 200, check duration: 17ms. 1 active and 0 backup servers online. 0 sessions requeued, 0 total in queue.
|
||
2026-10-10T15:46:59.689312593Z Server api/api-1 is UP, reason: Layer7 check passed, code: 200, check duration: 6ms. 2 active and 0 backup servers online. 0 sessions requeued, 0 total in queue.
|
||
```
|
||
|
||
- Остановленные реплики LB исключил по проверкам (`Layer4 timeout`:
|
||
адрес остановленного контейнера пропадает, соединение ограничено
|
||
`timeout connect` 500 мс), затем по DNS (`DNS NX`) — слоты ушли в
|
||
обслуживание.
|
||
- Вернувшиеся реплики получили прежние адреса, начали в `DOWN`
|
||
(`init-state down`) и вошли в распределение через 1–2 с после
|
||
появления адреса, без перезапуска LB.
|
||
- `SC--` — LB сам отказал в соединении с сервером: готовых реплик нет.
|
||
|
||
## Зависшая реплика: исключена по `timeout check`, запрос в полёте — 504
|
||
|
||
`docker pause` замораживает процесс: ядро принимает соединение, но
|
||
ответа нет — так выглядит зависшая реплика. Сразу после паузы два
|
||
запроса через LB, один из них попадает на замороженную реплику.
|
||
|
||
```text
|
||
### 15:47:13.134 docker pause 3681880fc55f
|
||
запрос 2 завершён 15:47:13.248
|
||
запрос 1 завершён 15:47:23.200
|
||
$ make lb_stats # 15:47:23
|
||
svname addr status check_status scur stot econ wretr wredis hrsp_5xx
|
||
api-1 172.30.0.5:8080 DOWN * L7TOUT 0 174 0 0 0 0
|
||
api-2 172.30.0.4:8080 UP L7OK 0 174 0 0 0 0
|
||
BACKEND - UP - 0 360 3 0 0 4
|
||
free slots: 6
|
||
### 15:47:23.382 docker unpause 3681880fc55f
|
||
$ make lb_stats # через 3 с
|
||
api-1 172.30.0.5:8080 UP L7OK 0 174 0 0 0 0
|
||
api-2 172.30.0.4:8080 UP L7OK 0 174 0 0 0 0
|
||
--- запрос 1
|
||
HTTP/1.1 504 Gateway Time-out
|
||
x-request-id: lb-AC1E0001F0566ACA5E0101850007
|
||
content-length: 127
|
||
content-type: application/json
|
||
|
||
{"error":{"code":"unavailable","message":"API replica did not respond in time","request_id":"lb-AC1E0001F0566ACA5E0101850007"}}
|
||
--- запрос 2
|
||
HTTP/1.1 200 OK
|
||
x-instance-id: 8100f940a5fa
|
||
$ docker compose logs -t haproxy
|
||
2026-10-10T15:47:20.804663380Z Server api/api-1 is DOWN, reason: Layer7 timeout, check duration: 3005ms. 1 active and 0 backup servers left. 1 sessions active, 0 requeued, 0 remaining in queue.
|
||
2026-10-10T15:47:23.188831090Z 172.30.0.1:61526 [10/Oct/2026:15:47:13.182] entry api/api-1 0/0/0/-1/10005 504 0 - - sH-- 1/1/0/0/0 0/0 "GET /health/live HTTP/1.1"
|
||
2026-10-10T15:47:24.454298007Z Server api/api-1 is UP, reason: Layer7 check passed, code: 200, check duration: 5ms. 2 active and 0 backup servers online. 0 sessions requeued, 0 total in queue.
|
||
```
|
||
|
||
- **Обнаружение — 7,7 с** от паузы до `DOWN` (`Layer7 timeout`, каждая
|
||
проверка ждёт `timeout check` 3 с). Это сходится с исправленной
|
||
формулой худшего случая `fall × (inter + timeout check)` = 2 × (1 + 3)
|
||
= 8 с, а не с прежней оценкой `inter × fall + timeout check` = 5 с:
|
||
следующая проверка начинается через `inter` после конца предыдущей.
|
||
В пробном прогоне verify до пересоздания стенда — 7,3 с. Укладывается
|
||
в 10 с рубрики, запас небольшой; подбор чисел и замер по режимам —
|
||
change `graceful-failover`.
|
||
- **Запрос в полёте** на зависшей реплике ждал `timeout server` 10 с и
|
||
получил 504 в формате контракта (`sH--` — таймаут ответа сервера,
|
||
поле повторов `0`: на другую реплику он не повторялся). Второй запрос
|
||
ушёл на живую реплику и получил 200 сразу.
|
||
- После разморозки реплика вернулась через 1,1 с (`rise 2`: проверка,
|
||
начатая во время паузы, завершилась успехом, вторая — через секунду).
|
||
|
||
## PostgreSQL недоступен: реплики отвечают 503, LB исключает обе
|
||
|
||
`/health/ready` проверяет PostgreSQL (`infra.md`), поэтому его отказ
|
||
выводит из распределения все реплики сразу.
|
||
|
||
```text
|
||
### 15:47:34.617 docker compose stop postgres
|
||
остановлен 15:47:34.810
|
||
15:47:34.816 live 200 ready 503
|
||
15:47:35.364 live 200 ready 503
|
||
15:47:35.930 live 200 ready 503
|
||
15:47:36.502 live 200 ready 503
|
||
15:47:37.066 live 503 ready 503
|
||
15:47:37.613 live 503 ready 503
|
||
15:47:38.157 live 503 ready 503
|
||
15:47:38.708 live 503 ready 503
|
||
$ make lb_stats
|
||
svname addr status check_status scur stot econ wretr wredis hrsp_5xx
|
||
api-1 172.30.0.5:8080 DOWN L7STS 0 179 0 0 0 4
|
||
api-2 172.30.0.4:8080 DOWN L7STS 0 177 0 0 0 0
|
||
BACKEND - DOWN - 0 376 11 0 0 16
|
||
free slots: 6
|
||
$ curl -s http://127.0.0.1:8080/health/live
|
||
{"error":{"code":"unavailable","message":"No API replica is available","request_id":"lb-AC1E0001EDF46ACA5E1B019F0007"}}
|
||
### 15:47:39.407 docker compose start postgres
|
||
запущен 15:47:39.535
|
||
15:47:39.540 ready 503
|
||
15:47:40.063 ready 503
|
||
15:47:40.592 ready 503
|
||
15:47:41.123 ready 200
|
||
15:47:41.701 ready 200
|
||
$ make lb_stats
|
||
api-1 172.30.0.5:8080 UP L7OK 0 182 0 0 0 4
|
||
api-2 172.30.0.4:8080 UP L7OK 0 179 0 0 0 0
|
||
$ docker compose logs -t haproxy
|
||
2026-10-10T15:47:34.844124012Z 172.30.0.1:60772 [10/Oct/2026:15:47:34.838] entry api/api-1 0/0/0/5/5 503 338 - - ---- 1/1/0/0/0 0/0 "GET /health/ready HTTP/1.1"
|
||
2026-10-10T15:47:35.986753346Z Server api/api-2 is DOWN, reason: Layer7 wrong status, code: 503, info: "Service Unavailable", check duration: 8ms. 1 active and 0 backup servers left.
|
||
2026-10-10T15:47:36.570185013Z Server api/api-1 is DOWN, reason: Layer7 wrong status, code: 503, info: "Service Unavailable", check duration: 10ms. 0 active and 0 backup servers left.
|
||
2026-10-10T15:47:36.570244221Z backend api has no server available!
|
||
2026-10-10T15:47:40.687784709Z Server api/api-1 is UP, reason: Layer7 check passed, code: 200, check duration: 16ms. 1 active and 0 backup servers online.
|
||
2026-10-10T15:47:41.089982084Z Server api/api-2 is UP, reason: Layer7 check passed, code: 200, check duration: 6ms. 2 active and 0 backup servers online.
|
||
```
|
||
|
||
- Первые 2 с ответы дают сами реплики: `/health/live` — 200,
|
||
`/health/ready` — 503 API (`----` в журнале: ответ сервера, 338 байт).
|
||
- Реплики, ответившие на проверку 503 (`L7STS`, «wrong status»),
|
||
исключены за 1,2–1,8 с. Дальше на всё, включая `/health/live`,
|
||
отвечает сам LB: 503 `No API replica is available` в формате
|
||
контракта. Клиент видит тот же код `unavailable`, что отдал бы API.
|
||
- После запуска PostgreSQL реплики вернулись за 1,2–1,6 с (`rise 2`),
|
||
без перезапуска реплик и LB.
|
||
- Это следствие решения «LB проверяет готовность, а не liveness»
|
||
(`balancer.md`): без PostgreSQL реплика запросы не обслуживает.
|
||
Liveness процесса без LB проверяет `make failure_checks`
|
||
(`test_readiness_without_database`).
|