The stand was recreated from a4ca9ef (make down, make run_docker) and
all evidence of the change was taken again on it: stand, distribution,
LB errors, test-persistence, test-failover for each replica (stop and
kill), stop-one refusals, make test and student_test through the LB,
test_isolated, failure_checks and bench self-checks.
New evidence closes scenarios verify found without proof: a real git
clone on non-default ports, a hung replica (docker pause: DOWN after
7.7 s, in-flight request 504), PostgreSQL outage behind the LB, replica
tests failing against one process, aborted responses via
driver.py kill-inflight. REPORT.md gets the corrected detection
formula, the measured cost of the 1 CPU limit for Argon2id and the new
rows.
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
14 KiB
14 KiB
Ответы самого балансировщика и исключение неготовых реплик
| Спеки | load-balancing «Ошибки балансировщика в формате контракта» — «Нет готовых реплик»; «Проверка готовности реплик» — «Остановленная реплика исключена», «Вернувшаяся реплика включена» и три случая требования: реплика остановлена, не отвечает, отвечает 503; api-conventions «X-Instance-Id на каждом ответе» (ответы LB — исключение по контракту) |
| Change | replicas-lb, задачи 6.1 и 7.2 (разделы «Зависшая реплика» и «PostgreSQL недоступен» добавлены в verify) |
| Дата | 2026-10-10 15:46:41–15:47:43 UTC |
| Commit | a4ca9ef (стенд пересоздан с этого commit, stand.md) |
| Стенд | make run_docker: проект mtusi-lab3, HAProxy на 127.0.0.1:8080, api × 2; проверки LB — inter 1s fall 2 rise 2, timeout check 3s, timeout connect 500ms, timeout server 10s |
| Хост | Docker Desktop 29.8.1, macOS arm64; ВМ Docker: 12 CPU, 7,7 GiB RAM; ноутбук от батареи |
Время событий LB — из docker compose logs -t (сам журнал HAProxy в
формате raw строки о состоянии реплик без времени).
Все реплики остановлены: 503 от LB
Обе реплики остановлены напрямую docker stop (не stop-one.sh: он
останавливает ровно одну). Через 3 с:
### 2026-10-10T15:46:41Z
$ docker stop $(docker compose ps -q api)
3681880fc55f
8100f940a5fa
$ make lb_stats
svname addr status check_status scur stot econ wretr wredis hrsp_5xx
api-1 172.30.0.5:8080 DOWN L4TOUT 0 173 0 0 0 0
api-2 172.30.0.4:8080 DOWN L4TOUT 0 172 0 0 0 0
BACKEND - DOWN - 0 354 0 0 0 0
free slots: 6
$ curl -si http://127.0.0.1:8080/health/ready
HTTP/1.1 503 Service Unavailable
x-request-id: lb-AC1E0001E4906ACA5DE4017A0007
content-length: 119
content-type: application/json
{"error":{"code":"unavailable","message":"No API replica is available","request_id":"lb-AC1E0001E4906ACA5DE4017A0007"}}
$ curl -si -X POST -H "Content-Type: application/json" -d "{}" http://127.0.0.1:8080/api/v1/users
HTTP/1.1 503 Service Unavailable
x-request-id: lb-AC1E0001E4966ACA5DE4017B0007
content-length: 119
content-type: application/json
{"error":{"code":"unavailable","message":"No API replica is available","request_id":"lb-AC1E0001E4966ACA5DE4017B0007"}}
# проверка формы ответа LB (stdlib)
status 503 | keys ['error'] ['code', 'message', 'request_id'] | code unavailable | request_id == X-Request-Id: True | X-Instance-Id: None
$ docker inspect -f '{{.State.Health.Status}}' <haproxy> # 15 с после остановки
unhealthy
- Ответ создал HAProxy (
http-error status 503 … lf-stringвdefaults): тело — формат ошибки контракта без лишних полей,codeunavailable,request_idсовпадает сX-Request-Id.X-Instance-Idнет — контракт это разрешает для ответов LB. POST /api/v1/usersтоже получил 503 от LB и до API не дошёл.- Healthcheck контейнера LB (
/lb/ready, 503 приnbsrv(api) < 1) перевёлhaproxyвunhealthy: «через LB нельзя обслужить запрос».
Восстановление
### 15:46:57 make replicas
Container mtusi-lab3-api-2 Healthy
Container mtusi-lab3-api-1 Healthy
$ docker compose ps api haproxy # через 3 с
mtusi-lab3-api-1 Up 4 seconds (healthy)
mtusi-lab3-api-2 Up 4 seconds (healthy)
mtusi-lab3-haproxy-1 Up About a minute (healthy)
$ curl -s -o /dev/null -w "%{http_code}" http://127.0.0.1:8080/health/ready
200
Журнал LB за окно
2026-10-10T15:46:44.109414960Z Server api/api-2 is DOWN, reason: Layer4 timeout, check duration: 506ms. 1 active and 0 backup servers left. 0 sessions active, 0 requeued, 0 remaining in queue.
2026-10-10T15:46:44.154104794Z Server api/api-1 is DOWN, reason: Layer4 timeout, check duration: 503ms. 0 active and 0 backup servers left. 0 sessions active, 0 requeued, 0 remaining in queue.
2026-10-10T15:46:44.154255752Z backend api has no server available!
2026-10-10T15:46:44.867770711Z 172.30.0.1:58512 [10/Oct/2026:15:46:44.867] entry api/<NOSRV> 0/-1/-1/-1/0 503 0 - - SC-- 1/1/0/0/0 0/0 "GET /health/ready HTTP/1.1"
2026-10-10T15:46:44.878003669Z 172.30.0.1:58518 [10/Oct/2026:15:46:44.877] entry api/<NOSRV> 0/-1/-1/-1/0 503 0 - - SC-- 1/1/0/0/0 0/0 "POST /api/v1/users HTTP/1.1"
2026-10-10T15:46:45.530593294Z Server api/api-1 was DOWN and now enters maintenance (DNS NX status).
2026-10-10T15:46:45.530603211Z Server api/api-2 was DOWN and now enters maintenance (DNS NX status).
2026-10-10T15:46:57.637092675Z api/api-1: IP changed from '(none)' to '172.30.0.5' by 'docker/dns'.
2026-10-10T15:46:57.637108883Z api/api-2: IP changed from '(none)' to '172.30.0.4' by 'DNS cache'.
2026-10-10T15:46:57.637109883Z Server api/api-1 ('api') is DOWN/READY (resolves again).
2026-10-10T15:46:57.637153050Z Server api/api-2 ('api') is DOWN/READY (resolves again).
2026-10-10T15:46:58.635265301Z Server api/api-2 is UP, reason: Layer7 check passed, code: 200, check duration: 17ms. 1 active and 0 backup servers online. 0 sessions requeued, 0 total in queue.
2026-10-10T15:46:59.689312593Z Server api/api-1 is UP, reason: Layer7 check passed, code: 200, check duration: 6ms. 2 active and 0 backup servers online. 0 sessions requeued, 0 total in queue.
- Остановленные реплики LB исключил по проверкам (
Layer4 timeout: адрес остановленного контейнера пропадает, соединение ограниченоtimeout connect500 мс), затем по DNS (DNS NX) — слоты ушли в обслуживание. - Вернувшиеся реплики получили прежние адреса, начали в
DOWN(init-state down) и вошли в распределение через 1–2 с после появления адреса, без перезапуска LB. SC--— LB сам отказал в соединении с сервером: готовых реплик нет.
Зависшая реплика: исключена по timeout check, запрос в полёте — 504
docker pause замораживает процесс: ядро принимает соединение, но
ответа нет — так выглядит зависшая реплика. Сразу после паузы два
запроса через LB, один из них попадает на замороженную реплику.
### 15:47:13.134 docker pause 3681880fc55f
запрос 2 завершён 15:47:13.248
запрос 1 завершён 15:47:23.200
$ make lb_stats # 15:47:23
svname addr status check_status scur stot econ wretr wredis hrsp_5xx
api-1 172.30.0.5:8080 DOWN * L7TOUT 0 174 0 0 0 0
api-2 172.30.0.4:8080 UP L7OK 0 174 0 0 0 0
BACKEND - UP - 0 360 3 0 0 4
free slots: 6
### 15:47:23.382 docker unpause 3681880fc55f
$ make lb_stats # через 3 с
api-1 172.30.0.5:8080 UP L7OK 0 174 0 0 0 0
api-2 172.30.0.4:8080 UP L7OK 0 174 0 0 0 0
--- запрос 1
HTTP/1.1 504 Gateway Time-out
x-request-id: lb-AC1E0001F0566ACA5E0101850007
content-length: 127
content-type: application/json
{"error":{"code":"unavailable","message":"API replica did not respond in time","request_id":"lb-AC1E0001F0566ACA5E0101850007"}}
--- запрос 2
HTTP/1.1 200 OK
x-instance-id: 8100f940a5fa
$ docker compose logs -t haproxy
2026-10-10T15:47:20.804663380Z Server api/api-1 is DOWN, reason: Layer7 timeout, check duration: 3005ms. 1 active and 0 backup servers left. 1 sessions active, 0 requeued, 0 remaining in queue.
2026-10-10T15:47:23.188831090Z 172.30.0.1:61526 [10/Oct/2026:15:47:13.182] entry api/api-1 0/0/0/-1/10005 504 0 - - sH-- 1/1/0/0/0 0/0 "GET /health/live HTTP/1.1"
2026-10-10T15:47:24.454298007Z Server api/api-1 is UP, reason: Layer7 check passed, code: 200, check duration: 5ms. 2 active and 0 backup servers online. 0 sessions requeued, 0 total in queue.
- Обнаружение — 7,7 с от паузы до
DOWN(Layer7 timeout, каждая проверка ждётtimeout check3 с). Это сходится с исправленной формулой худшего случаяfall × (inter + timeout check)= 2 × (1 + 3) = 8 с, а не с прежней оценкойinter × fall + timeout check= 5 с: следующая проверка начинается черезinterпосле конца предыдущей. В пробном прогоне verify до пересоздания стенда — 7,3 с. Укладывается в 10 с рубрики, запас небольшой; подбор чисел и замер по режимам — changegraceful-failover. - Запрос в полёте на зависшей реплике ждал
timeout server10 с и получил 504 в формате контракта (sH--— таймаут ответа сервера, поле повторов0: на другую реплику он не повторялся). Второй запрос ушёл на живую реплику и получил 200 сразу. - После разморозки реплика вернулась через 1,1 с (
rise 2: проверка, начатая во время паузы, завершилась успехом, вторая — через секунду).
PostgreSQL недоступен: реплики отвечают 503, LB исключает обе
/health/ready проверяет PostgreSQL (infra.md), поэтому его отказ
выводит из распределения все реплики сразу.
### 15:47:34.617 docker compose stop postgres
остановлен 15:47:34.810
15:47:34.816 live 200 ready 503
15:47:35.364 live 200 ready 503
15:47:35.930 live 200 ready 503
15:47:36.502 live 200 ready 503
15:47:37.066 live 503 ready 503
15:47:37.613 live 503 ready 503
15:47:38.157 live 503 ready 503
15:47:38.708 live 503 ready 503
$ make lb_stats
svname addr status check_status scur stot econ wretr wredis hrsp_5xx
api-1 172.30.0.5:8080 DOWN L7STS 0 179 0 0 0 4
api-2 172.30.0.4:8080 DOWN L7STS 0 177 0 0 0 0
BACKEND - DOWN - 0 376 11 0 0 16
free slots: 6
$ curl -s http://127.0.0.1:8080/health/live
{"error":{"code":"unavailable","message":"No API replica is available","request_id":"lb-AC1E0001EDF46ACA5E1B019F0007"}}
### 15:47:39.407 docker compose start postgres
запущен 15:47:39.535
15:47:39.540 ready 503
15:47:40.063 ready 503
15:47:40.592 ready 503
15:47:41.123 ready 200
15:47:41.701 ready 200
$ make lb_stats
api-1 172.30.0.5:8080 UP L7OK 0 182 0 0 0 4
api-2 172.30.0.4:8080 UP L7OK 0 179 0 0 0 0
$ docker compose logs -t haproxy
2026-10-10T15:47:34.844124012Z 172.30.0.1:60772 [10/Oct/2026:15:47:34.838] entry api/api-1 0/0/0/5/5 503 338 - - ---- 1/1/0/0/0 0/0 "GET /health/ready HTTP/1.1"
2026-10-10T15:47:35.986753346Z Server api/api-2 is DOWN, reason: Layer7 wrong status, code: 503, info: "Service Unavailable", check duration: 8ms. 1 active and 0 backup servers left.
2026-10-10T15:47:36.570185013Z Server api/api-1 is DOWN, reason: Layer7 wrong status, code: 503, info: "Service Unavailable", check duration: 10ms. 0 active and 0 backup servers left.
2026-10-10T15:47:36.570244221Z backend api has no server available!
2026-10-10T15:47:40.687784709Z Server api/api-1 is UP, reason: Layer7 check passed, code: 200, check duration: 16ms. 1 active and 0 backup servers online.
2026-10-10T15:47:41.089982084Z Server api/api-2 is UP, reason: Layer7 check passed, code: 200, check duration: 6ms. 2 active and 0 backup servers online.
- Первые 2 с ответы дают сами реплики:
/health/live— 200,/health/ready— 503 API (----в журнале: ответ сервера, 338 байт). - Реплики, ответившие на проверку 503 (
L7STS, «wrong status»), исключены за 1,2–1,8 с. Дальше на всё, включая/health/live, отвечает сам LB: 503No API replica is availableв формате контракта. Клиент видит тот же кодunavailable, что отдал бы API. - После запуска PostgreSQL реплики вернулись за 1,2–1,6 с (
rise 2), без перезапуска реплик и LB. - Это следствие решения «LB проверяет готовность, а не liveness»
(
balancer.md): без PostgreSQL реплика запросы не обслуживает. Liveness процесса без LB проверяетmake failure_checks(test_readiness_without_database).