Files
mtusi2026lab3/evidence/replicas/lb-errors.md
T
ricoromaandClaude Opus 5.5 cb14586a19 docs: retake replicas-lb evidence from a4ca9ef after verify
The stand was recreated from a4ca9ef (make down, make run_docker) and
all evidence of the change was taken again on it: stand, distribution,
LB errors, test-persistence, test-failover for each replica (stop and
kill), stop-one refusals, make test and student_test through the LB,
test_isolated, failure_checks and bench self-checks.

New evidence closes scenarios verify found without proof: a real git
clone on non-default ports, a hung replica (docker pause: DOWN after
7.7 s, in-flight request 504), PostgreSQL outage behind the LB, replica
tests failing against one process, aborted responses via
driver.py kill-inflight. REPORT.md gets the corrected detection
formula, the measured cost of the 1 CPU limit for Argon2id and the new
rows.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
2026-10-10 22:09:15 +03:00

14 KiB
Raw Blame History

Ответы самого балансировщика и исключение неготовых реплик

Спеки load-balancing «Ошибки балансировщика в формате контракта» — «Нет готовых реплик»; «Проверка готовности реплик» — «Остановленная реплика исключена», «Вернувшаяся реплика включена» и три случая требования: реплика остановлена, не отвечает, отвечает 503; api-conventions «X-Instance-Id на каждом ответе» (ответы LB — исключение по контракту)
Change replicas-lb, задачи 6.1 и 7.2 (разделы «Зависшая реплика» и «PostgreSQL недоступен» добавлены в verify)
Дата 2026-10-10 15:46:41–15:47:43 UTC
Commit a4ca9ef (стенд пересоздан с этого commit, stand.md)
Стенд make run_docker: проект mtusi-lab3, HAProxy на 127.0.0.1:8080, api × 2; проверки LB — inter 1s fall 2 rise 2, timeout check 3s, timeout connect 500ms, timeout server 10s
Хост Docker Desktop 29.8.1, macOS arm64; ВМ Docker: 12 CPU, 7,7 GiB RAM; ноутбук от батареи

Время событий LB — из docker compose logs -t (сам журнал HAProxy в формате raw строки о состоянии реплик без времени).

Все реплики остановлены: 503 от LB

Обе реплики остановлены напрямую docker stop (не stop-one.sh: он останавливает ровно одну). Через 3 с:

### 2026-10-10T15:46:41Z
$ docker stop $(docker compose ps -q api)
3681880fc55f
8100f940a5fa
$ make lb_stats
svname         addr             status  check_status  scur  stot  econ  wretr  wredis  hrsp_5xx
api-1          172.30.0.5:8080  DOWN    L4TOUT        0     173   0     0      0       0
api-2          172.30.0.4:8080  DOWN    L4TOUT        0     172   0     0      0       0
BACKEND        -                DOWN    -             0     354   0     0      0       0
free slots: 6

$ curl -si http://127.0.0.1:8080/health/ready
HTTP/1.1 503 Service Unavailable
x-request-id: lb-AC1E0001E4906ACA5DE4017A0007
content-length: 119
content-type: application/json

{"error":{"code":"unavailable","message":"No API replica is available","request_id":"lb-AC1E0001E4906ACA5DE4017A0007"}}

$ curl -si -X POST -H "Content-Type: application/json" -d "{}" http://127.0.0.1:8080/api/v1/users
HTTP/1.1 503 Service Unavailable
x-request-id: lb-AC1E0001E4966ACA5DE4017B0007
content-length: 119
content-type: application/json

{"error":{"code":"unavailable","message":"No API replica is available","request_id":"lb-AC1E0001E4966ACA5DE4017B0007"}}

# проверка формы ответа LB (stdlib)
status 503 | keys ['error'] ['code', 'message', 'request_id'] | code unavailable | request_id == X-Request-Id: True | X-Instance-Id: None

$ docker inspect -f '{{.State.Health.Status}}' <haproxy>   # 15 с после остановки
unhealthy
  • Ответ создал HAProxy (http-error status 503 … lf-string в defaults): тело — формат ошибки контракта без лишних полей, code unavailable, request_id совпадает с X-Request-Id. X-Instance-Id нет — контракт это разрешает для ответов LB.
  • POST /api/v1/users тоже получил 503 от LB и до API не дошёл.
  • Healthcheck контейнера LB (/lb/ready, 503 при nbsrv(api) < 1) перевёл haproxy в unhealthy: «через LB нельзя обслужить запрос».

Восстановление

### 15:46:57 make replicas
 Container mtusi-lab3-api-2 Healthy
 Container mtusi-lab3-api-1 Healthy
$ docker compose ps api haproxy   # через 3 с
mtusi-lab3-api-1 Up 4 seconds (healthy)
mtusi-lab3-api-2 Up 4 seconds (healthy)
mtusi-lab3-haproxy-1 Up About a minute (healthy)
$ curl -s -o /dev/null -w "%{http_code}" http://127.0.0.1:8080/health/ready
200

Журнал LB за окно

2026-10-10T15:46:44.109414960Z Server api/api-2 is DOWN, reason: Layer4 timeout, check duration: 506ms. 1 active and 0 backup servers left. 0 sessions active, 0 requeued, 0 remaining in queue.
2026-10-10T15:46:44.154104794Z Server api/api-1 is DOWN, reason: Layer4 timeout, check duration: 503ms. 0 active and 0 backup servers left. 0 sessions active, 0 requeued, 0 remaining in queue.
2026-10-10T15:46:44.154255752Z backend api has no server available!
2026-10-10T15:46:44.867770711Z 172.30.0.1:58512 [10/Oct/2026:15:46:44.867] entry api/<NOSRV> 0/-1/-1/-1/0 503 0 - - SC-- 1/1/0/0/0 0/0 "GET /health/ready HTTP/1.1"
2026-10-10T15:46:44.878003669Z 172.30.0.1:58518 [10/Oct/2026:15:46:44.877] entry api/<NOSRV> 0/-1/-1/-1/0 503 0 - - SC-- 1/1/0/0/0 0/0 "POST /api/v1/users HTTP/1.1"
2026-10-10T15:46:45.530593294Z Server api/api-1 was DOWN and now enters maintenance (DNS NX status).
2026-10-10T15:46:45.530603211Z Server api/api-2 was DOWN and now enters maintenance (DNS NX status).
2026-10-10T15:46:57.637092675Z api/api-1: IP changed from '(none)' to '172.30.0.5' by 'docker/dns'.
2026-10-10T15:46:57.637108883Z api/api-2: IP changed from '(none)' to '172.30.0.4' by 'DNS cache'.
2026-10-10T15:46:57.637109883Z Server api/api-1 ('api') is DOWN/READY (resolves again).
2026-10-10T15:46:57.637153050Z Server api/api-2 ('api') is DOWN/READY (resolves again).
2026-10-10T15:46:58.635265301Z Server api/api-2 is UP, reason: Layer7 check passed, code: 200, check duration: 17ms. 1 active and 0 backup servers online. 0 sessions requeued, 0 total in queue.
2026-10-10T15:46:59.689312593Z Server api/api-1 is UP, reason: Layer7 check passed, code: 200, check duration: 6ms. 2 active and 0 backup servers online. 0 sessions requeued, 0 total in queue.
  • Остановленные реплики LB исключил по проверкам (Layer4 timeout: адрес остановленного контейнера пропадает, соединение ограничено timeout connect 500 мс), затем по DNS (DNS NX) — слоты ушли в обслуживание.
  • Вернувшиеся реплики получили прежние адреса, начали в DOWN (init-state down) и вошли в распределение через 1–2 с после появления адреса, без перезапуска LB.
  • SC-- — LB сам отказал в соединении с сервером: готовых реплик нет.

Зависшая реплика: исключена по timeout check, запрос в полёте — 504

docker pause замораживает процесс: ядро принимает соединение, но ответа нет — так выглядит зависшая реплика. Сразу после паузы два запроса через LB, один из них попадает на замороженную реплику.

### 15:47:13.134 docker pause 3681880fc55f
запрос 2 завершён 15:47:13.248
запрос 1 завершён 15:47:23.200
$ make lb_stats   # 15:47:23
svname         addr             status  check_status  scur  stot  econ  wretr  wredis  hrsp_5xx
api-1          172.30.0.5:8080  DOWN    * L7TOUT      0     174   0     0      0       0
api-2          172.30.0.4:8080  UP      L7OK          0     174   0     0      0       0
BACKEND        -                UP      -             0     360   3     0      0       4
free slots: 6
### 15:47:23.382 docker unpause 3681880fc55f
$ make lb_stats   # через 3 с
api-1          172.30.0.5:8080  UP      L7OK          0     174   0     0      0       0
api-2          172.30.0.4:8080  UP      L7OK          0     174   0     0      0       0
--- запрос 1
HTTP/1.1 504 Gateway Time-out
x-request-id: lb-AC1E0001F0566ACA5E0101850007
content-length: 127
content-type: application/json

{"error":{"code":"unavailable","message":"API replica did not respond in time","request_id":"lb-AC1E0001F0566ACA5E0101850007"}}
--- запрос 2
HTTP/1.1 200 OK
x-instance-id: 8100f940a5fa
$ docker compose logs -t haproxy
2026-10-10T15:47:20.804663380Z Server api/api-1 is DOWN, reason: Layer7 timeout, check duration: 3005ms. 1 active and 0 backup servers left. 1 sessions active, 0 requeued, 0 remaining in queue.
2026-10-10T15:47:23.188831090Z 172.30.0.1:61526 [10/Oct/2026:15:47:13.182] entry api/api-1 0/0/0/-1/10005 504 0 - - sH-- 1/1/0/0/0 0/0 "GET /health/live HTTP/1.1"
2026-10-10T15:47:24.454298007Z Server api/api-1 is UP, reason: Layer7 check passed, code: 200, check duration: 5ms. 2 active and 0 backup servers online. 0 sessions requeued, 0 total in queue.
  • Обнаружение — 7,7 с от паузы до DOWN (Layer7 timeout, каждая проверка ждёт timeout check 3 с). Это сходится с исправленной формулой худшего случая fall × (inter + timeout check) = 2 × (1 + 3) = 8 с, а не с прежней оценкой inter × fall + timeout check = 5 с: следующая проверка начинается через inter после конца предыдущей. В пробном прогоне verify до пересоздания стенда — 7,3 с. Укладывается в 10 с рубрики, запас небольшой; подбор чисел и замер по режимам — change graceful-failover.
  • Запрос в полёте на зависшей реплике ждал timeout server 10 с и получил 504 в формате контракта (sH-- — таймаут ответа сервера, поле повторов 0: на другую реплику он не повторялся). Второй запрос ушёл на живую реплику и получил 200 сразу.
  • После разморозки реплика вернулась через 1,1 с (rise 2: проверка, начатая во время паузы, завершилась успехом, вторая — через секунду).

PostgreSQL недоступен: реплики отвечают 503, LB исключает обе

/health/ready проверяет PostgreSQL (infra.md), поэтому его отказ выводит из распределения все реплики сразу.

### 15:47:34.617 docker compose stop postgres
остановлен 15:47:34.810
15:47:34.816 live 200 ready 503
15:47:35.364 live 200 ready 503
15:47:35.930 live 200 ready 503
15:47:36.502 live 200 ready 503
15:47:37.066 live 503 ready 503
15:47:37.613 live 503 ready 503
15:47:38.157 live 503 ready 503
15:47:38.708 live 503 ready 503
$ make lb_stats
svname         addr             status  check_status  scur  stot  econ  wretr  wredis  hrsp_5xx
api-1          172.30.0.5:8080  DOWN    L7STS         0     179   0     0      0       4
api-2          172.30.0.4:8080  DOWN    L7STS         0     177   0     0      0       0
BACKEND        -                DOWN    -             0     376   11    0      0       16
free slots: 6
$ curl -s http://127.0.0.1:8080/health/live
{"error":{"code":"unavailable","message":"No API replica is available","request_id":"lb-AC1E0001EDF46ACA5E1B019F0007"}}
### 15:47:39.407 docker compose start postgres
запущен 15:47:39.535
15:47:39.540 ready 503
15:47:40.063 ready 503
15:47:40.592 ready 503
15:47:41.123 ready 200
15:47:41.701 ready 200
$ make lb_stats
api-1          172.30.0.5:8080  UP      L7OK          0     182   0     0      0       4
api-2          172.30.0.4:8080  UP      L7OK          0     179   0     0      0       0
$ docker compose logs -t haproxy
2026-10-10T15:47:34.844124012Z 172.30.0.1:60772 [10/Oct/2026:15:47:34.838] entry api/api-1 0/0/0/5/5 503 338 - - ---- 1/1/0/0/0 0/0 "GET /health/ready HTTP/1.1"
2026-10-10T15:47:35.986753346Z Server api/api-2 is DOWN, reason: Layer7 wrong status, code: 503, info: "Service Unavailable", check duration: 8ms. 1 active and 0 backup servers left.
2026-10-10T15:47:36.570185013Z Server api/api-1 is DOWN, reason: Layer7 wrong status, code: 503, info: "Service Unavailable", check duration: 10ms. 0 active and 0 backup servers left.
2026-10-10T15:47:36.570244221Z backend api has no server available!
2026-10-10T15:47:40.687784709Z Server api/api-1 is UP, reason: Layer7 check passed, code: 200, check duration: 16ms. 1 active and 0 backup servers online.
2026-10-10T15:47:41.089982084Z Server api/api-2 is UP, reason: Layer7 check passed, code: 200, check duration: 6ms. 2 active and 0 backup servers online.
  • Первые 2 с ответы дают сами реплики: /health/live — 200, /health/ready — 503 API (---- в журнале: ответ сервера, 338 байт).
  • Реплики, ответившие на проверку 503 (L7STS, «wrong status»), исключены за 1,2–1,8 с. Дальше на всё, включая /health/live, отвечает сам LB: 503 No API replica is available в формате контракта. Клиент видит тот же код unavailable, что отдал бы API.
  • После запуска PostgreSQL реплики вернулись за 1,2–1,6 с (rise 2), без перезапуска реплик и LB.
  • Это следствие решения «LB проверяет готовность, а не liveness» (balancer.md): без PostgreSQL реплика запросы не обслуживает. Liveness процесса без LB проверяет make failure_checks (test_readiness_without_database).