# Ответы самого балансировщика и исключение неготовых реплик | | | |---|---| | Спеки | `load-balancing` «Ошибки балансировщика в формате контракта» — «Нет готовых реплик»; «Проверка готовности реплик» — «Остановленная реплика исключена», «Вернувшаяся реплика включена» и три случая требования: реплика остановлена, не отвечает, отвечает 503; `api-conventions` «X-Instance-Id на каждом ответе» (ответы LB — исключение по контракту) | | Change | `replicas-lb`, задачи 6.1 и 7.2 (разделы «Зависшая реплика» и «PostgreSQL недоступен» добавлены в verify) | | Дата | 2026-10-10 15:46:41–15:47:43 UTC | | Commit | `a4ca9ef` (стенд пересоздан с этого commit, `stand.md`) | | Стенд | `make run_docker`: проект `mtusi-lab3`, HAProxy на `127.0.0.1:8080`, `api` × 2; проверки LB — `inter 1s fall 2 rise 2`, `timeout check 3s`, `timeout connect 500ms`, `timeout server 10s` | | Хост | Docker Desktop 29.8.1, macOS arm64; ВМ Docker: 12 CPU, 7,7 GiB RAM; ноутбук от батареи | Время событий LB — из `docker compose logs -t` (сам журнал HAProxy в формате `raw` строки о состоянии реплик без времени). ## Все реплики остановлены: 503 от LB Обе реплики остановлены напрямую `docker stop` (не `stop-one.sh`: он останавливает ровно одну). Через 3 с: ```text ### 2026-10-10T15:46:41Z $ docker stop $(docker compose ps -q api) 3681880fc55f 8100f940a5fa $ make lb_stats svname addr status check_status scur stot econ wretr wredis hrsp_5xx api-1 172.30.0.5:8080 DOWN L4TOUT 0 173 0 0 0 0 api-2 172.30.0.4:8080 DOWN L4TOUT 0 172 0 0 0 0 BACKEND - DOWN - 0 354 0 0 0 0 free slots: 6 $ curl -si http://127.0.0.1:8080/health/ready HTTP/1.1 503 Service Unavailable x-request-id: lb-AC1E0001E4906ACA5DE4017A0007 content-length: 119 content-type: application/json {"error":{"code":"unavailable","message":"No API replica is available","request_id":"lb-AC1E0001E4906ACA5DE4017A0007"}} $ curl -si -X POST -H "Content-Type: application/json" -d "{}" http://127.0.0.1:8080/api/v1/users HTTP/1.1 503 Service Unavailable x-request-id: lb-AC1E0001E4966ACA5DE4017B0007 content-length: 119 content-type: application/json {"error":{"code":"unavailable","message":"No API replica is available","request_id":"lb-AC1E0001E4966ACA5DE4017B0007"}} # проверка формы ответа LB (stdlib) status 503 | keys ['error'] ['code', 'message', 'request_id'] | code unavailable | request_id == X-Request-Id: True | X-Instance-Id: None $ docker inspect -f '{{.State.Health.Status}}' # 15 с после остановки unhealthy ``` - Ответ создал HAProxy (`http-error status 503 … lf-string` в `defaults`): тело — формат ошибки контракта без лишних полей, `code` `unavailable`, `request_id` совпадает с `X-Request-Id`. `X-Instance-Id` нет — контракт это разрешает для ответов LB. - `POST /api/v1/users` тоже получил 503 от LB и до API не дошёл. - Healthcheck контейнера LB (`/lb/ready`, 503 при `nbsrv(api) < 1`) перевёл `haproxy` в `unhealthy`: «через LB нельзя обслужить запрос». ### Восстановление ```text ### 15:46:57 make replicas Container mtusi-lab3-api-2 Healthy Container mtusi-lab3-api-1 Healthy $ docker compose ps api haproxy # через 3 с mtusi-lab3-api-1 Up 4 seconds (healthy) mtusi-lab3-api-2 Up 4 seconds (healthy) mtusi-lab3-haproxy-1 Up About a minute (healthy) $ curl -s -o /dev/null -w "%{http_code}" http://127.0.0.1:8080/health/ready 200 ``` ### Журнал LB за окно ```text 2026-10-10T15:46:44.109414960Z Server api/api-2 is DOWN, reason: Layer4 timeout, check duration: 506ms. 1 active and 0 backup servers left. 0 sessions active, 0 requeued, 0 remaining in queue. 2026-10-10T15:46:44.154104794Z Server api/api-1 is DOWN, reason: Layer4 timeout, check duration: 503ms. 0 active and 0 backup servers left. 0 sessions active, 0 requeued, 0 remaining in queue. 2026-10-10T15:46:44.154255752Z backend api has no server available! 2026-10-10T15:46:44.867770711Z 172.30.0.1:58512 [10/Oct/2026:15:46:44.867] entry api/ 0/-1/-1/-1/0 503 0 - - SC-- 1/1/0/0/0 0/0 "GET /health/ready HTTP/1.1" 2026-10-10T15:46:44.878003669Z 172.30.0.1:58518 [10/Oct/2026:15:46:44.877] entry api/ 0/-1/-1/-1/0 503 0 - - SC-- 1/1/0/0/0 0/0 "POST /api/v1/users HTTP/1.1" 2026-10-10T15:46:45.530593294Z Server api/api-1 was DOWN and now enters maintenance (DNS NX status). 2026-10-10T15:46:45.530603211Z Server api/api-2 was DOWN and now enters maintenance (DNS NX status). 2026-10-10T15:46:57.637092675Z api/api-1: IP changed from '(none)' to '172.30.0.5' by 'docker/dns'. 2026-10-10T15:46:57.637108883Z api/api-2: IP changed from '(none)' to '172.30.0.4' by 'DNS cache'. 2026-10-10T15:46:57.637109883Z Server api/api-1 ('api') is DOWN/READY (resolves again). 2026-10-10T15:46:57.637153050Z Server api/api-2 ('api') is DOWN/READY (resolves again). 2026-10-10T15:46:58.635265301Z Server api/api-2 is UP, reason: Layer7 check passed, code: 200, check duration: 17ms. 1 active and 0 backup servers online. 0 sessions requeued, 0 total in queue. 2026-10-10T15:46:59.689312593Z Server api/api-1 is UP, reason: Layer7 check passed, code: 200, check duration: 6ms. 2 active and 0 backup servers online. 0 sessions requeued, 0 total in queue. ``` - Остановленные реплики LB исключил по проверкам (`Layer4 timeout`: адрес остановленного контейнера пропадает, соединение ограничено `timeout connect` 500 мс), затем по DNS (`DNS NX`) — слоты ушли в обслуживание. - Вернувшиеся реплики получили прежние адреса, начали в `DOWN` (`init-state down`) и вошли в распределение через 1–2 с после появления адреса, без перезапуска LB. - `SC--` — LB сам отказал в соединении с сервером: готовых реплик нет. ## Зависшая реплика: исключена по `timeout check`, запрос в полёте — 504 `docker pause` замораживает процесс: ядро принимает соединение, но ответа нет — так выглядит зависшая реплика. Сразу после паузы два запроса через LB, один из них попадает на замороженную реплику. ```text ### 15:47:13.134 docker pause 3681880fc55f запрос 2 завершён 15:47:13.248 запрос 1 завершён 15:47:23.200 $ make lb_stats # 15:47:23 svname addr status check_status scur stot econ wretr wredis hrsp_5xx api-1 172.30.0.5:8080 DOWN * L7TOUT 0 174 0 0 0 0 api-2 172.30.0.4:8080 UP L7OK 0 174 0 0 0 0 BACKEND - UP - 0 360 3 0 0 4 free slots: 6 ### 15:47:23.382 docker unpause 3681880fc55f $ make lb_stats # через 3 с api-1 172.30.0.5:8080 UP L7OK 0 174 0 0 0 0 api-2 172.30.0.4:8080 UP L7OK 0 174 0 0 0 0 --- запрос 1 HTTP/1.1 504 Gateway Time-out x-request-id: lb-AC1E0001F0566ACA5E0101850007 content-length: 127 content-type: application/json {"error":{"code":"unavailable","message":"API replica did not respond in time","request_id":"lb-AC1E0001F0566ACA5E0101850007"}} --- запрос 2 HTTP/1.1 200 OK x-instance-id: 8100f940a5fa $ docker compose logs -t haproxy 2026-10-10T15:47:20.804663380Z Server api/api-1 is DOWN, reason: Layer7 timeout, check duration: 3005ms. 1 active and 0 backup servers left. 1 sessions active, 0 requeued, 0 remaining in queue. 2026-10-10T15:47:23.188831090Z 172.30.0.1:61526 [10/Oct/2026:15:47:13.182] entry api/api-1 0/0/0/-1/10005 504 0 - - sH-- 1/1/0/0/0 0/0 "GET /health/live HTTP/1.1" 2026-10-10T15:47:24.454298007Z Server api/api-1 is UP, reason: Layer7 check passed, code: 200, check duration: 5ms. 2 active and 0 backup servers online. 0 sessions requeued, 0 total in queue. ``` - **Обнаружение — 7,7 с** от паузы до `DOWN` (`Layer7 timeout`, каждая проверка ждёт `timeout check` 3 с). Это сходится с исправленной формулой худшего случая `fall × (inter + timeout check)` = 2 × (1 + 3) = 8 с, а не с прежней оценкой `inter × fall + timeout check` = 5 с: следующая проверка начинается через `inter` после конца предыдущей. В пробном прогоне verify до пересоздания стенда — 7,3 с. Укладывается в 10 с рубрики, запас небольшой; подбор чисел и замер по режимам — change `graceful-failover`. - **Запрос в полёте** на зависшей реплике ждал `timeout server` 10 с и получил 504 в формате контракта (`sH--` — таймаут ответа сервера, поле повторов `0`: на другую реплику он не повторялся). Второй запрос ушёл на живую реплику и получил 200 сразу. - После разморозки реплика вернулась через 1,1 с (`rise 2`: проверка, начатая во время паузы, завершилась успехом, вторая — через секунду). ## PostgreSQL недоступен: реплики отвечают 503, LB исключает обе `/health/ready` проверяет PostgreSQL (`infra.md`), поэтому его отказ выводит из распределения все реплики сразу. ```text ### 15:47:34.617 docker compose stop postgres остановлен 15:47:34.810 15:47:34.816 live 200 ready 503 15:47:35.364 live 200 ready 503 15:47:35.930 live 200 ready 503 15:47:36.502 live 200 ready 503 15:47:37.066 live 503 ready 503 15:47:37.613 live 503 ready 503 15:47:38.157 live 503 ready 503 15:47:38.708 live 503 ready 503 $ make lb_stats svname addr status check_status scur stot econ wretr wredis hrsp_5xx api-1 172.30.0.5:8080 DOWN L7STS 0 179 0 0 0 4 api-2 172.30.0.4:8080 DOWN L7STS 0 177 0 0 0 0 BACKEND - DOWN - 0 376 11 0 0 16 free slots: 6 $ curl -s http://127.0.0.1:8080/health/live {"error":{"code":"unavailable","message":"No API replica is available","request_id":"lb-AC1E0001EDF46ACA5E1B019F0007"}} ### 15:47:39.407 docker compose start postgres запущен 15:47:39.535 15:47:39.540 ready 503 15:47:40.063 ready 503 15:47:40.592 ready 503 15:47:41.123 ready 200 15:47:41.701 ready 200 $ make lb_stats api-1 172.30.0.5:8080 UP L7OK 0 182 0 0 0 4 api-2 172.30.0.4:8080 UP L7OK 0 179 0 0 0 0 $ docker compose logs -t haproxy 2026-10-10T15:47:34.844124012Z 172.30.0.1:60772 [10/Oct/2026:15:47:34.838] entry api/api-1 0/0/0/5/5 503 338 - - ---- 1/1/0/0/0 0/0 "GET /health/ready HTTP/1.1" 2026-10-10T15:47:35.986753346Z Server api/api-2 is DOWN, reason: Layer7 wrong status, code: 503, info: "Service Unavailable", check duration: 8ms. 1 active and 0 backup servers left. 2026-10-10T15:47:36.570185013Z Server api/api-1 is DOWN, reason: Layer7 wrong status, code: 503, info: "Service Unavailable", check duration: 10ms. 0 active and 0 backup servers left. 2026-10-10T15:47:36.570244221Z backend api has no server available! 2026-10-10T15:47:40.687784709Z Server api/api-1 is UP, reason: Layer7 check passed, code: 200, check duration: 16ms. 1 active and 0 backup servers online. 2026-10-10T15:47:41.089982084Z Server api/api-2 is UP, reason: Layer7 check passed, code: 200, check duration: 6ms. 2 active and 0 backup servers online. ``` - Первые 2 с ответы дают сами реплики: `/health/live` — 200, `/health/ready` — 503 API (`----` в журнале: ответ сервера, 338 байт). - Реплики, ответившие на проверку 503 (`L7STS`, «wrong status»), исключены за 1,2–1,8 с. Дальше на всё, включая `/health/live`, отвечает сам LB: 503 `No API replica is available` в формате контракта. Клиент видит тот же код `unavailable`, что отдал бы API. - После запуска PostgreSQL реплики вернулись за 1,2–1,6 с (`rise 2`), без перезапуска реплик и LB. - Это следствие решения «LB проверяет готовность, а не liveness» (`balancer.md`): без PostgreSQL реплика запросы не обслуживает. Liveness процесса без LB проверяет `make failure_checks` (`test_readiness_without_database`).