Files
mtusi2026lab3/evidence/replicas/lb-errors.md
T
ricoromaandClaude Opus 5.5 cb14586a19 docs: retake replicas-lb evidence from a4ca9ef after verify
The stand was recreated from a4ca9ef (make down, make run_docker) and
all evidence of the change was taken again on it: stand, distribution,
LB errors, test-persistence, test-failover for each replica (stop and
kill), stop-one refusals, make test and student_test through the LB,
test_isolated, failure_checks and bench self-checks.

New evidence closes scenarios verify found without proof: a real git
clone on non-default ports, a hung replica (docker pause: DOWN after
7.7 s, in-flight request 504), PostgreSQL outage behind the LB, replica
tests failing against one process, aborted responses via
driver.py kill-inflight. REPORT.md gets the corrected detection
formula, the measured cost of the 1 CPU limit for Argon2id and the new
rows.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
2026-10-10 22:09:15 +03:00

210 lines
14 KiB
Markdown
Raw Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
# Ответы самого балансировщика и исключение неготовых реплик
| | |
|---|---|
| Спеки | `load-balancing` «Ошибки балансировщика в формате контракта» — «Нет готовых реплик»; «Проверка готовности реплик» — «Остановленная реплика исключена», «Вернувшаяся реплика включена» и три случая требования: реплика остановлена, не отвечает, отвечает 503; `api-conventions` «X-Instance-Id на каждом ответе» (ответы LB — исключение по контракту) |
| Change | `replicas-lb`, задачи 6.1 и 7.2 (разделы «Зависшая реплика» и «PostgreSQL недоступен» добавлены в verify) |
| Дата | 2026-10-10 15:46:41–15:47:43 UTC |
| Commit | `a4ca9ef` (стенд пересоздан с этого commit, `stand.md`) |
| Стенд | `make run_docker`: проект `mtusi-lab3`, HAProxy на `127.0.0.1:8080`, `api` × 2; проверки LB — `inter 1s fall 2 rise 2`, `timeout check 3s`, `timeout connect 500ms`, `timeout server 10s` |
| Хост | Docker Desktop 29.8.1, macOS arm64; ВМ Docker: 12 CPU, 7,7 GiB RAM; ноутбук от батареи |
Время событий LB — из `docker compose logs -t` (сам журнал HAProxy в
формате `raw` строки о состоянии реплик без времени).
## Все реплики остановлены: 503 от LB
Обе реплики остановлены напрямую `docker stop` (не `stop-one.sh`: он
останавливает ровно одну). Через 3 с:
```text
### 2026-10-10T15:46:41Z
$ docker stop $(docker compose ps -q api)
3681880fc55f
8100f940a5fa
$ make lb_stats
svname addr status check_status scur stot econ wretr wredis hrsp_5xx
api-1 172.30.0.5:8080 DOWN L4TOUT 0 173 0 0 0 0
api-2 172.30.0.4:8080 DOWN L4TOUT 0 172 0 0 0 0
BACKEND - DOWN - 0 354 0 0 0 0
free slots: 6
$ curl -si http://127.0.0.1:8080/health/ready
HTTP/1.1 503 Service Unavailable
x-request-id: lb-AC1E0001E4906ACA5DE4017A0007
content-length: 119
content-type: application/json
{"error":{"code":"unavailable","message":"No API replica is available","request_id":"lb-AC1E0001E4906ACA5DE4017A0007"}}
$ curl -si -X POST -H "Content-Type: application/json" -d "{}" http://127.0.0.1:8080/api/v1/users
HTTP/1.1 503 Service Unavailable
x-request-id: lb-AC1E0001E4966ACA5DE4017B0007
content-length: 119
content-type: application/json
{"error":{"code":"unavailable","message":"No API replica is available","request_id":"lb-AC1E0001E4966ACA5DE4017B0007"}}
# проверка формы ответа LB (stdlib)
status 503 | keys ['error'] ['code', 'message', 'request_id'] | code unavailable | request_id == X-Request-Id: True | X-Instance-Id: None
$ docker inspect -f '{{.State.Health.Status}}' <haproxy> # 15 с после остановки
unhealthy
```
- Ответ создал HAProxy (`http-error status 503 … lf-string` в
`defaults`): тело — формат ошибки контракта без лишних полей, `code`
`unavailable`, `request_id` совпадает с `X-Request-Id`.
`X-Instance-Id` нет — контракт это разрешает для ответов LB.
- `POST /api/v1/users` тоже получил 503 от LB и до API не дошёл.
- Healthcheck контейнера LB (`/lb/ready`, 503 при `nbsrv(api) < 1`)
перевёл `haproxy` в `unhealthy`: «через LB нельзя обслужить запрос».
### Восстановление
```text
### 15:46:57 make replicas
Container mtusi-lab3-api-2 Healthy
Container mtusi-lab3-api-1 Healthy
$ docker compose ps api haproxy # через 3 с
mtusi-lab3-api-1 Up 4 seconds (healthy)
mtusi-lab3-api-2 Up 4 seconds (healthy)
mtusi-lab3-haproxy-1 Up About a minute (healthy)
$ curl -s -o /dev/null -w "%{http_code}" http://127.0.0.1:8080/health/ready
200
```
### Журнал LB за окно
```text
2026-10-10T15:46:44.109414960Z Server api/api-2 is DOWN, reason: Layer4 timeout, check duration: 506ms. 1 active and 0 backup servers left. 0 sessions active, 0 requeued, 0 remaining in queue.
2026-10-10T15:46:44.154104794Z Server api/api-1 is DOWN, reason: Layer4 timeout, check duration: 503ms. 0 active and 0 backup servers left. 0 sessions active, 0 requeued, 0 remaining in queue.
2026-10-10T15:46:44.154255752Z backend api has no server available!
2026-10-10T15:46:44.867770711Z 172.30.0.1:58512 [10/Oct/2026:15:46:44.867] entry api/<NOSRV> 0/-1/-1/-1/0 503 0 - - SC-- 1/1/0/0/0 0/0 "GET /health/ready HTTP/1.1"
2026-10-10T15:46:44.878003669Z 172.30.0.1:58518 [10/Oct/2026:15:46:44.877] entry api/<NOSRV> 0/-1/-1/-1/0 503 0 - - SC-- 1/1/0/0/0 0/0 "POST /api/v1/users HTTP/1.1"
2026-10-10T15:46:45.530593294Z Server api/api-1 was DOWN and now enters maintenance (DNS NX status).
2026-10-10T15:46:45.530603211Z Server api/api-2 was DOWN and now enters maintenance (DNS NX status).
2026-10-10T15:46:57.637092675Z api/api-1: IP changed from '(none)' to '172.30.0.5' by 'docker/dns'.
2026-10-10T15:46:57.637108883Z api/api-2: IP changed from '(none)' to '172.30.0.4' by 'DNS cache'.
2026-10-10T15:46:57.637109883Z Server api/api-1 ('api') is DOWN/READY (resolves again).
2026-10-10T15:46:57.637153050Z Server api/api-2 ('api') is DOWN/READY (resolves again).
2026-10-10T15:46:58.635265301Z Server api/api-2 is UP, reason: Layer7 check passed, code: 200, check duration: 17ms. 1 active and 0 backup servers online. 0 sessions requeued, 0 total in queue.
2026-10-10T15:46:59.689312593Z Server api/api-1 is UP, reason: Layer7 check passed, code: 200, check duration: 6ms. 2 active and 0 backup servers online. 0 sessions requeued, 0 total in queue.
```
- Остановленные реплики LB исключил по проверкам (`Layer4 timeout`:
адрес остановленного контейнера пропадает, соединение ограничено
`timeout connect` 500 мс), затем по DNS (`DNS NX`) — слоты ушли в
обслуживание.
- Вернувшиеся реплики получили прежние адреса, начали в `DOWN`
(`init-state down`) и вошли в распределение через 1–2 с после
появления адреса, без перезапуска LB.
- `SC--` — LB сам отказал в соединении с сервером: готовых реплик нет.
## Зависшая реплика: исключена по `timeout check`, запрос в полёте — 504
`docker pause` замораживает процесс: ядро принимает соединение, но
ответа нет — так выглядит зависшая реплика. Сразу после паузы два
запроса через LB, один из них попадает на замороженную реплику.
```text
### 15:47:13.134 docker pause 3681880fc55f
запрос 2 завершён 15:47:13.248
запрос 1 завершён 15:47:23.200
$ make lb_stats # 15:47:23
svname addr status check_status scur stot econ wretr wredis hrsp_5xx
api-1 172.30.0.5:8080 DOWN * L7TOUT 0 174 0 0 0 0
api-2 172.30.0.4:8080 UP L7OK 0 174 0 0 0 0
BACKEND - UP - 0 360 3 0 0 4
free slots: 6
### 15:47:23.382 docker unpause 3681880fc55f
$ make lb_stats # через 3 с
api-1 172.30.0.5:8080 UP L7OK 0 174 0 0 0 0
api-2 172.30.0.4:8080 UP L7OK 0 174 0 0 0 0
--- запрос 1
HTTP/1.1 504 Gateway Time-out
x-request-id: lb-AC1E0001F0566ACA5E0101850007
content-length: 127
content-type: application/json
{"error":{"code":"unavailable","message":"API replica did not respond in time","request_id":"lb-AC1E0001F0566ACA5E0101850007"}}
--- запрос 2
HTTP/1.1 200 OK
x-instance-id: 8100f940a5fa
$ docker compose logs -t haproxy
2026-10-10T15:47:20.804663380Z Server api/api-1 is DOWN, reason: Layer7 timeout, check duration: 3005ms. 1 active and 0 backup servers left. 1 sessions active, 0 requeued, 0 remaining in queue.
2026-10-10T15:47:23.188831090Z 172.30.0.1:61526 [10/Oct/2026:15:47:13.182] entry api/api-1 0/0/0/-1/10005 504 0 - - sH-- 1/1/0/0/0 0/0 "GET /health/live HTTP/1.1"
2026-10-10T15:47:24.454298007Z Server api/api-1 is UP, reason: Layer7 check passed, code: 200, check duration: 5ms. 2 active and 0 backup servers online. 0 sessions requeued, 0 total in queue.
```
- **Обнаружение — 7,7 с** от паузы до `DOWN` (`Layer7 timeout`, каждая
проверка ждёт `timeout check` 3 с). Это сходится с исправленной
формулой худшего случая `fall × (inter + timeout check)` = 2 × (1 + 3)
= 8 с, а не с прежней оценкой `inter × fall + timeout check` = 5 с:
следующая проверка начинается через `inter` после конца предыдущей.
В пробном прогоне verify до пересоздания стенда — 7,3 с. Укладывается
в 10 с рубрики, запас небольшой; подбор чисел и замер по режимам —
change `graceful-failover`.
- **Запрос в полёте** на зависшей реплике ждал `timeout server` 10 с и
получил 504 в формате контракта (`sH--` — таймаут ответа сервера,
поле повторов `0`: на другую реплику он не повторялся). Второй запрос
ушёл на живую реплику и получил 200 сразу.
- После разморозки реплика вернулась через 1,1 с (`rise 2`: проверка,
начатая во время паузы, завершилась успехом, вторая — через секунду).
## PostgreSQL недоступен: реплики отвечают 503, LB исключает обе
`/health/ready` проверяет PostgreSQL (`infra.md`), поэтому его отказ
выводит из распределения все реплики сразу.
```text
### 15:47:34.617 docker compose stop postgres
остановлен 15:47:34.810
15:47:34.816 live 200 ready 503
15:47:35.364 live 200 ready 503
15:47:35.930 live 200 ready 503
15:47:36.502 live 200 ready 503
15:47:37.066 live 503 ready 503
15:47:37.613 live 503 ready 503
15:47:38.157 live 503 ready 503
15:47:38.708 live 503 ready 503
$ make lb_stats
svname addr status check_status scur stot econ wretr wredis hrsp_5xx
api-1 172.30.0.5:8080 DOWN L7STS 0 179 0 0 0 4
api-2 172.30.0.4:8080 DOWN L7STS 0 177 0 0 0 0
BACKEND - DOWN - 0 376 11 0 0 16
free slots: 6
$ curl -s http://127.0.0.1:8080/health/live
{"error":{"code":"unavailable","message":"No API replica is available","request_id":"lb-AC1E0001EDF46ACA5E1B019F0007"}}
### 15:47:39.407 docker compose start postgres
запущен 15:47:39.535
15:47:39.540 ready 503
15:47:40.063 ready 503
15:47:40.592 ready 503
15:47:41.123 ready 200
15:47:41.701 ready 200
$ make lb_stats
api-1 172.30.0.5:8080 UP L7OK 0 182 0 0 0 4
api-2 172.30.0.4:8080 UP L7OK 0 179 0 0 0 0
$ docker compose logs -t haproxy
2026-10-10T15:47:34.844124012Z 172.30.0.1:60772 [10/Oct/2026:15:47:34.838] entry api/api-1 0/0/0/5/5 503 338 - - ---- 1/1/0/0/0 0/0 "GET /health/ready HTTP/1.1"
2026-10-10T15:47:35.986753346Z Server api/api-2 is DOWN, reason: Layer7 wrong status, code: 503, info: "Service Unavailable", check duration: 8ms. 1 active and 0 backup servers left.
2026-10-10T15:47:36.570185013Z Server api/api-1 is DOWN, reason: Layer7 wrong status, code: 503, info: "Service Unavailable", check duration: 10ms. 0 active and 0 backup servers left.
2026-10-10T15:47:36.570244221Z backend api has no server available!
2026-10-10T15:47:40.687784709Z Server api/api-1 is UP, reason: Layer7 check passed, code: 200, check duration: 16ms. 1 active and 0 backup servers online.
2026-10-10T15:47:41.089982084Z Server api/api-2 is UP, reason: Layer7 check passed, code: 200, check duration: 6ms. 2 active and 0 backup servers online.
```
- Первые 2 с ответы дают сами реплики: `/health/live` — 200,
`/health/ready` — 503 API (`----` в журнале: ответ сервера, 338 байт).
- Реплики, ответившие на проверку 503 (`L7STS`, «wrong status»),
исключены за 1,2–1,8 с. Дальше на всё, включая `/health/live`,
отвечает сам LB: 503 `No API replica is available` в формате
контракта. Клиент видит тот же код `unavailable`, что отдал бы API.
- После запуска PostgreSQL реплики вернулись за 1,2–1,6 с (`rise 2`),
без перезапуска реплик и LB.
- Это следствие решения «LB проверяет готовность, а не liveness»
(`balancer.md`): без PostgreSQL реплика запросы не обслуживает.
Liveness процесса без LB проверяет `make failure_checks`
(`test_readiness_without_database`).