Files
mtusi2026lab3/infra/haproxy/haproxy.cfg
T
ricoromaandClaude Opus 5.5 459f84c75c feat: coordinate timeout chain and add failover load profile
HAProxy checks get fastinter 500ms and timeout check 2.5s (hung replica
detected within 6.5 s), http-reuse never with uvicorn keep-alive 60 s so
the LB closes idle replica connections, and app connections set
idle_in_transaction_session_timeout so a frozen replica releases its
idempotency key. The bench stand runs behind HAProxy with N replicas and
gains the failover profile (make bench_failover / bench_failover_quick):
constant-rate writes with a key and reads while each replica is stopped,
killed or paused, with per-second timeline, detection and recovery time
and write reconciliation. Driver commands idle-conns and hang-key check
the keep-alive and hung-transaction decisions.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
2026-10-10 23:21:12 +03:00

127 lines
8.5 KiB
INI
Raw Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
# Балансировщик стенда лабы 3: единственная точка входа перед репликами
# сервиса api. Правила — .claude/rules/balancer.md, решения — design
# change replicas-lb (решения 1–5) и graceful-failover (цепочка таймаутов,
# решения 1–3). Порт приходит переменной окружения API_PORT (= APP__PORT
# из .env); секретов LB не получает. Тот же файл использует стенд bench/.
global
# журнал — в stdout контейнера (docker compose logs haproxy)
log stdout format raw local0 info
maxconn 4096
# один поток на лимит 1 CPU: иначе HAProxy создал бы поток на каждый
# CPU ВМ и делил между ними одну квоту
nbthread 1
# DNS Docker: имя сервиса api отвечает адресами всех работающих реплик.
# Пропавший адрес уходит из слота, новый появляется за 1–2 с без
# перезагрузки LB
resolvers docker
nameserver dns 127.0.0.11:53
accepted_payload_size 8192
resolve_retries 3
timeout resolve 1s
timeout retry 1s
hold valid 1s
hold obsolete 1s
hold nx 1s
hold other 1s
hold refused 1s
hold timeout 1s
defaults
mode http
log global
option httplog
# обычные успешные запросы не пишутся; ошибки, таймауты, повторы,
# перенаправления и смена состояния реплик — пишутся
option dontlog-normal
# timeout connect × (retries + 1) = 0,5 × 3 = 1,5 с < 2 с таймаута
# клиента tests/resilience.py: перенаправление успевает раньше
timeout connect 500ms
retries 2
# каждый повтор — на другую реплику, а не на ту же
option redispatch 1
# повтор только если соединение не установлено: запрос до реплики не
# дошёл, повтор безопасен для любого метода. Ответ, который реплика
# уже начала, не повторяется: POST /users и POST /chats не
# идемпотентны, отправку сообщения повторяет клиент с тем же ключом
retry-on conn-failure
# больше [database] request_timeout_seconds (6 с) и KDF входа
timeout server 10s
timeout client 30s
timeout http-request 10s
# простаивающий сеанс клиента, а с ним и соединение с репликой
# (http-reuse never): меньше [app] keep_alive_seconds реплики (60 с)
timeout http-keep-alive 10s
# больше таймаута проверки внутри /health/ready (2 с) на 0,5 с:
# медленный PostgreSQL даёт 503 от реплики (L7STS), а не таймаут
# проверки. Худшее обнаружение — в комментарии backend api
timeout check 2500ms
# request_id ответов, которые создаёт сам LB
unique-id-format lb-%{+X}o%ci%cp%Ts%rt%pid
# ответы самого LB — в формате ошибки контракта; в перечислении кодов
# контракта нет отдельных кодов для 502 и 504, ближайший — unavailable.
# X-Instance-Id у них нет: контракт это допускает
http-error status 502 content-type application/json lf-string '{"error":{"code":"unavailable","message":"API replica closed the connection","request_id":"%[unique-id]"}}' hdr X-Request-Id "%[unique-id]"
http-error status 503 content-type application/json lf-string '{"error":{"code":"unavailable","message":"No API replica is available","request_id":"%[unique-id]"}}' hdr X-Request-Id "%[unique-id]"
http-error status 504 content-type application/json lf-string '{"error":{"code":"unavailable","message":"API replica did not respond in time","request_id":"%[unique-id]"}}' hdr X-Request-Id "%[unique-id]"
# точка входа клиентов: на хосте — 127.0.0.1:APP_OUT_PORT (compose)
frontend entry
bind "*:${API_PORT}"
default_backend api
backend api
# по очереди, без cookie и stick-table: sticky session запрещён
balance roundrobin
# соединение с репликой не переходит в общий пул и не отдаётся другому
# клиенту: оно живёт, пока жив сеанс клиента, а простаивающий сеанс LB
# закрывает по timeout http-keep-alive (10 с). uvicorn держит
# простаивающее соединение [app] keep_alive_seconds = 60 с, дольше —
# значит, закрывает LB, и запрос не уходит в соединение, которое
# реплика в этот момент закрывает (ответа не было бы, а empty-response
# LB не повторяет). С пулом (http-reuse safe) последнее простаивающее
# соединение LB держал, пока его не закрывала реплика. Гонку при
# SIGTERM (uvicorn сразу закрывает простаивающие соединения) не убирает
# ни один режим: одиночный 502 в 2 из 8 фаз stop с never и в 1 из 9 с
# safe (design change graceful-failover, решение 3)
http-reuse never
# активная проверка готовности: /health/live для LB не годится,
# живой процесс без PostgreSQL запросы не обслуживает
option httpchk
http-check send meth GET uri /health/ready
http-check expect status 200
# реплика исключается после 2 неудачных проверок подряд и
# возвращается после 2 успешных; проверка раз в секунду (inter, у
# исключённой — downinter = inter), а после первой неудачи и до
# возврата — через fastinter. Следующая проверка начинается через
# интервал после конца предыдущей, поэтому худшее обнаружение:
# зависшая (соединение есть, ответа нет): inter + timeout check +
# (fall − 1) × (fastinter + timeout check) = 1 + 2,5 + 0,5 + 2,5
# = 6,5 с ≤ 10 с;
# адрес пропал (stop после выхода, kill): таймаут соединения
# проверки min(timeout connect, inter) = 0,5 с: 1 + 0,5 + 0,5 +
# 0,5 = 2,5 с; DNS уводит слот в обслуживание за 1–2 с;
# сокет закрыт, адрес жив (окно graceful): 1 + 0,5 = 1,5 с.
# Возврат: ≤ downinter + fastinter = 1,5 с после готовности.
# init-state down: слот, получивший адрес из DNS (старт LB, новая или
# вернувшаяся реплика), начинает DOWN и получает запросы только после
# rise проверок, а не сразу — иначе запросы шли бы на процесс, который
# ещё не слушает порт
default-server check inter 1s fastinter 500ms fall 2 rise 2 resolvers docker init-addr none init-state down resolve-prefer ipv4
# 8 слотов — максимум реплик в сериях трека 1; лишние слоты в MAINT,
# девятую реплику LB не увидит
server-template api- 8 "api:${API_PORT}"
# мониторинг внутри сети compose, наружу не публикуется:
# /lb/ready — healthcheck контейнера LB (200, пока есть готовая реплика),
# /stats и /stats;csv — состояние и счётчики каждой реплики (make lb_stats)
frontend monitor
bind :8404
monitor-uri /lb/ready
monitor fail if { nbsrv(api) lt 1 }
stats enable
stats uri /stats
# адрес реплики в статистике (поле addr): только внутри сети
stats show-legends