153 lines
11 KiB
INI
153 lines
11 KiB
INI
# Балансировщик лаб 3–4: единственная точка входа перед репликами сервиса
|
||
# api. Правила и цепочка таймаутов — infra/AGENTS.md; тот же файл берёт
|
||
# нагрузочный стенд bench/. Порты внутри сети стенда фиксированы: 8080 —
|
||
# API (и у реплик, и у LB), 8404 — мониторинг. Секретов LB не получает.
|
||
|
||
global
|
||
# журнал — в stdout контейнера (docker compose logs haproxy)
|
||
log stdout format raw local0 info
|
||
maxconn 4096
|
||
# один поток на лимит 1 CPU: иначе HAProxy создал бы поток на каждый
|
||
# CPU ВМ и делил между ними одну квоту
|
||
nbthread 1
|
||
# runtime API для поочерёдной замены (scripts/rolling-update.sh): слот
|
||
# уходящей реплики — drain, maint, затем снова ready. Только loopback
|
||
# внутри контейнера LB: из сети compose и с хоста не достать, доступ —
|
||
# docker compose exec haproxy (bash /dev/tcp)
|
||
stats socket ipv4@127.0.0.1:9999 level admin
|
||
# лаба 4: буферы сокетов фиксированы. Отправка к реплике — 256 KiB: тело
|
||
# загрузки, которое реплика не читает (ожидание места, отказ до тела),
|
||
# не копится в памяти LB целиком. Приём от клиента — 128 KiB: без него
|
||
# ядро растило буфер до tcp_rmem ВМ (32 MiB), и тело, которое LB не
|
||
# может отдать реплике, копилось там. Окно 128 KiB — ~20 Мбит/с при RTT
|
||
# 50 мс: 10 MiB за ~4 с при сроке тела 30 с
|
||
tune.sndbuf.server 262144
|
||
tune.rcvbuf.client 131072
|
||
|
||
# DNS Docker: имя сервиса api отвечает адресами всех работающих реплик.
|
||
# Пропавший адрес уходит из слота, новый появляется за 1–2 с без
|
||
# перезагрузки LB
|
||
resolvers docker
|
||
nameserver dns 127.0.0.11:53
|
||
accepted_payload_size 8192
|
||
resolve_retries 3
|
||
timeout resolve 1s
|
||
timeout retry 1s
|
||
hold valid 1s
|
||
hold obsolete 1s
|
||
hold nx 1s
|
||
hold other 1s
|
||
hold refused 1s
|
||
hold timeout 1s
|
||
|
||
defaults
|
||
mode http
|
||
log global
|
||
option httplog
|
||
# обычные успешные запросы не пишутся; ошибки, таймауты, повторы,
|
||
# перенаправления и смена состояния реплик — пишутся
|
||
option dontlog-normal
|
||
# timeout connect × (retries + 1) = 0,5 × 3 = 1,5 с < 2 с таймаута
|
||
# клиента tests/resilience.py: перенаправление успевает раньше
|
||
timeout connect 500ms
|
||
retries 2
|
||
# каждый повтор — на другую реплику, а не на ту же
|
||
option redispatch 1
|
||
# повтор только если соединение не установлено: запрос до реплики не
|
||
# дошёл, повтор безопасен для любого метода. Ответ, который реплика уже
|
||
# начала, не повторяется: POST /users и POST /chats не идемпотентны,
|
||
# отправку сообщения повторяет клиент с тем же Idempotency-Key
|
||
retry-on conn-failure
|
||
# больше срока операции хранилища (DB_OPERATION_TIMEOUT 6 с + закрытие
|
||
# соединения 2 с) и KDF входа: LB не рвёт ответ, который API ещё отдаст.
|
||
# У пути загрузки вложения — 40 с (backend api, set-timeout)
|
||
timeout server 10s
|
||
timeout client 30s
|
||
timeout http-request 10s
|
||
# простаивающий сеанс клиента, а с ним и соединение с репликой
|
||
# (http-reuse never): меньше KEEP_ALIVE_TIMEOUT реплики (60 с)
|
||
timeout http-keep-alive 10s
|
||
# больше срока проверки внутри /health/ready (2 с) на 0,5 с: медленный
|
||
# PostgreSQL даёт 503 от реплики, а не таймаут проверки
|
||
timeout check 2500ms
|
||
# request_id ответов, которые создаёт сам LB
|
||
unique-id-format lb-%{+X}o%ci%cp%Ts%rt%pid
|
||
# ответы самого LB — в формате ошибки контракта; отдельных кодов для 502
|
||
# и 504 в контракте нет, ближайший — unavailable. X-Instance-Id у них
|
||
# нет: контракт это допускает. 400 — неверный запрос или клиент
|
||
# замолчал посреди тела загрузки дольше timeout client (лаба 4)
|
||
http-error status 400 content-type application/json lf-string '{"error":{"code":"invalid_request","message":"Invalid request","request_id":"%[unique-id]"}}' hdr X-Request-Id "%[unique-id]"
|
||
http-error status 502 content-type application/json lf-string '{"error":{"code":"unavailable","message":"API replica closed the connection","request_id":"%[unique-id]"}}' hdr X-Request-Id "%[unique-id]"
|
||
http-error status 503 content-type application/json lf-string '{"error":{"code":"unavailable","message":"No API replica is available","request_id":"%[unique-id]"}}' hdr X-Request-Id "%[unique-id]"
|
||
http-error status 504 content-type application/json lf-string '{"error":{"code":"unavailable","message":"API replica did not respond in time","request_id":"%[unique-id]"}}' hdr X-Request-Id "%[unique-id]"
|
||
|
||
# точка входа клиентов: на хосте — 127.0.0.1:HOST_PORT (compose)
|
||
frontend entry
|
||
bind :8080
|
||
default_backend api
|
||
|
||
backend api
|
||
# по очереди, без cookie и stick-table: sticky session запрещён
|
||
# (README, п. 3), разные X-Instance-Id у одной сессии — проверка «3»
|
||
balance roundrobin
|
||
# путь загрузки вложения (лаба 4): срок ответа реплики 40 с вместо 10 —
|
||
# больше самого долгого молчания живой загрузки:
|
||
# до тела — вход и членство (2 × (DB_OPERATION_TIMEOUT 6 + закрытие 2))
|
||
# + ожидание места UPLOAD_WAIT_TIMEOUT 5 = 21 с;
|
||
# после тела — проверка изображения (до ~4 с) + pending 8 + PUT 5
|
||
# (S3_TIMEOUT) + ready 8 + компенсация 5 = 30 с.
|
||
# Тело ограничивают UPLOAD_BODY_TIMEOUT (30 с) и timeout client;
|
||
# наибольшая длительность загрузки 21 + 30 + 30 ≈ 81 с <
|
||
# ROLLOUT_DRAIN_TIMEOUT (90 с, scripts/rolling-update.sh). Остальные пути
|
||
# — прежние 10 с: общий срок 40 с держал бы любой запрос к зависшей
|
||
# реплике 40 с. Выражение — путь ручки (src/api/routes/attachments.py)
|
||
http-request set-timeout server 40s if METH_POST { path_reg ^/api/v1/chats/[^/]+/attachments$ }
|
||
# соединение с репликой не уходит в общий пул и не отдаётся другому
|
||
# клиенту: живёт, пока жив сеанс клиента, а простаивающий сеанс LB
|
||
# закрывает по timeout http-keep-alive (10 с). uvicorn держит
|
||
# простаивающее соединение 60 с — значит, закрывает LB, и запрос не
|
||
# уходит в соединение, которое реплика в этот момент закрывает (ответа
|
||
# не было бы, а empty-response LB не повторяет). Гонку при SIGTERM
|
||
# (uvicorn сразу закрывает простаивающие соединения) это не убирает:
|
||
# остановка без вывода из LB может дать одиночный 502. Плановая
|
||
# остановка (scripts/rolling-update.sh) сначала выводит реплику (drain)
|
||
http-reuse never
|
||
# активная проверка готовности: /health/live для LB не годится, живой
|
||
# процесс без PostgreSQL запросы не обслуживает
|
||
option httpchk
|
||
http-check send meth GET uri /health/ready
|
||
http-check expect status 200
|
||
# реплика исключается после 2 неудачных проверок подряд и возвращается
|
||
# после 2 успешных; проверка раз в секунду (inter), после первой
|
||
# неудачи и до возврата — через fastinter. Следующая проверка
|
||
# начинается через интервал после конца предыдущей, поэтому худшее
|
||
# обнаружение:
|
||
# зависшая (соединение есть, ответа нет): inter + timeout check +
|
||
# (fall − 1) × (fastinter + timeout check) = 1 + 2,5 + 0,5 + 2,5
|
||
# = 6,5 с ≤ 10 с;
|
||
# адрес пропал (kill, stop после выхода): таймаут соединения
|
||
# проверки min(timeout connect, inter) = 0,5 с: 1 + 0,5 + 0,5 + 0,5
|
||
# = 2,5 с; DNS уводит слот в обслуживание за 1–2 с;
|
||
# сокет закрыт, адрес жив (окно graceful): 1 + 0,5 = 1,5 с.
|
||
# Возврат: ≤ inter + fastinter = 1,5 с после готовности.
|
||
# init-state down: слот, получивший адрес из DNS (старт LB, новая или
|
||
# вернувшаяся реплика), начинает DOWN и получает запросы только после
|
||
# rise проверок — иначе запросы шли бы на процесс, который ещё не
|
||
# слушает порт
|
||
default-server check inter 1s fastinter 500ms fall 2 rise 2 resolvers docker init-addr none init-state down resolve-prefer ipv4
|
||
# 8 слотов — максимум реплик стенда (серии трека 1 и замена N + 1);
|
||
# лишние слоты в MAINT, девятую реплику LB не увидит
|
||
server-template api- 8 api:8080
|
||
|
||
# мониторинг внутри сети compose, наружу не публикуется:
|
||
# /lb/ready — healthcheck контейнера LB (200, пока есть готовая реплика),
|
||
# /stats и /stats;csv — состояние и счётчики каждого слота (make lb-stats)
|
||
frontend monitor
|
||
bind :8404
|
||
monitor-uri /lb/ready
|
||
monitor fail if { nbsrv(api) lt 1 }
|
||
stats enable
|
||
stats uri /stats
|
||
# адрес реплики в статистике (поле addr): только внутри сети
|
||
stats show-legends
|