Files
mtusi2026lab7/infra/haproxy/haproxy.cfg
T
2026-11-08 00:33:25 +03:00

119 lines
9.0 KiB
INI
Raw Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
# HAProxy — балансировщик и единственная точка входа стенда lab7.
# Клиент -> HTTPS 127.0.0.1:8443 (TLS, сертификат identity lb, SAN localhost/127.0.0.1)
# -> HAProxy -> mTLS -> одна из реплик api (порт 8080 внутри внутренней сети edge).
# Данные и сессии общие (PostgreSQL, Valkey), поэтому любой запрос может обслужить любая
# реплика: балансировка round robin, без привязки клиента к реплике (без sticky session).
#
# С lab7:
# - снаружи только TLS 1.2+ (bind ... ssl); открытого HTTP-порта нет;
# - к репликам — mTLS: HAProxy предъявляет клиентский сертификат lb (/run/tls/tls.pem) и проверяет
# сертификат реплики нашим CA И имя api (verifyhost api). Реплика сама проверяет, что клиент — lb
# (src/messenger/tlsserver.py). Проверки готовности (check) идут по тому же mTLS;
# - лимит размера запроса: больше 10 МиБ + запас на заголовки -> 413 до передачи в API;
# - X-Forwarded-For перезаписывается (а не дополняется): по нему API считает лимит частоты входа;
# - stats и метрики (8404) — тоже по TLS; healthcheck контейнера — 127.0.0.1:8405 внутри контейнера.
global
log stdout format raw local0 info
maxconn 2000
# При остановке контейнера (SIGUSR1, мягкая остановка) доделать начатые запросы, но не дольше 10 с.
hard-stop-after 10s
ssl-default-bind-options ssl-min-ver TLSv1.2 no-tls-tickets
ssl-default-server-options ssl-min-ver TLSv1.2 no-tls-tickets
# Сертификаты и ключи читаются при старте и при reload (docker compose kill -s USR2 lb):
# ротация leaf-сертификата lb без пересборки образа и без остановки балансировщика.
# Список реплик берётся из DNS Docker: имя сервиса "api" -> IP всех ЗАПУЩЕННЫХ реплик.
# Остановили реплику или добавили новую — HAProxy увидит это сам, без перезапуска.
resolvers docker
nameserver dns 127.0.0.11:53
resolve_retries 3
timeout resolve 1s
timeout retry 1s
hold valid 2s # перечитывать список реплик раз в 2 с
hold obsolete 2s # IP, пропавший из DNS (контейнер остановлен), убрать через 2 с
hold nx 2s
hold other 2s
hold refused 2s
hold timeout 2s
accepted_payload_size 8192
defaults
mode http
log global
option httplog
option dontlog-normal # в лог только ошибки и смены состояния реплик, а не каждый запрос
timeout connect 1s # сеть внутри Docker быстрая: мёртвый адрес не держит запрос дольше 1 с
timeout client 30s
timeout server 30s # дольше самого долгого ответа API: загрузка файла (очередь проверки до 10 с + S3 до 6 с)
timeout http-request 10s # медленные заголовки (slowloris) — не дольше 10 с
timeout http-keep-alive 5s
timeout queue 5s
timeout check 1s
# Ошибка СОЕДИНЕНИЯ (запрос ещё не отправлен) — повторить, причём на другой реплике.
# Это безопасно для любого метода. Запрос, который уже ушёл в API, HAProxy сам НЕ повторяет:
# POST сообщения повторяет клиент с тем же Idempotency-Key.
retries 2
option redispatch 1
# Ошибки, которые создаёт сам балансировщик, отдаются в формате ошибки из контракта с X-Request-Id.
# X-Instance-Id у них нет: ни одна реплика API этот ответ не создавала.
unique-id-format %[uuid]
http-error status 503 content-type application/json lf-string '{"error":{"code":"unavailable","message":"Нет готовой реплики API, повторите запрос позже","request_id":"%[unique-id]"}}' hdr X-Request-Id "%[unique-id]"
http-error status 502 content-type application/json lf-string '{"error":{"code":"unavailable","message":"Реплика API оборвала соединение, повторите запрос","request_id":"%[unique-id]"}}' hdr X-Request-Id "%[unique-id]"
http-error status 504 content-type application/json lf-string '{"error":{"code":"unavailable","message":"Реплика API не ответила вовремя, повторите запрос","request_id":"%[unique-id]"}}' hdr X-Request-Id "%[unique-id]"
http-error status 413 content-type application/json lf-string '{"error":{"code":"payload_too_large","message":"Запрос слишком большой","request_id":"%[unique-id]"}}' hdr X-Request-Id "%[unique-id]"
frontend api_in
bind :8443 ssl crt /run/tls/tls.pem alpn http/1.1
# 10 МиБ файла (MAX_UPLOAD_BYTES) + 64 КиБ запаса. Без Content-Length (chunked) тело считает API.
http-request deny deny_status 413 if { req.hdr_val(content-length) gt 10551296 }
http-request set-header X-Forwarded-For %[src]
http-request set-header X-Forwarded-Proto https
http-response set-header Strict-Transport-Security "max-age=31536000"
default_backend api
backend api
balance roundrobin
# Проверка готовности: /health/ready = процесс отвечает, PostgreSQL и S3 доступны, нет SIGTERM.
option httpchk
http-check send meth GET uri /health/ready ver HTTP/1.1 hdr Host api
http-check expect status 200
# mTLS к каждой реплике (и для запросов, и для check):
# crt — клиентский сертификат identity lb (его проверяет реплика);
# ca-file — только наш CA; verify required — без проверки сертификата реплики не соединяемся;
# verifyhost — сертификат реплики обязан быть выдан на имя api (другая identity того же CA не подойдёт);
# sni — имя api в ClientHello.
default-server ssl verify required ca-file /run/ca/ca.crt crt /run/tls/tls.pem verifyhost api sni str(api) alpn http/1.1 check-ssl
# До 6 реплик (обычно 2, во время rolling update 3); пустые слоты стоят в MAINT.
# Проверка раз в 1 с, при смене состояния раз в 0,5 с; 2 неудачи подряд -> DOWN, 2 удачи -> UP.
server-template api 6 api:8080 check inter 1s fastinter 500ms downinter 2s fall 2 rise 2 observe layer4 error-limit 1 on-error mark-down resolvers docker resolve-prefer ipv4 init-addr none
# Второй вход только для проверки истечения сессии (make expiry): API с SESSION_TTL_SECONDS=2
# (сервис api-short-ttl, профиль ttl). Он тоже доступен только через балансировщик и только по TLS.
frontend ttl_in
bind :8444 ssl crt /run/tls/tls.pem alpn http/1.1
http-request deny deny_status 413 if { req.hdr_val(content-length) gt 10551296 }
http-request set-header X-Forwarded-For %[src]
default_backend api_short_ttl
backend api_short_ttl
option httpchk
http-check send meth GET uri /health/ready ver HTTP/1.1 hdr Host api
http-check expect status 200
default-server ssl verify required ca-file /run/ca/ca.crt crt /run/tls/tls.pem verifyhost api sni str(api) alpn http/1.1 check-ssl
server-template ttl 2 api-short-ttl:8080 check inter 1s fall 2 rise 2 resolvers docker resolve-prefer ipv4 init-addr none
# Статистика HAProxy: https://127.0.0.1:8404/stats (только на 127.0.0.1 хоста, только чтение),
# метрики /metrics для Prometheus (по TLS, он проверяет сертификат lb).
# /lb-health — healthcheck контейнера на 127.0.0.1:8405 (только внутри контейнера):
# 503, пока в backend api нет ни одной готовой реплики.
frontend stats
bind :8404 ssl crt /run/tls/tls.pem
bind 127.0.0.1:8405
monitor-uri /lb-health
monitor fail if { nbsrv(api) lt 1 }
http-request use-service prometheus-exporter if { path /metrics }
stats enable
stats uri /stats
stats refresh 2s