forked from mtusi2026/mtusi2026lab7
119 lines
9.0 KiB
INI
119 lines
9.0 KiB
INI
# HAProxy — балансировщик и единственная точка входа стенда lab7.
|
||
# Клиент -> HTTPS 127.0.0.1:8443 (TLS, сертификат identity lb, SAN localhost/127.0.0.1)
|
||
# -> HAProxy -> mTLS -> одна из реплик api (порт 8080 внутри внутренней сети edge).
|
||
# Данные и сессии общие (PostgreSQL, Valkey), поэтому любой запрос может обслужить любая
|
||
# реплика: балансировка round robin, без привязки клиента к реплике (без sticky session).
|
||
#
|
||
# С lab7:
|
||
# - снаружи только TLS 1.2+ (bind ... ssl); открытого HTTP-порта нет;
|
||
# - к репликам — mTLS: HAProxy предъявляет клиентский сертификат lb (/run/tls/tls.pem) и проверяет
|
||
# сертификат реплики нашим CA И имя api (verifyhost api). Реплика сама проверяет, что клиент — lb
|
||
# (src/messenger/tlsserver.py). Проверки готовности (check) идут по тому же mTLS;
|
||
# - лимит размера запроса: больше 10 МиБ + запас на заголовки -> 413 до передачи в API;
|
||
# - X-Forwarded-For перезаписывается (а не дополняется): по нему API считает лимит частоты входа;
|
||
# - stats и метрики (8404) — тоже по TLS; healthcheck контейнера — 127.0.0.1:8405 внутри контейнера.
|
||
|
||
global
|
||
log stdout format raw local0 info
|
||
maxconn 2000
|
||
# При остановке контейнера (SIGUSR1, мягкая остановка) доделать начатые запросы, но не дольше 10 с.
|
||
hard-stop-after 10s
|
||
ssl-default-bind-options ssl-min-ver TLSv1.2 no-tls-tickets
|
||
ssl-default-server-options ssl-min-ver TLSv1.2 no-tls-tickets
|
||
# Сертификаты и ключи читаются при старте и при reload (docker compose kill -s USR2 lb):
|
||
# ротация leaf-сертификата lb без пересборки образа и без остановки балансировщика.
|
||
|
||
# Список реплик берётся из DNS Docker: имя сервиса "api" -> IP всех ЗАПУЩЕННЫХ реплик.
|
||
# Остановили реплику или добавили новую — HAProxy увидит это сам, без перезапуска.
|
||
resolvers docker
|
||
nameserver dns 127.0.0.11:53
|
||
resolve_retries 3
|
||
timeout resolve 1s
|
||
timeout retry 1s
|
||
hold valid 2s # перечитывать список реплик раз в 2 с
|
||
hold obsolete 2s # IP, пропавший из DNS (контейнер остановлен), убрать через 2 с
|
||
hold nx 2s
|
||
hold other 2s
|
||
hold refused 2s
|
||
hold timeout 2s
|
||
accepted_payload_size 8192
|
||
|
||
defaults
|
||
mode http
|
||
log global
|
||
option httplog
|
||
option dontlog-normal # в лог только ошибки и смены состояния реплик, а не каждый запрос
|
||
timeout connect 1s # сеть внутри Docker быстрая: мёртвый адрес не держит запрос дольше 1 с
|
||
timeout client 30s
|
||
timeout server 30s # дольше самого долгого ответа API: загрузка файла (очередь проверки до 10 с + S3 до 6 с)
|
||
timeout http-request 10s # медленные заголовки (slowloris) — не дольше 10 с
|
||
timeout http-keep-alive 5s
|
||
timeout queue 5s
|
||
timeout check 1s
|
||
# Ошибка СОЕДИНЕНИЯ (запрос ещё не отправлен) — повторить, причём на другой реплике.
|
||
# Это безопасно для любого метода. Запрос, который уже ушёл в API, HAProxy сам НЕ повторяет:
|
||
# POST сообщения повторяет клиент с тем же Idempotency-Key.
|
||
retries 2
|
||
option redispatch 1
|
||
# Ошибки, которые создаёт сам балансировщик, отдаются в формате ошибки из контракта с X-Request-Id.
|
||
# X-Instance-Id у них нет: ни одна реплика API этот ответ не создавала.
|
||
unique-id-format %[uuid]
|
||
http-error status 503 content-type application/json lf-string '{"error":{"code":"unavailable","message":"Нет готовой реплики API, повторите запрос позже","request_id":"%[unique-id]"}}' hdr X-Request-Id "%[unique-id]"
|
||
http-error status 502 content-type application/json lf-string '{"error":{"code":"unavailable","message":"Реплика API оборвала соединение, повторите запрос","request_id":"%[unique-id]"}}' hdr X-Request-Id "%[unique-id]"
|
||
http-error status 504 content-type application/json lf-string '{"error":{"code":"unavailable","message":"Реплика API не ответила вовремя, повторите запрос","request_id":"%[unique-id]"}}' hdr X-Request-Id "%[unique-id]"
|
||
http-error status 413 content-type application/json lf-string '{"error":{"code":"payload_too_large","message":"Запрос слишком большой","request_id":"%[unique-id]"}}' hdr X-Request-Id "%[unique-id]"
|
||
|
||
frontend api_in
|
||
bind :8443 ssl crt /run/tls/tls.pem alpn http/1.1
|
||
# 10 МиБ файла (MAX_UPLOAD_BYTES) + 64 КиБ запаса. Без Content-Length (chunked) тело считает API.
|
||
http-request deny deny_status 413 if { req.hdr_val(content-length) gt 10551296 }
|
||
http-request set-header X-Forwarded-For %[src]
|
||
http-request set-header X-Forwarded-Proto https
|
||
http-response set-header Strict-Transport-Security "max-age=31536000"
|
||
default_backend api
|
||
|
||
backend api
|
||
balance roundrobin
|
||
# Проверка готовности: /health/ready = процесс отвечает, PostgreSQL и S3 доступны, нет SIGTERM.
|
||
option httpchk
|
||
http-check send meth GET uri /health/ready ver HTTP/1.1 hdr Host api
|
||
http-check expect status 200
|
||
# mTLS к каждой реплике (и для запросов, и для check):
|
||
# crt — клиентский сертификат identity lb (его проверяет реплика);
|
||
# ca-file — только наш CA; verify required — без проверки сертификата реплики не соединяемся;
|
||
# verifyhost — сертификат реплики обязан быть выдан на имя api (другая identity того же CA не подойдёт);
|
||
# sni — имя api в ClientHello.
|
||
default-server ssl verify required ca-file /run/ca/ca.crt crt /run/tls/tls.pem verifyhost api sni str(api) alpn http/1.1 check-ssl
|
||
# До 6 реплик (обычно 2, во время rolling update 3); пустые слоты стоят в MAINT.
|
||
# Проверка раз в 1 с, при смене состояния раз в 0,5 с; 2 неудачи подряд -> DOWN, 2 удачи -> UP.
|
||
server-template api 6 api:8080 check inter 1s fastinter 500ms downinter 2s fall 2 rise 2 observe layer4 error-limit 1 on-error mark-down resolvers docker resolve-prefer ipv4 init-addr none
|
||
|
||
# Второй вход только для проверки истечения сессии (make expiry): API с SESSION_TTL_SECONDS=2
|
||
# (сервис api-short-ttl, профиль ttl). Он тоже доступен только через балансировщик и только по TLS.
|
||
frontend ttl_in
|
||
bind :8444 ssl crt /run/tls/tls.pem alpn http/1.1
|
||
http-request deny deny_status 413 if { req.hdr_val(content-length) gt 10551296 }
|
||
http-request set-header X-Forwarded-For %[src]
|
||
default_backend api_short_ttl
|
||
|
||
backend api_short_ttl
|
||
option httpchk
|
||
http-check send meth GET uri /health/ready ver HTTP/1.1 hdr Host api
|
||
http-check expect status 200
|
||
default-server ssl verify required ca-file /run/ca/ca.crt crt /run/tls/tls.pem verifyhost api sni str(api) alpn http/1.1 check-ssl
|
||
server-template ttl 2 api-short-ttl:8080 check inter 1s fall 2 rise 2 resolvers docker resolve-prefer ipv4 init-addr none
|
||
|
||
# Статистика HAProxy: https://127.0.0.1:8404/stats (только на 127.0.0.1 хоста, только чтение),
|
||
# метрики /metrics для Prometheus (по TLS, он проверяет сертификат lb).
|
||
# /lb-health — healthcheck контейнера на 127.0.0.1:8405 (только внутри контейнера):
|
||
# 503, пока в backend api нет ни одной готовой реплики.
|
||
frontend stats
|
||
bind :8404 ssl crt /run/tls/tls.pem
|
||
bind 127.0.0.1:8405
|
||
monitor-uri /lb-health
|
||
monitor fail if { nbsrv(api) lt 1 }
|
||
http-request use-service prometheus-exporter if { path /metrics }
|
||
stats enable
|
||
stats uri /stats
|
||
stats refresh 2s
|