Асинхронная обработка вложений: RabbitMQ 4.1 (quorum-очереди, publisher confirms, manual ack, DLQ), transactional outbox, отдельный worker. - upload: оригинал в staging S3, затем одной транзакцией queued + jobs + outbox -> 202; API к брокеру не подключается - relay: публикация outbox с confirm, reaper истёкших аренд, redrive - worker: claim по строке jobs, аренда с heartbeat и fencing по lease_token, transform в подпроцессе с RLIMIT_AS/RLIMIT_CPU/таймаутом, thumbnail 256, crop 128, WebP 1280 по детерминированным ключам - retry с backoff и jitter, постоянные/временные ошибки, реестр failed, ops replay (ready не повторяется), DLQ для невалидных сообщений - janitor: очистка staging и сирот; миграция 004 с backfill вложений lab4 - тесты отказов: окна COMMIT/publish, крахи worker до/после S3 и ack, заморозка worker, всплеск загрузок, права брокера; evidence/ и REPORT.md
107 lines
7.3 KiB
INI
107 lines
7.3 KiB
INI
# Lab3/4: единая точка входа перед API-репликами.
|
||
#
|
||
# Lab4: upload вложений — тело идёт потоком (без http-buffer-request); для upload timeout server
|
||
# увеличен до 75 с (> UPLOAD_TIMEOUT_SECONDS=60 у API + запись в S3). Content-Length
|
||
# больше лимита API отклоняет сам, не читая тело.
|
||
#
|
||
# Обнаружение реплик: DNS Docker (127.0.0.11) отдаёт по имени сервиса `api` адреса
|
||
# ВСЕХ его контейнеров; server-template создаёт до 8 слотов и заполняет их по DNS.
|
||
# Поэтому `docker compose up --scale api=N` не требует правки конфигурации.
|
||
#
|
||
# Readiness: активная проверка GET /health/ready каждую 1 с; 2 неудачи подряд -> DOWN,
|
||
# 2 успеха -> UP. Максимальное время обнаружения отказа:
|
||
# inter(1s) + timeout check(1s) + fastinter(0.5s) + timeout check(1s) ~= 3.5 с;
|
||
# ready=503 или refused без ожидания таймаута -> ~1.5 с.
|
||
# Sticky sessions НЕ используются: balance roundrobin без cookie/stick-table для backend
|
||
# (stick-table во frontend считает только частоту входов по IP, на выбор реплики не влияет).
|
||
#
|
||
# Перегрузка: maxconn 10 на реплику (= DB_POOL_SIZE) — лишние запросы ждут в очереди LB
|
||
# (timeout queue 5s), а не плодят потоки внутри Python-процесса. Переполнение -> 503 JSON.
|
||
|
||
global
|
||
log stdout format raw local0 info
|
||
maxconn 4096
|
||
|
||
resolvers docker
|
||
nameserver dns 127.0.0.11:53
|
||
resolve_retries 3
|
||
timeout resolve 1s
|
||
timeout retry 1s
|
||
hold valid 2s
|
||
hold other 2s
|
||
hold refused 2s
|
||
hold nx 2s
|
||
hold timeout 2s
|
||
hold obsolete 2s
|
||
accepted_payload_size 8192
|
||
|
||
defaults
|
||
mode http
|
||
log global
|
||
option httplog
|
||
option dontlognull
|
||
# Внутри одного Docker-host соединение устанавливается за доли мс: 500 мс хватает с запасом,
|
||
# а при внезапно исчезнувшей реплике запрос быстро уходит в retry на другую.
|
||
timeout connect 500ms
|
||
timeout client 30s
|
||
timeout server 10s
|
||
timeout http-request 10s
|
||
timeout http-keep-alive 5s
|
||
timeout queue 5s
|
||
timeout check 1s
|
||
# Повтор только если соединение с backend НЕ установлено (запрос точно не дошёл
|
||
# до приложения) — это безопасно даже для неидемпотентных POST. Повтор уходит
|
||
# на другую реплику (redispatch). Ответы/таймауты после отправки не повторяются.
|
||
retries 2
|
||
retry-on conn-failure
|
||
option redispatch 1
|
||
|
||
# Ошибки, которые формирует сам HAProxy (нет живых реплик, обрыв backend, timeout,
|
||
# переполнение очереди), отдаются в общем JSON-формате ошибки контракта, а не HTML.
|
||
# Ответы приложения (в т.ч. его 503) эти правила не затрагивают.
|
||
unique-id-format %[uuid()]
|
||
http-error status 400 content-type "application/json; charset=utf-8" hdr X-Request-Id "%ID" lf-string '{"error":{"code":"invalid_request","message":"Неверный запрос","request_id":"%ID"}}'
|
||
http-error status 408 content-type "application/json; charset=utf-8" hdr X-Request-Id "%ID" lf-string '{"error":{"code":"invalid_request","message":"Запрос не получен вовремя","request_id":"%ID"}}'
|
||
http-error status 413 content-type "application/json; charset=utf-8" hdr X-Request-Id "%ID" lf-string '{"error":{"code":"payload_too_large","message":"Файл больше допустимого размера","request_id":"%ID"}}'
|
||
http-error status 429 content-type "application/json; charset=utf-8" hdr X-Request-Id "%ID" hdr Retry-After "10" lf-string '{"error":{"code":"rate_limited","message":"Слишком много запросов, повторите позже","request_id":"%ID"}}'
|
||
http-error status 500 content-type "application/json; charset=utf-8" hdr X-Request-Id "%ID" lf-string '{"error":{"code":"internal_error","message":"Внутренняя ошибка сервера","request_id":"%ID"}}'
|
||
http-error status 502 content-type "application/json; charset=utf-8" hdr X-Request-Id "%ID" hdr Retry-After "1" lf-string '{"error":{"code":"unavailable","message":"Сервис временно недоступен","request_id":"%ID"}}'
|
||
http-error status 503 content-type "application/json; charset=utf-8" hdr X-Request-Id "%ID" hdr Retry-After "1" lf-string '{"error":{"code":"unavailable","message":"Сервис временно недоступен","request_id":"%ID"}}'
|
||
http-error status 504 content-type "application/json; charset=utf-8" hdr X-Request-Id "%ID" hdr Retry-After "1" lf-string '{"error":{"code":"unavailable","message":"Сервис временно недоступен","request_id":"%ID"}}'
|
||
|
||
frontend fe_api
|
||
bind :8080
|
||
# X-Request-Id формирует само приложение; LB только пробрасывает адрес клиента.
|
||
option forwardfor
|
||
# Защита входа от перебора паролей и шторма scrypt: не более LOGIN_RATE_LIMIT
|
||
# попыток POST /auth/sessions за 10 с с одного IP, сверх — 429 rate_limited.
|
||
stick-table type ip size 100k expire 60s store http_req_rate(10s)
|
||
acl is_login method POST
|
||
acl is_login_path path /api/v1/auth/sessions
|
||
# Явно вычисляем unique-id до deny: иначе в ответе 429 request_id остаётся пустым.
|
||
http-request set-var(txn.request_id) unique-id
|
||
http-request track-sc0 src if is_login is_login_path
|
||
http-request deny deny_status 429 if is_login is_login_path { sc_http_req_rate(0) gt "${LOGIN_RATE_LIMIT}" }
|
||
# Lab4: лимит размера upload проверяет API по Content-Length ДО чтения тела (ответ 413
|
||
# с X-Instance-Id по контракту). Дублирующий deny на LB убран: его ответ без X-Instance-Id.
|
||
default_backend be_api
|
||
|
||
backend be_api
|
||
balance roundrobin
|
||
http-request set-timeout server 75s if METH_POST { path_reg ^/api/v1/chats/[^/]+/attachments$ }
|
||
option httpchk
|
||
http-check send meth GET uri /health/ready ver HTTP/1.1 hdr Host lb
|
||
http-check expect status 200
|
||
# on-marked-down shutdown-sessions НЕ используется: при штатной остановке реплика ещё
|
||
# дообслуживает начатые запросы (drain), и обрыв их сессий дал бы лишние 502.
|
||
default-server maxconn 10 check inter 1s fastinter 500ms downinter 1s fall 2 rise 2 resolvers docker resolve-prefer ipv4 init-addr libc,none
|
||
server-template api 8 api:8080
|
||
|
||
# Статистика LB (только на 127.0.0.1 хоста): видно, какие реплики UP/DOWN.
|
||
frontend stats
|
||
bind :8404
|
||
stats enable
|
||
stats uri /stats
|
||
stats refresh 2s
|
||
stats show-legends
|