Files
mtusi2026lab4/infra
Mikhail Verkovykh 728e53cc55 Реализовать lab4 на оценку 4: SeaweedFS, вложения и согласованность БД/S3.
Перенесён стенд lab3 (API, Redis-сессии, идемпотентность, HAProxy, реплики API). Добавлены приватный bucket SeaweedFS с отдельным ключом API, загрузка PNG/JPEG с лимитами и полной проверкой, компенсация и reconciler, плавная остановка API, тесты и evidence.
2026-11-06 19:48:37 +03:00
..

Инфраструктура lab4

  • haproxy.cfg — публичный балансировщик (127.0.0.1:8080, balance leastconn).
    • Новый запрос уходит на реплику с наименьшим числом открытых соединений. Загрузка вложения держит соединение секунды, поэтому длинные upload не скапливаются на одной реплике, пока у другой свободны слоты. При равной нагрузке (короткие последовательные запросы) реплики чередуются, как при round-robin.
    • Основной backend messenger_api проверяет /health/ready (БД + Redis + S3): неготовая реплика исключается из трафика.
    • Если не готова ни одна реплика (общая зависимость недоступна), трафик идёт в messenger_api_degraded, который проверяет только /health/live. Клиент получает JSON 503 самого API на затронутых endpoint, а текстовый чат и метаданные продолжают работать.
    • Ошибки, сгенерированные самим HAProxy (502/503/504), оформлены в контрактном JSON-конверте с X-Request-Id и X-Instance-Id: lb.
    • DNS Docker 127.0.0.11 + server-template подхватывают --scale api=N и замену контейнеров.
    • inter 1s fall 2 + observe layer4 … on-error mark-down: остановленная реплика исключается после первой неудачной попытки подключения или примерно через 2–3 с по health check. При docker stop реплика API по SIGTERM сначала отвечает 503 только на /health/ready и ещё 3 с (SHUTDOWN_DRAIN_SECONDS) обслуживает запросы, поэтому HAProxy исключает её раньше, чем она закроет listener. timeout connect 1s + option redispatch 1: запрос, не дошедший до мёртвой реплики, уходит на другую. POST повторно не отправляется: повтор возможен только на этапе connect, когда запрос ещё не передан.
    • Размер тела в HAProxy не ограничен: 10 MiB + 1 байт отклоняет API (JSON 413). tune.*buf фиксирует сокетные буферы, чтобы пачка загрузок не довела LB (128m) до OOM.
  • s3-gateway.cfg — TCP-сайдкар s3-gw в сетевом namespace s3: наружу (только в internal-сеть storage) отдаёт один S3 HTTP API как s3:9000. Master/filer/volume/gRPC SeaweedFS слушают только 127.0.0.1 внутри контейнера.
  • s3-gw-entrypoint.sh — entrypoint s3-gw: запускает HAProxy и раз в 2 с проверяет, что namespace s3 жив. После падения или docker restart контейнера s3 в старом namespace остаётся только lo. Тогда скрипт через 5 с завершает контейнер, и restart: unless-stopped запускает s3-gw уже в namespace нового s3. У s3 и s3-gw, как у api, lb, postgres и redis, стоит restart: unless-stopped; у one-shot migrate и s3-init политики нет. Скрипт монтируется в Linux-контейнер, поэтому .gitattributes держит *.sh в LF и на Windows.

Конфиги примонтированы как файлы, поэтому после правки haproxy.cfg нужен docker compose --env-file .env restart lb. up -d не пересоздаёт LB, если не изменился сам compose.yaml.