# Стенд лабы 4: HAProxy — единственная точка входа, за ним API × # API_REPLICAS; PostgreSQL, Valkey (кэш), S3 (SeaweedFS, байты вложений), # одноразовые миграции и bootstrap S3, уборщик незавершённых загрузок. # Правила — .claude/rules/docker.md и balancer.md. Значения — из .env # (шаблон .env.example); литералы только у адреса публикации 127.0.0.1 и # у режима docker. Имя проекта меняется в каждой лабе: от него зависят # имена volumes, и стенд не должен подключаться к данным прошлой лабы. name: mtusi-lab4 # окружение по сервисам: секреты получают только те, кому они нужны. # PostgreSQL — api, cleaner и migrate x-db-env: &db-env APP__RUN_MODE: docker DATABASE__HOST: ${POSTGRES_HOST:-postgres} DATABASE__PORT: ${POSTGRES_PORT:-5432} DATABASE__USER: ${POSTGRES_USER:?POSTGRES_USER is not set, run make env_setup} DATABASE__PASSWORD: ${POSTGRES_PASSWORD:?POSTGRES_PASSWORD is empty, run make env_setup} DATABASE__NAME: ${POSTGRES_DB:?POSTGRES_DB is not set, run make env_setup} # Valkey — только api x-cache-env: &cache-env CACHE__HOST: ${VALKEY_HOST:-valkey} CACHE__PORT: ${VALKEY_PORT:-6379} CACHE__PASSWORD: ${VALKEY_PASSWORD:?VALKEY_PASSWORD is empty, copy Valkey lines from .env.example} # S3 — api и cleaner: адрес в сети и bucket; ключи — у каждого своего # пользователя (не административные). Секреты S3 по сервисам (design # change s3-storage, решение 3; upload-consistency, решение 9): # административная пара — только s3, ключ подписи — s3 и s3-bootstrap, # ключи API — s3-bootstrap и api, ключи уборщика — s3-bootstrap и cleaner x-s3-env: &s3-env S3__HOST: ${S3_HOST:-s3} S3__PORT: ${S3_PORT:-8333} S3__BUCKET: ${S3__BUCKET:-messenger} # ключи пользователя API в S3 — только api x-s3-api-keys-env: &s3-api-keys-env S3__ACCESS_KEY_ID: ${S3_API_ACCESS_KEY:?S3_API_ACCESS_KEY is empty, copy S3 lines from .env.example} S3__SECRET_ACCESS_KEY: ${S3_API_SECRET_KEY:?S3_API_SECRET_KEY is empty, copy S3 lines from .env.example} # образ сервера S3 и bootstrap: тег с версией и digest индекса (amd64 и # arm64) x-s3-image: &s3-image chrislusf/seaweedfs:4.48@sha256:4e61d15fd35994cb1e43e1e553dff106794841fd9a99ade2fc8c8bfce4d7872d # config.toml только на чтение, длинной записью: без файла запуск падает, # а не создаёт на хосте каталог config.toml/ x-config-toml: &config-toml type: bind source: ./config.toml target: /app/config.toml read_only: true bind: create_host_path: false services: postgres: image: postgres:18.6-trixie@sha256:5a5a84b19854a9ffaa54082c166ff4ec27473a361e496e5ea167f298f2da9722 restart: unless-stopped environment: POSTGRES_USER: ${POSTGRES_USER:?POSTGRES_USER is not set, run make env_setup} POSTGRES_PASSWORD: ${POSTGRES_PASSWORD:?POSTGRES_PASSWORD is empty, run make env_setup} POSTGRES_DB: ${POSTGRES_DB:?POSTGRES_DB is not set, run make env_setup} # порт самого сервера; его же берут pg_isready и psql в контейнере PGPORT: ${POSTGRES_PORT:-5432} ports: # только localhost: к нему подключается приложение в console - "127.0.0.1:${POSTGRES_OUT_PORT:-5433}:${POSTGRES_PORT:-5432}" volumes: # с 18.x данные в /var/lib/postgresql/18/docker, volume образа — # весь /var/lib/postgresql (Config.Volumes) - postgres_data:/var/lib/postgresql networks: default: # любое значение POSTGRES_HOST указывает на этот сервис aliases: - ${POSTGRES_HOST:-postgres} healthcheck: # по TCP, а не через сокет: при инициализации образ поднимает # временный сервер только на сокете, и проверка через сокет # сказала бы «готов» раньше времени. $$ — переменная контейнера test: ["CMD-SHELL", "pg_isready -h 127.0.0.1 -U \"$$POSTGRES_USER\" -d \"$$POSTGRES_DB\""] interval: 5s timeout: 3s retries: 10 start_period: 30s start_interval: 1s deploy: resources: limits: # соединения реплик: API_REPLICAS × pool_size (переполнения нет, # max_overflow 0) + migrate + cleaner (пул 1) ≤ max_connections # (100): 2 × 10 + 1 + 1, при поочерёдной замене 3 × 10 + 1 + 1; # расчёт — REPORT.md cpus: "2.0" memory: 1G # кэш карточек чатов: без volume, persistence выключен в valkey.conf — # после рестарта кэш пуст, данные остаются в PostgreSQL valkey: image: valkey/valkey:9.1.2-trixie@sha256:418652cfb58ef879d4978c33553735d7147016032d5aefaa14c828e611eb9dfd restart: unless-stopped # $$ — переменные контейнера: пароль не попадает в command литералом. # Через docker-entrypoint.sh образа: он запускает сервер не от root command: - sh - -c - exec docker-entrypoint.sh valkey-server /usr/local/etc/valkey/valkey.conf --port "$$VALKEY_PORT" --requirepass "$$VALKEY_PASSWORD" environment: VALKEY_PORT: ${VALKEY_PORT:-6379} VALKEY_PASSWORD: ${VALKEY_PASSWORD:?VALKEY_PASSWORD is empty, copy Valkey lines from .env.example} # пароль для valkey-cli в контейнере (healthcheck), без -a в команде VALKEYCLI_AUTH: ${VALKEY_PASSWORD:?VALKEY_PASSWORD is empty, copy Valkey lines from .env.example} ports: # только localhost: к нему подключается приложение в console - "127.0.0.1:${VALKEY_OUT_PORT:-6380}:${VALKEY_PORT:-6379}" volumes: - type: bind source: ./infra/valkey/valkey.conf target: /usr/local/etc/valkey/valkey.conf read_only: true bind: create_host_path: false networks: default: # любое значение VALKEY_HOST указывает на этот сервис aliases: - ${VALKEY_HOST:-valkey} healthcheck: # PONG только после AUTH: проверяет и запуск, и пароль test: ["CMD-SHELL", 'test "$$(valkey-cli -p "$$VALKEY_PORT" ping)" = PONG'] interval: 5s timeout: 3s retries: 10 start_period: 10s start_interval: 1s deploy: resources: limits: # maxmemory 64mb в valkey.conf плюс накладные cpus: "0.5" memory: 128M # S3 — байты вложений (design change s3-storage, решения 1–2): master, # volume, filer и шлюз S3 одним процессом weed server. Служебные серверы # слушают только 127.0.0.1 контейнера, в сеть выходят порт API S3 # (S3_PORT) и gRPC шлюза (S3_PORT + 10000), закрытый ключом подписи. # Entrypoint образа сам переходит на пользователя seaweed и добавляет # -dir=/data -volume.max=0 -master.volumeSizeLimitMB=1024 s3: image: *s3-image restart: unless-stopped command: - server # master, volume и filer — только loopback контейнера - -ip=127.0.0.1 - -ip.bind=127.0.0.1 # по умолчанию master шлёт статистику на telemetry.seaweedfs.com - -master.telemetry=false # узел один, выборам ждать некого: перезапуск до healthy ~7 с, а не ~24 - -master.electionTimeout=1s # пауза перед остановкой тома нужна кластеру, а не одному узлу - -volume.preStopSeconds=0 - -filer - -s3 - -s3.ip.bind=0.0.0.0 - -s3.port=${S3_PORT:-8333} # REST Catalog и Lance по умолчанию открыты на 8181 и 9101 - -s3.port.iceberg=0 - -s3.port.lance=0 # встроенный IAM API на порту S3 не нужен: bootstrap — weed shell - -s3.iam=false # шлюз держит не больше 64 МБ загрузок одновременно, лишние ждут - -s3.concurrentUploadLimitMB=64 environment: # административная пара: учётная запись есть с первого старта, и # анонимного окна нет. Только у сервера: ни API, ни bootstrap её не # получают AWS_ACCESS_KEY_ID: ${S3_ROOT_ACCESS_KEY:?S3_ROOT_ACCESS_KEY is empty, copy S3 lines from .env.example} AWS_SECRET_ACCESS_KEY: ${S3_ROOT_SECRET_KEY:?S3_ROOT_SECRET_KEY is empty, copy S3 lines from .env.example} # без ключа подписи gRPC шлюза принимает учётную запись # администратора от любого контейнера сети WEED_JWT_FILER_SIGNING_KEY: ${S3_JWT_SIGNING_KEY:?S3_JWT_SIGNING_KEY is empty, copy S3 lines from .env.example} # сборщик мусора Go чаще у предела: вместе с лимитом загрузок 20 # одновременных PUT по 10 MiB укладываются в 512 МБ GOMEMLIMIT: 400MiB # порт API S3 для healthcheck S3_PORT: ${S3_PORT:-8333} ports: # только localhost и только API S3: к нему подключается приложение в # console; консоль, UI и служебные серверы не публикуются - "127.0.0.1:${S3_OUT_PORT:-8334}:${S3_PORT:-8333}" volumes: # volume образа (Config.Volumes): тома, filer и IAM - s3_data:/data networks: default: # любое значение S3_HOST указывает на этот сервис aliases: - ${S3_HOST:-s3} healthcheck: # master выбран, том зарегистрирован у master (непустой DataNodes в # /dir/status), filer и шлюз S3 отвечают; всё на loopback. Без # проверки тома healthy наступал на ~4 с раньше регистрации, и первая # запись ждала её до ~4,8 с при сроке вызова 5 с. $$ — переменная # контейнера test: ["CMD-SHELL", "wget -q -O /dev/null http://127.0.0.1:9333/cluster/healthz && wget -q -O - http://127.0.0.1:9333/dir/status | grep -qF '\"DataNodes\":[{' && wget -q -O /dev/null http://127.0.0.1:8888/healthz && wget -q -O /dev/null \"http://127.0.0.1:$$S3_PORT/healthz\""] interval: 5s timeout: 3s retries: 10 start_period: 30s start_interval: 1s # плавная остановка ~15 с: срок ожидания подписок filer зашит в код. # При 10 с остановка кончалась бы SIGKILL (код 137) stop_grace_period: 20s deploy: resources: limits: # память — GOMEMLIMIT и лимит загрузок выше cpus: "1.0" memory: 512M # bootstrap S3 — один раз до реплик, как миграции (решение 4): приватный # bucket, пользователь API с политикой «только объекты своего bucket», # пользователь уборщика — «чтение и удаление объектов своего bucket», # проверки приватности вне API. Повтор сводит состояние к .env и ничего # не ломает. В сетевом пространстве s3: master и filer сервера на # 127.0.0.1 доступны ему, а в сети их нет. make s3_check запускает его # же в режиме check s3-bootstrap: image: *s3-image network_mode: service:s3 user: seaweed entrypoint: ["sh", "/opt/s3/bootstrap.sh"] command: ["apply"] restart: "no" environment: S3_BUCKET: ${S3__BUCKET:-messenger} S3_PORT: ${S3_PORT:-8333} # ключ подписи: им weed shell подписывает вызовы IAM filer WEED_JWT_FILER_SIGNING_KEY: ${S3_JWT_SIGNING_KEY:?S3_JWT_SIGNING_KEY is empty, copy S3 lines from .env.example} S3_API_ACCESS_KEY: ${S3_API_ACCESS_KEY:?S3_API_ACCESS_KEY is empty, copy S3 lines from .env.example} S3_API_SECRET_KEY: ${S3_API_SECRET_KEY:?S3_API_SECRET_KEY is empty, copy S3 lines from .env.example} S3_CLEANER_ACCESS_KEY: ${S3_CLEANER_ACCESS_KEY:?S3_CLEANER_ACCESS_KEY is empty, run make env_setup} S3_CLEANER_SECRET_KEY: ${S3_CLEANER_SECRET_KEY:?S3_CLEANER_SECRET_KEY is empty, run make env_setup} HOME: /tmp volumes: - type: bind source: ./infra/s3/bootstrap.sh target: /opt/s3/bootstrap.sh read_only: true bind: create_host_path: false # файл ключа для curl и политика — только в памяти. /data — volume # образа (Config.Volumes): без tmpfs каждый новый контейнер bootstrap # оставлял бы анонимный volume tmpfs: - /tmp - /data depends_on: s3: condition: service_healthy deploy: resources: limits: # пик по пробе — 35 MiB, 0,76 с CPU cpus: "0.5" memory: 128M # миграции — один раз до реплик, сами реплики их не запускают migrate: # образ собирает сервис api (make run_docker, make test_isolated) image: mtusi-messenger:lab4 pull_policy: never command: ["alembic", "upgrade", "head"] restart: "no" # только PostgreSQL: пароль Valkey миграциям не нужен environment: *db-env volumes: - *config-toml depends_on: postgres: condition: service_healthy deploy: resources: limits: cpus: "0.5" memory: 256M # реплики API: порты не публикуются, фиксированного имени контейнера # нет (мешало бы масштабированию) — запросы идут только через haproxy; X-Instance-Id — hostname, то есть # короткий ID контейнера. Разовая подмена числа — make replicas # API_REPLICAS=N api: build: . image: mtusi-messenger:lab4 restart: unless-stopped environment: <<: [*db-env, *cache-env, *s3-env, *s3-api-keys-env] APP__PORT: ${APP__PORT:-8080} volumes: - *config-toml depends_on: postgres: condition: service_healthy # без кэша API работает, но в штатном стенде он есть с первого запроса valkey: condition: service_healthy migrate: condition: service_completed_successfully # bucket и пользователь API есть до первого запроса s3-bootstrap: condition: service_completed_successfully # healthcheck — из образа; SIGKILL не раньше, чем через 10 с stop_grace_period: 10s deploy: replicas: ${API_REPLICAS:-2} resources: limits: # один event loop занимает не больше 1 CPU. Argon2id (p=4, до # kdf_concurrency хэшей сразу) взял бы больше: под лимитом вход # медленнее в 4–5 раз, осознанно (REPORT.md, «Ограничения»). # Память: Argon2id 4 × 64 MiB + интерпретатор ≈ 350 МБ cpus: "1.0" memory: 512M # уборщик незавершённых загрузок (design change upload-consistency, # решения 2 и 9): строки pending старше grace и их объекты. Один процесс # на образе API со своей командой; реплики его не ждут, сам он ждёт # схему и пользователя S3. Портов нет, HTTP не слушает cleaner: image: mtusi-messenger:lab4 pull_policy: never # точка входа, а не command: разовый проход — # docker compose run --rm --no-deps cleaner --once entrypoint: ["python", "-m", "src.cleaner"] restart: unless-stopped environment: <<: [*db-env, *s3-env] # проход последовательный: второе соединение не нужно DATABASE__POOL_SIZE: "1" # пользователь уборщика: чтение и удаление объектов, без записи и # списка; ключей API, пароля Valkey и административных ключей S3 нет S3__ACCESS_KEY_ID: ${S3_CLEANER_ACCESS_KEY:?S3_CLEANER_ACCESS_KEY is empty, run make env_setup} S3__SECRET_ACCESS_KEY: ${S3_CLEANER_SECRET_KEY:?S3_CLEANER_SECRET_KEY is empty, run make env_setup} volumes: - *config-toml depends_on: postgres: condition: service_healthy migrate: condition: service_completed_successfully s3-bootstrap: condition: service_completed_successfully # healthcheck образа — HTTP /health/ready, а уборщик HTTP не слушает. # Живость — журнал: старт, проходы, отказы healthcheck: disable: true # SIGTERM: текущая строка доводится (≤ 6 с), затем выход с кодом 0 stop_grace_period: 10s deploy: resources: limits: cpus: "0.25" memory: 256M # единственная точка входа: реплики находит через DNS Docker, проверяет # /health/ready; конфиг — infra/haproxy/haproxy.cfg. Секретов не получает haproxy: image: haproxy:3.4.6-trixie@sha256:e273915691a8eab3f105bf3e39fd4c29a4ecf334e33421903b5589d25e14db26 restart: unless-stopped environment: # порт реплик и самого LB внутри сети: тот же APP__PORT API_PORT: ${APP__PORT:-8080} ports: # только localhost: стенд учебный; API на хосте доступно только так - "127.0.0.1:${APP_OUT_PORT:-8080}:${APP__PORT:-8080}" volumes: - type: bind source: ./infra/haproxy/haproxy.cfg target: /usr/local/etc/haproxy/haproxy.cfg read_only: true bind: create_host_path: false # make stop гасит LB раньше реплик, make run_docker поднимает после них depends_on: - api healthcheck: # healthy — через LB можно обслужить запрос: /lb/ready отвечает 200, # пока есть хотя бы одна готовая реплика. curl в образе нет, bash есть test: ["CMD", "bash", "-c", "exec 3<>/dev/tcp/127.0.0.1/8404 && printf 'GET /lb/ready HTTP/1.0\\r\\n\\r\\n' >&3 && head -n 1 <&3 | grep -q ' 200 '"] interval: 5s timeout: 3s retries: 3 start_period: 10s start_interval: 1s deploy: resources: limits: # nbthread 1 в haproxy.cfg cpus: "1.0" memory: 256M volumes: postgres_data: s3_data: