400 lines
20 KiB
YAML
400 lines
20 KiB
YAML
# Стенд лабы 4: HAProxy — единственная точка входа API, за ним
|
||
# API_REPLICAS реплик; PostgreSQL (источник истины: данные, сессии, ключи
|
||
# идемпотентности, метаданные вложений), Valkey (общий кэш карточек
|
||
# чатов), S3 — SeaweedFS (байты вложений в приватном bucket), одноразовые
|
||
# миграции и bootstrap S3, уборщик незавершённых загрузок и сверка bucket
|
||
# и БД. Значения ${...} compose берёт из .env (шаблон .env.example, `make
|
||
# env`). Порты публикуются только на 127.0.0.1; внутри сети стенда порты
|
||
# фиксированы: 5432, 6379, 8080, 8333 (API S3), мониторинг LB — 8404.
|
||
# Правила — infra/AGENTS.md; запуск — `make up`.
|
||
#
|
||
# Имя проекта меняется в каждой лабе: от него зависят имена volume, и
|
||
# стенд лабы 4 не подключается к данным лабы 3.
|
||
name: vladimirceva-lab4
|
||
|
||
# окружение по сервисам: секреты получают только те, кому они нужны.
|
||
# PostgreSQL — api, cleaner и migrate
|
||
x-db-env: &db-env
|
||
LOG_LEVEL: ${LOG_LEVEL:-INFO}
|
||
DB_HOST: postgres
|
||
DB_PORT: "5432"
|
||
DB_NAME: ${POSTGRES_DB:?POSTGRES_DB is not set, run make env}
|
||
DB_USER: ${POSTGRES_USER:?POSTGRES_USER is not set, run make env}
|
||
DB_PASSWORD: ${POSTGRES_PASSWORD:?POSTGRES_PASSWORD is empty, run make env}
|
||
|
||
# Valkey — только api
|
||
x-cache-env: &cache-env
|
||
CACHE_HOST: valkey
|
||
CACHE_PORT: "6379"
|
||
CACHE_PASSWORD: ${VALKEY_PASSWORD:?VALKEY_PASSWORD is empty, run make env}
|
||
|
||
# S3 — api и cleaner: адрес в сети и bucket. Ключи — у каждого своего
|
||
# пользователя S3 (не административные): административная пара — только
|
||
# у s3, ключ подписи служебных вызовов — у s3 и s3-bootstrap
|
||
x-s3-env: &s3-env
|
||
S3_ENDPOINT: http://s3:8333
|
||
S3_BUCKET: ${S3_BUCKET:-messenger-attachments}
|
||
|
||
# образ сервера S3 и bootstrap: тег с версией и digest индекса (amd64 и
|
||
# arm64)
|
||
x-s3-image: &s3-image chrislusf/seaweedfs:4.48@sha256:4e61d15fd35994cb1e43e1e553dff106794841fd9a99ade2fc8c8bfce4d7872d
|
||
|
||
# ужесточение контейнеров приложения: файловая система только для
|
||
# чтения, без capabilities и повышения привилегий
|
||
x-hardened: &hardened
|
||
read_only: true
|
||
cap_drop:
|
||
- ALL
|
||
security_opt:
|
||
- no-new-privileges:true
|
||
|
||
services:
|
||
postgres:
|
||
image: postgres:18.6-trixie@sha256:5a5a84b19854a9ffaa54082c166ff4ec27473a361e496e5ea167f298f2da9722
|
||
restart: unless-stopped
|
||
environment:
|
||
POSTGRES_USER: ${POSTGRES_USER:?POSTGRES_USER is not set, run make env}
|
||
POSTGRES_PASSWORD: ${POSTGRES_PASSWORD:?POSTGRES_PASSWORD is empty, run make env}
|
||
POSTGRES_DB: ${POSTGRES_DB:?POSTGRES_DB is not set, run make env}
|
||
ports:
|
||
# только localhost: к нему подключается `make run` и миграции с
|
||
# хоста. API наружу так не публикуется — только через LB
|
||
- "127.0.0.1:${POSTGRES_HOST_PORT:-5433}:5432"
|
||
volumes:
|
||
# Postgres 18 хранит данные в /var/lib/postgresql/18/docker; volume
|
||
# образа — весь /var/lib/postgresql (Config.Volumes)
|
||
- pgdata:/var/lib/postgresql
|
||
healthcheck:
|
||
# по TCP, а не через сокет: при инициализации образ поднимает
|
||
# временный сервер только на сокете, и проверка через сокет
|
||
# сказала бы «готов» раньше времени. $$ — переменная контейнера
|
||
test: ["CMD-SHELL", "pg_isready -h 127.0.0.1 -U \"$$POSTGRES_USER\" -d \"$$POSTGRES_DB\""]
|
||
interval: 5s
|
||
timeout: 3s
|
||
retries: 10
|
||
start_period: 30s
|
||
start_interval: 1s
|
||
deploy:
|
||
resources:
|
||
limits:
|
||
# соединения: API_REPLICAS × (DB_POOL_SIZE + DB_POOL_OVERFLOW) +
|
||
# migrate + cleaner (пул 1) ≤ max_connections (100): 2 × 15 + 1 +
|
||
# 1 = 32, при поочерёдной замене 3 × 15 + 1 + 1 = 47 (REPORT.md,
|
||
# «Лимиты и пулы»)
|
||
cpus: "2.0"
|
||
memory: 1G
|
||
|
||
# кэш карточек чатов: volume нет, persistence выключен в valkey.conf —
|
||
# после рестарта кэш пуст, данные остаются в PostgreSQL
|
||
valkey:
|
||
image: valkey/valkey:9.1.2-trixie@sha256:418652cfb58ef879d4978c33553735d7147016032d5aefaa14c828e611eb9dfd
|
||
restart: unless-stopped
|
||
# $$ — переменная контейнера: пароля нет в command литералом. Через
|
||
# docker-entrypoint.sh образа: он запускает сервер не от root
|
||
command:
|
||
- sh
|
||
- -c
|
||
- exec docker-entrypoint.sh valkey-server /usr/local/etc/valkey/valkey.conf --requirepass "$$VALKEY_PASSWORD"
|
||
environment:
|
||
VALKEY_PASSWORD: ${VALKEY_PASSWORD:?VALKEY_PASSWORD is empty, run make env}
|
||
# пароль для valkey-cli в контейнере (healthcheck), без -a в команде
|
||
VALKEYCLI_AUTH: ${VALKEY_PASSWORD:?VALKEY_PASSWORD is empty, run make env}
|
||
ports:
|
||
# только localhost: к нему подключается `make run`
|
||
- "127.0.0.1:${VALKEY_HOST_PORT:-6380}:6379"
|
||
volumes:
|
||
- type: bind
|
||
source: ./infra/valkey/valkey.conf
|
||
target: /usr/local/etc/valkey/valkey.conf
|
||
read_only: true
|
||
bind:
|
||
create_host_path: false
|
||
healthcheck:
|
||
# PONG только после AUTH: проверяет и запуск, и пароль
|
||
test: ["CMD-SHELL", 'test "$$(valkey-cli ping)" = PONG']
|
||
interval: 5s
|
||
timeout: 3s
|
||
retries: 10
|
||
start_period: 10s
|
||
start_interval: 1s
|
||
deploy:
|
||
resources:
|
||
limits:
|
||
# maxmemory 64mb в valkey.conf плюс накладные
|
||
cpus: "0.5"
|
||
memory: 128M
|
||
|
||
# S3 — байты вложений (infra/AGENTS.md, «S3»): master, volume, filer и
|
||
# шлюз S3 одним процессом weed server. Служебные серверы слушают только
|
||
# 127.0.0.1 контейнера, в сеть выходят API S3 (8333) и gRPC шлюза
|
||
# (18333), закрытый ключом подписи. Entrypoint образа сам переходит на
|
||
# пользователя seaweed и добавляет -dir=/data
|
||
s3:
|
||
image: *s3-image
|
||
restart: unless-stopped
|
||
command:
|
||
- server
|
||
# master, volume и filer — только loopback контейнера
|
||
- -ip=127.0.0.1
|
||
- -ip.bind=127.0.0.1
|
||
# по умолчанию master шлёт статистику на telemetry.seaweedfs.com
|
||
- -master.telemetry=false
|
||
# узел один, выборам ждать некого: перезапуск до healthy ~7 с, а не ~24
|
||
- -master.electionTimeout=1s
|
||
# пауза перед остановкой тома нужна кластеру, а не одному узлу
|
||
- -volume.preStopSeconds=0
|
||
- -filer
|
||
- -s3
|
||
- -s3.ip.bind=0.0.0.0
|
||
- -s3.port=8333
|
||
# REST Catalog и Lance по умолчанию открыты на 8181 и 9101
|
||
- -s3.port.iceberg=0
|
||
- -s3.port.lance=0
|
||
# встроенный IAM API на порту S3 не нужен: bootstrap — weed shell
|
||
- -s3.iam=false
|
||
# шлюз держит не больше 64 МБ загрузок одновременно, лишние ждут
|
||
- -s3.concurrentUploadLimitMB=64
|
||
environment:
|
||
# административная пара: учётная запись есть с первого старта, и
|
||
# анонимного окна нет. Только у сервера: ни API, ни bootstrap её не
|
||
# получают
|
||
AWS_ACCESS_KEY_ID: ${S3_ROOT_ACCESS_KEY:?S3_ROOT_ACCESS_KEY is empty, run make env}
|
||
AWS_SECRET_ACCESS_KEY: ${S3_ROOT_SECRET_KEY:?S3_ROOT_SECRET_KEY is empty, run make env}
|
||
# без ключа подписи gRPC шлюза принимает учётную запись
|
||
# администратора от любого контейнера сети
|
||
WEED_JWT_FILER_SIGNING_KEY: ${S3_JWT_SIGNING_KEY:?S3_JWT_SIGNING_KEY is empty, run make env}
|
||
# сборщик мусора Go чаще у предела: вместе с лимитом загрузок шлюза
|
||
# 20 одновременных PUT по 10 MiB укладываются в 512 МБ
|
||
GOMEMLIMIT: 400MiB
|
||
ports:
|
||
# только localhost и только API S3: проверки приватности с хоста
|
||
# (make s3-check) и make run; консоль, UI и служебные серверы не
|
||
# публикуются
|
||
- "127.0.0.1:${S3_HOST_PORT:-8334}:8333"
|
||
volumes:
|
||
# volume образа (Config.Volumes): тома, filer и IAM
|
||
- s3data:/data
|
||
healthcheck:
|
||
# master выбран, том зарегистрирован у master (непустой DataNodes),
|
||
# filer и шлюз S3 отвечают; всё на loopback. Без проверки тома healthy
|
||
# наступает на ~4 с раньше регистрации, и первая запись ждала бы её
|
||
# почти весь срок вызова клиента
|
||
test: ["CMD-SHELL", "wget -q -O /dev/null http://127.0.0.1:9333/cluster/healthz && wget -q -O - http://127.0.0.1:9333/dir/status | grep -qF '\"DataNodes\":[{' && wget -q -O /dev/null http://127.0.0.1:8888/healthz && wget -q -O /dev/null http://127.0.0.1:8333/healthz"]
|
||
interval: 5s
|
||
timeout: 3s
|
||
retries: 10
|
||
start_period: 30s
|
||
start_interval: 1s
|
||
# плавная остановка ~15 с: срок ожидания подписок filer зашит в код. При
|
||
# 10 с остановка кончалась бы SIGKILL (код 137)
|
||
stop_grace_period: 20s
|
||
deploy:
|
||
resources:
|
||
limits:
|
||
cpus: "1.0"
|
||
memory: 512M
|
||
|
||
# bootstrap S3 — один раз до реплик, как миграции: приватный bucket,
|
||
# пользователь API («объекты своего bucket»), пользователь уборщика
|
||
# («чтение и удаление объектов и список по префиксу вложений своей
|
||
# базы»), проверки приватности. Повтор сводит состояние к .env и ничего
|
||
# не ломает. В сетевом пространстве s3: master и filer на 127.0.0.1
|
||
# сервера ему доступны, а в сети их нет. make s3-check запускает его же
|
||
# в режиме check
|
||
s3-bootstrap:
|
||
image: *s3-image
|
||
network_mode: service:s3
|
||
user: seaweed
|
||
entrypoint: ["sh", "/opt/s3/bootstrap.sh"]
|
||
command: ["apply"]
|
||
restart: "no"
|
||
environment:
|
||
S3_BUCKET: ${S3_BUCKET:-messenger-attachments}
|
||
# ключ подписи: им weed shell подписывает вызовы IAM filer
|
||
WEED_JWT_FILER_SIGNING_KEY: ${S3_JWT_SIGNING_KEY:?S3_JWT_SIGNING_KEY is empty, run make env}
|
||
S3_API_ACCESS_KEY: ${S3_API_ACCESS_KEY:?S3_API_ACCESS_KEY is empty, run make env}
|
||
S3_API_SECRET_KEY: ${S3_API_SECRET_KEY:?S3_API_SECRET_KEY is empty, run make env}
|
||
S3_CLEANER_ACCESS_KEY: ${S3_CLEANER_ACCESS_KEY:?S3_CLEANER_ACCESS_KEY is empty, run make env}
|
||
S3_CLEANER_SECRET_KEY: ${S3_CLEANER_SECRET_KEY:?S3_CLEANER_SECRET_KEY is empty, run make env}
|
||
# список уборщику — только по префиксу вложений своей базы; не
|
||
# секрет: уборщик строит тот же префикс сам из имени базы
|
||
S3_CLEANER_LIST_PREFIX: ${POSTGRES_DB:?POSTGRES_DB is not set, run make env}/attachments/
|
||
HOME: /tmp
|
||
volumes:
|
||
- type: bind
|
||
source: ./infra/s3/bootstrap.sh
|
||
target: /opt/s3/bootstrap.sh
|
||
read_only: true
|
||
bind:
|
||
create_host_path: false
|
||
# файл ключа для curl и политика — только в памяти. /data — volume
|
||
# образа: без tmpfs каждый новый контейнер bootstrap оставлял бы
|
||
# анонимный volume
|
||
tmpfs:
|
||
- /tmp
|
||
- /data
|
||
depends_on:
|
||
s3:
|
||
condition: service_healthy
|
||
deploy:
|
||
resources:
|
||
limits:
|
||
cpus: "0.5"
|
||
memory: 128M
|
||
|
||
# миграции до старта реплик: тот же образ, другая команда. Один раз на
|
||
# `up`, реплики ждут его завершения; сами реплики миграции не запускают
|
||
# (их несколько — они гонялись бы за одну схему). Повторный запуск —
|
||
# no-op: alembic применяет только недостающие ревизии
|
||
migrate:
|
||
image: mtusi-messenger-vladimirceva:lab4
|
||
# образ собирает сервис api (make up, make docker-build)
|
||
pull_policy: never
|
||
command: ["python", "-m", "alembic", "upgrade", "head"]
|
||
restart: "no"
|
||
# только PostgreSQL: пароль Valkey и ключи S3 миграциям не нужны
|
||
environment: *db-env
|
||
<<: *hardened
|
||
depends_on:
|
||
postgres:
|
||
condition: service_healthy
|
||
deploy:
|
||
resources:
|
||
limits:
|
||
cpus: "0.5"
|
||
memory: 256M
|
||
|
||
# реплики API: портов наружу нет, фиксированного имени контейнера нет
|
||
# (оба мешали бы масштабированию одного сервиса) — запросы идут только
|
||
# через haproxy. X-Instance-Id — hostname, то есть короткий ID
|
||
# контейнера. Разовая подмена числа — `make replicas API_REPLICAS=N`
|
||
api:
|
||
build: .
|
||
# тот же тег, что у make docker-build
|
||
image: mtusi-messenger-vladimirceva:lab4
|
||
restart: unless-stopped
|
||
environment:
|
||
<<: [*db-env, *cache-env, *s3-env]
|
||
# пользователь API в S3: чтение, запись и удаление объектов своего
|
||
# bucket; списка и прав на bucket нет
|
||
S3_ACCESS_KEY_ID: ${S3_API_ACCESS_KEY:?S3_API_ACCESS_KEY is empty, run make env}
|
||
S3_SECRET_ACCESS_KEY: ${S3_API_SECRET_KEY:?S3_API_SECRET_KEY is empty, run make env}
|
||
SESSION_TTL_SECONDS: ${SESSION_TTL_SECONDS:-3600}
|
||
IDEMPOTENCY_TTL_SECONDS: ${IDEMPOTENCY_TTL_SECONDS:-86400}
|
||
SHUTDOWN_TIMEOUT: ${SHUTDOWN_TIMEOUT:-5}
|
||
<<: *hardened
|
||
# приложение ничего не пишет на диск, кроме временных файлов Python
|
||
tmpfs:
|
||
- /tmp
|
||
depends_on:
|
||
postgres:
|
||
condition: service_healthy
|
||
# без кэша API работает, но в штатном стенде он есть с первого запроса
|
||
valkey:
|
||
condition: service_healthy
|
||
migrate:
|
||
condition: service_completed_successfully
|
||
# bucket и пользователь API есть до первого запроса
|
||
s3-bootstrap:
|
||
condition: service_completed_successfully
|
||
# healthcheck — из образа; SIGKILL не раньше, чем через 10 с после
|
||
# SIGTERM (uvicorn завершается сам за SHUTDOWN_TIMEOUT ≤ 9 с)
|
||
stop_grace_period: 10s
|
||
# буфер приёма сокетов реплики — до 512 KiB, а не до 32 MiB ВМ Docker:
|
||
# ядро копит недочитанное тело (ожидание места загрузки, отказ до
|
||
# тела) в буфере сокета, и он считается памятью контейнера. Получают
|
||
# все контейнеры сервиса, в том числе стенды тестов и bench/
|
||
sysctls:
|
||
net.ipv4.tcp_rmem: "4096 131072 524288"
|
||
deploy:
|
||
replicas: ${API_REPLICAS:-2}
|
||
resources:
|
||
limits:
|
||
# один процесс, один event loop: больше одного CPU он не займёт,
|
||
# кроме Argon2id входа в потоках (под лимитом вход медленнее).
|
||
# Память: Argon2id 4 × 64 MiB + интерпретатор + места загрузок
|
||
# (4 × тело до 10 MiB)
|
||
cpus: "1.0"
|
||
memory: 512M
|
||
|
||
# уборщик незавершённых загрузок и сверка bucket и БД: один процесс на
|
||
# образе API со своей точкой входа. Реплики его не ждут, сам он ждёт
|
||
# схему и пользователя S3. Портов нет, HTTP не слушает. Разовый проход —
|
||
# docker compose run --rm --no-deps cleaner --once, сверка — make reconcile
|
||
cleaner:
|
||
image: mtusi-messenger-vladimirceva:lab4
|
||
pull_policy: never
|
||
# точка входа, а не command: аргументы `docker compose run cleaner …`
|
||
# — флаги уборщика, а не замена команды
|
||
entrypoint: ["python", "-m", "src.cleaner"]
|
||
restart: unless-stopped
|
||
environment:
|
||
<<: [*db-env, *s3-env]
|
||
# проход последовательный: второе соединение не нужно
|
||
DB_POOL_SIZE: "1"
|
||
DB_POOL_OVERFLOW: "0"
|
||
# пользователь уборщика: чтение, удаление и список по префиксу; ключей
|
||
# API, пароля Valkey и административных ключей S3 нет
|
||
S3_ACCESS_KEY_ID: ${S3_CLEANER_ACCESS_KEY:?S3_CLEANER_ACCESS_KEY is empty, run make env}
|
||
S3_SECRET_ACCESS_KEY: ${S3_CLEANER_SECRET_KEY:?S3_CLEANER_SECRET_KEY is empty, run make env}
|
||
<<: *hardened
|
||
tmpfs:
|
||
- /tmp
|
||
depends_on:
|
||
postgres:
|
||
condition: service_healthy
|
||
migrate:
|
||
condition: service_completed_successfully
|
||
s3-bootstrap:
|
||
condition: service_completed_successfully
|
||
# healthcheck образа — HTTP /health/ready, а уборщик HTTP не слушает.
|
||
# Живость — журнал: старт, проходы, отказы
|
||
healthcheck:
|
||
disable: true
|
||
# SIGTERM: текущий шаг доводится (≤ 6 с), затем выход с кодом 0
|
||
stop_grace_period: 10s
|
||
deploy:
|
||
resources:
|
||
limits:
|
||
cpus: "0.25"
|
||
memory: 256M
|
||
|
||
# единственная точка входа: реплики находит через DNS Docker, проверяет
|
||
# /health/ready; конфиг — infra/haproxy/haproxy.cfg. Секретов не получает
|
||
haproxy:
|
||
image: haproxy:3.4.6-trixie@sha256:e273915691a8eab3f105bf3e39fd4c29a4ecf334e33421903b5589d25e14db26
|
||
restart: unless-stopped
|
||
ports:
|
||
# только localhost: стенд учебный; API с хоста доступно только так
|
||
- "127.0.0.1:${HOST_PORT:-8080}:8080"
|
||
volumes:
|
||
- type: bind
|
||
source: ./infra/haproxy/haproxy.cfg
|
||
target: /usr/local/etc/haproxy/haproxy.cfg
|
||
read_only: true
|
||
bind:
|
||
create_host_path: false
|
||
<<: *hardened
|
||
# make stop гасит LB раньше реплик, make up поднимает после них
|
||
depends_on:
|
||
- api
|
||
healthcheck:
|
||
# healthy — через LB можно обслужить запрос: /lb/ready отвечает 200,
|
||
# пока есть хотя бы одна готовая реплика. curl в образе нет, bash есть
|
||
test: ["CMD", "bash", "-c", "exec 3<>/dev/tcp/127.0.0.1/8404 && printf 'GET /lb/ready HTTP/1.0\\r\\n\\r\\n' >&3 && head -n 1 <&3 | grep -q ' 200 '"]
|
||
interval: 5s
|
||
timeout: 3s
|
||
retries: 3
|
||
start_period: 10s
|
||
start_interval: 1s
|
||
deploy:
|
||
resources:
|
||
limits:
|
||
# nbthread 1 в haproxy.cfg
|
||
cpus: "1.0"
|
||
memory: 256M
|
||
|
||
volumes:
|
||
pgdata:
|
||
s3data:
|