Files
mtusi2026lab4/compose.yaml
T

400 lines
20 KiB
YAML
Raw Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
# Стенд лабы 4: HAProxy — единственная точка входа API, за ним
# API_REPLICAS реплик; PostgreSQL (источник истины: данные, сессии, ключи
# идемпотентности, метаданные вложений), Valkey (общий кэш карточек
# чатов), S3 — SeaweedFS (байты вложений в приватном bucket), одноразовые
# миграции и bootstrap S3, уборщик незавершённых загрузок и сверка bucket
# и БД. Значения ${...} compose берёт из .env (шаблон .env.example, `make
# env`). Порты публикуются только на 127.0.0.1; внутри сети стенда порты
# фиксированы: 5432, 6379, 8080, 8333 (API S3), мониторинг LB — 8404.
# Правила — infra/AGENTS.md; запуск — `make up`.
#
# Имя проекта меняется в каждой лабе: от него зависят имена volume, и
# стенд лабы 4 не подключается к данным лабы 3.
name: vladimirceva-lab4
# окружение по сервисам: секреты получают только те, кому они нужны.
# PostgreSQL — api, cleaner и migrate
x-db-env: &db-env
LOG_LEVEL: ${LOG_LEVEL:-INFO}
DB_HOST: postgres
DB_PORT: "5432"
DB_NAME: ${POSTGRES_DB:?POSTGRES_DB is not set, run make env}
DB_USER: ${POSTGRES_USER:?POSTGRES_USER is not set, run make env}
DB_PASSWORD: ${POSTGRES_PASSWORD:?POSTGRES_PASSWORD is empty, run make env}
# Valkey — только api
x-cache-env: &cache-env
CACHE_HOST: valkey
CACHE_PORT: "6379"
CACHE_PASSWORD: ${VALKEY_PASSWORD:?VALKEY_PASSWORD is empty, run make env}
# S3 — api и cleaner: адрес в сети и bucket. Ключи — у каждого своего
# пользователя S3 (не административные): административная пара — только
# у s3, ключ подписи служебных вызовов — у s3 и s3-bootstrap
x-s3-env: &s3-env
S3_ENDPOINT: http://s3:8333
S3_BUCKET: ${S3_BUCKET:-messenger-attachments}
# образ сервера S3 и bootstrap: тег с версией и digest индекса (amd64 и
# arm64)
x-s3-image: &s3-image chrislusf/seaweedfs:4.48@sha256:4e61d15fd35994cb1e43e1e553dff106794841fd9a99ade2fc8c8bfce4d7872d
# ужесточение контейнеров приложения: файловая система только для
# чтения, без capabilities и повышения привилегий
x-hardened: &hardened
read_only: true
cap_drop:
- ALL
security_opt:
- no-new-privileges:true
services:
postgres:
image: postgres:18.6-trixie@sha256:5a5a84b19854a9ffaa54082c166ff4ec27473a361e496e5ea167f298f2da9722
restart: unless-stopped
environment:
POSTGRES_USER: ${POSTGRES_USER:?POSTGRES_USER is not set, run make env}
POSTGRES_PASSWORD: ${POSTGRES_PASSWORD:?POSTGRES_PASSWORD is empty, run make env}
POSTGRES_DB: ${POSTGRES_DB:?POSTGRES_DB is not set, run make env}
ports:
# только localhost: к нему подключается `make run` и миграции с
# хоста. API наружу так не публикуется — только через LB
- "127.0.0.1:${POSTGRES_HOST_PORT:-5433}:5432"
volumes:
# Postgres 18 хранит данные в /var/lib/postgresql/18/docker; volume
# образа — весь /var/lib/postgresql (Config.Volumes)
- pgdata:/var/lib/postgresql
healthcheck:
# по TCP, а не через сокет: при инициализации образ поднимает
# временный сервер только на сокете, и проверка через сокет
# сказала бы «готов» раньше времени. $$ — переменная контейнера
test: ["CMD-SHELL", "pg_isready -h 127.0.0.1 -U \"$$POSTGRES_USER\" -d \"$$POSTGRES_DB\""]
interval: 5s
timeout: 3s
retries: 10
start_period: 30s
start_interval: 1s
deploy:
resources:
limits:
# соединения: API_REPLICAS × (DB_POOL_SIZE + DB_POOL_OVERFLOW) +
# migrate + cleaner (пул 1) ≤ max_connections (100): 2 × 15 + 1 +
# 1 = 32, при поочерёдной замене 3 × 15 + 1 + 1 = 47 (REPORT.md,
# «Лимиты и пулы»)
cpus: "2.0"
memory: 1G
# кэш карточек чатов: volume нет, persistence выключен в valkey.conf —
# после рестарта кэш пуст, данные остаются в PostgreSQL
valkey:
image: valkey/valkey:9.1.2-trixie@sha256:418652cfb58ef879d4978c33553735d7147016032d5aefaa14c828e611eb9dfd
restart: unless-stopped
# $$ — переменная контейнера: пароля нет в command литералом. Через
# docker-entrypoint.sh образа: он запускает сервер не от root
command:
- sh
- -c
- exec docker-entrypoint.sh valkey-server /usr/local/etc/valkey/valkey.conf --requirepass "$$VALKEY_PASSWORD"
environment:
VALKEY_PASSWORD: ${VALKEY_PASSWORD:?VALKEY_PASSWORD is empty, run make env}
# пароль для valkey-cli в контейнере (healthcheck), без -a в команде
VALKEYCLI_AUTH: ${VALKEY_PASSWORD:?VALKEY_PASSWORD is empty, run make env}
ports:
# только localhost: к нему подключается `make run`
- "127.0.0.1:${VALKEY_HOST_PORT:-6380}:6379"
volumes:
- type: bind
source: ./infra/valkey/valkey.conf
target: /usr/local/etc/valkey/valkey.conf
read_only: true
bind:
create_host_path: false
healthcheck:
# PONG только после AUTH: проверяет и запуск, и пароль
test: ["CMD-SHELL", 'test "$$(valkey-cli ping)" = PONG']
interval: 5s
timeout: 3s
retries: 10
start_period: 10s
start_interval: 1s
deploy:
resources:
limits:
# maxmemory 64mb в valkey.conf плюс накладные
cpus: "0.5"
memory: 128M
# S3 — байты вложений (infra/AGENTS.md, «S3»): master, volume, filer и
# шлюз S3 одним процессом weed server. Служебные серверы слушают только
# 127.0.0.1 контейнера, в сеть выходят API S3 (8333) и gRPC шлюза
# (18333), закрытый ключом подписи. Entrypoint образа сам переходит на
# пользователя seaweed и добавляет -dir=/data
s3:
image: *s3-image
restart: unless-stopped
command:
- server
# master, volume и filer — только loopback контейнера
- -ip=127.0.0.1
- -ip.bind=127.0.0.1
# по умолчанию master шлёт статистику на telemetry.seaweedfs.com
- -master.telemetry=false
# узел один, выборам ждать некого: перезапуск до healthy ~7 с, а не ~24
- -master.electionTimeout=1s
# пауза перед остановкой тома нужна кластеру, а не одному узлу
- -volume.preStopSeconds=0
- -filer
- -s3
- -s3.ip.bind=0.0.0.0
- -s3.port=8333
# REST Catalog и Lance по умолчанию открыты на 8181 и 9101
- -s3.port.iceberg=0
- -s3.port.lance=0
# встроенный IAM API на порту S3 не нужен: bootstrap — weed shell
- -s3.iam=false
# шлюз держит не больше 64 МБ загрузок одновременно, лишние ждут
- -s3.concurrentUploadLimitMB=64
environment:
# административная пара: учётная запись есть с первого старта, и
# анонимного окна нет. Только у сервера: ни API, ни bootstrap её не
# получают
AWS_ACCESS_KEY_ID: ${S3_ROOT_ACCESS_KEY:?S3_ROOT_ACCESS_KEY is empty, run make env}
AWS_SECRET_ACCESS_KEY: ${S3_ROOT_SECRET_KEY:?S3_ROOT_SECRET_KEY is empty, run make env}
# без ключа подписи gRPC шлюза принимает учётную запись
# администратора от любого контейнера сети
WEED_JWT_FILER_SIGNING_KEY: ${S3_JWT_SIGNING_KEY:?S3_JWT_SIGNING_KEY is empty, run make env}
# сборщик мусора Go чаще у предела: вместе с лимитом загрузок шлюза
# 20 одновременных PUT по 10 MiB укладываются в 512 МБ
GOMEMLIMIT: 400MiB
ports:
# только localhost и только API S3: проверки приватности с хоста
# (make s3-check) и make run; консоль, UI и служебные серверы не
# публикуются
- "127.0.0.1:${S3_HOST_PORT:-8334}:8333"
volumes:
# volume образа (Config.Volumes): тома, filer и IAM
- s3data:/data
healthcheck:
# master выбран, том зарегистрирован у master (непустой DataNodes),
# filer и шлюз S3 отвечают; всё на loopback. Без проверки тома healthy
# наступает на ~4 с раньше регистрации, и первая запись ждала бы её
# почти весь срок вызова клиента
test: ["CMD-SHELL", "wget -q -O /dev/null http://127.0.0.1:9333/cluster/healthz && wget -q -O - http://127.0.0.1:9333/dir/status | grep -qF '\"DataNodes\":[{' && wget -q -O /dev/null http://127.0.0.1:8888/healthz && wget -q -O /dev/null http://127.0.0.1:8333/healthz"]
interval: 5s
timeout: 3s
retries: 10
start_period: 30s
start_interval: 1s
# плавная остановка ~15 с: срок ожидания подписок filer зашит в код. При
# 10 с остановка кончалась бы SIGKILL (код 137)
stop_grace_period: 20s
deploy:
resources:
limits:
cpus: "1.0"
memory: 512M
# bootstrap S3 — один раз до реплик, как миграции: приватный bucket,
# пользователь API («объекты своего bucket»), пользователь уборщика
# («чтение и удаление объектов и список по префиксу вложений своей
# базы»), проверки приватности. Повтор сводит состояние к .env и ничего
# не ломает. В сетевом пространстве s3: master и filer на 127.0.0.1
# сервера ему доступны, а в сети их нет. make s3-check запускает его же
# в режиме check
s3-bootstrap:
image: *s3-image
network_mode: service:s3
user: seaweed
entrypoint: ["sh", "/opt/s3/bootstrap.sh"]
command: ["apply"]
restart: "no"
environment:
S3_BUCKET: ${S3_BUCKET:-messenger-attachments}
# ключ подписи: им weed shell подписывает вызовы IAM filer
WEED_JWT_FILER_SIGNING_KEY: ${S3_JWT_SIGNING_KEY:?S3_JWT_SIGNING_KEY is empty, run make env}
S3_API_ACCESS_KEY: ${S3_API_ACCESS_KEY:?S3_API_ACCESS_KEY is empty, run make env}
S3_API_SECRET_KEY: ${S3_API_SECRET_KEY:?S3_API_SECRET_KEY is empty, run make env}
S3_CLEANER_ACCESS_KEY: ${S3_CLEANER_ACCESS_KEY:?S3_CLEANER_ACCESS_KEY is empty, run make env}
S3_CLEANER_SECRET_KEY: ${S3_CLEANER_SECRET_KEY:?S3_CLEANER_SECRET_KEY is empty, run make env}
# список уборщику — только по префиксу вложений своей базы; не
# секрет: уборщик строит тот же префикс сам из имени базы
S3_CLEANER_LIST_PREFIX: ${POSTGRES_DB:?POSTGRES_DB is not set, run make env}/attachments/
HOME: /tmp
volumes:
- type: bind
source: ./infra/s3/bootstrap.sh
target: /opt/s3/bootstrap.sh
read_only: true
bind:
create_host_path: false
# файл ключа для curl и политика — только в памяти. /data — volume
# образа: без tmpfs каждый новый контейнер bootstrap оставлял бы
# анонимный volume
tmpfs:
- /tmp
- /data
depends_on:
s3:
condition: service_healthy
deploy:
resources:
limits:
cpus: "0.5"
memory: 128M
# миграции до старта реплик: тот же образ, другая команда. Один раз на
# `up`, реплики ждут его завершения; сами реплики миграции не запускают
# (их несколько — они гонялись бы за одну схему). Повторный запуск —
# no-op: alembic применяет только недостающие ревизии
migrate:
image: mtusi-messenger-vladimirceva:lab4
# образ собирает сервис api (make up, make docker-build)
pull_policy: never
command: ["python", "-m", "alembic", "upgrade", "head"]
restart: "no"
# только PostgreSQL: пароль Valkey и ключи S3 миграциям не нужны
environment: *db-env
<<: *hardened
depends_on:
postgres:
condition: service_healthy
deploy:
resources:
limits:
cpus: "0.5"
memory: 256M
# реплики API: портов наружу нет, фиксированного имени контейнера нет
# (оба мешали бы масштабированию одного сервиса) — запросы идут только
# через haproxy. X-Instance-Id — hostname, то есть короткий ID
# контейнера. Разовая подмена числа — `make replicas API_REPLICAS=N`
api:
build: .
# тот же тег, что у make docker-build
image: mtusi-messenger-vladimirceva:lab4
restart: unless-stopped
environment:
<<: [*db-env, *cache-env, *s3-env]
# пользователь API в S3: чтение, запись и удаление объектов своего
# bucket; списка и прав на bucket нет
S3_ACCESS_KEY_ID: ${S3_API_ACCESS_KEY:?S3_API_ACCESS_KEY is empty, run make env}
S3_SECRET_ACCESS_KEY: ${S3_API_SECRET_KEY:?S3_API_SECRET_KEY is empty, run make env}
SESSION_TTL_SECONDS: ${SESSION_TTL_SECONDS:-3600}
IDEMPOTENCY_TTL_SECONDS: ${IDEMPOTENCY_TTL_SECONDS:-86400}
SHUTDOWN_TIMEOUT: ${SHUTDOWN_TIMEOUT:-5}
<<: *hardened
# приложение ничего не пишет на диск, кроме временных файлов Python
tmpfs:
- /tmp
depends_on:
postgres:
condition: service_healthy
# без кэша API работает, но в штатном стенде он есть с первого запроса
valkey:
condition: service_healthy
migrate:
condition: service_completed_successfully
# bucket и пользователь API есть до первого запроса
s3-bootstrap:
condition: service_completed_successfully
# healthcheck — из образа; SIGKILL не раньше, чем через 10 с после
# SIGTERM (uvicorn завершается сам за SHUTDOWN_TIMEOUT ≤ 9 с)
stop_grace_period: 10s
# буфер приёма сокетов реплики — до 512 KiB, а не до 32 MiB ВМ Docker:
# ядро копит недочитанное тело (ожидание места загрузки, отказ до
# тела) в буфере сокета, и он считается памятью контейнера. Получают
# все контейнеры сервиса, в том числе стенды тестов и bench/
sysctls:
net.ipv4.tcp_rmem: "4096 131072 524288"
deploy:
replicas: ${API_REPLICAS:-2}
resources:
limits:
# один процесс, один event loop: больше одного CPU он не займёт,
# кроме Argon2id входа в потоках (под лимитом вход медленнее).
# Память: Argon2id 4 × 64 MiB + интерпретатор + места загрузок
# (4 × тело до 10 MiB)
cpus: "1.0"
memory: 512M
# уборщик незавершённых загрузок и сверка bucket и БД: один процесс на
# образе API со своей точкой входа. Реплики его не ждут, сам он ждёт
# схему и пользователя S3. Портов нет, HTTP не слушает. Разовый проход —
# docker compose run --rm --no-deps cleaner --once, сверка — make reconcile
cleaner:
image: mtusi-messenger-vladimirceva:lab4
pull_policy: never
# точка входа, а не command: аргументы `docker compose run cleaner …`
# — флаги уборщика, а не замена команды
entrypoint: ["python", "-m", "src.cleaner"]
restart: unless-stopped
environment:
<<: [*db-env, *s3-env]
# проход последовательный: второе соединение не нужно
DB_POOL_SIZE: "1"
DB_POOL_OVERFLOW: "0"
# пользователь уборщика: чтение, удаление и список по префиксу; ключей
# API, пароля Valkey и административных ключей S3 нет
S3_ACCESS_KEY_ID: ${S3_CLEANER_ACCESS_KEY:?S3_CLEANER_ACCESS_KEY is empty, run make env}
S3_SECRET_ACCESS_KEY: ${S3_CLEANER_SECRET_KEY:?S3_CLEANER_SECRET_KEY is empty, run make env}
<<: *hardened
tmpfs:
- /tmp
depends_on:
postgres:
condition: service_healthy
migrate:
condition: service_completed_successfully
s3-bootstrap:
condition: service_completed_successfully
# healthcheck образа — HTTP /health/ready, а уборщик HTTP не слушает.
# Живость — журнал: старт, проходы, отказы
healthcheck:
disable: true
# SIGTERM: текущий шаг доводится (≤ 6 с), затем выход с кодом 0
stop_grace_period: 10s
deploy:
resources:
limits:
cpus: "0.25"
memory: 256M
# единственная точка входа: реплики находит через DNS Docker, проверяет
# /health/ready; конфиг — infra/haproxy/haproxy.cfg. Секретов не получает
haproxy:
image: haproxy:3.4.6-trixie@sha256:e273915691a8eab3f105bf3e39fd4c29a4ecf334e33421903b5589d25e14db26
restart: unless-stopped
ports:
# только localhost: стенд учебный; API с хоста доступно только так
- "127.0.0.1:${HOST_PORT:-8080}:8080"
volumes:
- type: bind
source: ./infra/haproxy/haproxy.cfg
target: /usr/local/etc/haproxy/haproxy.cfg
read_only: true
bind:
create_host_path: false
<<: *hardened
# make stop гасит LB раньше реплик, make up поднимает после них
depends_on:
- api
healthcheck:
# healthy — через LB можно обслужить запрос: /lb/ready отвечает 200,
# пока есть хотя бы одна готовая реплика. curl в образе нет, bash есть
test: ["CMD", "bash", "-c", "exec 3<>/dev/tcp/127.0.0.1/8404 && printf 'GET /lb/ready HTTP/1.0\\r\\n\\r\\n' >&3 && head -n 1 <&3 | grep -q ' 200 '"]
interval: 5s
timeout: 3s
retries: 3
start_period: 10s
start_interval: 1s
deploy:
resources:
limits:
# nbthread 1 в haproxy.cfg
cpus: "1.0"
memory: 256M
volumes:
pgdata:
s3data: