forked from mtusi2026/mtusi2026lab5
335 lines
16 KiB
YAML
335 lines
16 KiB
YAML
# Стенд lab5: HAProxy (единственная точка входа) -> API x2 -> PostgreSQL (источник истины, метаданные, outbox)
|
||
# + Valkey (общий кэш сессий) + S3 SeaweedFS (байты: staging, оригиналы, варианты)
|
||
# + RabbitMQ (очередь заданий) -> worker (обработка картинок, отдельный процесс).
|
||
# Запуск: docker compose up -d --build --wait
|
||
# Секреты: sh scripts/init-secrets.sh (создаёт каталог secrets/, он в .gitignore)
|
||
#
|
||
# Сети: edge (lb <-> api) и backend (api, worker, migrate, s3-init <-> postgres, valkey, s3, broker;
|
||
# internal = без выхода наружу). Наружу опубликованы только порты балансировщика и только на 127.0.0.1.
|
||
# У api и worker нет ports и container_name: реплик может быть сколько угодно (deploy.replicas).
|
||
name: mtusi-lab5
|
||
|
||
# Сборка образа приложения (один образ для api, worker, migrate, s3-init).
|
||
# APP_VERSION меняет только student-tests/rolling_update.py.
|
||
x-build: &build
|
||
context: .
|
||
args:
|
||
APP_VERSION: ${APP_VERSION:-dev}
|
||
|
||
# Docker-статус healthy/unhealthy для API (для `up --wait` и rolling update).
|
||
# Из балансировки реплику выводит HAProxy по своим, более частым проверкам (infra/haproxy/haproxy.cfg).
|
||
x-api-healthcheck: &api-healthcheck
|
||
test: ["CMD", "python", "-c", "import urllib.request; urllib.request.urlopen('http://127.0.0.1:8080/health/ready', timeout=2)"]
|
||
interval: 5s
|
||
timeout: 3s
|
||
retries: 3
|
||
start_period: 30s
|
||
start_interval: 1s
|
||
|
||
# Общие настройки процессов API (реплики, API с коротким TTL, тесты БД).
|
||
x-app: &app
|
||
image: mtusi-messenger:lab5
|
||
env_file: .env
|
||
# С lab4 — ключи отдельного S3-пользователя API, с lab5 — адрес брокера (relay outbox).
|
||
secrets: [database_url, cache_url, s3_access_key_id, s3_secret_access_key, broker_url]
|
||
networks: [edge, backend]
|
||
|
||
services:
|
||
# Одноразовый сервис: применяет migrations/*.sql и завершается с кодом 0.
|
||
# Реплики API и worker стартуют только после него и схему не меняют (нет гонки миграций).
|
||
migrate:
|
||
image: mtusi-messenger:lab5
|
||
build: *build
|
||
env_file: .env
|
||
command: ["python", "-m", "messenger.migrate"]
|
||
# Миграциям нужен только адрес PostgreSQL: остальные секреты сюда не монтируются (минимум прав),
|
||
# а пустые пути говорят config.py, что искать эти файлы не нужно.
|
||
environment:
|
||
CACHE_URL_FILE: ""
|
||
S3_ACCESS_KEY_ID_FILE: ""
|
||
S3_SECRET_ACCESS_KEY_FILE: ""
|
||
BROKER_URL_FILE: ""
|
||
secrets: [database_url]
|
||
networks: [backend]
|
||
depends_on:
|
||
postgres: {condition: service_healthy}
|
||
healthcheck:
|
||
disable: true
|
||
restart: "no"
|
||
deploy:
|
||
resources:
|
||
limits: {cpus: "0.50", memory: 128M}
|
||
|
||
api:
|
||
<<: *app
|
||
build: *build
|
||
depends_on:
|
||
migrate: {condition: service_completed_successfully}
|
||
s3-init: {condition: service_completed_successfully} # bucket создан
|
||
postgres: {condition: service_healthy}
|
||
valkey: {condition: service_healthy}
|
||
# Брокер нужен relay, но не приёму файлов: если брокер упадёт позже, API продолжит работать,
|
||
# а задания подождут в outbox. Условие здесь — только порядок первого запуска.
|
||
broker: {condition: service_healthy}
|
||
healthcheck: *api-healthcheck
|
||
restart: unless-stopped
|
||
# SIGTERM -> 3 с readiness 503 (уход из балансировки) -> до 8 с на начатые запросы -> выход.
|
||
# Docker ждёт 15 с и только потом SIGKILL.
|
||
stop_grace_period: 15s
|
||
deploy:
|
||
replicas: ${API_REPLICAS:-2}
|
||
resources:
|
||
# 512 МиБ: Argon2id берёт 19 МиБ на каждую одновременную проверку пароля.
|
||
limits: {cpus: "1.00", memory: 512M}
|
||
|
||
# Worker (с lab5): обрабатывает картинки из очереди. Отдельный процесс и отдельный контейнер:
|
||
# его остановка не мешает API принимать файлы (они ждут в очереди со статусом queued).
|
||
# Портов нет; в сеть edge не входит — до него нельзя достучаться снаружи.
|
||
worker:
|
||
image: mtusi-messenger:lab5
|
||
pull_policy: never # образ собирается сервисом api, а не скачивается
|
||
env_file: .env
|
||
command: ["python", "-m", "messenger.worker"]
|
||
environment:
|
||
CACHE_URL_FILE: "" # кэш сессий worker не нужен
|
||
secrets: [database_url, s3_access_key_id, s3_secret_access_key, broker_url]
|
||
networks: [backend]
|
||
depends_on:
|
||
migrate: {condition: service_completed_successfully}
|
||
s3-init: {condition: service_completed_successfully}
|
||
postgres: {condition: service_healthy}
|
||
broker: {condition: service_healthy}
|
||
# Главный цикл worker раз в секунду обновляет /tmp/worker.alive. Нет обновления 30 с —
|
||
# процесс завис: контейнер unhealthy (видно в `make ps`).
|
||
healthcheck:
|
||
test: ["CMD", "python", "-c", "import os, sys, time; sys.exit(0 if time.time() - os.path.getmtime('/tmp/worker.alive') < 30 else 1)"]
|
||
interval: 5s
|
||
timeout: 3s
|
||
retries: 3
|
||
start_period: 30s
|
||
start_interval: 1s
|
||
restart: unless-stopped
|
||
# SIGTERM -> новые сообщения не берутся, начатые задания доделываются (до 20 с) -> выход.
|
||
stop_grace_period: 30s
|
||
deploy:
|
||
replicas: ${WORKER_REPLICAS:-1}
|
||
resources:
|
||
# WORKER_CONCURRENCY=2 задания одновременно, каждое — дочерний процесс до 640 МиБ адресного
|
||
# пространства (реальный пик самой тяжёлой картинки ~380 МиБ, см. REPORT.md).
|
||
limits: {cpus: "1.00", memory: 1G}
|
||
|
||
# RabbitMQ (с lab5): очередь заданий. Quorum queue хранится на диске в volume rabbitmqdata,
|
||
# поэтому принятые сообщения переживают перезапуск брокера. Веб-консоли нет (образ без management).
|
||
broker:
|
||
image: rabbitmq:4.2.9-alpine
|
||
# Данные RabbitMQ лежат в каталоге, названном по имени узла rabbit@<hostname>. Постоянный hostname —
|
||
# чтобы после пересоздания контейнера брокер нашёл свои очереди в том же volume.
|
||
hostname: broker
|
||
environment:
|
||
RABBITMQ_CONFIG_FILES: /etc/rabbitmq/conf.d
|
||
volumes:
|
||
- rabbitmqdata:/var/lib/rabbitmq
|
||
- ./infra/rabbitmq/20-messenger.conf:/etc/rabbitmq/conf.d/20-messenger.conf:ro
|
||
# Пользователь, пароль, vhost и права — файлом-секретом, а не переменными окружения
|
||
# (переменные видны в `docker inspect`).
|
||
secrets:
|
||
- source: broker_credentials
|
||
target: /etc/rabbitmq/conf.d/30-credentials.conf
|
||
healthcheck:
|
||
test: ["CMD", "rabbitmq-diagnostics", "-q", "ping"]
|
||
interval: 10s
|
||
timeout: 10s
|
||
retries: 6
|
||
start_period: 60s
|
||
start_interval: 2s
|
||
restart: unless-stopped
|
||
stop_grace_period: 30s # брокер успевает корректно закрыть очереди
|
||
networks: [backend]
|
||
deploy:
|
||
resources:
|
||
limits: {cpus: "1.00", memory: 512M}
|
||
|
||
lb:
|
||
image: haproxy:3.2.25-alpine
|
||
ports:
|
||
- "127.0.0.1:8080:8080" # единственная точка входа API
|
||
- "127.0.0.1:8081:8081" # API с коротким TTL (make expiry), тоже через балансировщик
|
||
- "127.0.0.1:8404:8404" # статистика HAProxy: http://127.0.0.1:8404/stats
|
||
volumes:
|
||
- ./infra/haproxy/haproxy.cfg:/usr/local/etc/haproxy/haproxy.cfg:ro
|
||
networks: [edge]
|
||
depends_on:
|
||
api: {condition: service_started}
|
||
healthcheck:
|
||
test: ["CMD", "wget", "-q", "-T", "2", "-O", "/dev/null", "http://127.0.0.1:8404/lb-health"]
|
||
interval: 5s
|
||
timeout: 3s
|
||
retries: 3
|
||
start_period: 20s
|
||
start_interval: 1s
|
||
restart: unless-stopped
|
||
stop_grace_period: 15s
|
||
deploy:
|
||
resources:
|
||
limits: {cpus: "0.50", memory: 128M}
|
||
|
||
# Второй экземпляр API с SESSION_TTL_SECONDS=2 — только для проверки истечения сессии.
|
||
# Та же база, тот же код; запускается явно (make expiry). Порт наружу не публикуется:
|
||
# доступ через балансировщик, 127.0.0.1:8081.
|
||
api-short-ttl:
|
||
<<: *app
|
||
profiles: [ttl]
|
||
pull_policy: never # образ собирается сервисом api, а не скачивается
|
||
environment:
|
||
SESSION_TTL_SECONDS: "2"
|
||
depends_on:
|
||
postgres: {condition: service_healthy}
|
||
valkey: {condition: service_healthy}
|
||
healthcheck: *api-healthcheck
|
||
restart: unless-stopped
|
||
deploy:
|
||
resources:
|
||
limits: {cpus: "0.50", memory: 256M}
|
||
|
||
# Интеграционные тесты хранилища и заданий (откат транзакций, гонки, идемпотентность, lease).
|
||
# Запуск: docker compose --profile tools run --rm db-test
|
||
db-test:
|
||
<<: *app
|
||
profiles: [tools]
|
||
pull_policy: never
|
||
networks: [backend]
|
||
volumes: ["./student-tests:/srv/student-tests:ro"]
|
||
command: ["python", "-m", "unittest", "discover", "-s", "student-tests/db", "-v"]
|
||
depends_on:
|
||
postgres: {condition: service_healthy}
|
||
deploy:
|
||
resources:
|
||
limits: {cpus: "1.00", memory: 512M}
|
||
|
||
# Проверки обработки картинок внутри образа worker (Pillow есть только там): размеры вариантов,
|
||
# ориентация EXIF, прозрачность, удаление метаданных, лимиты времени и памяти.
|
||
# Запуск: docker compose --profile tools run --rm imaging-test
|
||
imaging-test:
|
||
image: mtusi-messenger:lab5
|
||
profiles: [tools]
|
||
pull_policy: never
|
||
network_mode: none # проверкам сеть не нужна
|
||
volumes: ["./student-tests:/srv/student-tests:ro", "./tests/fixtures:/srv/tests/fixtures:ro"]
|
||
command: ["python", "-m", "unittest", "discover", "-s", "student-tests/worker", "-v"]
|
||
deploy:
|
||
resources:
|
||
limits: {cpus: "1.00", memory: 1G}
|
||
|
||
postgres:
|
||
image: postgres:17.10-bookworm
|
||
environment:
|
||
POSTGRES_USER: messenger
|
||
POSTGRES_DB: messenger
|
||
POSTGRES_PASSWORD_FILE: /run/secrets/postgres_password # пароль из файла, не из переменной
|
||
# Значения по умолчанию, выписанные явно: COMMIT возвращается только после записи WAL на диск.
|
||
command: ["postgres", "-c", "fsync=on", "-c", "synchronous_commit=on", "-c", "full_page_writes=on"]
|
||
secrets: [postgres_password]
|
||
volumes: ["pgdata:/var/lib/postgresql/data"] # именованный volume: данные переживают пересоздание контейнера
|
||
healthcheck:
|
||
test: ["CMD-SHELL", "pg_isready -h 127.0.0.1 -U messenger -d messenger"]
|
||
interval: 5s
|
||
timeout: 3s
|
||
retries: 12
|
||
start_period: 10s
|
||
restart: unless-stopped
|
||
stop_grace_period: 30s # PostgreSQL успевает корректно завершиться (checkpoint)
|
||
networks: [backend]
|
||
deploy:
|
||
resources:
|
||
limits: {cpus: "1.00", memory: 512M}
|
||
|
||
valkey:
|
||
image: valkey/valkey:8.1.9
|
||
command: ["valkey-server", "/usr/local/etc/valkey/valkey.conf"]
|
||
volumes: ["./infra/valkey/valkey.conf:/usr/local/etc/valkey/valkey.conf:ro"]
|
||
secrets: [valkey_acl] # пользователи и пароль Valkey (ACL), генерируются init-secrets.sh
|
||
healthcheck:
|
||
# Пользователь health без пароля может только ping/info/dbsize — данных он не видит.
|
||
test: ["CMD-SHELL", "valkey-cli --user health --pass none --no-auth-warning ping | grep -q PONG"]
|
||
interval: 5s
|
||
timeout: 3s
|
||
retries: 12
|
||
restart: unless-stopped
|
||
networks: [backend]
|
||
deploy:
|
||
resources:
|
||
limits: {cpus: "0.50", memory: 128M}
|
||
|
||
# S3-совместимое хранилище SeaweedFS: байты вложений в приватном bucket. Портов наружу нет.
|
||
# Внутренние части SeaweedFS (master :9333, volume :8080, filer :8888 — у filer и master есть
|
||
# веб-интерфейсы) слушают только 127.0.0.1 ВНУТРИ контейнера: из сети доступен лишь S3 API (:9000),
|
||
# и он требует подписи. Встроенный IAM API выключен (-s3.iam=false): пользователи задаются
|
||
# только файлом-секретом s3_config.json (scripts/init-secrets.sh).
|
||
s3:
|
||
image: chrislusf/seaweedfs:4.44
|
||
entrypoint: ["/usr/bin/weed"]
|
||
command: ["server", "-dir=/data", "-ip=127.0.0.1", "-ip.bind=127.0.0.1",
|
||
"-master.volumeSizeLimitMB=1024", "-volume.max=0",
|
||
"-s3", "-s3.ip.bind=0.0.0.0", "-s3.port=9000", "-s3.iam=false",
|
||
"-s3.config=/run/secrets/s3_config"]
|
||
secrets: [s3_config]
|
||
volumes: ["s3data:/data"] # именованный volume: объекты переживают пересоздание контейнера
|
||
healthcheck:
|
||
test: ["CMD", "curl", "-fsS", "-o", "/dev/null", "http://127.0.0.1:9000/healthz"]
|
||
interval: 5s
|
||
timeout: 3s
|
||
retries: 12
|
||
start_period: 15s
|
||
restart: unless-stopped
|
||
stop_grace_period: 15s
|
||
networks: [backend]
|
||
deploy:
|
||
resources:
|
||
limits: {cpus: "0.50", memory: 512M}
|
||
|
||
# Одноразовая настройка S3 (как migrate для БД): создать bucket, если его нет, и проверить,
|
||
# что он не публичный. Идемпотентна. Ключи администратора S3 есть только здесь (у API — свои).
|
||
s3-init:
|
||
image: mtusi-messenger:lab5
|
||
build: *build
|
||
command: ["python", "-m", "messenger.s3bootstrap"]
|
||
environment:
|
||
S3_ENDPOINT: ${S3_ENDPOINT:-http://s3:9000}
|
||
S3_REGION: ${S3_REGION:-us-east-1}
|
||
S3_BUCKET: ${S3_BUCKET:-messenger-attachments}
|
||
S3_ADMIN_ACCESS_KEY_ID_FILE: /run/secrets/s3_root_user
|
||
S3_ADMIN_SECRET_ACCESS_KEY_FILE: /run/secrets/s3_root_password
|
||
secrets: [s3_root_user, s3_root_password]
|
||
networks: [backend]
|
||
depends_on:
|
||
s3: {condition: service_healthy}
|
||
healthcheck:
|
||
disable: true
|
||
restart: "no"
|
||
deploy:
|
||
resources:
|
||
limits: {cpus: "0.50", memory: 128M}
|
||
|
||
volumes:
|
||
pgdata: {}
|
||
s3data: {}
|
||
rabbitmqdata: {}
|
||
|
||
secrets:
|
||
postgres_password: {file: ./secrets/postgres_password}
|
||
database_url: {file: ./secrets/database_url}
|
||
cache_url: {file: ./secrets/cache_url}
|
||
valkey_acl: {file: ./secrets/valkey_users.acl}
|
||
s3_root_user: {file: ./secrets/s3_root_user}
|
||
s3_config: {file: ./secrets/s3_config.json}
|
||
s3_root_password: {file: ./secrets/s3_root_password}
|
||
s3_access_key_id: {file: ./secrets/s3_access_key_id}
|
||
s3_secret_access_key: {file: ./secrets/s3_secret_access_key}
|
||
broker_url: {file: ./secrets/broker_url}
|
||
broker_credentials: {file: ./secrets/rabbitmq_credentials.conf}
|
||
|
||
networks:
|
||
edge: {}
|
||
backend:
|
||
internal: true # хранилища и брокер недоступны снаружи и сами не ходят в интернет
|