Files
mtusi2026lab5/compose.yaml
T
2026-10-25 21:43:03 +03:00

335 lines
16 KiB
YAML
Raw Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
# Стенд lab5: HAProxy (единственная точка входа) -> API x2 -> PostgreSQL (источник истины, метаданные, outbox)
# + Valkey (общий кэш сессий) + S3 SeaweedFS (байты: staging, оригиналы, варианты)
# + RabbitMQ (очередь заданий) -> worker (обработка картинок, отдельный процесс).
# Запуск: docker compose up -d --build --wait
# Секреты: sh scripts/init-secrets.sh (создаёт каталог secrets/, он в .gitignore)
#
# Сети: edge (lb <-> api) и backend (api, worker, migrate, s3-init <-> postgres, valkey, s3, broker;
# internal = без выхода наружу). Наружу опубликованы только порты балансировщика и только на 127.0.0.1.
# У api и worker нет ports и container_name: реплик может быть сколько угодно (deploy.replicas).
name: mtusi-lab5
# Сборка образа приложения (один образ для api, worker, migrate, s3-init).
# APP_VERSION меняет только student-tests/rolling_update.py.
x-build: &build
context: .
args:
APP_VERSION: ${APP_VERSION:-dev}
# Docker-статус healthy/unhealthy для API (для `up --wait` и rolling update).
# Из балансировки реплику выводит HAProxy по своим, более частым проверкам (infra/haproxy/haproxy.cfg).
x-api-healthcheck: &api-healthcheck
test: ["CMD", "python", "-c", "import urllib.request; urllib.request.urlopen('http://127.0.0.1:8080/health/ready', timeout=2)"]
interval: 5s
timeout: 3s
retries: 3
start_period: 30s
start_interval: 1s
# Общие настройки процессов API (реплики, API с коротким TTL, тесты БД).
x-app: &app
image: mtusi-messenger:lab5
env_file: .env
# С lab4 — ключи отдельного S3-пользователя API, с lab5 — адрес брокера (relay outbox).
secrets: [database_url, cache_url, s3_access_key_id, s3_secret_access_key, broker_url]
networks: [edge, backend]
services:
# Одноразовый сервис: применяет migrations/*.sql и завершается с кодом 0.
# Реплики API и worker стартуют только после него и схему не меняют (нет гонки миграций).
migrate:
image: mtusi-messenger:lab5
build: *build
env_file: .env
command: ["python", "-m", "messenger.migrate"]
# Миграциям нужен только адрес PostgreSQL: остальные секреты сюда не монтируются (минимум прав),
# а пустые пути говорят config.py, что искать эти файлы не нужно.
environment:
CACHE_URL_FILE: ""
S3_ACCESS_KEY_ID_FILE: ""
S3_SECRET_ACCESS_KEY_FILE: ""
BROKER_URL_FILE: ""
secrets: [database_url]
networks: [backend]
depends_on:
postgres: {condition: service_healthy}
healthcheck:
disable: true
restart: "no"
deploy:
resources:
limits: {cpus: "0.50", memory: 128M}
api:
<<: *app
build: *build
depends_on:
migrate: {condition: service_completed_successfully}
s3-init: {condition: service_completed_successfully} # bucket создан
postgres: {condition: service_healthy}
valkey: {condition: service_healthy}
# Брокер нужен relay, но не приёму файлов: если брокер упадёт позже, API продолжит работать,
# а задания подождут в outbox. Условие здесь — только порядок первого запуска.
broker: {condition: service_healthy}
healthcheck: *api-healthcheck
restart: unless-stopped
# SIGTERM -> 3 с readiness 503 (уход из балансировки) -> до 8 с на начатые запросы -> выход.
# Docker ждёт 15 с и только потом SIGKILL.
stop_grace_period: 15s
deploy:
replicas: ${API_REPLICAS:-2}
resources:
# 512 МиБ: Argon2id берёт 19 МиБ на каждую одновременную проверку пароля.
limits: {cpus: "1.00", memory: 512M}
# Worker (с lab5): обрабатывает картинки из очереди. Отдельный процесс и отдельный контейнер:
# его остановка не мешает API принимать файлы (они ждут в очереди со статусом queued).
# Портов нет; в сеть edge не входит — до него нельзя достучаться снаружи.
worker:
image: mtusi-messenger:lab5
pull_policy: never # образ собирается сервисом api, а не скачивается
env_file: .env
command: ["python", "-m", "messenger.worker"]
environment:
CACHE_URL_FILE: "" # кэш сессий worker не нужен
secrets: [database_url, s3_access_key_id, s3_secret_access_key, broker_url]
networks: [backend]
depends_on:
migrate: {condition: service_completed_successfully}
s3-init: {condition: service_completed_successfully}
postgres: {condition: service_healthy}
broker: {condition: service_healthy}
# Главный цикл worker раз в секунду обновляет /tmp/worker.alive. Нет обновления 30 с —
# процесс завис: контейнер unhealthy (видно в `make ps`).
healthcheck:
test: ["CMD", "python", "-c", "import os, sys, time; sys.exit(0 if time.time() - os.path.getmtime('/tmp/worker.alive') < 30 else 1)"]
interval: 5s
timeout: 3s
retries: 3
start_period: 30s
start_interval: 1s
restart: unless-stopped
# SIGTERM -> новые сообщения не берутся, начатые задания доделываются (до 20 с) -> выход.
stop_grace_period: 30s
deploy:
replicas: ${WORKER_REPLICAS:-1}
resources:
# WORKER_CONCURRENCY=2 задания одновременно, каждое — дочерний процесс до 640 МиБ адресного
# пространства (реальный пик самой тяжёлой картинки ~380 МиБ, см. REPORT.md).
limits: {cpus: "1.00", memory: 1G}
# RabbitMQ (с lab5): очередь заданий. Quorum queue хранится на диске в volume rabbitmqdata,
# поэтому принятые сообщения переживают перезапуск брокера. Веб-консоли нет (образ без management).
broker:
image: rabbitmq:4.2.9-alpine
# Данные RabbitMQ лежат в каталоге, названном по имени узла rabbit@<hostname>. Постоянный hostname —
# чтобы после пересоздания контейнера брокер нашёл свои очереди в том же volume.
hostname: broker
environment:
RABBITMQ_CONFIG_FILES: /etc/rabbitmq/conf.d
volumes:
- rabbitmqdata:/var/lib/rabbitmq
- ./infra/rabbitmq/20-messenger.conf:/etc/rabbitmq/conf.d/20-messenger.conf:ro
# Пользователь, пароль, vhost и права — файлом-секретом, а не переменными окружения
# (переменные видны в `docker inspect`).
secrets:
- source: broker_credentials
target: /etc/rabbitmq/conf.d/30-credentials.conf
healthcheck:
test: ["CMD", "rabbitmq-diagnostics", "-q", "ping"]
interval: 10s
timeout: 10s
retries: 6
start_period: 60s
start_interval: 2s
restart: unless-stopped
stop_grace_period: 30s # брокер успевает корректно закрыть очереди
networks: [backend]
deploy:
resources:
limits: {cpus: "1.00", memory: 512M}
lb:
image: haproxy:3.2.25-alpine
ports:
- "127.0.0.1:8080:8080" # единственная точка входа API
- "127.0.0.1:8081:8081" # API с коротким TTL (make expiry), тоже через балансировщик
- "127.0.0.1:8404:8404" # статистика HAProxy: http://127.0.0.1:8404/stats
volumes:
- ./infra/haproxy/haproxy.cfg:/usr/local/etc/haproxy/haproxy.cfg:ro
networks: [edge]
depends_on:
api: {condition: service_started}
healthcheck:
test: ["CMD", "wget", "-q", "-T", "2", "-O", "/dev/null", "http://127.0.0.1:8404/lb-health"]
interval: 5s
timeout: 3s
retries: 3
start_period: 20s
start_interval: 1s
restart: unless-stopped
stop_grace_period: 15s
deploy:
resources:
limits: {cpus: "0.50", memory: 128M}
# Второй экземпляр API с SESSION_TTL_SECONDS=2 — только для проверки истечения сессии.
# Та же база, тот же код; запускается явно (make expiry). Порт наружу не публикуется:
# доступ через балансировщик, 127.0.0.1:8081.
api-short-ttl:
<<: *app
profiles: [ttl]
pull_policy: never # образ собирается сервисом api, а не скачивается
environment:
SESSION_TTL_SECONDS: "2"
depends_on:
postgres: {condition: service_healthy}
valkey: {condition: service_healthy}
healthcheck: *api-healthcheck
restart: unless-stopped
deploy:
resources:
limits: {cpus: "0.50", memory: 256M}
# Интеграционные тесты хранилища и заданий (откат транзакций, гонки, идемпотентность, lease).
# Запуск: docker compose --profile tools run --rm db-test
db-test:
<<: *app
profiles: [tools]
pull_policy: never
networks: [backend]
volumes: ["./student-tests:/srv/student-tests:ro"]
command: ["python", "-m", "unittest", "discover", "-s", "student-tests/db", "-v"]
depends_on:
postgres: {condition: service_healthy}
deploy:
resources:
limits: {cpus: "1.00", memory: 512M}
# Проверки обработки картинок внутри образа worker (Pillow есть только там): размеры вариантов,
# ориентация EXIF, прозрачность, удаление метаданных, лимиты времени и памяти.
# Запуск: docker compose --profile tools run --rm imaging-test
imaging-test:
image: mtusi-messenger:lab5
profiles: [tools]
pull_policy: never
network_mode: none # проверкам сеть не нужна
volumes: ["./student-tests:/srv/student-tests:ro", "./tests/fixtures:/srv/tests/fixtures:ro"]
command: ["python", "-m", "unittest", "discover", "-s", "student-tests/worker", "-v"]
deploy:
resources:
limits: {cpus: "1.00", memory: 1G}
postgres:
image: postgres:17.10-bookworm
environment:
POSTGRES_USER: messenger
POSTGRES_DB: messenger
POSTGRES_PASSWORD_FILE: /run/secrets/postgres_password # пароль из файла, не из переменной
# Значения по умолчанию, выписанные явно: COMMIT возвращается только после записи WAL на диск.
command: ["postgres", "-c", "fsync=on", "-c", "synchronous_commit=on", "-c", "full_page_writes=on"]
secrets: [postgres_password]
volumes: ["pgdata:/var/lib/postgresql/data"] # именованный volume: данные переживают пересоздание контейнера
healthcheck:
test: ["CMD-SHELL", "pg_isready -h 127.0.0.1 -U messenger -d messenger"]
interval: 5s
timeout: 3s
retries: 12
start_period: 10s
restart: unless-stopped
stop_grace_period: 30s # PostgreSQL успевает корректно завершиться (checkpoint)
networks: [backend]
deploy:
resources:
limits: {cpus: "1.00", memory: 512M}
valkey:
image: valkey/valkey:8.1.9
command: ["valkey-server", "/usr/local/etc/valkey/valkey.conf"]
volumes: ["./infra/valkey/valkey.conf:/usr/local/etc/valkey/valkey.conf:ro"]
secrets: [valkey_acl] # пользователи и пароль Valkey (ACL), генерируются init-secrets.sh
healthcheck:
# Пользователь health без пароля может только ping/info/dbsize — данных он не видит.
test: ["CMD-SHELL", "valkey-cli --user health --pass none --no-auth-warning ping | grep -q PONG"]
interval: 5s
timeout: 3s
retries: 12
restart: unless-stopped
networks: [backend]
deploy:
resources:
limits: {cpus: "0.50", memory: 128M}
# S3-совместимое хранилище SeaweedFS: байты вложений в приватном bucket. Портов наружу нет.
# Внутренние части SeaweedFS (master :9333, volume :8080, filer :8888 — у filer и master есть
# веб-интерфейсы) слушают только 127.0.0.1 ВНУТРИ контейнера: из сети доступен лишь S3 API (:9000),
# и он требует подписи. Встроенный IAM API выключен (-s3.iam=false): пользователи задаются
# только файлом-секретом s3_config.json (scripts/init-secrets.sh).
s3:
image: chrislusf/seaweedfs:4.44
entrypoint: ["/usr/bin/weed"]
command: ["server", "-dir=/data", "-ip=127.0.0.1", "-ip.bind=127.0.0.1",
"-master.volumeSizeLimitMB=1024", "-volume.max=0",
"-s3", "-s3.ip.bind=0.0.0.0", "-s3.port=9000", "-s3.iam=false",
"-s3.config=/run/secrets/s3_config"]
secrets: [s3_config]
volumes: ["s3data:/data"] # именованный volume: объекты переживают пересоздание контейнера
healthcheck:
test: ["CMD", "curl", "-fsS", "-o", "/dev/null", "http://127.0.0.1:9000/healthz"]
interval: 5s
timeout: 3s
retries: 12
start_period: 15s
restart: unless-stopped
stop_grace_period: 15s
networks: [backend]
deploy:
resources:
limits: {cpus: "0.50", memory: 512M}
# Одноразовая настройка S3 (как migrate для БД): создать bucket, если его нет, и проверить,
# что он не публичный. Идемпотентна. Ключи администратора S3 есть только здесь (у API — свои).
s3-init:
image: mtusi-messenger:lab5
build: *build
command: ["python", "-m", "messenger.s3bootstrap"]
environment:
S3_ENDPOINT: ${S3_ENDPOINT:-http://s3:9000}
S3_REGION: ${S3_REGION:-us-east-1}
S3_BUCKET: ${S3_BUCKET:-messenger-attachments}
S3_ADMIN_ACCESS_KEY_ID_FILE: /run/secrets/s3_root_user
S3_ADMIN_SECRET_ACCESS_KEY_FILE: /run/secrets/s3_root_password
secrets: [s3_root_user, s3_root_password]
networks: [backend]
depends_on:
s3: {condition: service_healthy}
healthcheck:
disable: true
restart: "no"
deploy:
resources:
limits: {cpus: "0.50", memory: 128M}
volumes:
pgdata: {}
s3data: {}
rabbitmqdata: {}
secrets:
postgres_password: {file: ./secrets/postgres_password}
database_url: {file: ./secrets/database_url}
cache_url: {file: ./secrets/cache_url}
valkey_acl: {file: ./secrets/valkey_users.acl}
s3_root_user: {file: ./secrets/s3_root_user}
s3_config: {file: ./secrets/s3_config.json}
s3_root_password: {file: ./secrets/s3_root_password}
s3_access_key_id: {file: ./secrets/s3_access_key_id}
s3_secret_access_key: {file: ./secrets/s3_secret_access_key}
broker_url: {file: ./secrets/broker_url}
broker_credentials: {file: ./secrets/rabbitmq_credentials.conf}
networks:
edge: {}
backend:
internal: true # хранилища и брокер недоступны снаружи и сами не ходят в интернет