# Стенд lab5: HAProxy (единственная точка входа) -> API x2 -> PostgreSQL (источник истины, метаданные, outbox) # + Valkey (общий кэш сессий) + S3 SeaweedFS (байты: staging, оригиналы, варианты) # + RabbitMQ (очередь заданий) -> worker (обработка картинок, отдельный процесс). # Запуск: docker compose up -d --build --wait # Секреты: sh scripts/init-secrets.sh (создаёт каталог secrets/, он в .gitignore) # # Сети: edge (lb <-> api) и backend (api, worker, migrate, s3-init <-> postgres, valkey, s3, broker; # internal = без выхода наружу). Наружу опубликованы только порты балансировщика и только на 127.0.0.1. # У api и worker нет ports и container_name: реплик может быть сколько угодно (deploy.replicas). name: mtusi-lab5 # Сборка образа приложения (один образ для api, worker, migrate, s3-init). # APP_VERSION меняет только student-tests/rolling_update.py. x-build: &build context: . args: APP_VERSION: ${APP_VERSION:-dev} # Docker-статус healthy/unhealthy для API (для `up --wait` и rolling update). # Из балансировки реплику выводит HAProxy по своим, более частым проверкам (infra/haproxy/haproxy.cfg). x-api-healthcheck: &api-healthcheck test: ["CMD", "python", "-c", "import urllib.request; urllib.request.urlopen('http://127.0.0.1:8080/health/ready', timeout=2)"] interval: 5s timeout: 3s retries: 3 start_period: 30s start_interval: 1s # Общие настройки процессов API (реплики, API с коротким TTL, тесты БД). x-app: &app image: mtusi-messenger:lab5 env_file: .env # С lab4 — ключи отдельного S3-пользователя API, с lab5 — адрес брокера (relay outbox). secrets: [database_url, cache_url, s3_access_key_id, s3_secret_access_key, broker_url] networks: [edge, backend] services: # Одноразовый сервис: применяет migrations/*.sql и завершается с кодом 0. # Реплики API и worker стартуют только после него и схему не меняют (нет гонки миграций). migrate: image: mtusi-messenger:lab5 build: *build env_file: .env command: ["python", "-m", "messenger.migrate"] # Миграциям нужен только адрес PostgreSQL: остальные секреты сюда не монтируются (минимум прав), # а пустые пути говорят config.py, что искать эти файлы не нужно. environment: CACHE_URL_FILE: "" S3_ACCESS_KEY_ID_FILE: "" S3_SECRET_ACCESS_KEY_FILE: "" BROKER_URL_FILE: "" secrets: [database_url] networks: [backend] depends_on: postgres: {condition: service_healthy} healthcheck: disable: true restart: "no" deploy: resources: limits: {cpus: "0.50", memory: 128M} api: <<: *app build: *build depends_on: migrate: {condition: service_completed_successfully} s3-init: {condition: service_completed_successfully} # bucket создан postgres: {condition: service_healthy} valkey: {condition: service_healthy} # Брокер нужен relay, но не приёму файлов: если брокер упадёт позже, API продолжит работать, # а задания подождут в outbox. Условие здесь — только порядок первого запуска. broker: {condition: service_healthy} healthcheck: *api-healthcheck restart: unless-stopped # SIGTERM -> 3 с readiness 503 (уход из балансировки) -> до 8 с на начатые запросы -> выход. # Docker ждёт 15 с и только потом SIGKILL. stop_grace_period: 15s deploy: replicas: ${API_REPLICAS:-2} resources: # 512 МиБ: Argon2id берёт 19 МиБ на каждую одновременную проверку пароля. limits: {cpus: "1.00", memory: 512M} # Worker (с lab5): обрабатывает картинки из очереди. Отдельный процесс и отдельный контейнер: # его остановка не мешает API принимать файлы (они ждут в очереди со статусом queued). # Портов нет; в сеть edge не входит — до него нельзя достучаться снаружи. worker: image: mtusi-messenger:lab5 pull_policy: never # образ собирается сервисом api, а не скачивается env_file: .env command: ["python", "-m", "messenger.worker"] environment: CACHE_URL_FILE: "" # кэш сессий worker не нужен secrets: [database_url, s3_access_key_id, s3_secret_access_key, broker_url] networks: [backend] depends_on: migrate: {condition: service_completed_successfully} s3-init: {condition: service_completed_successfully} postgres: {condition: service_healthy} broker: {condition: service_healthy} # Главный цикл worker раз в секунду обновляет /tmp/worker.alive. Нет обновления 30 с — # процесс завис: контейнер unhealthy (видно в `make ps`). healthcheck: test: ["CMD", "python", "-c", "import os, sys, time; sys.exit(0 if time.time() - os.path.getmtime('/tmp/worker.alive') < 30 else 1)"] interval: 5s timeout: 3s retries: 3 start_period: 30s start_interval: 1s restart: unless-stopped # SIGTERM -> новые сообщения не берутся, начатые задания доделываются (до 20 с) -> выход. stop_grace_period: 30s deploy: replicas: ${WORKER_REPLICAS:-1} resources: # WORKER_CONCURRENCY=2 задания одновременно, каждое — дочерний процесс до 640 МиБ адресного # пространства (реальный пик самой тяжёлой картинки ~380 МиБ, см. REPORT.md). limits: {cpus: "1.00", memory: 1G} # RabbitMQ (с lab5): очередь заданий. Quorum queue хранится на диске в volume rabbitmqdata, # поэтому принятые сообщения переживают перезапуск брокера. Веб-консоли нет (образ без management). broker: image: rabbitmq:4.2.9-alpine # Данные RabbitMQ лежат в каталоге, названном по имени узла rabbit@. Постоянный hostname — # чтобы после пересоздания контейнера брокер нашёл свои очереди в том же volume. hostname: broker environment: RABBITMQ_CONFIG_FILES: /etc/rabbitmq/conf.d volumes: - rabbitmqdata:/var/lib/rabbitmq - ./infra/rabbitmq/20-messenger.conf:/etc/rabbitmq/conf.d/20-messenger.conf:ro # Пользователь, пароль, vhost и права — файлом-секретом, а не переменными окружения # (переменные видны в `docker inspect`). secrets: - source: broker_credentials target: /etc/rabbitmq/conf.d/30-credentials.conf healthcheck: test: ["CMD", "rabbitmq-diagnostics", "-q", "ping"] interval: 10s timeout: 10s retries: 6 start_period: 60s start_interval: 2s restart: unless-stopped stop_grace_period: 30s # брокер успевает корректно закрыть очереди networks: [backend] deploy: resources: limits: {cpus: "1.00", memory: 512M} lb: image: haproxy:3.2.25-alpine ports: - "127.0.0.1:8080:8080" # единственная точка входа API - "127.0.0.1:8081:8081" # API с коротким TTL (make expiry), тоже через балансировщик - "127.0.0.1:8404:8404" # статистика HAProxy: http://127.0.0.1:8404/stats volumes: - ./infra/haproxy/haproxy.cfg:/usr/local/etc/haproxy/haproxy.cfg:ro networks: [edge] depends_on: api: {condition: service_started} healthcheck: test: ["CMD", "wget", "-q", "-T", "2", "-O", "/dev/null", "http://127.0.0.1:8404/lb-health"] interval: 5s timeout: 3s retries: 3 start_period: 20s start_interval: 1s restart: unless-stopped stop_grace_period: 15s deploy: resources: limits: {cpus: "0.50", memory: 128M} # Второй экземпляр API с SESSION_TTL_SECONDS=2 — только для проверки истечения сессии. # Та же база, тот же код; запускается явно (make expiry). Порт наружу не публикуется: # доступ через балансировщик, 127.0.0.1:8081. api-short-ttl: <<: *app profiles: [ttl] pull_policy: never # образ собирается сервисом api, а не скачивается environment: SESSION_TTL_SECONDS: "2" depends_on: postgres: {condition: service_healthy} valkey: {condition: service_healthy} healthcheck: *api-healthcheck restart: unless-stopped deploy: resources: limits: {cpus: "0.50", memory: 256M} # Интеграционные тесты хранилища и заданий (откат транзакций, гонки, идемпотентность, lease). # Запуск: docker compose --profile tools run --rm db-test db-test: <<: *app profiles: [tools] pull_policy: never networks: [backend] volumes: ["./student-tests:/srv/student-tests:ro"] command: ["python", "-m", "unittest", "discover", "-s", "student-tests/db", "-v"] depends_on: postgres: {condition: service_healthy} deploy: resources: limits: {cpus: "1.00", memory: 512M} # Проверки обработки картинок внутри образа worker (Pillow есть только там): размеры вариантов, # ориентация EXIF, прозрачность, удаление метаданных, лимиты времени и памяти. # Запуск: docker compose --profile tools run --rm imaging-test imaging-test: image: mtusi-messenger:lab5 profiles: [tools] pull_policy: never network_mode: none # проверкам сеть не нужна volumes: ["./student-tests:/srv/student-tests:ro", "./tests/fixtures:/srv/tests/fixtures:ro"] command: ["python", "-m", "unittest", "discover", "-s", "student-tests/worker", "-v"] deploy: resources: limits: {cpus: "1.00", memory: 1G} postgres: image: postgres:17.10-bookworm environment: POSTGRES_USER: messenger POSTGRES_DB: messenger POSTGRES_PASSWORD_FILE: /run/secrets/postgres_password # пароль из файла, не из переменной # Значения по умолчанию, выписанные явно: COMMIT возвращается только после записи WAL на диск. command: ["postgres", "-c", "fsync=on", "-c", "synchronous_commit=on", "-c", "full_page_writes=on"] secrets: [postgres_password] volumes: ["pgdata:/var/lib/postgresql/data"] # именованный volume: данные переживают пересоздание контейнера healthcheck: test: ["CMD-SHELL", "pg_isready -h 127.0.0.1 -U messenger -d messenger"] interval: 5s timeout: 3s retries: 12 start_period: 10s restart: unless-stopped stop_grace_period: 30s # PostgreSQL успевает корректно завершиться (checkpoint) networks: [backend] deploy: resources: limits: {cpus: "1.00", memory: 512M} valkey: image: valkey/valkey:8.1.9 command: ["valkey-server", "/usr/local/etc/valkey/valkey.conf"] volumes: ["./infra/valkey/valkey.conf:/usr/local/etc/valkey/valkey.conf:ro"] secrets: [valkey_acl] # пользователи и пароль Valkey (ACL), генерируются init-secrets.sh healthcheck: # Пользователь health без пароля может только ping/info/dbsize — данных он не видит. test: ["CMD-SHELL", "valkey-cli --user health --pass none --no-auth-warning ping | grep -q PONG"] interval: 5s timeout: 3s retries: 12 restart: unless-stopped networks: [backend] deploy: resources: limits: {cpus: "0.50", memory: 128M} # S3-совместимое хранилище SeaweedFS: байты вложений в приватном bucket. Портов наружу нет. # Внутренние части SeaweedFS (master :9333, volume :8080, filer :8888 — у filer и master есть # веб-интерфейсы) слушают только 127.0.0.1 ВНУТРИ контейнера: из сети доступен лишь S3 API (:9000), # и он требует подписи. Встроенный IAM API выключен (-s3.iam=false): пользователи задаются # только файлом-секретом s3_config.json (scripts/init-secrets.sh). s3: image: chrislusf/seaweedfs:4.44 entrypoint: ["/usr/bin/weed"] command: ["server", "-dir=/data", "-ip=127.0.0.1", "-ip.bind=127.0.0.1", "-master.volumeSizeLimitMB=1024", "-volume.max=0", "-s3", "-s3.ip.bind=0.0.0.0", "-s3.port=9000", "-s3.iam=false", "-s3.config=/run/secrets/s3_config"] secrets: [s3_config] volumes: ["s3data:/data"] # именованный volume: объекты переживают пересоздание контейнера healthcheck: test: ["CMD", "curl", "-fsS", "-o", "/dev/null", "http://127.0.0.1:9000/healthz"] interval: 5s timeout: 3s retries: 12 start_period: 15s restart: unless-stopped stop_grace_period: 15s networks: [backend] deploy: resources: limits: {cpus: "0.50", memory: 512M} # Одноразовая настройка S3 (как migrate для БД): создать bucket, если его нет, и проверить, # что он не публичный. Идемпотентна. Ключи администратора S3 есть только здесь (у API — свои). s3-init: image: mtusi-messenger:lab5 build: *build command: ["python", "-m", "messenger.s3bootstrap"] environment: S3_ENDPOINT: ${S3_ENDPOINT:-http://s3:9000} S3_REGION: ${S3_REGION:-us-east-1} S3_BUCKET: ${S3_BUCKET:-messenger-attachments} S3_ADMIN_ACCESS_KEY_ID_FILE: /run/secrets/s3_root_user S3_ADMIN_SECRET_ACCESS_KEY_FILE: /run/secrets/s3_root_password secrets: [s3_root_user, s3_root_password] networks: [backend] depends_on: s3: {condition: service_healthy} healthcheck: disable: true restart: "no" deploy: resources: limits: {cpus: "0.50", memory: 128M} volumes: pgdata: {} s3data: {} rabbitmqdata: {} secrets: postgres_password: {file: ./secrets/postgres_password} database_url: {file: ./secrets/database_url} cache_url: {file: ./secrets/cache_url} valkey_acl: {file: ./secrets/valkey_users.acl} s3_root_user: {file: ./secrets/s3_root_user} s3_config: {file: ./secrets/s3_config.json} s3_root_password: {file: ./secrets/s3_root_password} s3_access_key_id: {file: ./secrets/s3_access_key_id} s3_secret_access_key: {file: ./secrets/s3_secret_access_key} broker_url: {file: ./secrets/broker_url} broker_credentials: {file: ./secrets/rabbitmq_credentials.conf} networks: edge: {} backend: internal: true # хранилища и брокер недоступны снаружи и сами не ходят в интернет