# Стенд lab4: HAProxy (единственная точка входа) -> API x2 -> PostgreSQL (источник истины, метаданные) # + Valkey (общий кэш сессий) + S3 SeaweedFS (байты вложений, приватный bucket). # Запуск: docker compose up -d --build --wait # Секреты: sh scripts/init-secrets.sh (создаёт каталог secrets/, он в .gitignore) # # Сети: edge (lb <-> api) и backend (api, migrate, s3-init <-> postgres, valkey, s3; internal = без выхода наружу). # Наружу опубликованы только порты балансировщика и только на 127.0.0.1 хоста. # У api нет ports и container_name: реплик может быть сколько угодно (deploy.replicas), # все они видны балансировщику по DNS-имени сервиса "api". name: mtusi-lab4 # Сборка образа приложения. APP_VERSION меняет только student-tests/rolling_update.py. x-build: &build context: . args: APP_VERSION: ${APP_VERSION:-dev} # Docker-статус healthy/unhealthy для API (для `up --wait` и rolling update). # Из балансировки реплику выводит HAProxy по своим, более частым проверкам (infra/haproxy/haproxy.cfg). x-api-healthcheck: &api-healthcheck test: ["CMD", "python", "-c", "import urllib.request; urllib.request.urlopen('http://127.0.0.1:8080/health/ready', timeout=2)"] interval: 5s timeout: 3s retries: 3 start_period: 30s start_interval: 1s # Общие настройки процессов приложения (реплики API, API с коротким TTL, тесты БД). x-app: &app image: mtusi-messenger:lab4 env_file: .env # С lab4 ещё ключи отдельного S3-пользователя API (права только на свой bucket). secrets: [database_url, cache_url, s3_access_key_id, s3_secret_access_key] networks: [edge, backend] services: # Одноразовый сервис: применяет migrations/*.sql и завершается с кодом 0. # Реплики API стартуют только после него и схему не меняют (нет гонки миграций). migrate: image: mtusi-messenger:lab4 build: *build env_file: .env command: ["python", "-m", "messenger.migrate"] # Миграциям нужен только адрес PostgreSQL: секрет Valkey сюда не монтируется (минимум прав). # Ключи S3 тоже не нужны: пустые пути, чтобы config.py не искал файлы, которых тут нет. environment: CACHE_URL_FILE: "" S3_ACCESS_KEY_ID_FILE: "" S3_SECRET_ACCESS_KEY_FILE: "" secrets: [database_url] networks: [backend] depends_on: postgres: {condition: service_healthy} healthcheck: disable: true restart: "no" deploy: resources: limits: {cpus: "0.50", memory: 128M} api: <<: *app build: *build depends_on: migrate: {condition: service_completed_successfully} s3-init: {condition: service_completed_successfully} # bucket и пользователь S3 созданы postgres: {condition: service_healthy} valkey: {condition: service_healthy} healthcheck: *api-healthcheck restart: unless-stopped # SIGTERM -> 3 с readiness 503 (уход из балансировки) -> до 8 с на начатые запросы -> выход. # Docker ждёт 15 с и только потом SIGKILL. stop_grace_period: 15s deploy: replicas: ${API_REPLICAS:-2} resources: # 512 МиБ: Argon2id берёт 19 МиБ на каждую одновременную проверку пароля. limits: {cpus: "1.00", memory: 512M} lb: image: haproxy:3.2.25-alpine ports: - "127.0.0.1:8080:8080" # единственная точка входа API - "127.0.0.1:8081:8081" # API с коротким TTL (make expiry), тоже через балансировщик - "127.0.0.1:8404:8404" # статистика HAProxy: http://127.0.0.1:8404/stats volumes: - ./infra/haproxy/haproxy.cfg:/usr/local/etc/haproxy/haproxy.cfg:ro networks: [edge] depends_on: api: {condition: service_started} healthcheck: test: ["CMD", "wget", "-q", "-T", "2", "-O", "/dev/null", "http://127.0.0.1:8404/lb-health"] interval: 5s timeout: 3s retries: 3 start_period: 20s start_interval: 1s restart: unless-stopped stop_grace_period: 15s deploy: resources: limits: {cpus: "0.50", memory: 128M} # Второй экземпляр API с SESSION_TTL_SECONDS=2 — только для проверки истечения сессии. # Та же база, тот же код; запускается явно (make expiry). Порт наружу не публикуется: # доступ через балансировщик, 127.0.0.1:8081. api-short-ttl: <<: *app profiles: [ttl] pull_policy: never # образ собирается сервисом api, а не скачивается environment: SESSION_TTL_SECONDS: "2" depends_on: postgres: {condition: service_healthy} valkey: {condition: service_healthy} healthcheck: *api-healthcheck restart: unless-stopped deploy: resources: limits: {cpus: "0.50", memory: 256M} # Интеграционные тесты хранилища (откат транзакции, повтор миграций, гонки, идемпотентность). # Запуск: docker compose --profile tools run --rm db-test db-test: <<: *app profiles: [tools] pull_policy: never networks: [backend] volumes: ["./student-tests:/srv/student-tests:ro"] command: ["python", "-m", "unittest", "discover", "-s", "student-tests/db", "-v"] depends_on: postgres: {condition: service_healthy} deploy: resources: limits: {cpus: "1.00", memory: 512M} postgres: image: postgres:17.10-bookworm environment: POSTGRES_USER: messenger POSTGRES_DB: messenger POSTGRES_PASSWORD_FILE: /run/secrets/postgres_password # пароль из файла, не из переменной # Значения по умолчанию, выписанные явно: COMMIT возвращается только после записи WAL на диск. command: ["postgres", "-c", "fsync=on", "-c", "synchronous_commit=on", "-c", "full_page_writes=on"] secrets: [postgres_password] volumes: ["pgdata:/var/lib/postgresql/data"] # именованный volume: данные переживают пересоздание контейнера healthcheck: test: ["CMD-SHELL", "pg_isready -h 127.0.0.1 -U messenger -d messenger"] interval: 5s timeout: 3s retries: 12 start_period: 10s restart: unless-stopped stop_grace_period: 30s # PostgreSQL успевает корректно завершиться (checkpoint) networks: [backend] deploy: resources: limits: {cpus: "1.00", memory: 512M} valkey: image: valkey/valkey:8.1.9 command: ["valkey-server", "/usr/local/etc/valkey/valkey.conf"] volumes: ["./infra/valkey/valkey.conf:/usr/local/etc/valkey/valkey.conf:ro"] secrets: [valkey_acl] # пользователи и пароль Valkey (ACL), генерируются init-secrets.sh healthcheck: # Пользователь health без пароля может только ping/info/dbsize — данных он не видит. test: ["CMD-SHELL", "valkey-cli --user health --pass none --no-auth-warning ping | grep -q PONG"] interval: 5s timeout: 3s retries: 12 restart: unless-stopped networks: [backend] deploy: resources: limits: {cpus: "0.50", memory: 128M} # S3-совместимое хранилище SeaweedFS: байты вложений в приватном bucket. Портов наружу нет. # Внутренние части SeaweedFS (master :9333, volume :8080, filer :8888 — у filer и master есть # веб-интерфейсы) слушают только 127.0.0.1 ВНУТРИ контейнера: из сети доступен лишь S3 API (:9000), # и он требует подписи. Встроенный IAM API выключен (-s3.iam=false): пользователи задаются # только файлом-секретом s3_config.json (scripts/init-secrets.sh). s3: image: chrislusf/seaweedfs:4.44 entrypoint: ["/usr/bin/weed"] command: ["server", "-dir=/data", "-ip=127.0.0.1", "-ip.bind=127.0.0.1", "-master.volumeSizeLimitMB=1024", "-volume.max=0", "-s3", "-s3.ip.bind=0.0.0.0", "-s3.port=9000", "-s3.iam=false", "-s3.config=/run/secrets/s3_config"] secrets: [s3_config] volumes: ["s3data:/data"] # именованный volume: объекты переживают пересоздание контейнера healthcheck: test: ["CMD", "curl", "-fsS", "-o", "/dev/null", "http://127.0.0.1:9000/healthz"] interval: 5s timeout: 3s retries: 12 start_period: 15s restart: unless-stopped stop_grace_period: 15s networks: [backend] deploy: resources: limits: {cpus: "0.50", memory: 512M} # Одноразовая настройка S3 (как migrate для БД): создать bucket, если его нет, и проверить, # что он не публичный. Идемпотентна. Ключи администратора S3 есть только здесь (у API — свои). s3-init: image: mtusi-messenger:lab4 build: *build command: ["python", "-m", "messenger.s3bootstrap"] environment: S3_ENDPOINT: ${S3_ENDPOINT:-http://s3:9000} S3_REGION: ${S3_REGION:-us-east-1} S3_BUCKET: ${S3_BUCKET:-messenger-attachments} S3_ADMIN_ACCESS_KEY_ID_FILE: /run/secrets/s3_root_user S3_ADMIN_SECRET_ACCESS_KEY_FILE: /run/secrets/s3_root_password secrets: [s3_root_user, s3_root_password] networks: [backend] depends_on: s3: {condition: service_healthy} healthcheck: disable: true restart: "no" deploy: resources: limits: {cpus: "0.50", memory: 128M} volumes: pgdata: {} s3data: {} secrets: postgres_password: {file: ./secrets/postgres_password} database_url: {file: ./secrets/database_url} cache_url: {file: ./secrets/cache_url} valkey_acl: {file: ./secrets/valkey_users.acl} s3_root_user: {file: ./secrets/s3_root_user} s3_config: {file: ./secrets/s3_config.json} s3_root_password: {file: ./secrets/s3_root_password} s3_access_key_id: {file: ./secrets/s3_access_key_id} s3_secret_access_key: {file: ./secrets/s3_secret_access_key} networks: edge: {} backend: internal: true # postgres и valkey недоступны снаружи и сами не ходят в интернет