Files
mtusi2026lab5/compose.yaml
T

351 lines
14 KiB
YAML
Raw Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
# Стенд lab5: клиент → lb (HAProxy) → api × 2 → PostgreSQL (метаданные, jobs, outbox) + Redis (кэш сессий)
# ├→ MinIO, приватный bucket: staging/ → originals/, variants/
# └→ broker (Redis Streams + AOF) → worker → MinIO + PostgreSQL
# Запуск: docker compose --env-file .env up -d --build
# Публичный только lb (127.0.0.1:8080). Реплики API, worker, broker и MinIO наружу не публикуются.
#
# Сети:
# app — lb, api, worker, postgres, redis, broker;
# storage — internal: только s3, s3-init, api и worker. Ни lb, ни хост туда не попадают:
# API и админ-API MinIO (порт 9000) доступны лишь внутри этой сети,
# веб-консоль MinIO выключена (MINIO_BROWSER=off).
name: mtusi-lab5
x-api-env: &api-env
DATABASE_URL: postgresql://${POSTGRES_USER}:${POSTGRES_PASSWORD}@postgres:5432/${POSTGRES_DB}
CACHE_URL: redis://redis:6379/0
SESSION_TTL_SECONDS: ${SESSION_TTL_SECONDS:-3600}
SESSION_CACHE_TTL_SECONDS: ${SESSION_CACHE_TTL_SECONDS:-60}
IDEMPOTENCY_TTL_SECONDS: ${IDEMPOTENCY_TTL_SECONDS:-86400}
DB_POOL_MAX: ${DB_POOL_MAX:-10}
DB_POOL_TIMEOUT: ${DB_POOL_TIMEOUT:-3}
DB_STATEMENT_TIMEOUT_MS: ${DB_STATEMENT_TIMEOUT_MS:-5000}
REDIS_TIMEOUT: ${REDIS_TIMEOUT:-0.5}
SHUTDOWN_TIMEOUT: ${SHUTDOWN_TIMEOUT:-10}
LOG_LEVEL: ${LOG_LEVEL:-info}
# Миграции выполняет отдельный сервис migrate, а не каждая реплика.
MIGRATE_ON_START: "false"
# lab4: S3. У API — ОТДЕЛЬНЫЙ пользователь MinIO с правами только на свой bucket.
# Root-credentials MinIO в API не передаются.
S3_ENDPOINT: http://s3:9000
S3_REGION: ${S3_REGION:-us-east-1}
S3_BUCKET: ${S3_BUCKET:-messenger-attachments}
S3_ACCESS_KEY_ID: ${S3_ACCESS_KEY_ID}
S3_SECRET_ACCESS_KEY: ${S3_SECRET_ACCESS_KEY}
S3_CONNECT_TIMEOUT: ${S3_CONNECT_TIMEOUT:-2}
S3_READ_TIMEOUT: ${S3_READ_TIMEOUT:-10}
MAX_UPLOAD_BYTES: ${MAX_UPLOAD_BYTES:-10485760}
MAX_IMAGE_PIXELS: ${MAX_IMAGE_PIXELS:-40000000}
UPLOAD_BODY_TIMEOUT_SECONDS: ${UPLOAD_BODY_TIMEOUT_SECONDS:-60}
UPLOAD_SPOOL_MEMORY_BYTES: ${UPLOAD_SPOOL_MEMORY_BYTES:-262144}
UPLOAD_MAX_CONCURRENT: ${UPLOAD_MAX_CONCURRENT:-16}
IMAGE_CHECK_CONCURRENCY: ${IMAGE_CHECK_CONCURRENCY:-2}
UPLOAD_GRACE_SECONDS: ${UPLOAD_GRACE_SECONDS:-900}
JANITOR_INTERVAL_SECONDS: ${JANITOR_INTERVAL_SECONDS:-60}
S3_BREAKER_SECONDS: ${S3_BREAKER_SECONDS:-5}
PASSWORD_HASH_CONCURRENCY: ${PASSWORD_HASH_CONCURRENCY:-2}
# lab5: брокер заданий (ОТДЕЛЬНЫЙ Redis с AOF, не кэш сессий) и параметры обработки.
BROKER_URL: redis://broker:6379/0
BROKER_TIMEOUT: ${BROKER_TIMEOUT:-2}
PIPELINE_VERSION: "1"
WORKER_CONCURRENCY: ${WORKER_CONCURRENCY:-2}
JOB_MAX_ATTEMPTS: ${JOB_MAX_ATTEMPTS:-5}
JOB_TIMEOUT_SECONDS: ${JOB_TIMEOUT_SECONDS:-60}
JOB_LEASE_SECONDS: ${JOB_LEASE_SECONDS:-20}
JOB_BACKOFF_BASE_SECONDS: ${JOB_BACKOFF_BASE_SECONDS:-2}
JOB_BACKOFF_MAX_SECONDS: ${JOB_BACKOFF_MAX_SECONDS:-60}
CLAIM_IDLE_SECONDS: ${CLAIM_IDLE_SECONDS:-90}
IMAGE_MEMORY_MB: ${IMAGE_MEMORY_MB:-768}
STAGING_RETENTION_SECONDS: ${STAGING_RETENTION_SECONDS:-86400}
# Сеть storage — internal: если s3 остановлен, его имя не резолвится, и встроенный DNS
# Docker пытается спросить внешний DNS, которого из internal-сети нет → по 5+ c на запрос.
# Короткий таймаут резолвера: недоступный S3 даёт быстрый 503, а не «зависание».
x-dns-opt: &dns-opt ["timeout:1", "attempts:1"]
services:
postgres:
image: postgres:16.4-alpine
environment:
POSTGRES_DB: ${POSTGRES_DB}
POSTGRES_USER: ${POSTGRES_USER}
POSTGRES_PASSWORD: ${POSTGRES_PASSWORD}
volumes:
- pgdata:/var/lib/postgresql/data
networks: [app]
healthcheck:
test: ["CMD-SHELL", "pg_isready -U $${POSTGRES_USER} -d $${POSTGRES_DB}"]
interval: 5s
timeout: 3s
retries: 20
deploy:
resources:
limits: {cpus: "1.0", memory: 512M}
restart: unless-stopped
redis:
image: redis:7.4.1-alpine
# Только кэш сессий: источник истины — PostgreSQL, persistence не нужен.
command: ["redis-server", "--save", "", "--appendonly", "no",
"--maxmemory", "64mb", "--maxmemory-policy", "allkeys-lru"]
networks: [app]
healthcheck:
test: ["CMD", "redis-cli", "ping"]
interval: 5s
timeout: 3s
retries: 20
deploy:
resources:
limits: {cpus: "0.25", memory: 96M}
restart: unless-stopped
# lab5: брокер заданий — Redis Streams с persistence (тот же образ, другой экземпляр).
# --appendonly yes --appendfsync always: ответ на XADD уходит после fsync AOF
# (это наш «publisher confirm»: принятое брокером сообщение переживёт рестарт);
# --save "": RDB-снимки не нужны, источник — AOF;
# --maxmemory-policy noeviction: сообщения никогда не вытесняются из памяти.
broker:
image: redis:7.4.1-alpine
command: ["redis-server", "--appendonly", "yes", "--appendfsync", "always", "--save", "",
"--maxmemory", "200mb", "--maxmemory-policy", "noeviction"]
volumes:
- brokerdata:/data
networks: [app]
healthcheck:
test: ["CMD", "redis-cli", "ping"]
interval: 5s
timeout: 3s
retries: 20
deploy:
resources:
limits: {cpus: "0.5", memory: 256M}
restart: unless-stopped
# lab4: S3-совместимое хранилище. Версия закреплена; данные — в volume s3data.
# Официальные образы MinIO больше не скачиваются анонимно (Docker Hub — удалены,
# quay.io — 401). Используем сборку MinIO от сообщества Pigsty (тот же код MinIO,
# тот же CLI/env), версия закреплена.
s3:
image: pgsty/minio:RELEASE.2026-08-04T00-00-00Z
command: ["server", "/data"]
environment:
MINIO_ROOT_USER: ${MINIO_ROOT_USER}
MINIO_ROOT_PASSWORD: ${MINIO_ROOT_PASSWORD}
MINIO_BROWSER: "off" # веб-консоль выключена совсем
volumes:
- s3data:/data
networks: [storage] # портов наружу нет
healthcheck:
test: ["CMD", "mc", "ready", "local"]
interval: 5s
timeout: 5s
retries: 20
deploy:
resources:
limits: {cpus: "1.0", memory: 512M}
restart: unless-stopped
# Однократный идемпотентный bootstrap: bucket (private), политика, пользователь API.
# Повторный запуск ничего не ломает (mb --ignore-existing, policy/user перезаписываются).
s3-init:
image: pgsty/mc:RELEASE.2026-09-16T00-00-00Z # клиент MinIO (mc) той же сборки
entrypoint: ["/bin/sh", "/infra/bootstrap.sh"]
environment:
MINIO_ROOT_USER: ${MINIO_ROOT_USER}
MINIO_ROOT_PASSWORD: ${MINIO_ROOT_PASSWORD}
S3_BUCKET: ${S3_BUCKET:-messenger-attachments}
S3_ACCESS_KEY_ID: ${S3_ACCESS_KEY_ID}
S3_SECRET_ACCESS_KEY: ${S3_SECRET_ACCESS_KEY}
volumes:
- ./infra/minio:/infra:ro
networks: [storage]
depends_on:
s3:
condition: service_healthy
deploy:
resources:
limits: {cpus: "0.25", memory: 128M}
restart: "no"
# Однократные миграции до старта реплик (advisory lock защищает и от повтора).
migrate:
build: .
image: mtusi-messenger:lab5
command: ["python", "-m", "app.migrate"]
environment: *api-env
networks: [app]
depends_on:
postgres:
condition: service_healthy
deploy:
resources:
limits: {cpus: "0.5", memory: 256M}
restart: "no"
api:
build: .
image: mtusi-messenger:lab5
environment: *api-env
dns_opt: *dns-opt
# Портов наружу нет: доступ только через lb. container_name не задан — сервис масштабируется.
expose: ["8080"]
networks: [app, storage]
deploy:
replicas: ${API_REPLICAS:-2}
resources:
limits: {cpus: "0.5", memory: 256M}
healthcheck:
test: ["CMD", "python", "-c", "import urllib.request,sys; sys.exit(0 if urllib.request.urlopen('http://127.0.0.1:8080/health/ready',timeout=2).status==200 else 1)"]
interval: 5s
timeout: 3s
retries: 3
start_period: 5s
# docker stop → SIGTERM: uvicorn перестаёт принимать соединения и дожидается текущих запросов.
stop_grace_period: 15s
depends_on:
migrate:
condition: service_completed_successfully
s3-init:
condition: service_completed_successfully
postgres:
condition: service_healthy
redis:
condition: service_started
broker:
condition: service_healthy
restart: unless-stopped
# lab5: worker — отдельный процесс, тот же образ. Портов нет, в lb не входит.
# Ограниченная конкуренция: WORKER_CONCURRENCY задач на процесс, каждая — в дочернем
# процессе с лимитом памяти (IMAGE_MEMORY_MB) и времени (JOB_TIMEOUT_SECONDS).
# docker stop → SIGTERM: новых задач не берёт, текущую дорабатывает (до таймаута).
worker:
image: mtusi-messenger:lab5
pull_policy: never # образ собирает сервис api
command: ["python", "-m", "app.worker"]
environment: *api-env
dns_opt: *dns-opt
networks: [app, storage]
deploy:
replicas: ${WORKER_REPLICAS:-1}
resources:
limits: {cpus: "1.0", memory: 1G}
healthcheck:
# heartbeat-файл обновляет поток maintenance раз в секунду
test: ["CMD", "python", "-c", "import os,sys,time; sys.exit(0 if time.time()-os.path.getmtime('/tmp/worker-heartbeat')<30 else 1)"]
interval: 10s
timeout: 3s
retries: 3
start_period: 10s
stop_grace_period: 75s
depends_on:
migrate:
condition: service_completed_successfully
s3-init:
condition: service_completed_successfully
postgres:
condition: service_healthy
broker:
condition: service_healthy
api:
condition: service_started # образ mtusi-messenger:lab5 собирается сервисом api
restart: unless-stopped
lb:
image: haproxy:3.0.5-alpine
volumes:
- ./infra/haproxy/haproxy.cfg:/usr/local/etc/haproxy/haproxy.cfg:ro
ports:
- "127.0.0.1:8080:8080"
- "127.0.0.1:8081:8081"
- "127.0.0.1:8082:8082"
networks: [app]
healthcheck:
test: ["CMD", "wget", "-q", "-O", "/dev/null", "http://127.0.0.1:8404/healthz"]
interval: 5s
timeout: 3s
retries: 3
deploy:
resources:
limits: {cpus: "0.5", memory: 128M}
depends_on:
api:
condition: service_started
restart: unless-stopped
# API с коротким сроком сессии — только для теста истечения (профиль ttl).
# Доступен тоже только через lb: http://localhost:8081
api-ttl:
image: mtusi-messenger:lab5
pull_policy: never # образ собирается локально сервисом api
environment:
<<: *api-env
SESSION_TTL_SECONDS: "2"
JANITOR_ENABLED: "false"
dns_opt: *dns-opt
expose: ["8080"]
networks: [app, storage]
deploy:
resources:
limits: {cpus: "0.25", memory: 192M}
depends_on:
postgres:
condition: service_healthy
profiles: ["ttl"]
# Реплика с внедрением отказов (профиль fault) — только для student-tests/orphans.py.
# Заголовок X-Fault-Inject работает ТОЛЬКО здесь (FAULT_INJECTION=true).
# Доступна только через lb: http://localhost:8082
api-fault:
image: mtusi-messenger:lab5
pull_policy: never
environment:
<<: *api-env
FAULT_INJECTION: "true"
JANITOR_ENABLED: "false"
dns_opt: *dns-opt
expose: ["8080"]
networks: [app, storage]
deploy:
resources:
limits: {cpus: "0.5", memory: 256M}
depends_on:
postgres:
condition: service_healthy
restart: unless-stopped # после crash-after-s3-put контейнер поднимется сам
profiles: ["fault"]
# lab5: worker с внедрением отказов (профиль fault) — только для student-tests/jobs.py.
# Отказ включает одноразовый флаг в брокере: redis-cli SET fault:<точка> 1.
# restart: unless-stopped — после os._exit(1) контейнер поднимается с тем же hostname,
# поэтому worker находит своё неподтверждённое сообщение в PEL.
worker-fault:
image: mtusi-messenger:lab5
pull_policy: never
command: ["python", "-m", "app.worker"]
environment:
<<: *api-env
FAULT_INJECTION: "true"
JOB_BACKOFF_BASE_SECONDS: "1" # короче паузы в тесте retry
dns_opt: *dns-opt
networks: [app, storage]
deploy:
resources:
limits: {cpus: "1.0", memory: 1G}
stop_grace_period: 75s
depends_on:
broker:
condition: service_healthy
restart: unless-stopped
profiles: ["fault"]
networks:
app: {}
storage:
internal: true # без выхода наружу и без публикации портов
volumes:
pgdata:
s3data:
brokerdata: