forked from mtusi2026/mtusi2026lab5
351 lines
14 KiB
YAML
351 lines
14 KiB
YAML
# Стенд lab5: клиент → lb (HAProxy) → api × 2 → PostgreSQL (метаданные, jobs, outbox) + Redis (кэш сессий)
|
||
# ├→ MinIO, приватный bucket: staging/ → originals/, variants/
|
||
# └→ broker (Redis Streams + AOF) → worker → MinIO + PostgreSQL
|
||
# Запуск: docker compose --env-file .env up -d --build
|
||
# Публичный только lb (127.0.0.1:8080). Реплики API, worker, broker и MinIO наружу не публикуются.
|
||
#
|
||
# Сети:
|
||
# app — lb, api, worker, postgres, redis, broker;
|
||
# storage — internal: только s3, s3-init, api и worker. Ни lb, ни хост туда не попадают:
|
||
# API и админ-API MinIO (порт 9000) доступны лишь внутри этой сети,
|
||
# веб-консоль MinIO выключена (MINIO_BROWSER=off).
|
||
name: mtusi-lab5
|
||
|
||
x-api-env: &api-env
|
||
DATABASE_URL: postgresql://${POSTGRES_USER}:${POSTGRES_PASSWORD}@postgres:5432/${POSTGRES_DB}
|
||
CACHE_URL: redis://redis:6379/0
|
||
SESSION_TTL_SECONDS: ${SESSION_TTL_SECONDS:-3600}
|
||
SESSION_CACHE_TTL_SECONDS: ${SESSION_CACHE_TTL_SECONDS:-60}
|
||
IDEMPOTENCY_TTL_SECONDS: ${IDEMPOTENCY_TTL_SECONDS:-86400}
|
||
DB_POOL_MAX: ${DB_POOL_MAX:-10}
|
||
DB_POOL_TIMEOUT: ${DB_POOL_TIMEOUT:-3}
|
||
DB_STATEMENT_TIMEOUT_MS: ${DB_STATEMENT_TIMEOUT_MS:-5000}
|
||
REDIS_TIMEOUT: ${REDIS_TIMEOUT:-0.5}
|
||
SHUTDOWN_TIMEOUT: ${SHUTDOWN_TIMEOUT:-10}
|
||
LOG_LEVEL: ${LOG_LEVEL:-info}
|
||
# Миграции выполняет отдельный сервис migrate, а не каждая реплика.
|
||
MIGRATE_ON_START: "false"
|
||
# lab4: S3. У API — ОТДЕЛЬНЫЙ пользователь MinIO с правами только на свой bucket.
|
||
# Root-credentials MinIO в API не передаются.
|
||
S3_ENDPOINT: http://s3:9000
|
||
S3_REGION: ${S3_REGION:-us-east-1}
|
||
S3_BUCKET: ${S3_BUCKET:-messenger-attachments}
|
||
S3_ACCESS_KEY_ID: ${S3_ACCESS_KEY_ID}
|
||
S3_SECRET_ACCESS_KEY: ${S3_SECRET_ACCESS_KEY}
|
||
S3_CONNECT_TIMEOUT: ${S3_CONNECT_TIMEOUT:-2}
|
||
S3_READ_TIMEOUT: ${S3_READ_TIMEOUT:-10}
|
||
MAX_UPLOAD_BYTES: ${MAX_UPLOAD_BYTES:-10485760}
|
||
MAX_IMAGE_PIXELS: ${MAX_IMAGE_PIXELS:-40000000}
|
||
UPLOAD_BODY_TIMEOUT_SECONDS: ${UPLOAD_BODY_TIMEOUT_SECONDS:-60}
|
||
UPLOAD_SPOOL_MEMORY_BYTES: ${UPLOAD_SPOOL_MEMORY_BYTES:-262144}
|
||
UPLOAD_MAX_CONCURRENT: ${UPLOAD_MAX_CONCURRENT:-16}
|
||
IMAGE_CHECK_CONCURRENCY: ${IMAGE_CHECK_CONCURRENCY:-2}
|
||
UPLOAD_GRACE_SECONDS: ${UPLOAD_GRACE_SECONDS:-900}
|
||
JANITOR_INTERVAL_SECONDS: ${JANITOR_INTERVAL_SECONDS:-60}
|
||
S3_BREAKER_SECONDS: ${S3_BREAKER_SECONDS:-5}
|
||
PASSWORD_HASH_CONCURRENCY: ${PASSWORD_HASH_CONCURRENCY:-2}
|
||
# lab5: брокер заданий (ОТДЕЛЬНЫЙ Redis с AOF, не кэш сессий) и параметры обработки.
|
||
BROKER_URL: redis://broker:6379/0
|
||
BROKER_TIMEOUT: ${BROKER_TIMEOUT:-2}
|
||
PIPELINE_VERSION: "1"
|
||
WORKER_CONCURRENCY: ${WORKER_CONCURRENCY:-2}
|
||
JOB_MAX_ATTEMPTS: ${JOB_MAX_ATTEMPTS:-5}
|
||
JOB_TIMEOUT_SECONDS: ${JOB_TIMEOUT_SECONDS:-60}
|
||
JOB_LEASE_SECONDS: ${JOB_LEASE_SECONDS:-20}
|
||
JOB_BACKOFF_BASE_SECONDS: ${JOB_BACKOFF_BASE_SECONDS:-2}
|
||
JOB_BACKOFF_MAX_SECONDS: ${JOB_BACKOFF_MAX_SECONDS:-60}
|
||
CLAIM_IDLE_SECONDS: ${CLAIM_IDLE_SECONDS:-90}
|
||
IMAGE_MEMORY_MB: ${IMAGE_MEMORY_MB:-768}
|
||
STAGING_RETENTION_SECONDS: ${STAGING_RETENTION_SECONDS:-86400}
|
||
|
||
# Сеть storage — internal: если s3 остановлен, его имя не резолвится, и встроенный DNS
|
||
# Docker пытается спросить внешний DNS, которого из internal-сети нет → по 5+ c на запрос.
|
||
# Короткий таймаут резолвера: недоступный S3 даёт быстрый 503, а не «зависание».
|
||
x-dns-opt: &dns-opt ["timeout:1", "attempts:1"]
|
||
|
||
services:
|
||
postgres:
|
||
image: postgres:16.4-alpine
|
||
environment:
|
||
POSTGRES_DB: ${POSTGRES_DB}
|
||
POSTGRES_USER: ${POSTGRES_USER}
|
||
POSTGRES_PASSWORD: ${POSTGRES_PASSWORD}
|
||
volumes:
|
||
- pgdata:/var/lib/postgresql/data
|
||
networks: [app]
|
||
healthcheck:
|
||
test: ["CMD-SHELL", "pg_isready -U $${POSTGRES_USER} -d $${POSTGRES_DB}"]
|
||
interval: 5s
|
||
timeout: 3s
|
||
retries: 20
|
||
deploy:
|
||
resources:
|
||
limits: {cpus: "1.0", memory: 512M}
|
||
restart: unless-stopped
|
||
|
||
redis:
|
||
image: redis:7.4.1-alpine
|
||
# Только кэш сессий: источник истины — PostgreSQL, persistence не нужен.
|
||
command: ["redis-server", "--save", "", "--appendonly", "no",
|
||
"--maxmemory", "64mb", "--maxmemory-policy", "allkeys-lru"]
|
||
networks: [app]
|
||
healthcheck:
|
||
test: ["CMD", "redis-cli", "ping"]
|
||
interval: 5s
|
||
timeout: 3s
|
||
retries: 20
|
||
deploy:
|
||
resources:
|
||
limits: {cpus: "0.25", memory: 96M}
|
||
restart: unless-stopped
|
||
|
||
# lab5: брокер заданий — Redis Streams с persistence (тот же образ, другой экземпляр).
|
||
# --appendonly yes --appendfsync always: ответ на XADD уходит после fsync AOF
|
||
# (это наш «publisher confirm»: принятое брокером сообщение переживёт рестарт);
|
||
# --save "": RDB-снимки не нужны, источник — AOF;
|
||
# --maxmemory-policy noeviction: сообщения никогда не вытесняются из памяти.
|
||
broker:
|
||
image: redis:7.4.1-alpine
|
||
command: ["redis-server", "--appendonly", "yes", "--appendfsync", "always", "--save", "",
|
||
"--maxmemory", "200mb", "--maxmemory-policy", "noeviction"]
|
||
volumes:
|
||
- brokerdata:/data
|
||
networks: [app]
|
||
healthcheck:
|
||
test: ["CMD", "redis-cli", "ping"]
|
||
interval: 5s
|
||
timeout: 3s
|
||
retries: 20
|
||
deploy:
|
||
resources:
|
||
limits: {cpus: "0.5", memory: 256M}
|
||
restart: unless-stopped
|
||
|
||
# lab4: S3-совместимое хранилище. Версия закреплена; данные — в volume s3data.
|
||
# Официальные образы MinIO больше не скачиваются анонимно (Docker Hub — удалены,
|
||
# quay.io — 401). Используем сборку MinIO от сообщества Pigsty (тот же код MinIO,
|
||
# тот же CLI/env), версия закреплена.
|
||
s3:
|
||
image: pgsty/minio:RELEASE.2026-08-04T00-00-00Z
|
||
command: ["server", "/data"]
|
||
environment:
|
||
MINIO_ROOT_USER: ${MINIO_ROOT_USER}
|
||
MINIO_ROOT_PASSWORD: ${MINIO_ROOT_PASSWORD}
|
||
MINIO_BROWSER: "off" # веб-консоль выключена совсем
|
||
volumes:
|
||
- s3data:/data
|
||
networks: [storage] # портов наружу нет
|
||
healthcheck:
|
||
test: ["CMD", "mc", "ready", "local"]
|
||
interval: 5s
|
||
timeout: 5s
|
||
retries: 20
|
||
deploy:
|
||
resources:
|
||
limits: {cpus: "1.0", memory: 512M}
|
||
restart: unless-stopped
|
||
|
||
# Однократный идемпотентный bootstrap: bucket (private), политика, пользователь API.
|
||
# Повторный запуск ничего не ломает (mb --ignore-existing, policy/user перезаписываются).
|
||
s3-init:
|
||
image: pgsty/mc:RELEASE.2026-09-16T00-00-00Z # клиент MinIO (mc) той же сборки
|
||
entrypoint: ["/bin/sh", "/infra/bootstrap.sh"]
|
||
environment:
|
||
MINIO_ROOT_USER: ${MINIO_ROOT_USER}
|
||
MINIO_ROOT_PASSWORD: ${MINIO_ROOT_PASSWORD}
|
||
S3_BUCKET: ${S3_BUCKET:-messenger-attachments}
|
||
S3_ACCESS_KEY_ID: ${S3_ACCESS_KEY_ID}
|
||
S3_SECRET_ACCESS_KEY: ${S3_SECRET_ACCESS_KEY}
|
||
volumes:
|
||
- ./infra/minio:/infra:ro
|
||
networks: [storage]
|
||
depends_on:
|
||
s3:
|
||
condition: service_healthy
|
||
deploy:
|
||
resources:
|
||
limits: {cpus: "0.25", memory: 128M}
|
||
restart: "no"
|
||
|
||
# Однократные миграции до старта реплик (advisory lock защищает и от повтора).
|
||
migrate:
|
||
build: .
|
||
image: mtusi-messenger:lab5
|
||
command: ["python", "-m", "app.migrate"]
|
||
environment: *api-env
|
||
networks: [app]
|
||
depends_on:
|
||
postgres:
|
||
condition: service_healthy
|
||
deploy:
|
||
resources:
|
||
limits: {cpus: "0.5", memory: 256M}
|
||
restart: "no"
|
||
|
||
api:
|
||
build: .
|
||
image: mtusi-messenger:lab5
|
||
environment: *api-env
|
||
dns_opt: *dns-opt
|
||
# Портов наружу нет: доступ только через lb. container_name не задан — сервис масштабируется.
|
||
expose: ["8080"]
|
||
networks: [app, storage]
|
||
deploy:
|
||
replicas: ${API_REPLICAS:-2}
|
||
resources:
|
||
limits: {cpus: "0.5", memory: 256M}
|
||
healthcheck:
|
||
test: ["CMD", "python", "-c", "import urllib.request,sys; sys.exit(0 if urllib.request.urlopen('http://127.0.0.1:8080/health/ready',timeout=2).status==200 else 1)"]
|
||
interval: 5s
|
||
timeout: 3s
|
||
retries: 3
|
||
start_period: 5s
|
||
# docker stop → SIGTERM: uvicorn перестаёт принимать соединения и дожидается текущих запросов.
|
||
stop_grace_period: 15s
|
||
depends_on:
|
||
migrate:
|
||
condition: service_completed_successfully
|
||
s3-init:
|
||
condition: service_completed_successfully
|
||
postgres:
|
||
condition: service_healthy
|
||
redis:
|
||
condition: service_started
|
||
broker:
|
||
condition: service_healthy
|
||
restart: unless-stopped
|
||
|
||
# lab5: worker — отдельный процесс, тот же образ. Портов нет, в lb не входит.
|
||
# Ограниченная конкуренция: WORKER_CONCURRENCY задач на процесс, каждая — в дочернем
|
||
# процессе с лимитом памяти (IMAGE_MEMORY_MB) и времени (JOB_TIMEOUT_SECONDS).
|
||
# docker stop → SIGTERM: новых задач не берёт, текущую дорабатывает (до таймаута).
|
||
worker:
|
||
image: mtusi-messenger:lab5
|
||
pull_policy: never # образ собирает сервис api
|
||
command: ["python", "-m", "app.worker"]
|
||
environment: *api-env
|
||
dns_opt: *dns-opt
|
||
networks: [app, storage]
|
||
deploy:
|
||
replicas: ${WORKER_REPLICAS:-1}
|
||
resources:
|
||
limits: {cpus: "1.0", memory: 1G}
|
||
healthcheck:
|
||
# heartbeat-файл обновляет поток maintenance раз в секунду
|
||
test: ["CMD", "python", "-c", "import os,sys,time; sys.exit(0 if time.time()-os.path.getmtime('/tmp/worker-heartbeat')<30 else 1)"]
|
||
interval: 10s
|
||
timeout: 3s
|
||
retries: 3
|
||
start_period: 10s
|
||
stop_grace_period: 75s
|
||
depends_on:
|
||
migrate:
|
||
condition: service_completed_successfully
|
||
s3-init:
|
||
condition: service_completed_successfully
|
||
postgres:
|
||
condition: service_healthy
|
||
broker:
|
||
condition: service_healthy
|
||
api:
|
||
condition: service_started # образ mtusi-messenger:lab5 собирается сервисом api
|
||
restart: unless-stopped
|
||
|
||
lb:
|
||
image: haproxy:3.0.5-alpine
|
||
volumes:
|
||
- ./infra/haproxy/haproxy.cfg:/usr/local/etc/haproxy/haproxy.cfg:ro
|
||
ports:
|
||
- "127.0.0.1:8080:8080"
|
||
- "127.0.0.1:8081:8081"
|
||
- "127.0.0.1:8082:8082"
|
||
networks: [app]
|
||
healthcheck:
|
||
test: ["CMD", "wget", "-q", "-O", "/dev/null", "http://127.0.0.1:8404/healthz"]
|
||
interval: 5s
|
||
timeout: 3s
|
||
retries: 3
|
||
deploy:
|
||
resources:
|
||
limits: {cpus: "0.5", memory: 128M}
|
||
depends_on:
|
||
api:
|
||
condition: service_started
|
||
restart: unless-stopped
|
||
|
||
# API с коротким сроком сессии — только для теста истечения (профиль ttl).
|
||
# Доступен тоже только через lb: http://localhost:8081
|
||
api-ttl:
|
||
image: mtusi-messenger:lab5
|
||
pull_policy: never # образ собирается локально сервисом api
|
||
environment:
|
||
<<: *api-env
|
||
SESSION_TTL_SECONDS: "2"
|
||
JANITOR_ENABLED: "false"
|
||
dns_opt: *dns-opt
|
||
expose: ["8080"]
|
||
networks: [app, storage]
|
||
deploy:
|
||
resources:
|
||
limits: {cpus: "0.25", memory: 192M}
|
||
depends_on:
|
||
postgres:
|
||
condition: service_healthy
|
||
profiles: ["ttl"]
|
||
|
||
# Реплика с внедрением отказов (профиль fault) — только для student-tests/orphans.py.
|
||
# Заголовок X-Fault-Inject работает ТОЛЬКО здесь (FAULT_INJECTION=true).
|
||
# Доступна только через lb: http://localhost:8082
|
||
api-fault:
|
||
image: mtusi-messenger:lab5
|
||
pull_policy: never
|
||
environment:
|
||
<<: *api-env
|
||
FAULT_INJECTION: "true"
|
||
JANITOR_ENABLED: "false"
|
||
dns_opt: *dns-opt
|
||
expose: ["8080"]
|
||
networks: [app, storage]
|
||
deploy:
|
||
resources:
|
||
limits: {cpus: "0.5", memory: 256M}
|
||
depends_on:
|
||
postgres:
|
||
condition: service_healthy
|
||
restart: unless-stopped # после crash-after-s3-put контейнер поднимется сам
|
||
profiles: ["fault"]
|
||
|
||
# lab5: worker с внедрением отказов (профиль fault) — только для student-tests/jobs.py.
|
||
# Отказ включает одноразовый флаг в брокере: redis-cli SET fault:<точка> 1.
|
||
# restart: unless-stopped — после os._exit(1) контейнер поднимается с тем же hostname,
|
||
# поэтому worker находит своё неподтверждённое сообщение в PEL.
|
||
worker-fault:
|
||
image: mtusi-messenger:lab5
|
||
pull_policy: never
|
||
command: ["python", "-m", "app.worker"]
|
||
environment:
|
||
<<: *api-env
|
||
FAULT_INJECTION: "true"
|
||
JOB_BACKOFF_BASE_SECONDS: "1" # короче паузы в тесте retry
|
||
dns_opt: *dns-opt
|
||
networks: [app, storage]
|
||
deploy:
|
||
resources:
|
||
limits: {cpus: "1.0", memory: 1G}
|
||
stop_grace_period: 75s
|
||
depends_on:
|
||
broker:
|
||
condition: service_healthy
|
||
restart: unless-stopped
|
||
profiles: ["fault"]
|
||
|
||
networks:
|
||
app: {}
|
||
storage:
|
||
internal: true # без выхода наружу и без публикации портов
|
||
|
||
volumes:
|
||
pgdata:
|
||
s3data:
|
||
brokerdata:
|