Files
mtusi2026lab4/compose.yaml
T

252 lines
9.7 KiB
YAML
Raw Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
# Стенд lab4: клиент → lb (HAProxy) → api × 2 → PostgreSQL (метаданные) + Redis (кэш сессий)
# └→ MinIO, приватный bucket (байты вложений)
# Запуск: docker compose --env-file .env up -d --build
# Публичный только lb (127.0.0.1:8080). Реплики API и MinIO наружу не публикуются.
#
# Сети:
# app — lb, api, postgres, redis (как в lab3);
# storage — internal: только s3, s3-init и api. Ни lb, ни хост туда не попадают:
# API и админ-API MinIO (порт 9000) доступны лишь внутри этой сети,
# веб-консоль MinIO выключена (MINIO_BROWSER=off).
name: mtusi-lab4
x-api-env: &api-env
DATABASE_URL: postgresql://${POSTGRES_USER}:${POSTGRES_PASSWORD}@postgres:5432/${POSTGRES_DB}
CACHE_URL: redis://redis:6379/0
SESSION_TTL_SECONDS: ${SESSION_TTL_SECONDS:-3600}
SESSION_CACHE_TTL_SECONDS: ${SESSION_CACHE_TTL_SECONDS:-60}
IDEMPOTENCY_TTL_SECONDS: ${IDEMPOTENCY_TTL_SECONDS:-86400}
DB_POOL_MAX: ${DB_POOL_MAX:-10}
DB_POOL_TIMEOUT: ${DB_POOL_TIMEOUT:-3}
DB_STATEMENT_TIMEOUT_MS: ${DB_STATEMENT_TIMEOUT_MS:-5000}
REDIS_TIMEOUT: ${REDIS_TIMEOUT:-0.5}
SHUTDOWN_TIMEOUT: ${SHUTDOWN_TIMEOUT:-10}
LOG_LEVEL: ${LOG_LEVEL:-info}
# Миграции выполняет отдельный сервис migrate, а не каждая реплика.
MIGRATE_ON_START: "false"
# lab4: S3. У API — ОТДЕЛЬНЫЙ пользователь MinIO с правами только на свой bucket.
# Root-credentials MinIO в API не передаются.
S3_ENDPOINT: http://s3:9000
S3_REGION: ${S3_REGION:-us-east-1}
S3_BUCKET: ${S3_BUCKET:-messenger-attachments}
S3_ACCESS_KEY_ID: ${S3_ACCESS_KEY_ID}
S3_SECRET_ACCESS_KEY: ${S3_SECRET_ACCESS_KEY}
S3_CONNECT_TIMEOUT: ${S3_CONNECT_TIMEOUT:-2}
S3_READ_TIMEOUT: ${S3_READ_TIMEOUT:-10}
MAX_UPLOAD_BYTES: ${MAX_UPLOAD_BYTES:-10485760}
MAX_IMAGE_PIXELS: ${MAX_IMAGE_PIXELS:-40000000}
UPLOAD_BODY_TIMEOUT_SECONDS: ${UPLOAD_BODY_TIMEOUT_SECONDS:-60}
UPLOAD_SPOOL_MEMORY_BYTES: ${UPLOAD_SPOOL_MEMORY_BYTES:-262144}
UPLOAD_MAX_CONCURRENT: ${UPLOAD_MAX_CONCURRENT:-16}
IMAGE_CHECK_CONCURRENCY: ${IMAGE_CHECK_CONCURRENCY:-2}
UPLOAD_GRACE_SECONDS: ${UPLOAD_GRACE_SECONDS:-900}
JANITOR_INTERVAL_SECONDS: ${JANITOR_INTERVAL_SECONDS:-60}
S3_BREAKER_SECONDS: ${S3_BREAKER_SECONDS:-5}
PASSWORD_HASH_CONCURRENCY: ${PASSWORD_HASH_CONCURRENCY:-2}
# Сеть storage — internal: если s3 остановлен, его имя не резолвится, и встроенный DNS
# Docker пытается спросить внешний DNS, которого из internal-сети нет → по 5+ c на запрос.
# Короткий таймаут резолвера: недоступный S3 даёт быстрый 503, а не «зависание».
x-dns-opt: &dns-opt ["timeout:1", "attempts:1"]
services:
postgres:
image: postgres:16.4-alpine
environment:
POSTGRES_DB: ${POSTGRES_DB}
POSTGRES_USER: ${POSTGRES_USER}
POSTGRES_PASSWORD: ${POSTGRES_PASSWORD}
volumes:
- pgdata:/var/lib/postgresql/data
networks: [app]
healthcheck:
test: ["CMD-SHELL", "pg_isready -U $${POSTGRES_USER} -d $${POSTGRES_DB}"]
interval: 5s
timeout: 3s
retries: 20
deploy:
resources:
limits: {cpus: "1.0", memory: 512M}
restart: unless-stopped
redis:
image: redis:7.4.1-alpine
# Только кэш сессий: источник истины — PostgreSQL, persistence не нужен.
command: ["redis-server", "--save", "", "--appendonly", "no",
"--maxmemory", "64mb", "--maxmemory-policy", "allkeys-lru"]
networks: [app]
healthcheck:
test: ["CMD", "redis-cli", "ping"]
interval: 5s
timeout: 3s
retries: 20
deploy:
resources:
limits: {cpus: "0.25", memory: 96M}
restart: unless-stopped
# lab4: S3-совместимое хранилище. Версия закреплена; данные — в volume s3data.
# Официальные образы MinIO больше не скачиваются анонимно (Docker Hub — удалены,
# quay.io — 401). Используем сборку MinIO от сообщества Pigsty (тот же код MinIO,
# тот же CLI/env), версия закреплена.
s3:
image: pgsty/minio:RELEASE.2026-08-04T00-00-00Z
command: ["server", "/data"]
environment:
MINIO_ROOT_USER: ${MINIO_ROOT_USER}
MINIO_ROOT_PASSWORD: ${MINIO_ROOT_PASSWORD}
MINIO_BROWSER: "off" # веб-консоль выключена совсем
volumes:
- s3data:/data
networks: [storage] # портов наружу нет
healthcheck:
test: ["CMD", "mc", "ready", "local"]
interval: 5s
timeout: 5s
retries: 20
deploy:
resources:
limits: {cpus: "1.0", memory: 512M}
restart: unless-stopped
# Однократный идемпотентный bootstrap: bucket (private), политика, пользователь API.
# Повторный запуск ничего не ломает (mb --ignore-existing, policy/user перезаписываются).
s3-init:
image: pgsty/mc:RELEASE.2026-09-16T00-00-00Z # клиент MinIO (mc) той же сборки
entrypoint: ["/bin/sh", "/infra/bootstrap.sh"]
environment:
MINIO_ROOT_USER: ${MINIO_ROOT_USER}
MINIO_ROOT_PASSWORD: ${MINIO_ROOT_PASSWORD}
S3_BUCKET: ${S3_BUCKET:-messenger-attachments}
S3_ACCESS_KEY_ID: ${S3_ACCESS_KEY_ID}
S3_SECRET_ACCESS_KEY: ${S3_SECRET_ACCESS_KEY}
volumes:
- ./infra/minio:/infra:ro
networks: [storage]
depends_on:
s3:
condition: service_healthy
deploy:
resources:
limits: {cpus: "0.25", memory: 128M}
restart: "no"
# Однократные миграции до старта реплик (advisory lock защищает и от повтора).
migrate:
build: .
image: mtusi-messenger:lab4
command: ["python", "-m", "app.migrate"]
environment: *api-env
networks: [app]
depends_on:
postgres:
condition: service_healthy
deploy:
resources:
limits: {cpus: "0.5", memory: 256M}
restart: "no"
api:
build: .
image: mtusi-messenger:lab4
environment: *api-env
dns_opt: *dns-opt
# Портов наружу нет: доступ только через lb. container_name не задан — сервис масштабируется.
expose: ["8080"]
networks: [app, storage]
deploy:
replicas: ${API_REPLICAS:-2}
resources:
limits: {cpus: "0.5", memory: 256M}
healthcheck:
test: ["CMD", "python", "-c", "import urllib.request,sys; sys.exit(0 if urllib.request.urlopen('http://127.0.0.1:8080/health/ready',timeout=2).status==200 else 1)"]
interval: 5s
timeout: 3s
retries: 3
start_period: 5s
# docker stop → SIGTERM: uvicorn перестаёт принимать соединения и дожидается текущих запросов.
stop_grace_period: 15s
depends_on:
migrate:
condition: service_completed_successfully
s3-init:
condition: service_completed_successfully
postgres:
condition: service_healthy
redis:
condition: service_started
restart: unless-stopped
lb:
image: haproxy:3.0.5-alpine
volumes:
- ./infra/haproxy/haproxy.cfg:/usr/local/etc/haproxy/haproxy.cfg:ro
ports:
- "127.0.0.1:8080:8080"
- "127.0.0.1:8081:8081"
- "127.0.0.1:8082:8082"
networks: [app]
healthcheck:
test: ["CMD", "wget", "-q", "-O", "/dev/null", "http://127.0.0.1:8404/healthz"]
interval: 5s
timeout: 3s
retries: 3
deploy:
resources:
limits: {cpus: "0.5", memory: 128M}
depends_on:
api:
condition: service_started
restart: unless-stopped
# API с коротким сроком сессии — только для теста истечения (профиль ttl).
# Доступен тоже только через lb: http://localhost:8081
api-ttl:
image: mtusi-messenger:lab4
pull_policy: never # образ собирается локально сервисом api
environment:
<<: *api-env
SESSION_TTL_SECONDS: "2"
JANITOR_ENABLED: "false"
dns_opt: *dns-opt
expose: ["8080"]
networks: [app, storage]
deploy:
resources:
limits: {cpus: "0.25", memory: 192M}
depends_on:
postgres:
condition: service_healthy
profiles: ["ttl"]
# Реплика с внедрением отказов (профиль fault) — только для student-tests/orphans.py.
# Заголовок X-Fault-Inject работает ТОЛЬКО здесь (FAULT_INJECTION=true).
# Доступна только через lb: http://localhost:8082
api-fault:
image: mtusi-messenger:lab4
pull_policy: never
environment:
<<: *api-env
FAULT_INJECTION: "true"
JANITOR_ENABLED: "false"
dns_opt: *dns-opt
expose: ["8080"]
networks: [app, storage]
deploy:
resources:
limits: {cpus: "0.5", memory: 256M}
depends_on:
postgres:
condition: service_healthy
restart: unless-stopped # после crash-after-s3-put контейнер поднимется сам
profiles: ["fault"]
networks:
app: {}
storage:
internal: true # без выхода наружу и без публикации портов
volumes:
pgdata:
s3data: