Files
mtusi2026lab6/compose.yaml
T
2026-11-01 20:38:50 +03:00

477 lines
23 KiB
YAML
Raw Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
# Стенд lab6: HAProxy (единственная точка входа) -> API x2 -> PostgreSQL (источник истины, метаданные, outbox)
# + Valkey (общий кэш сессий) + S3 SeaweedFS (байты: staging, оригиналы, варианты)
# + RabbitMQ (очередь заданий) -> worker (обработка картинок, отдельный процесс)
# + (с lab6) наблюдаемость: API и worker -> OTLP -> otel-collector -> Prometheus (метрики),
# Loki (логи), Tempo (трассы) -> Grafana (dashboard, provisioning из infra/grafana).
# Запуск: docker compose up -d --build --wait
# Секреты: sh scripts/init-secrets.sh (создаёт каталог secrets/, он в .gitignore)
#
# Сети: edge (lb <-> api), backend (api, worker, migrate, s3-init <-> postgres, valkey, s3, broker),
# telemetry (api, worker, lb -> otel-collector -> prometheus, loki, tempo <- grafana) — обе internal,
# без выхода наружу; ops — только чтобы опубликовать Grafana и Prometheus на 127.0.0.1.
# Наружу: балансировщик 127.0.0.1:8080/8081/8404, Grafana 127.0.0.1:3000, Prometheus 127.0.0.1:9090.
# OTLP (4318), Loki и Tempo наружу не опубликованы.
# У api и worker нет ports и container_name: реплик может быть сколько угодно (deploy.replicas).
name: mtusi-lab6
# Сборка образа приложения (один образ для api, worker, migrate, s3-init).
# APP_VERSION меняет только student-tests/rolling_update.py.
x-build: &build
context: .
args:
APP_VERSION: ${APP_VERSION:-dev}
# Docker-статус healthy/unhealthy для API (для `up --wait` и rolling update).
# Из балансировки реплику выводит HAProxy по своим, более частым проверкам (infra/haproxy/haproxy.cfg).
x-api-healthcheck: &api-healthcheck
test: ["CMD", "python", "-c", "import urllib.request; urllib.request.urlopen('http://127.0.0.1:8080/health/ready', timeout=2)"]
interval: 5s
timeout: 3s
retries: 3
start_period: 30s
start_interval: 1s
# Общие настройки процессов API (реплики, API с коротким TTL, тесты БД).
x-app: &app
image: mtusi-messenger:lab6
env_file: .env
# С lab4 — ключи отдельного S3-пользователя API, с lab5 — адрес брокера (relay outbox).
secrets: [database_url, cache_url, s3_access_key_id, s3_secret_access_key, broker_url]
# С lab6 — сеть telemetry: отправка OTLP в otel-collector (OTEL_* в .env).
networks: [edge, backend, telemetry]
services:
# Одноразовый сервис: применяет migrations/*.sql и завершается с кодом 0.
# Реплики API и worker стартуют только после него и схему не меняют (нет гонки миграций).
migrate:
image: mtusi-messenger:lab6
build: *build
env_file: .env
command: ["python", "-m", "messenger.migrate"]
# Миграциям нужен только адрес PostgreSQL: остальные секреты сюда не монтируются (минимум прав),
# а пустые пути говорят config.py, что искать эти файлы не нужно.
environment:
CACHE_URL_FILE: ""
S3_ACCESS_KEY_ID_FILE: ""
S3_SECRET_ACCESS_KEY_FILE: ""
BROKER_URL_FILE: ""
secrets: [database_url]
networks: [backend]
depends_on:
postgres: {condition: service_healthy}
healthcheck:
disable: true
restart: "no"
deploy:
resources:
limits: {cpus: "0.50", memory: 128M}
api:
<<: *app
build: *build
depends_on:
migrate: {condition: service_completed_successfully}
s3-init: {condition: service_completed_successfully} # bucket создан
postgres: {condition: service_healthy}
valkey: {condition: service_healthy}
# Брокер нужен relay, но не приёму файлов: если брокер упадёт позже, API продолжит работать,
# а задания подождут в outbox. Условие здесь — только порядок первого запуска.
broker: {condition: service_healthy}
healthcheck: *api-healthcheck
restart: unless-stopped
# SIGTERM -> 3 с readiness 503 (уход из балансировки) -> до 8 с на начатые запросы -> выход.
# Docker ждёт 15 с и только потом SIGKILL.
stop_grace_period: 15s
deploy:
replicas: ${API_REPLICAS:-2}
resources:
# 512 МиБ: Argon2id берёт 19 МиБ на каждую одновременную проверку пароля.
limits: {cpus: "1.00", memory: 512M}
# Worker (с lab5): обрабатывает картинки из очереди. Отдельный процесс и отдельный контейнер:
# его остановка не мешает API принимать файлы (они ждут в очереди со статусом queued).
# Портов нет; в сеть edge не входит — до него нельзя достучаться снаружи.
worker:
image: mtusi-messenger:lab6
pull_policy: never # образ собирается сервисом api, а не скачивается
env_file: .env
command: ["python", "-m", "messenger.worker"]
environment:
CACHE_URL_FILE: "" # кэш сессий worker не нужен
OTEL_SERVICE_NAME: messenger-worker # с lab6: отдельный service.name (у API — messenger-api из .env)
secrets: [database_url, s3_access_key_id, s3_secret_access_key, broker_url]
networks: [backend, telemetry]
depends_on:
migrate: {condition: service_completed_successfully}
s3-init: {condition: service_completed_successfully}
postgres: {condition: service_healthy}
broker: {condition: service_healthy}
# Главный цикл worker раз в секунду обновляет /tmp/worker.alive. Нет обновления 30 с —
# процесс завис: контейнер unhealthy (видно в `make ps`).
healthcheck:
test: ["CMD", "python", "-c", "import os, sys, time; sys.exit(0 if time.time() - os.path.getmtime('/tmp/worker.alive') < 30 else 1)"]
interval: 5s
timeout: 3s
retries: 3
start_period: 30s
start_interval: 1s
restart: unless-stopped
# SIGTERM -> новые сообщения не берутся, начатые задания доделываются (до 20 с) -> выход.
stop_grace_period: 30s
deploy:
replicas: ${WORKER_REPLICAS:-1}
resources:
# WORKER_CONCURRENCY=2 задания одновременно, каждое — дочерний процесс до 640 МиБ адресного
# пространства (реальный пик самой тяжёлой картинки ~380 МиБ, см. REPORT.md).
limits: {cpus: "1.00", memory: 1G}
# RabbitMQ (с lab5): очередь заданий. Quorum queue хранится на диске в volume rabbitmqdata,
# поэтому принятые сообщения переживают перезапуск брокера. Веб-консоли нет (образ без management).
broker:
image: rabbitmq:4.2.9-alpine
# Данные RabbitMQ лежат в каталоге, названном по имени узла rabbit@<hostname>. Постоянный hostname —
# чтобы после пересоздания контейнера брокер нашёл свои очереди в том же volume.
hostname: broker
environment:
RABBITMQ_CONFIG_FILES: /etc/rabbitmq/conf.d
volumes:
- rabbitmqdata:/var/lib/rabbitmq
- ./infra/rabbitmq/20-messenger.conf:/etc/rabbitmq/conf.d/20-messenger.conf:ro
# Пользователь, пароль, vhost и права — файлом-секретом, а не переменными окружения
# (переменные видны в `docker inspect`).
secrets:
- source: broker_credentials
target: /etc/rabbitmq/conf.d/30-credentials.conf
healthcheck:
test: ["CMD", "rabbitmq-diagnostics", "-q", "ping"]
interval: 10s
timeout: 10s
retries: 6
start_period: 60s
start_interval: 2s
restart: unless-stopped
stop_grace_period: 30s # брокер успевает корректно закрыть очереди
networks: [backend]
deploy:
resources:
limits: {cpus: "1.00", memory: 512M}
lb:
image: haproxy:3.2.25-alpine
ports:
- "127.0.0.1:8080:8080" # единственная точка входа API
- "127.0.0.1:8081:8081" # API с коротким TTL (make expiry), тоже через балансировщик
- "127.0.0.1:8404:8404" # статистика HAProxy: http://127.0.0.1:8404/stats, метрики /metrics (с lab6)
volumes:
- ./infra/haproxy/haproxy.cfg:/usr/local/etc/haproxy/haproxy.cfg:ro
# telemetry (с lab6): Prometheus забирает метрики балансировщика lb:8404/metrics (SLI доступности).
networks: [edge, telemetry]
depends_on:
api: {condition: service_started}
healthcheck:
test: ["CMD", "wget", "-q", "-T", "2", "-O", "/dev/null", "http://127.0.0.1:8404/lb-health"]
interval: 5s
timeout: 3s
retries: 3
start_period: 20s
start_interval: 1s
restart: unless-stopped
stop_grace_period: 15s
deploy:
resources:
limits: {cpus: "0.50", memory: 128M}
# Второй экземпляр API с SESSION_TTL_SECONDS=2 — только для проверки истечения сессии.
# Та же база, тот же код; запускается явно (make expiry). Порт наружу не публикуется:
# доступ через балансировщик, 127.0.0.1:8081.
api-short-ttl:
<<: *app
profiles: [ttl]
pull_policy: never # образ собирается сервисом api, а не скачивается
environment:
SESSION_TTL_SECONDS: "2"
depends_on:
postgres: {condition: service_healthy}
valkey: {condition: service_healthy}
healthcheck: *api-healthcheck
restart: unless-stopped
deploy:
resources:
limits: {cpus: "0.50", memory: 256M}
# ---------- наблюдаемость (с lab6) ----------
# OpenTelemetry Collector: принимает OTLP/HTTP от API и worker (:4318), ограничивает память и
# буферы, раскладывает сигналы по хранилищам (infra/otel/collector.yaml). Сам ничего не хранит.
# Образ distroless (без shell): healthcheck Docker нет, расширение health_check слушает :13133 внутри сети.
otel-collector:
image: otel/opentelemetry-collector-contrib:0.140.1
command: ["--config=/etc/otelcol-contrib/config.yaml"]
volumes:
- ./infra/otel/collector.yaml:/etc/otelcol-contrib/config.yaml:ro
networks: [telemetry]
restart: unless-stopped
deploy:
resources:
# memory_limiter в конфиге — 400 МиБ кучи: Collector начинает отказывать раньше, чем его убьёт лимит.
limits: {cpus: "0.50", memory: 512M}
# Prometheus: хранилище МЕТРИК (volume promdata, 15 дней) и вычисление alert rules.
# Метрики приложения приходят от Collector по OTLP (--web.enable-otlp-receiver), сам он опрашивает
# Collector (:8888) и балансировщик (lb:8404). Опубликован только на 127.0.0.1 — страница alerts.
prometheus:
image: prom/prometheus:v3.7.3
command:
- --config.file=/etc/prometheus/prometheus.yml
- --storage.tsdb.path=/prometheus
- --storage.tsdb.retention.time=15d
- --web.enable-otlp-receiver
volumes:
- ./infra/prometheus/prometheus.yml:/etc/prometheus/prometheus.yml:ro
- ./infra/prometheus/rules:/etc/prometheus/rules:ro
- promdata:/prometheus
ports:
- "127.0.0.1:9090:9090"
networks: [telemetry, ops]
healthcheck:
test: ["CMD", "wget", "-q", "-T", "2", "-O", "/dev/null", "http://127.0.0.1:9090/-/ready"]
interval: 5s
timeout: 3s
retries: 12
start_period: 20s
restart: unless-stopped
deploy:
resources:
limits: {cpus: "1.00", memory: 512M}
# Loki: хранилище ЛОГОВ (volume lokidata, 7 дней). Принимает OTLP-логи от Collector.
loki:
image: grafana/loki:3.5.8
command: ["-config.file=/etc/loki/loki.yaml"]
volumes:
- ./infra/loki/loki.yaml:/etc/loki/loki.yaml:ro
- lokidata:/loki
networks: [telemetry]
restart: unless-stopped
stop_grace_period: 30s # успеть записать принятые логи на диск (flush_on_shutdown)
deploy:
resources:
limits: {cpus: "1.00", memory: 512M}
# Tempo пишет данные от пользователя 10001, а новый volume принадлежит root: одноразово отдаём каталог.
tempo-init:
image: grafana/tempo:2.9.0
user: root
entrypoint: ["chown", "10001:10001", "/var/tempo"]
volumes: ["tempodata:/var/tempo"]
network_mode: none
restart: "no"
deploy:
resources:
limits: {cpus: "0.25", memory: 64M}
# Tempo: хранилище ТРАСС (volume tempodata, 7 дней). Принимает OTLP-трассы от Collector.
tempo:
image: grafana/tempo:2.9.0
command: ["-config.file=/etc/tempo/tempo.yaml"]
volumes:
- ./infra/tempo/tempo.yaml:/etc/tempo/tempo.yaml:ro
- tempodata:/var/tempo
networks: [telemetry]
depends_on:
tempo-init: {condition: service_completed_successfully}
restart: unless-stopped
stop_grace_period: 30s # успеть закрыть блок трасс; при SIGKILL данные восстановятся из WAL
deploy:
resources:
limits: {cpus: "1.00", memory: 512M}
# Grafana: интерфейс и запросы к трём хранилищам. Источники данных и dashboard импортируются из Git
# (infra/grafana/provisioning, infra/grafana/dashboards) при старте — вручную ничего не создаётся.
# http://127.0.0.1:3000, пользователь admin, пароль — secrets/grafana_admin_password.
grafana:
image: grafana/grafana:12.2.1
environment:
GF_SECURITY_ADMIN_USER: admin
GF_SECURITY_ADMIN_PASSWORD__FILE: /run/secrets/grafana_admin_password
GF_USERS_ALLOW_SIGN_UP: "false"
GF_AUTH_ANONYMOUS_ENABLED: "false"
GF_ANALYTICS_REPORTING_ENABLED: "false"
GF_ANALYTICS_CHECK_FOR_UPDATES: "false"
GF_ANALYTICS_CHECK_FOR_PLUGIN_UPDATES: "false"
GF_NEWS_NEWS_FEED_ENABLED: "false"
GF_PLUGINS_PREINSTALL_DISABLED: "true" # без скачивания плагинов из интернета при старте
secrets: [grafana_admin_password]
volumes:
- ./infra/grafana/provisioning:/etc/grafana/provisioning:ro
- ./infra/grafana/dashboards:/var/lib/grafana/dashboards:ro
- grafanadata:/var/lib/grafana
ports:
- "127.0.0.1:3000:3000"
networks: [telemetry, ops]
depends_on:
prometheus: {condition: service_healthy}
loki: {condition: service_started}
tempo: {condition: service_started}
healthcheck:
test: ["CMD", "wget", "-q", "-T", "2", "-O", "/dev/null", "http://127.0.0.1:3000/api/health"]
interval: 5s
timeout: 3s
retries: 20
start_period: 30s
restart: unless-stopped
deploy:
resources:
limits: {cpus: "1.00", memory: 512M}
# Интеграционные тесты хранилища и заданий (откат транзакций, гонки, идемпотентность, lease).
# Запуск: docker compose --profile tools run --rm db-test
db-test:
<<: *app
profiles: [tools]
pull_policy: never
networks: [backend]
volumes: ["./student-tests:/srv/student-tests:ro"]
command: ["python", "-m", "unittest", "discover", "-s", "student-tests/db", "-v"]
depends_on:
postgres: {condition: service_healthy}
deploy:
resources:
limits: {cpus: "1.00", memory: 512M}
# Проверки обработки картинок внутри образа worker (Pillow есть только там): размеры вариантов,
# ориентация EXIF, прозрачность, удаление метаданных, лимиты времени и памяти.
# Запуск: docker compose --profile tools run --rm imaging-test
imaging-test:
image: mtusi-messenger:lab6
profiles: [tools]
pull_policy: never
network_mode: none # проверкам сеть не нужна
volumes: ["./student-tests:/srv/student-tests:ro", "./tests/fixtures:/srv/tests/fixtures:ro"]
command: ["python", "-m", "unittest", "discover", "-s", "student-tests/worker", "-v"]
deploy:
resources:
limits: {cpus: "1.00", memory: 1G}
postgres:
image: postgres:17.10-bookworm
environment:
POSTGRES_USER: messenger
POSTGRES_DB: messenger
POSTGRES_PASSWORD_FILE: /run/secrets/postgres_password # пароль из файла, не из переменной
# Значения по умолчанию, выписанные явно: COMMIT возвращается только после записи WAL на диск.
command: ["postgres", "-c", "fsync=on", "-c", "synchronous_commit=on", "-c", "full_page_writes=on"]
secrets: [postgres_password]
volumes: ["pgdata:/var/lib/postgresql/data"] # именованный volume: данные переживают пересоздание контейнера
healthcheck:
test: ["CMD-SHELL", "pg_isready -h 127.0.0.1 -U messenger -d messenger"]
interval: 5s
timeout: 3s
retries: 12
start_period: 10s
restart: unless-stopped
stop_grace_period: 30s # PostgreSQL успевает корректно завершиться (checkpoint)
networks: [backend]
deploy:
resources:
limits: {cpus: "1.00", memory: 512M}
valkey:
image: valkey/valkey:8.1.9
command: ["valkey-server", "/usr/local/etc/valkey/valkey.conf"]
volumes: ["./infra/valkey/valkey.conf:/usr/local/etc/valkey/valkey.conf:ro"]
secrets: [valkey_acl] # пользователи и пароль Valkey (ACL), генерируются init-secrets.sh
healthcheck:
# Пользователь health без пароля может только ping/info/dbsize — данных он не видит.
test: ["CMD-SHELL", "valkey-cli --user health --pass none --no-auth-warning ping | grep -q PONG"]
interval: 5s
timeout: 3s
retries: 12
restart: unless-stopped
networks: [backend]
deploy:
resources:
limits: {cpus: "0.50", memory: 128M}
# S3-совместимое хранилище SeaweedFS: байты вложений в приватном bucket. Портов наружу нет.
# Внутренние части SeaweedFS (master :9333, volume :8080, filer :8888 — у filer и master есть
# веб-интерфейсы) слушают только 127.0.0.1 ВНУТРИ контейнера: из сети доступен лишь S3 API (:9000),
# и он требует подписи. Встроенный IAM API выключен (-s3.iam=false): пользователи задаются
# только файлом-секретом s3_config.json (scripts/init-secrets.sh).
s3:
image: chrislusf/seaweedfs:4.44
entrypoint: ["/usr/bin/weed"]
command: ["server", "-dir=/data", "-ip=127.0.0.1", "-ip.bind=127.0.0.1",
"-master.volumeSizeLimitMB=1024", "-volume.max=0",
"-s3", "-s3.ip.bind=0.0.0.0", "-s3.port=9000", "-s3.iam=false",
"-s3.config=/run/secrets/s3_config"]
secrets: [s3_config]
volumes: ["s3data:/data"] # именованный volume: объекты переживают пересоздание контейнера
healthcheck:
test: ["CMD", "curl", "-fsS", "-o", "/dev/null", "http://127.0.0.1:9000/healthz"]
interval: 5s
timeout: 3s
retries: 12
start_period: 15s
restart: unless-stopped
stop_grace_period: 15s
networks: [backend]
deploy:
resources:
limits: {cpus: "0.50", memory: 512M}
# Одноразовая настройка S3 (как migrate для БД): создать bucket, если его нет, и проверить,
# что он не публичный. Идемпотентна. Ключи администратора S3 есть только здесь (у API — свои).
s3-init:
image: mtusi-messenger:lab6
build: *build
command: ["python", "-m", "messenger.s3bootstrap"]
environment:
S3_ENDPOINT: ${S3_ENDPOINT:-http://s3:9000}
S3_REGION: ${S3_REGION:-us-east-1}
S3_BUCKET: ${S3_BUCKET:-messenger-attachments}
S3_ADMIN_ACCESS_KEY_ID_FILE: /run/secrets/s3_root_user
S3_ADMIN_SECRET_ACCESS_KEY_FILE: /run/secrets/s3_root_password
secrets: [s3_root_user, s3_root_password]
networks: [backend]
depends_on:
s3: {condition: service_healthy}
healthcheck:
disable: true
restart: "no"
deploy:
resources:
limits: {cpus: "0.50", memory: 128M}
volumes:
pgdata: {}
s3data: {}
rabbitmqdata: {}
# с lab6: история телеметрии переживает пересоздание контейнеров
promdata: {}
lokidata: {}
tempodata: {}
grafanadata: {}
secrets:
postgres_password: {file: ./secrets/postgres_password}
database_url: {file: ./secrets/database_url}
cache_url: {file: ./secrets/cache_url}
valkey_acl: {file: ./secrets/valkey_users.acl}
s3_root_user: {file: ./secrets/s3_root_user}
s3_config: {file: ./secrets/s3_config.json}
s3_root_password: {file: ./secrets/s3_root_password}
s3_access_key_id: {file: ./secrets/s3_access_key_id}
s3_secret_access_key: {file: ./secrets/s3_secret_access_key}
broker_url: {file: ./secrets/broker_url}
broker_credentials: {file: ./secrets/rabbitmq_credentials.conf}
grafana_admin_password: {file: ./secrets/grafana_admin_password}
networks:
edge: {}
backend:
internal: true # хранилища и брокер недоступны снаружи и сами не ходят в интернет
telemetry:
internal: true # OTLP, Loki, Tempo — только внутри стенда
ops: {} # только для публикации Grafana и Prometheus на 127.0.0.1