Files
mtusi2026lab6/compose.yaml
T

523 lines
21 KiB
YAML
Raw Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
# Весь стенд лабораторной: LB, реплики API, PostgreSQL, Valkey, S3 (SeaweedFS) и одноразовая подготовка.
# Запуск: docker compose --env-file .env up -d --wait Перед первым запуском: sh scripts/init-secrets.sh
# Остановка с сохранением данных: docker compose --env-file .env down С удалением данных: добавить -v
# Значения вида ${X:-8080} можно менять через окружение или .env.
name: mtusi-lab6
# Секреты лежат в файлах вне Git и видны контейнеру в /run/secrets только там, где подключены.
secrets:
broker_url:
file: ./secrets/broker_url
broker_password:
file: ./secrets/broker_password
postgres_password:
file: ./secrets/postgres_password
database_url:
file: ./secrets/database_url
valkey_password:
file: ./secrets/valkey_password
cache_url:
file: ./secrets/cache_url
valkey_cache_password:
file: ./secrets/valkey_cache_password
history_cache_url:
file: ./secrets/history_cache_url
s3_access_key_id:
file: ./secrets/s3_access_key_id
s3_secret_access_key:
file: ./secrets/s3_secret_access_key
s3_admin_access_key_id:
file: ./secrets/s3_admin_access_key_id
s3_admin_secret_access_key:
file: ./secrets/s3_admin_secret_access_key
s3_janitor_access_key_id:
file: ./secrets/s3_janitor_access_key_id
s3_janitor_secret_access_key:
file: ./secrets/s3_janitor_secret_access_key
s3_config:
file: ./secrets/s3_config
services:
otel-collector:
image: otel/opentelemetry-collector-contrib:0.137.0
command: ['--config=/etc/otelcol/config.yaml']
volumes: ['./infra/otel/collector.yaml:/etc/otelcol/config.yaml:ro']
deploy:
resources:
limits: {memory: 256M, cpus: '0.5'}
restart: unless-stopped
prometheus:
image: prom/prometheus:v3.5.0
command: ['--config.file=/etc/prometheus/prometheus.yaml', '--storage.tsdb.retention.time=3d']
volumes: ['./infra/otel/prometheus.yaml:/etc/prometheus/prometheus.yaml:ro', 'promdata:/prometheus']
ports: ['127.0.0.1:19091:9090']
restart: unless-stopped
loki:
image: grafana/loki:3.5.5
command: ['-config.file=/etc/loki/config.yaml']
volumes: ['./infra/otel/loki.yaml:/etc/loki/config.yaml:ro', 'lokidata:/loki']
ports: ['127.0.0.1:3100:3100']
restart: unless-stopped
tempo:
image: grafana/tempo:2.8.2
user: '0:0'
command: ['-config.file=/etc/tempo/config.yaml']
volumes: ['./infra/otel/tempo.yaml:/etc/tempo/config.yaml:ro', 'tempodata:/var/tempo']
ports: ['127.0.0.1:3200:3200']
restart: unless-stopped
grafana:
image: grafana/grafana:12.2.0
environment:
GF_AUTH_ANONYMOUS_ENABLED: 'true'
GF_AUTH_ANONYMOUS_ORG_ROLE: Viewer
GF_AUTH_DISABLE_LOGIN_FORM: 'true'
GF_ANALYTICS_REPORTING_ENABLED: 'false'
volumes:
- grafanadata:/var/lib/grafana
- ./infra/grafana/provisioning:/etc/grafana/provisioning:ro
- ./infra/grafana/dashboards:/var/lib/grafana/dashboards:ro
ports: ['127.0.0.1:3000:3000']
restart: unless-stopped
broker:
image: valkey/valkey:8.1.3-alpine
command: ["/bin/sh", "-c", 'exec valkey-server --appendonly yes --appendfsync always --maxmemory-policy noeviction --requirepass "$$(cat /run/secrets/broker_password)"']
secrets: [broker_password]
volumes: [brokerdata:/data]
healthcheck:
test: ["CMD-SHELL", 'valkey-cli -a "$$(cat /run/secrets/broker_password)" ping 2>/dev/null | grep -q PONG']
interval: 3s
timeout: 2s
retries: 20
restart: unless-stopped
dispatcher:
build: ./worker
command: ["python", "-u", "main.py", "dispatch"]
env_file: .env
environment:
OTEL_SDK_DISABLED: ${OTEL_SDK_DISABLED:-false}
OTEL_TRACES_SAMPLER_ARG: ${OTEL_TRACES_SAMPLER_ARG:-1}
secrets: [database_url, broker_url, s3_access_key_id, s3_secret_access_key]
depends_on:
migrate: {condition: service_completed_successfully}
broker: {condition: service_healthy}
restart: unless-stopped
worker:
build: ./worker
env_file: .env
environment:
OTEL_SDK_DISABLED: ${OTEL_SDK_DISABLED:-false}
OTEL_TRACES_SAMPLER_ARG: ${OTEL_TRACES_SAMPLER_ARG:-1}
secrets: [database_url, broker_url, s3_access_key_id, s3_secret_access_key]
depends_on:
migrate: {condition: service_completed_successfully}
broker: {condition: service_healthy}
s3-init: {condition: service_completed_successfully}
deploy:
resources:
limits: {cpus: "1.0", memory: 1G}
stop_grace_period: 65s
restart: unless-stopped
# Основная БД и источник истины. Общая для всех реплик; реплицирования нет, поэтому это единая точка отказа.
postgres:
image: postgres:17.6-alpine
deploy:
resources:
limits:
cpus: "2.0"
memory: 1G
# pg_stat_statements собирает статистику запросов для диагностики.
command:
- postgres
- -c
- shared_preload_libraries=pg_stat_statements
environment:
POSTGRES_USER: messenger
POSTGRES_DB: messenger
POSTGRES_PASSWORD_FILE: /run/secrets/postgres_password
secrets:
- postgres_password
# Именованный том: данные переживают пересоздание контейнера и удаляются только через down -v.
volumes:
- pgdata:/var/lib/postgresql/data
# Только 127.0.0.1: для диагностики с этого хоста. Из сети порт недоступен.
ports:
- "127.0.0.1:${POSTGRES_PORT:-15435}:5432"
# Готовность БД: от неё зависят migrate и API.
healthcheck:
test: ["CMD-SHELL", "pg_isready -U messenger -d messenger"]
interval: 5s
timeout: 3s
retries: 10
start_period: 10s
# Docker поднимет контейнер после сбоя, но не после ручной остановки: тесты отказа это используют.
restart: unless-stopped
# Общее хранилище сессий: поэтому токен принимает любая реплика API.
valkey:
image: valkey/valkey:8.1.3-alpine
deploy:
resources:
limits:
cpus: "1.0"
memory: 256M
# Файл журнала с записью на диск раз в секунду: сессии переживают перезапуск, при аварии
# возможна потеря последней секунды. noeviction: при нехватке памяти сессии не вытесняются молча.
# $$ передаёт $ в контейнер: пароль читается из секрета при запуске, а не хранится в файле.
command:
- /bin/sh
- -c
- >-
exec valkey-server
--appendonly yes
--appendfsync everysec
--maxmemory 128mb
--maxmemory-policy noeviction
--requirepass "$$(cat /run/secrets/valkey_password)"
secrets:
- valkey_password
volumes:
- valkeydata:/data
# Только 127.0.0.1: для диагностики с этого хоста.
ports:
- "127.0.0.1:${VALKEY_PORT:-16385}:6379"
healthcheck:
test:
- CMD-SHELL
- 'valkey-cli -a "$$(cat /run/secrets/valkey_password)" ping 2>/dev/null | grep -q PONG'
interval: 5s
timeout: 3s
retries: 10
start_period: 5s
restart: unless-stopped
# Кэш истории выключен по умолчанию (HISTORY_CACHE=off): его долг инвалидации хранится
# в памяти реплики, поэтому при нескольких API он не гарантирует чтение после записи.
valkey-cache:
# Профили: сервис запускается только по явному запросу. Тома нет: кэш не требует сохранности,
# при нехватке памяти вытесняются давние записи (allkeys-lru).
profiles: ["cache"]
image: valkey/valkey:8.1.3-alpine
deploy:
resources:
limits:
cpus: "0.5"
memory: 128M
command:
- /bin/sh
- -c
- >-
exec valkey-server
--save ""
--appendonly no
--maxmemory 64mb
--maxmemory-policy allkeys-lru
--requirepass "$$(cat /run/secrets/valkey_cache_password)"
secrets:
- valkey_cache_password
ports:
- "127.0.0.1:${VALKEY_CACHE_PORT:-6380}:6379"
healthcheck:
test:
- CMD-SHELL
- 'valkey-cli -a "$$(cat /run/secrets/valkey_cache_password)" ping 2>/dev/null | grep -q PONG'
interval: 5s
timeout: 3s
retries: 10
start_period: 5s
restart: unless-stopped
# Приватное хранилище байтов вложений. Порты на хост не публикуются. Находится только во внутренней
# сети s3-private: остальные сервисы видят его через s3-gateway и только порт S3.
# -ip.bind=127.0.0.1 важен для приватности: master, volume и filer отдают файлы БЕЗ проверки подписи
# S3, поэтому они доступны только внутри этого контейнера. Из сети стенда виден только шлюз S3 на 9000.
# -volume.preStopSeconds=0: иначе процесс ждёт 10 с при остановке и не успевает до SIGKILL.
s3:
image: chrislusf/seaweedfs:4.00
deploy:
resources:
limits:
cpus: "1.0"
memory: 1G
entrypoint: ["weed"]
command:
- server
- -dir=/data
- -ip=127.0.0.1
- -ip.bind=127.0.0.1
- -master.volumeSizeLimitMB=1024
- -volume.max=${S3_MAX_VOLUMES:-64}
- -volume.preStopSeconds=0
- -filer
- -s3
- -s3.ip.bind=0.0.0.0
- -s3.port=9000
- -s3.config=/run/secrets/s3_config
networks:
s3-private:
aliases:
- s3-storage
secrets:
- s3_config
volumes:
- s3data:/data
- ./infra/seaweedfs/master.toml:/etc/seaweedfs/master.toml:ro
# healthz отвечает только шлюз; готовность записи подтверждает s3-init.
healthcheck:
test: ["CMD", "wget", "--quiet", "--spider", "http://127.0.0.1:9000/healthz"]
interval: 3s
timeout: 3s
retries: 20
start_period: 30s
restart: unless-stopped
# Шлюз к S3: в общей сети отвечает на имя s3 и пропускает только порт 9000. Служебные порты
# SeaweedFS (в том числе gRPC шлюза 19000, открытый на всех интерфейсах) из общей сети недоступны.
s3-gateway:
ports:
- "127.0.0.1:19096:9000"
image: haproxy:3.2.9-alpine
deploy:
resources:
limits:
cpus: "0.5"
memory: 64M
volumes:
- ./infra/s3-gateway/haproxy.cfg:/usr/local/etc/haproxy/haproxy.cfg:ro
networks:
default:
aliases:
- s3
s3-private:
healthcheck:
test: ["CMD", "wget", "--quiet", "--spider", "http://127.0.0.1:8405/health"]
interval: 3s
timeout: 3s
retries: 10
start_period: 3s
restart: unless-stopped
# Одноразовая подготовка S3: создаёт bucket и проверяет, что анонимный доступ запрещён.
# Повторный запуск ничего не меняет и не трогает объекты. Единственный сервис с ключом администратора.
s3-init:
build:
context: .
target: s3init
deploy:
resources:
limits:
cpus: "0.5"
memory: 128M
environment:
S3_ENDPOINT: ${S3_ENDPOINT:-http://s3:9000}
S3_REGION: ${S3_REGION:-us-east-1}
S3_BUCKET: ${S3_BUCKET:-messenger-attachments}
S3_ACCESS_KEY_ID_FILE: /run/secrets/s3_admin_access_key_id
S3_SECRET_ACCESS_KEY_FILE: /run/secrets/s3_admin_secret_access_key
secrets:
- s3_admin_access_key_id
- s3_admin_secret_access_key
depends_on:
s3:
condition: service_healthy
s3-gateway:
condition: service_healthy
restart: "no"
# Очиститель: удаляет объекты без строки в attachments старше grace period. Отдельный сервис со
# своим ключом: только у него есть право на листинг, и у него нет права читать содержимое файлов.
janitor:
profiles: ["legacy-cleanup"]
build:
context: .
target: janitor
deploy:
resources:
limits:
cpus: "0.5"
memory: 128M
environment:
S3_ENDPOINT: ${S3_ENDPOINT:-http://s3:9000}
S3_REGION: ${S3_REGION:-us-east-1}
S3_BUCKET: ${S3_BUCKET:-messenger-attachments}
S3_ACCESS_KEY_ID_FILE: /run/secrets/s3_janitor_access_key_id
S3_SECRET_ACCESS_KEY_FILE: /run/secrets/s3_janitor_secret_access_key
DATABASE_URL_FILE: /run/secrets/database_url
DB_MAX_CONNS: 2
JANITOR_GRACE_SECONDS: ${JANITOR_GRACE_SECONDS:-3600}
JANITOR_INTERVAL_SECONDS: ${JANITOR_INTERVAL_SECONDS:-600}
JANITOR_MAX_DELETES: ${JANITOR_MAX_DELETES:-1000}
JANITOR_DRY_RUN: ${JANITOR_DRY_RUN:-false}
secrets:
- database_url
- s3_janitor_access_key_id
- s3_janitor_secret_access_key
depends_on:
postgres:
condition: service_healthy
migrate:
condition: service_completed_successfully
s3-init:
condition: service_completed_successfully
restart: unless-stopped
# Проверка прав S3 мимо API, запускается вручную: docker compose --env-file .env run --rm s3check
s3check:
profiles: ["tools"]
build:
context: .
target: s3check
environment:
S3_ENDPOINT: ${S3_ENDPOINT:-http://s3:9000}
S3_REGION: ${S3_REGION:-us-east-1}
S3_BUCKET: ${S3_BUCKET:-messenger-attachments}
secrets:
- s3_access_key_id
- s3_secret_access_key
- s3_janitor_access_key_id
- s3_janitor_secret_access_key
- s3_admin_access_key_id
- s3_admin_secret_access_key
restart: "no"
# Одноразовый запуск миграций: выполняется один раз до API и завершается.
migrate:
build:
context: .
target: migrate
deploy:
resources:
limits:
cpus: "0.5"
memory: 128M
environment:
DATABASE_URL_FILE: /run/secrets/database_url
secrets:
- database_url
# Миграции начинаются только после готовности БД.
depends_on:
postgres:
condition: service_healthy
# Завершение — штатный итог, перезапускать его не нужно.
restart: "no"
# Реплики API. Нет container_name и опубликованных портов: сервис масштабируется, а весь трафик
# идёт через LB. Своего состояния у реплик нет.
api:
# target не указан: собирается последний этап Dockerfile. APP_BUILD — метка версии для rolling update.
build:
context: .
args:
APP_BUILD: ${APP_BUILD:-dev}
env_file: .env
deploy:
# Лимиты указаны на одну реплику: при N репликах суммарно N × лимит.
replicas: ${API_REPLICAS:-2}
resources:
limits:
cpus: "1.0"
# Запас под полное декодирование изображения 40 Мп и дисковый кэш временных файлов; замер в REPORT.md.
memory: 1G
# Больше, чем APP_SHUTDOWN_DRAIN_MS + APP_SHUTDOWN_TIMEOUT_MS (3 с + 10 с), иначе Docker пришлёт SIGKILL.
stop_grace_period: 15s
environment:
OTEL_SDK_DISABLED: ${OTEL_SDK_DISABLED:-false}
OTEL_TRACES_SAMPLER_ARG: ${OTEL_TRACES_SAMPLER_ARG:-1}
S3_PUBLIC_ENDPOINT: ${S3_PUBLIC_ENDPOINT:-http://127.0.0.1:19096}
SESSION_TTL_SECONDS: ${SESSION_TTL_SECONDS:-3600}
HISTORY_CACHE: ${HISTORY_CACHE:-off}
HISTORY_CACHE_TTL_SECONDS: ${HISTORY_CACHE_TTL_SECONDS:-30}
HISTORY_CACHE_FILL_DELAY_MS: ${HISTORY_CACHE_FILL_DELAY_MS:-0}
# Подключений к БД на одну реплику: 8 реплик × 10 меньше max_connections (100).
DB_MAX_CONNS: ${DB_MAX_CONNS:-10}
# Выключает bitmap scan в БД. Обоснование в app/internal/config/database.go; замеров,
# подтверждающих это, сейчас в evidence нет.
DB_ENABLE_BITMAPSCAN: ${DB_ENABLE_BITMAPSCAN:-false}
# Цепочка согласована с infra/haproxy/haproxy.cfg, расчёт в REPORT.md.
# Мягкий предел для сборщика мусора и порог защиты от перегрузки: оба ниже лимита контейнера.
GOMEMLIMIT: 800MiB
APP_MAX_HEAP_BYTES: 805306368
APP_READ_TIMEOUT_MS: 10000 # = timeout http-request LB
APP_WRITE_TIMEOUT_MS: 10000 # < timeout server LB (15 с): 504 от LB не опережает ответ API
APP_IDLE_TIMEOUT_MS: 60000 # > keep-alive LB (30 с): API не закрывает соединение первым
APP_SHUTDOWN_DRAIN_MS: 3000 # > вывода по readiness (2 проверки * 1 с)
APP_SHUTDOWN_TIMEOUT_MS: 10000 # = APP_WRITE_TIMEOUT_MS: запрос успевает завершиться
secrets:
- database_url
- cache_url
- s3_access_key_id
- s3_secret_access_key
# Старт только после готовности хранилищ и успешных миграций. depends_on задаёт лишь порядок
# запуска: выводить упавшую реплику из работы должен LB.
depends_on:
postgres:
condition: service_healthy
valkey:
condition: service_healthy
migrate:
condition: service_completed_successfully
s3-init:
condition: service_completed_successfully
restart: unless-stopped
# Балансировщик: единственная публичная точка входа. Настройки в infra/haproxy/haproxy.cfg.
lb:
image: haproxy:3.2.9-alpine
deploy:
resources:
limits:
cpus: "1.0"
memory: 256M
# Конфигурация только для чтения.
volumes:
- ./infra/haproxy/haproxy.cfg:/usr/local/etc/haproxy/haproxy.cfg:ro
# Без адреса: порт открыт на всех интерфейсах хоста, в том числе в локальной сети.
ports:
- "127.0.0.1:${API_PUBLISH_PORT:-18086}:8080"
# Ждать готовности реплик не нужно: LB сам проверяет их и не шлёт трафик на неготовые.
depends_on:
api:
condition: service_started
# Проверяет сам LB, а не реплики: порт 8404 доступен только внутри контейнера.
healthcheck:
test: ["CMD", "wget", "--quiet", "--spider", "http://127.0.0.1:8404/health"]
interval: 5s
timeout: 3s
retries: 5
start_period: 5s
restart: unless-stopped
# Генератор нагрузки в той же сети: без накладных расходов проброса портов Docker Desktop.
loadgen:
profiles: ["bench"]
build:
context: .
target: loadgen
deploy:
resources:
limits:
cpus: "4.0"
memory: 1G
# Каталог для результатов замеров.
volumes:
- ./evidence:/evidence
restart: "no"
# internal: у этой сети нет выхода наружу. В ней только SeaweedFS и его шлюз.
networks:
s3-private:
internal: true
# Именованные тома только у хранилищ. Реплики API томов не используют.
volumes:
brokerdata:
pgdata:
valkeydata:
s3data:
promdata:
lokidata:
tempodata:
grafanadata: