Files

286 lines
10 KiB
YAML
Raw Permalink Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
# Lab 4: PostgreSQL + Valkey + приватный MinIO + API-реплики за HAProxy.
# Имя проекта задаёт отдельные тома и сети для lab4.
# Запуск (одна последовательность):
# sh scripts/init-secrets.sh && docker compose --env-file .env up -d --build --wait
name: messenger-lab4
# Один образ и для API, и для миграций: схема всегда соответствует коду. build продублирован намеренно,
# чтобы `up --build` собрал образ раньше, чем стартует migrate (второй build берётся из кэша).
x-api-image: &api-image
image: messenger-api:lab4
build:
context: .
dockerfile: Dockerfile
args:
APP_VERSION: ${APP_VERSION:-1}
# MinIO RELEASE.2025-09-07T16-13-09Z; включает mc RELEASE.2025-08-13T08-35-41Z.
x-s3-image: &s3-image
image: quay.io/minio/minio@sha256:14cea493d9a34af32f524e538b8346cf79f3321eff8e708c1e2960462bd8936e
services:
s3:
<<: *s3-image
restart: unless-stopped
entrypoint: ["/bin/sh", "/infra/start.sh"]
environment:
MINIO_SITE_REGION: ${S3_REGION:-us-east-1}
MINIO_BROWSER: "off"
secrets:
- s3_root_user
- s3_root_password
volumes:
- s3data:/data
- ./infra/s3:/infra:ro
# S3 и административная консоль не публикуются на хост.
healthcheck:
test: ["CMD", "curl", "--fail", "--silent", "http://127.0.0.1:9000/minio/health/ready"]
interval: 5s
timeout: 3s
retries: 20
start_period: 10s
deploy:
resources:
limits:
cpus: "1"
memory: 512m
networks: [backend]
s3-init:
<<: *s3-image
restart: "no"
entrypoint: ["/bin/sh", "/infra/bootstrap.sh"]
depends_on:
s3:
condition: service_healthy
environment:
S3_BUCKET: ${S3_BUCKET:-messenger-attachments}
MC_CONFIG_DIR: /tmp/mc
secrets:
- s3_root_user
- s3_root_password
- s3_access_key_id
- s3_secret_access_key
volumes:
- ./infra/s3:/infra:ro
networks: [backend]
s3-check:
<<: *s3-image
profiles: [tools]
restart: "no"
entrypoint: ["/bin/sh", "/infra/check.sh"]
depends_on:
s3-init:
condition: service_completed_successfully
environment:
S3_BUCKET: ${S3_BUCKET:-messenger-attachments}
MC_CONFIG_DIR: /tmp/mc
secrets:
- s3_access_key_id
- s3_secret_access_key
volumes:
- ./infra/s3:/infra:ro
- ./tests/fixtures:/fixtures:ro
networks: [backend]
s3-client-check:
image: mcr.microsoft.com/dotnet/aspnet:10.0.12@sha256:222759b391a1aaf241166672c8f99b2d4ada452e7b5319f3c6e8f265a37b5ad4
profiles: [tools]
restart: "no"
entrypoint: ["dotnet", "/check/StorageCheck.dll", "/fixtures/sample.png"]
depends_on:
s3-init:
condition: service_completed_successfully
environment:
S3_ENDPOINT: http://s3:9000
S3_REGION: ${S3_REGION:-us-east-1}
S3_BUCKET: ${S3_BUCKET:-messenger-attachments}
S3_ACCESS_KEY_ID_FILE: /run/secrets/s3_access_key_id
S3_SECRET_ACCESS_KEY_FILE: /run/secrets/s3_secret_access_key
secrets:
- s3_access_key_id
- s3_secret_access_key
volumes:
- ./tools/StorageCheck/bin/Release/net10.0:/check:ro
- ./tests/fixtures:/fixtures:ro
networks: [backend]
db:
# PostgreSQL 17.11; тег закреплён digest'ом, сборка воспроизводима.
image: postgres:17@sha256:b8faeff7712663c2773a190181e1246e37e364b887611c04658c28b44e2408fe
restart: unless-stopped
# max_connections с запасом: до 8 реплик x пул DB_MAX_POOL_SIZE (по умолчанию 20) + миграции + служебные.
command: ["postgres", "-c", "max_connections=300"]
environment:
POSTGRES_DB: messenger
POSTGRES_USER: messenger
POSTGRES_PASSWORD_FILE: /run/secrets/db_password
secrets:
- db_password
volumes:
# Именованный volume: переживает restart/down; удаляется только явным `docker compose down -v`.
- pgdata:/var/lib/postgresql/data
healthcheck:
test: ["CMD-SHELL", "pg_isready -U messenger -d messenger"]
interval: 5s
timeout: 3s
retries: 20
start_period: 10s
deploy:
resources:
limits:
cpus: "${DB_CPUS:-2}"
memory: ${DB_MEMORY:-1g}
networks: [backend]
cache:
# Valkey 8.1: кэш страниц истории сообщений. Источник истины — PostgreSQL, потеря содержимого кэша ничего не ломает,
# поэтому persistence выключена (--save "" --appendonly no). Память ограничена, вытеснение LRU.
# Кэш общий для всех реплик: ключ содержит версию истории чата, поэтому реплики не отдают друг другу устаревшие страницы.
image: valkey/valkey:8.1@sha256:640c5e62cea04b6d6f2084232651d0cc70362d31f4f805e7be94dbed6855e8f2
restart: unless-stopped
command:
- sh
- -c
- exec valkey-server --requirepass "$$(cat /run/secrets/cache_password)" --save "" --appendonly no --maxmemory 64mb --maxmemory-policy allkeys-lru
secrets:
- cache_password
healthcheck:
test: ["CMD-SHELL", "REDISCLI_AUTH=\"$$(cat /run/secrets/cache_password)\" valkey-cli ping | grep -q PONG"]
interval: 5s
timeout: 3s
retries: 10
deploy:
resources:
limits:
cpus: "0.5"
memory: 128m
networks: [backend]
# One-shot: применяет миграции и завершается. API-реплики схему не меняют (MIGRATE_ON_START выключен),
# поэтому одновременный старт N реплик не создаёт гонку. Миграции только добавляют объекты (expand), что
# совместимо с ещё работающей предыдущей версией API при rolling update.
migrate:
<<: *api-image
command: ["--migrate"]
restart: "no"
depends_on:
db:
condition: service_healthy
environment:
DATABASE_URL_FILE: /run/secrets/database_url
secrets:
- database_url
networks: [backend]
api:
<<: *api-image
restart: unless-stopped
# Без container_name и без published ports: сервис масштабируется (--scale api=N / API_REPLICAS), а снаружи
# реплики доступны только через lb. Кэш не входит в depends_on: API обязан работать без него.
depends_on:
migrate:
condition: service_completed_successfully
db:
condition: service_healthy
s3-init:
condition: service_completed_successfully
environment:
ASPNETCORE_URLS: http://0.0.0.0:8080
APP_PORT: "8080"
SESSION_TTL_SECONDS: ${SESSION_TTL_SECONDS:-3600}
DATABASE_URL_FILE: /run/secrets/database_url
CACHE_URL_FILE: /run/secrets/cache_url
CACHE_TTL_SECONDS: ${CACHE_TTL_SECONDS:-300}
DIAGNOSTIC_HEADERS: ${DIAGNOSTIC_HEADERS:-false}
DB_MAX_POOL_SIZE: ${DB_MAX_POOL_SIZE:-20}
IDEMPOTENCY_TTL_SECONDS: ${IDEMPOTENCY_TTL_SECONDS:-86400}
SHUTDOWN_DRAIN_SECONDS: ${SHUTDOWN_DRAIN_SECONDS:-3}
MIGRATE_ON_START: "false"
S3_ENDPOINT: http://s3:9000
S3_REGION: ${S3_REGION:-us-east-1}
S3_BUCKET: ${S3_BUCKET:-messenger-attachments}
S3_ACCESS_KEY_ID_FILE: /run/secrets/s3_access_key_id
S3_SECRET_ACCESS_KEY_FILE: /run/secrets/s3_secret_access_key
MAX_UPLOAD_BYTES: ${MAX_UPLOAD_BYTES:-10485760}
MAX_IMAGE_PIXELS: ${MAX_IMAGE_PIXELS:-40000000}
UPLOAD_CLEANUP_GRACE_SECONDS: ${UPLOAD_CLEANUP_GRACE_SECONDS:-300}
UPLOAD_CLEANUP_INTERVAL_SECONDS: ${UPLOAD_CLEANUP_INTERVAL_SECONDS:-30}
secrets:
- database_url
- cache_url
- s3_access_key_id
- s3_secret_access_key
expose:
- "8080"
healthcheck:
# Живость процесса (готовность проверяет LB). start_interval ускоряет первый успех для `up --wait`.
test: ["CMD", "dotnet", "Messenger.Api.dll", "--healthcheck"]
interval: 10s
timeout: 3s
retries: 3
start_period: 20s
start_interval: 2s
# SIGTERM -> drain 3 с + до 5 с на активные запросы = < 10 с; 15 с — запас до SIGKILL.
stop_grace_period: 15s
deploy:
replicas: ${API_REPLICAS:-2}
resources:
limits:
cpus: "${API_CPUS:-1}"
memory: ${API_MEMORY:-512m}
networks: [backend]
lb:
# HAProxy 3.0 LTS; digest закреплён. Образ получен через mirror.gcr.io (зеркало официального образа Docker Hub,
# тот же digest), потому что Docker Hub был недоступен при разработке.
image: mirror.gcr.io/library/haproxy:3.0-alpine@sha256:1c15903c50d5510dcc01de755049e7015a6dd3f35bb2dc4582e888116cb71d8f
restart: unless-stopped
depends_on:
api:
condition: service_healthy
volumes:
- ./infra/haproxy/haproxy.cfg:/usr/local/etc/haproxy/haproxy.cfg:ro
ports:
# Единственная публичная точка входа.
- "${LB_PUBLISHED_PORT:-8080}:8080"
# Статистика LB (состояние backend'ов): только с этого компьютера.
- "127.0.0.1:${LB_STATS_PORT:-8404}:8404"
healthcheck:
test: ["CMD-SHELL", "wget -q --spider http://127.0.0.1:8404/healthz"]
interval: 5s
timeout: 3s
retries: 5
deploy:
resources:
limits:
cpus: "${LB_CPUS:-1}"
memory: 128m
networks: [backend]
volumes:
pgdata:
s3data:
networks:
backend:
secrets:
db_password:
file: ./secrets/db_password
database_url:
file: ./secrets/database_url.compose
cache_password:
file: ./secrets/cache_password
cache_url:
file: ./secrets/cache_url
s3_root_user:
file: ./secrets/s3_root_user
s3_root_password:
file: ./secrets/s3_root_password
s3_access_key_id:
file: ./secrets/s3_access_key_id
s3_secret_access_key:
file: ./secrets/s3_secret_access_key