Files
mtusi2026lab4/compose.yaml
T
zemiles 0341b4e674 Исправить проблемы, найденные повторной проверкой из чистого clone
- Healthcheck S3 проверяет реальную запись (PUT во внутренний filer):
  после рестарта SeaweedFS запись готова на 10–20 с позже /healthz, и
  make test-failover сразу после make test-persistence падал с 503.
- Upload на старте реплики ждёт первой успешной проверки S3 до 5 с.
- stop-one.sh берёт реплики из docker compose ps, а не по имени проекта.
- s3_outage.py в конце ждёт восстановления S3; переключение
  FAULT_INJECTION выполняется с --no-deps.
- Перезаписаны evidence/, в REPORT.md добавлен раздел повторной проверки.
2026-11-07 11:34:41 +03:00

274 lines
11 KiB
YAML
Raw Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
# Lab4: HAProxy -> API x N (по умолчанию 2) -> PostgreSQL (данные, сессии, метаданные вложений)
# -> SeaweedFS S3 (байты вложений, приватный bucket)
# Запуск: ./scripts/init-secrets.sh && docker compose --env-file .env up -d --build --wait
name: mtusi-lab4
x-api-image: &api-image
build:
context: .
args:
APP_VERSION: ${APP_VERSION:-1}
image: mtusi-messenger:lab4
x-db-env: &db-env
POSTGRES_HOST: db
POSTGRES_PORT: "5432"
POSTGRES_DB: ${POSTGRES_DB:-messenger}
POSTGRES_USER: ${POSTGRES_USER:-messenger}
POSTGRES_PASSWORD_FILE: /run/secrets/postgres_password
x-s3-env: &s3-env
S3_ENDPOINT: ${S3_ENDPOINT:-http://s3:8333}
S3_REGION: ${S3_REGION:-us-east-1}
S3_BUCKET: ${S3_BUCKET:-messenger-attachments}
S3_CONNECT_TIMEOUT_SECONDS: ${S3_CONNECT_TIMEOUT_SECONDS:-2}
S3_READ_TIMEOUT_SECONDS: ${S3_READ_TIMEOUT_SECONDS:-5}
services:
db:
image: postgres:16.4-alpine@sha256:5660c2cbfea50c7a9127d17dc4e48543eedd3d7a41a595a2dfa572471e37e64c
environment:
POSTGRES_DB: ${POSTGRES_DB:-messenger}
POSTGRES_USER: ${POSTGRES_USER:-messenger}
POSTGRES_PASSWORD_FILE: /run/secrets/postgres_password
secrets: [postgres_password]
volumes:
- pgdata:/var/lib/postgresql/data # данные переживают перезапуск контейнера
networks: [backend]
restart: unless-stopped
healthcheck:
test: ["CMD-SHELL", "pg_isready -U \"$${POSTGRES_USER}\" -d \"$${POSTGRES_DB}\""]
interval: 2s
timeout: 3s
retries: 30
stop_grace_period: 30s
deploy:
resources:
limits: {cpus: "1.0", memory: 512M}
# S3-совместимое хранилище. Один процесс `weed server`: master/volume/filer слушают
# ТОЛЬКО 127.0.0.1 внутри контейнера (их HTTP API обходит авторизацию S3 и не должен
# быть доступен даже из backend-сети), наружу контейнера — только S3 API :8333.
# Встроенный IAM API, Iceberg и Lance выключены. Порты на хост не публикуются.
s3:
image: chrislusf/seaweedfs:4.50@sha256:c2658820e763294a9e9de7b36c81e59b879e3459148351aee4e31a126ca64860
command:
- server
- -dir=/data
- -ip=127.0.0.1
- -ip.bind=127.0.0.1
- -master.volumeSizeLimitMB=1024
# Один master: выборы raft-лидера после рестарта 2 с вместо 10 (иначе ~10–20 с чтения висят).
- -master.electionTimeout=2s
- -volume.preStopSeconds=2
- -volume.max=0
- -s3
- -s3.ip.bind=0.0.0.0
- -s3.port=8333
- -s3.config=/run/secrets/s3_identities.json
- -s3.iam=false
- -s3.port.iceberg=0
- -s3.port.lance=0
# Память: по умолчанию буферы параллельных загрузок и кэши чтения не ограничены.
# API пишет не более 2x3 PUT по 5 MiB одновременно — 64 MiB хватает с запасом.
- -s3.concurrentUploadLimitMB=64
- -filer.concurrentUploadLimitMB=64
- -volume.concurrentUploadLimitMB=64
- -s3.cacheCapacityMB=16
- -s3.readerCacheSizeMB=32
secrets: [s3_identities.json]
environment:
# Go-рантайм: сборщик мусора ужимает кучу до этого предела раньше, чем cgroup
# убьёт процесс по OOM. Без него 12 параллельных загрузок по 10 MiB дали OOM-kill
# при лимите 512 MiB (evidence/before-fix/s3-oom.txt). Лимит поднят до 768 MiB.
GOMEMLIMIT: 512MiB
volumes:
- s3data:/data # объекты и метаданные filer
networks: [backend]
restart: unless-stopped
healthcheck:
# Готов, когда S3 отвечает И реально работает ЗАПИСЬ: PUT маленького файла во внутренний
# filer (путь /.healthcheck вне /buckets, через S3 не виден). После рестарта SeaweedFS
# /healthz уже 200, а запись ещё 10–20 с висит (выбор raft-лидера, выдача volume);
# без этой проверки restart.sh и depends_on стартовали API раньше готовности S3.
test: ["CMD-SHELL", "wget -q -O /dev/null http://127.0.0.1:8333/healthz && curl -sf -m 2 -X PUT --data-binary ok http://127.0.0.1:8888/.healthcheck/probe -o /dev/null"]
interval: 5s
start_interval: 1s
timeout: 3s
retries: 3
start_period: 60s
stop_grace_period: 30s
deploy:
resources:
limits: {cpus: "1.0", memory: 768M}
# Однократный job миграций: выполняется до старта API и завершается (exit 0).
migrate:
<<: *api-image
command: ["python", "/app/src/migrate.py"]
environment:
<<: *db-env
secrets: [postgres_password]
networks: [backend]
healthcheck: {disable: true}
restart: "no"
depends_on:
db: {condition: service_healthy}
deploy:
resources:
limits: {cpus: "0.5", memory: 128M}
# Однократный идемпотентный bootstrap bucket + проверка приватности. Единственный
# потребитель admin-ключей S3.
s3-init:
<<: *api-image
command: ["python", "/app/src/s3_bootstrap.py"]
environment:
<<: *s3-env
S3_ACCESS_KEY_ID_FILE: /run/secrets/s3_admin_access_key
S3_SECRET_ACCESS_KEY_FILE: /run/secrets/s3_admin_secret_key
secrets: [s3_admin_access_key, s3_admin_secret_key]
networks: [backend]
healthcheck: {disable: true}
restart: "no"
depends_on:
s3: {condition: service_healthy}
deploy:
resources:
limits: {cpus: "0.5", memory: 128M}
api:
<<: *api-image
# Без container_name и без ports: масштабируется `--scale api=N`, доступен только через LB.
expose: ["8080"]
environment:
<<: [*db-env, *s3-env]
APP_HOST: 0.0.0.0
APP_PORT: "8080"
APP_ENV: ${APP_ENV:-lab}
SESSION_TTL_SECONDS: ${SESSION_TTL_SECONDS:-3600}
IDEMPOTENCY_TTL_SECONDS: ${IDEMPOTENCY_TTL_SECONDS:-86400}
DB_POOL_SIZE: ${DB_POOL_SIZE:-10}
DRAIN_SECONDS: ${DRAIN_SECONDS:-3}
SHUTDOWN_TIMEOUT_SECONDS: ${SHUTDOWN_TIMEOUT_SECONDS:-10}
PASSWORD_HASH_CONCURRENCY: ${PASSWORD_HASH_CONCURRENCY:-2}
PASSWORD_HASH_WAIT_SECONDS: ${PASSWORD_HASH_WAIT_SECONDS:-0.5}
DB_HEALTH_INTERVAL_SECONDS: ${DB_HEALTH_INTERVAL_SECONDS:-1}
READY_STALE_SECONDS: ${READY_STALE_SECONDS:-3}
S3_ACCESS_KEY_ID_FILE: /run/secrets/s3_api_access_key
S3_SECRET_ACCESS_KEY_FILE: /run/secrets/s3_api_secret_key
MAX_UPLOAD_BYTES: ${MAX_UPLOAD_BYTES:-10485760}
MAX_IMAGE_PIXELS: ${MAX_IMAGE_PIXELS:-40000000}
UPLOAD_TIMEOUT_SECONDS: ${UPLOAD_TIMEOUT_SECONDS:-60}
UPLOAD_CONCURRENCY: ${UPLOAD_CONCURRENCY:-8}
DECODE_CONCURRENCY: ${DECODE_CONCURRENCY:-2}
S3_PUT_CONCURRENCY: ${S3_PUT_CONCURRENCY:-3}
FAULT_INJECTION: ${FAULT_INJECTION:-0}
secrets: [postgres_password, s3_api_access_key, s3_api_secret_key]
networks: [backend]
restart: unless-stopped
# DRAIN(3) + дообслуживание(<=10) < 20: Docker не убьёт процесс SIGKILL раньше.
stop_grace_period: 20s
depends_on:
db: {condition: service_healthy}
migrate: {condition: service_completed_successfully}
s3-init: {condition: service_completed_successfully}
deploy:
replicas: ${API_REPLICAS:-2}
resources:
limits: {cpus: "0.5", memory: 256M}
# Фоновая сверка БД <-> S3 (src/janitor.py): брошенные pending и объекты без строки
# старше ATTACHMENT_GRACE_SECONDS удаляются; ready без объекта — только в отчёт.
janitor:
<<: *api-image
command: ["python", "/app/src/janitor.py"]
environment:
<<: [*db-env, *s3-env]
S3_ACCESS_KEY_ID_FILE: /run/secrets/s3_janitor_access_key
S3_SECRET_ACCESS_KEY_FILE: /run/secrets/s3_janitor_secret_key
ATTACHMENT_GRACE_SECONDS: ${ATTACHMENT_GRACE_SECONDS:-3600}
JANITOR_INTERVAL_SECONDS: ${JANITOR_INTERVAL_SECONDS:-300}
secrets: [postgres_password, s3_janitor_access_key, s3_janitor_secret_key]
networks: [backend]
# Живость цикла: heartbeat-файл обновляется не реже раза в 30 с.
healthcheck:
test: ["CMD", "python", "-c", "import os,sys,time; sys.exit(0 if time.time() - os.path.getmtime('/tmp/janitor.heartbeat') < 90 else 1)"]
interval: 15s
timeout: 3s
retries: 2
start_period: 20s
restart: unless-stopped
depends_on:
migrate: {condition: service_completed_successfully}
s3-init: {condition: service_completed_successfully}
deploy:
resources:
limits: {cpus: "0.25", memory: 128M}
lb:
image: haproxy:3.0.5-alpine@sha256:43a2591a6a62a41dd22edb4452880e9c70de489fbd7c54ffb52d035cccbfe949
volumes:
- ./infra/haproxy/haproxy.cfg:/usr/local/etc/haproxy/haproxy.cfg:ro
environment:
LOGIN_RATE_LIMIT: ${LOGIN_RATE_LIMIT:-20}
ports:
- "127.0.0.1:${LB_PORT:-8080}:8080" # единственная публичная точка API
- "127.0.0.1:8404:8404" # статистика HAProxy, только localhost
networks: [frontend, backend]
restart: unless-stopped
healthcheck:
test: ["CMD", "haproxy", "-c", "-q", "-f", "/usr/local/etc/haproxy/haproxy.cfg"]
interval: 10s
timeout: 3s
retries: 3
depends_on:
api: {condition: service_started}
deploy:
resources:
limits: {cpus: "0.5", memory: 128M}
# Инструмент проверки приватности bucket и прав ключей ВНЕ API (не часть стенда):
# docker compose --profile tools run --rm s3-check
# Получает ключи api и janitor (чтобы проверить их ограничения), но не admin.
s3-check:
<<: *api-image
profiles: [tools]
command: ["python", "/app/student-tests/s3_private_check.py"]
environment:
<<: *s3-env
volumes:
- ./student-tests:/app/student-tests:ro
secrets: [s3_api_access_key, s3_api_secret_key, s3_janitor_access_key, s3_janitor_secret_key]
networks: [backend]
healthcheck: {disable: true}
restart: "no"
# Каждый секрет подключён только к тем сервисам, которым он нужен.
secrets:
postgres_password:
file: ./secrets/postgres_password
s3_identities.json:
file: ./secrets/s3_identities.json
s3_admin_access_key:
file: ./secrets/s3_admin_access_key
s3_admin_secret_key:
file: ./secrets/s3_admin_secret_key
s3_api_access_key:
file: ./secrets/s3_api_access_key
s3_api_secret_key:
file: ./secrets/s3_api_secret_key
s3_janitor_access_key:
file: ./secrets/s3_janitor_access_key
s3_janitor_secret_key:
file: ./secrets/s3_janitor_secret_key
networks:
frontend: {}
backend:
internal: true # db, s3 и api недоступны извне, кроме как через LB
volumes:
pgdata: {}
s3data: {}