Files
mtusi2026lab4/docker-compose.yml
T
ricoromaandClaude Opus 5.5 f57635a5fb fix: address s3-storage verify findings
- s3 healthcheck and fault hook probe wait for the volume server to
  register with master (first write after restart no longer waits ~5 s)
- s3-bootstrap mounts /data as tmpfs: no anonymous volume per container
- S3 client: NoSuchBucket and AccessDenied are 503 with their own error
  logs, not a missing object or rejected credentials; delete ignores only
  a missing key
- test_isolated verifies prefix removal (weed shell exits 0 on errors)
- s3_check derives ports from listening sockets in the s3 container
- readiness without S3 is also checked with s3 paused

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
2026-10-20 21:23:38 +03:00

358 lines
17 KiB
YAML
Raw Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
# Стенд лабы 4: HAProxy — единственная точка входа, за ним API ×
# API_REPLICAS; PostgreSQL, Valkey (кэш), S3 (SeaweedFS, байты вложений),
# одноразовые миграции и bootstrap S3.
# Правила — .claude/rules/docker.md и balancer.md. Значения — из .env
# (шаблон .env.example); литералы только у адреса публикации 127.0.0.1 и
# у режима docker. Имя проекта меняется в каждой лабе: от него зависят
# имена volumes, и стенд не должен подключаться к данным прошлой лабы.
name: mtusi-lab4
# окружение по сервисам: секреты получают только те, кому они нужны.
# PostgreSQL — api и migrate
x-db-env: &db-env
APP__RUN_MODE: docker
DATABASE__HOST: ${POSTGRES_HOST:-postgres}
DATABASE__PORT: ${POSTGRES_PORT:-5432}
DATABASE__USER: ${POSTGRES_USER:?POSTGRES_USER is not set, run make env_setup}
DATABASE__PASSWORD: ${POSTGRES_PASSWORD:?POSTGRES_PASSWORD is empty, run make env_setup}
DATABASE__NAME: ${POSTGRES_DB:?POSTGRES_DB is not set, run make env_setup}
# Valkey — только api
x-cache-env: &cache-env
CACHE__HOST: ${VALKEY_HOST:-valkey}
CACHE__PORT: ${VALKEY_PORT:-6379}
CACHE__PASSWORD: ${VALKEY_PASSWORD:?VALKEY_PASSWORD is empty, copy Valkey lines from .env.example}
# S3 — только api: адрес в сети, bucket и ключи пользователя API (не
# административные). Секреты S3 по сервисам (design change s3-storage,
# решение 3): административная пара — только s3, ключ подписи — s3 и
# s3-bootstrap, ключи API — s3-bootstrap и api
x-s3-env: &s3-env
S3__HOST: ${S3_HOST:-s3}
S3__PORT: ${S3_PORT:-8333}
S3__BUCKET: ${S3__BUCKET:-messenger}
S3__ACCESS_KEY_ID: ${S3_API_ACCESS_KEY:?S3_API_ACCESS_KEY is empty, copy S3 lines from .env.example}
S3__SECRET_ACCESS_KEY: ${S3_API_SECRET_KEY:?S3_API_SECRET_KEY is empty, copy S3 lines from .env.example}
# образ сервера S3 и bootstrap: тег с версией и digest индекса (amd64 и
# arm64)
x-s3-image: &s3-image chrislusf/seaweedfs:4.48@sha256:4e61d15fd35994cb1e43e1e553dff106794841fd9a99ade2fc8c8bfce4d7872d
# config.toml только на чтение, длинной записью: без файла запуск падает,
# а не создаёт на хосте каталог config.toml/
x-config-toml: &config-toml
type: bind
source: ./config.toml
target: /app/config.toml
read_only: true
bind:
create_host_path: false
services:
postgres:
image: postgres:18.6-trixie@sha256:5a5a84b19854a9ffaa54082c166ff4ec27473a361e496e5ea167f298f2da9722
restart: unless-stopped
environment:
POSTGRES_USER: ${POSTGRES_USER:?POSTGRES_USER is not set, run make env_setup}
POSTGRES_PASSWORD: ${POSTGRES_PASSWORD:?POSTGRES_PASSWORD is empty, run make env_setup}
POSTGRES_DB: ${POSTGRES_DB:?POSTGRES_DB is not set, run make env_setup}
# порт самого сервера; его же берут pg_isready и psql в контейнере
PGPORT: ${POSTGRES_PORT:-5432}
ports:
# только localhost: к нему подключается приложение в console
- "127.0.0.1:${POSTGRES_OUT_PORT:-5433}:${POSTGRES_PORT:-5432}"
volumes:
# с 18.x данные в /var/lib/postgresql/18/docker, volume образа —
# весь /var/lib/postgresql (Config.Volumes)
- postgres_data:/var/lib/postgresql
networks:
default:
# любое значение POSTGRES_HOST указывает на этот сервис
aliases:
- ${POSTGRES_HOST:-postgres}
healthcheck:
# по TCP, а не через сокет: при инициализации образ поднимает
# временный сервер только на сокете, и проверка через сокет
# сказала бы «готов» раньше времени. $$ — переменная контейнера
test: ["CMD-SHELL", "pg_isready -h 127.0.0.1 -U \"$$POSTGRES_USER\" -d \"$$POSTGRES_DB\""]
interval: 5s
timeout: 3s
retries: 10
start_period: 30s
start_interval: 1s
deploy:
resources:
limits:
# соединения реплик: API_REPLICAS × pool_size (переполнения нет,
# max_overflow 0) + migrate ≤ max_connections (100): 2 × 10 + 1,
# при поочерёдной замене 3 × 10 + 1; расчёт — REPORT.md
cpus: "2.0"
memory: 1G
# кэш карточек чатов: без volume, persistence выключен в valkey.conf —
# после рестарта кэш пуст, данные остаются в PostgreSQL
valkey:
image: valkey/valkey:9.1.2-trixie@sha256:418652cfb58ef879d4978c33553735d7147016032d5aefaa14c828e611eb9dfd
restart: unless-stopped
# $$ — переменные контейнера: пароль не попадает в command литералом.
# Через docker-entrypoint.sh образа: он запускает сервер не от root
command:
- sh
- -c
- exec docker-entrypoint.sh valkey-server /usr/local/etc/valkey/valkey.conf --port "$$VALKEY_PORT" --requirepass "$$VALKEY_PASSWORD"
environment:
VALKEY_PORT: ${VALKEY_PORT:-6379}
VALKEY_PASSWORD: ${VALKEY_PASSWORD:?VALKEY_PASSWORD is empty, copy Valkey lines from .env.example}
# пароль для valkey-cli в контейнере (healthcheck), без -a в команде
VALKEYCLI_AUTH: ${VALKEY_PASSWORD:?VALKEY_PASSWORD is empty, copy Valkey lines from .env.example}
ports:
# только localhost: к нему подключается приложение в console
- "127.0.0.1:${VALKEY_OUT_PORT:-6380}:${VALKEY_PORT:-6379}"
volumes:
- type: bind
source: ./infra/valkey/valkey.conf
target: /usr/local/etc/valkey/valkey.conf
read_only: true
bind:
create_host_path: false
networks:
default:
# любое значение VALKEY_HOST указывает на этот сервис
aliases:
- ${VALKEY_HOST:-valkey}
healthcheck:
# PONG только после AUTH: проверяет и запуск, и пароль
test: ["CMD-SHELL", 'test "$$(valkey-cli -p "$$VALKEY_PORT" ping)" = PONG']
interval: 5s
timeout: 3s
retries: 10
start_period: 10s
start_interval: 1s
deploy:
resources:
limits:
# maxmemory 64mb в valkey.conf плюс накладные
cpus: "0.5"
memory: 128M
# S3 — байты вложений (design change s3-storage, решения 1–2): master,
# volume, filer и шлюз S3 одним процессом weed server. Служебные серверы
# слушают только 127.0.0.1 контейнера, в сеть выходят порт API S3
# (S3_PORT) и gRPC шлюза (S3_PORT + 10000), закрытый ключом подписи.
# Entrypoint образа сам переходит на пользователя seaweed и добавляет
# -dir=/data -volume.max=0 -master.volumeSizeLimitMB=1024
s3:
image: *s3-image
restart: unless-stopped
command:
- server
# master, volume и filer — только loopback контейнера
- -ip=127.0.0.1
- -ip.bind=127.0.0.1
# по умолчанию master шлёт статистику на telemetry.seaweedfs.com
- -master.telemetry=false
# узел один, выборам ждать некого: перезапуск до healthy ~7 с, а не ~24
- -master.electionTimeout=1s
# пауза перед остановкой тома нужна кластеру, а не одному узлу
- -volume.preStopSeconds=0
- -filer
- -s3
- -s3.ip.bind=0.0.0.0
- -s3.port=${S3_PORT:-8333}
# REST Catalog и Lance по умолчанию открыты на 8181 и 9101
- -s3.port.iceberg=0
- -s3.port.lance=0
# встроенный IAM API на порту S3 не нужен: bootstrap — weed shell
- -s3.iam=false
# шлюз держит не больше 64 МБ загрузок одновременно, лишние ждут
- -s3.concurrentUploadLimitMB=64
environment:
# административная пара: учётная запись есть с первого старта, и
# анонимного окна нет. Только у сервера: ни API, ни bootstrap её не
# получают
AWS_ACCESS_KEY_ID: ${S3_ROOT_ACCESS_KEY:?S3_ROOT_ACCESS_KEY is empty, copy S3 lines from .env.example}
AWS_SECRET_ACCESS_KEY: ${S3_ROOT_SECRET_KEY:?S3_ROOT_SECRET_KEY is empty, copy S3 lines from .env.example}
# без ключа подписи gRPC шлюза принимает учётную запись
# администратора от любого контейнера сети
WEED_JWT_FILER_SIGNING_KEY: ${S3_JWT_SIGNING_KEY:?S3_JWT_SIGNING_KEY is empty, copy S3 lines from .env.example}
# сборщик мусора Go чаще у предела: вместе с лимитом загрузок 20
# одновременных PUT по 10 MiB укладываются в 512 МБ
GOMEMLIMIT: 400MiB
# порт API S3 для healthcheck
S3_PORT: ${S3_PORT:-8333}
ports:
# только localhost и только API S3: к нему подключается приложение в
# console; консоль, UI и служебные серверы не публикуются
- "127.0.0.1:${S3_OUT_PORT:-8334}:${S3_PORT:-8333}"
volumes:
# volume образа (Config.Volumes): тома, filer и IAM
- s3_data:/data
networks:
default:
# любое значение S3_HOST указывает на этот сервис
aliases:
- ${S3_HOST:-s3}
healthcheck:
# master выбран, том зарегистрирован у master (непустой DataNodes в
# /dir/status), filer и шлюз S3 отвечают; всё на loopback. Без
# проверки тома healthy наступал на ~4 с раньше регистрации, и первая
# запись ждала её до ~4,8 с при сроке вызова 5 с. $$ — переменная
# контейнера
test: ["CMD-SHELL", "wget -q -O /dev/null http://127.0.0.1:9333/cluster/healthz && wget -q -O - http://127.0.0.1:9333/dir/status | grep -qF '\"DataNodes\":[{' && wget -q -O /dev/null http://127.0.0.1:8888/healthz && wget -q -O /dev/null \"http://127.0.0.1:$$S3_PORT/healthz\""]
interval: 5s
timeout: 3s
retries: 10
start_period: 30s
start_interval: 1s
# плавная остановка ~15 с: срок ожидания подписок filer зашит в код.
# При 10 с остановка кончалась бы SIGKILL (код 137)
stop_grace_period: 20s
deploy:
resources:
limits:
# память — GOMEMLIMIT и лимит загрузок выше
cpus: "1.0"
memory: 512M
# bootstrap S3 — один раз до реплик, как миграции (решение 4): приватный
# bucket, пользователь API с политикой «только объекты своего bucket»,
# проверки приватности вне API. Повтор сводит состояние к .env и ничего
# не ломает. В сетевом пространстве s3: master и filer сервера на
# 127.0.0.1 доступны ему, а в сети их нет. make s3_check запускает его
# же в режиме check
s3-bootstrap:
image: *s3-image
network_mode: service:s3
user: seaweed
entrypoint: ["sh", "/opt/s3/bootstrap.sh"]
command: ["apply"]
restart: "no"
environment:
S3_BUCKET: ${S3__BUCKET:-messenger}
S3_PORT: ${S3_PORT:-8333}
# ключ подписи: им weed shell подписывает вызовы IAM filer
WEED_JWT_FILER_SIGNING_KEY: ${S3_JWT_SIGNING_KEY:?S3_JWT_SIGNING_KEY is empty, copy S3 lines from .env.example}
S3_API_ACCESS_KEY: ${S3_API_ACCESS_KEY:?S3_API_ACCESS_KEY is empty, copy S3 lines from .env.example}
S3_API_SECRET_KEY: ${S3_API_SECRET_KEY:?S3_API_SECRET_KEY is empty, copy S3 lines from .env.example}
HOME: /tmp
volumes:
- type: bind
source: ./infra/s3/bootstrap.sh
target: /opt/s3/bootstrap.sh
read_only: true
bind:
create_host_path: false
# файл ключа для curl и политика — только в памяти. /data — volume
# образа (Config.Volumes): без tmpfs каждый новый контейнер bootstrap
# оставлял бы анонимный volume
tmpfs:
- /tmp
- /data
depends_on:
s3:
condition: service_healthy
deploy:
resources:
limits:
# пик по пробе — 35 MiB, 0,76 с CPU
cpus: "0.5"
memory: 128M
# миграции — один раз до реплик, сами реплики их не запускают
migrate:
# образ собирает сервис api (make run_docker, make test_isolated)
image: mtusi-messenger:lab4
pull_policy: never
command: ["alembic", "upgrade", "head"]
restart: "no"
# только PostgreSQL: пароль Valkey миграциям не нужен
environment: *db-env
volumes:
- *config-toml
depends_on:
postgres:
condition: service_healthy
deploy:
resources:
limits:
cpus: "0.5"
memory: 256M
# реплики API: порты не публикуются, фиксированного имени контейнера
# нет (мешало бы масштабированию) — запросы идут только через haproxy; X-Instance-Id — hostname, то есть
# короткий ID контейнера. Разовая подмена числа — make replicas
# API_REPLICAS=N
api:
build: .
image: mtusi-messenger:lab4
restart: unless-stopped
environment:
<<: [*db-env, *cache-env, *s3-env]
APP__PORT: ${APP__PORT:-8080}
volumes:
- *config-toml
depends_on:
postgres:
condition: service_healthy
# без кэша API работает, но в штатном стенде он есть с первого запроса
valkey:
condition: service_healthy
migrate:
condition: service_completed_successfully
# bucket и пользователь API есть до первого запроса
s3-bootstrap:
condition: service_completed_successfully
# healthcheck — из образа; SIGKILL не раньше, чем через 10 с
stop_grace_period: 10s
deploy:
replicas: ${API_REPLICAS:-2}
resources:
limits:
# один event loop занимает не больше 1 CPU. Argon2id (p=4, до
# kdf_concurrency хэшей сразу) взял бы больше: под лимитом вход
# медленнее в 4–5 раз, осознанно (REPORT.md, «Ограничения»).
# Память: Argon2id 4 × 64 MiB + интерпретатор ≈ 350 МБ
cpus: "1.0"
memory: 512M
# единственная точка входа: реплики находит через DNS Docker, проверяет
# /health/ready; конфиг — infra/haproxy/haproxy.cfg. Секретов не получает
haproxy:
image: haproxy:3.4.6-trixie@sha256:e273915691a8eab3f105bf3e39fd4c29a4ecf334e33421903b5589d25e14db26
restart: unless-stopped
environment:
# порт реплик и самого LB внутри сети: тот же APP__PORT
API_PORT: ${APP__PORT:-8080}
ports:
# только localhost: стенд учебный; API на хосте доступно только так
- "127.0.0.1:${APP_OUT_PORT:-8080}:${APP__PORT:-8080}"
volumes:
- type: bind
source: ./infra/haproxy/haproxy.cfg
target: /usr/local/etc/haproxy/haproxy.cfg
read_only: true
bind:
create_host_path: false
# make stop гасит LB раньше реплик, make run_docker поднимает после них
depends_on:
- api
healthcheck:
# healthy — через LB можно обслужить запрос: /lb/ready отвечает 200,
# пока есть хотя бы одна готовая реплика. curl в образе нет, bash есть
test: ["CMD", "bash", "-c", "exec 3<>/dev/tcp/127.0.0.1/8404 && printf 'GET /lb/ready HTTP/1.0\\r\\n\\r\\n' >&3 && head -n 1 <&3 | grep -q ' 200 '"]
interval: 5s
timeout: 3s
retries: 3
start_period: 10s
start_interval: 1s
deploy:
resources:
limits:
# nbthread 1 в haproxy.cfg
cpus: "1.0"
memory: 256M
volumes:
postgres_data:
s3_data: