Upload answers 202 after staging, a queued job in PostgreSQL and a broker confirm; a separate worker publishes the original and a thumbnail with bounded retries. Adds the job and variant tables, the broker service, the worker S3 user, cleanup and reconcile support for staging and variants, the failure stand with broker and worker, bench and driver updates. Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
523 lines
26 KiB
YAML
523 lines
26 KiB
YAML
# Стенд лабы 5: HAProxy — единственная точка входа, за ним API ×
|
||
# API_REPLICAS; PostgreSQL, Valkey (кэш), S3 (SeaweedFS, байты вложений),
|
||
# RabbitMQ (задания обработки), одноразовые миграции и bootstrap S3, уборщик
|
||
# незавершённых загрузок, worker обработки вложений.
|
||
# Правила — .claude/rules/docker.md и balancer.md. Значения — из .env
|
||
# (шаблон .env.example); литералы только у адреса публикации 127.0.0.1 и
|
||
# у режима docker. Имя проекта меняется в каждой лабе: от него зависят
|
||
# имена volumes, и стенд не должен подключаться к данным прошлой лабы.
|
||
name: mtusi-lab5
|
||
|
||
# окружение по сервисам: секреты получают только те, кому они нужны.
|
||
# PostgreSQL — api, cleaner, worker и migrate
|
||
x-db-env: &db-env
|
||
APP__RUN_MODE: docker
|
||
DATABASE__HOST: ${POSTGRES_HOST:-postgres}
|
||
DATABASE__PORT: ${POSTGRES_PORT:-5432}
|
||
DATABASE__USER: ${POSTGRES_USER:?POSTGRES_USER is not set, run make env_setup}
|
||
DATABASE__PASSWORD: ${POSTGRES_PASSWORD:?POSTGRES_PASSWORD is empty, run make env_setup}
|
||
DATABASE__NAME: ${POSTGRES_DB:?POSTGRES_DB is not set, run make env_setup}
|
||
|
||
# Valkey — только api
|
||
x-cache-env: &cache-env
|
||
CACHE__HOST: ${VALKEY_HOST:-valkey}
|
||
CACHE__PORT: ${VALKEY_PORT:-6379}
|
||
CACHE__PASSWORD: ${VALKEY_PASSWORD:?VALKEY_PASSWORD is empty, copy Valkey lines from .env.example}
|
||
|
||
# S3 — api, cleaner и worker: адрес в сети и bucket; ключи — у каждого своего
|
||
# пользователя (не административные). Секреты S3 по сервисам (design
|
||
# change s3-storage, решение 3; upload-consistency, решение 9):
|
||
# административная пара — только s3, ключ подписи — s3 и s3-bootstrap,
|
||
# ключи API — s3-bootstrap и api, ключи уборщика — s3-bootstrap и cleaner,
|
||
# ключи worker — s3-bootstrap и worker
|
||
x-s3-env: &s3-env
|
||
S3__HOST: ${S3_HOST:-s3}
|
||
S3__PORT: ${S3_PORT:-8333}
|
||
S3__BUCKET: ${S3__BUCKET:-messenger}
|
||
|
||
# ключи пользователя API в S3 — только api
|
||
x-s3-api-keys-env: &s3-api-keys-env
|
||
S3__ACCESS_KEY_ID: ${S3_API_ACCESS_KEY:?S3_API_ACCESS_KEY is empty, copy S3 lines from .env.example}
|
||
S3__SECRET_ACCESS_KEY: ${S3_API_SECRET_KEY:?S3_API_SECRET_KEY is empty, copy S3 lines from .env.example}
|
||
|
||
# RabbitMQ — api и worker: адрес в сети и учётные данные; один пользователь
|
||
# на оба сервиса, разделение прав — лаба 7 (design change async-attachments,
|
||
# решение 4)
|
||
x-broker-env: &broker-env
|
||
BROKER__HOST: ${RABBITMQ_HOST:-rabbitmq}
|
||
BROKER__PORT: ${RABBITMQ_PORT:-5672}
|
||
BROKER__USER: ${RABBITMQ_DEFAULT_USER:?RABBITMQ_DEFAULT_USER is not set, run make env_setup}
|
||
BROKER__PASSWORD: ${RABBITMQ_DEFAULT_PASS:?RABBITMQ_DEFAULT_PASS is empty, run make env_setup}
|
||
|
||
# образ сервера S3 и bootstrap: тег с версией и digest индекса (amd64 и
|
||
# arm64)
|
||
x-s3-image: &s3-image chrislusf/seaweedfs:4.48@sha256:4e61d15fd35994cb1e43e1e553dff106794841fd9a99ade2fc8c8bfce4d7872d
|
||
|
||
# config.toml только на чтение, длинной записью: без файла запуск падает,
|
||
# а не создаёт на хосте каталог config.toml/
|
||
x-config-toml: &config-toml
|
||
type: bind
|
||
source: ./config.toml
|
||
target: /app/config.toml
|
||
read_only: true
|
||
bind:
|
||
create_host_path: false
|
||
|
||
services:
|
||
postgres:
|
||
image: postgres:18.6-trixie@sha256:5a5a84b19854a9ffaa54082c166ff4ec27473a361e496e5ea167f298f2da9722
|
||
restart: unless-stopped
|
||
environment:
|
||
POSTGRES_USER: ${POSTGRES_USER:?POSTGRES_USER is not set, run make env_setup}
|
||
POSTGRES_PASSWORD: ${POSTGRES_PASSWORD:?POSTGRES_PASSWORD is empty, run make env_setup}
|
||
POSTGRES_DB: ${POSTGRES_DB:?POSTGRES_DB is not set, run make env_setup}
|
||
# порт самого сервера; его же берут pg_isready и psql в контейнере
|
||
PGPORT: ${POSTGRES_PORT:-5432}
|
||
ports:
|
||
# только localhost: к нему подключается приложение в console
|
||
- "127.0.0.1:${POSTGRES_OUT_PORT:-5433}:${POSTGRES_PORT:-5432}"
|
||
volumes:
|
||
# с 18.x данные в /var/lib/postgresql/18/docker, volume образа —
|
||
# весь /var/lib/postgresql (Config.Volumes)
|
||
- postgres_data:/var/lib/postgresql
|
||
networks:
|
||
default:
|
||
# любое значение POSTGRES_HOST указывает на этот сервис
|
||
aliases:
|
||
- ${POSTGRES_HOST:-postgres}
|
||
healthcheck:
|
||
# по TCP, а не через сокет: при инициализации образ поднимает
|
||
# временный сервер только на сокете, и проверка через сокет
|
||
# сказала бы «готов» раньше времени. $$ — переменная контейнера
|
||
test: ["CMD-SHELL", "pg_isready -h 127.0.0.1 -U \"$$POSTGRES_USER\" -d \"$$POSTGRES_DB\""]
|
||
interval: 5s
|
||
timeout: 3s
|
||
retries: 10
|
||
start_period: 30s
|
||
start_interval: 1s
|
||
deploy:
|
||
resources:
|
||
limits:
|
||
# соединения реплик: API_REPLICAS × pool_size (переполнения нет,
|
||
# max_overflow 0) + migrate + cleaner (пул 1) + worker (пул 2) ≤
|
||
# max_connections (100): 2 × 10 + 1 + 1 + 2, при поочерёдной замене
|
||
# 3 × 10 + 1 + 1 + 2; расчёт — REPORT.md
|
||
cpus: "2.0"
|
||
memory: 1G
|
||
|
||
# кэш карточек чатов: без volume, persistence выключен в valkey.conf —
|
||
# после рестарта кэш пуст, данные остаются в PostgreSQL
|
||
valkey:
|
||
image: valkey/valkey:9.1.2-trixie@sha256:418652cfb58ef879d4978c33553735d7147016032d5aefaa14c828e611eb9dfd
|
||
restart: unless-stopped
|
||
# $$ — переменные контейнера: пароль не попадает в command литералом.
|
||
# Через docker-entrypoint.sh образа: он запускает сервер не от root
|
||
command:
|
||
- sh
|
||
- -c
|
||
- exec docker-entrypoint.sh valkey-server /usr/local/etc/valkey/valkey.conf --port "$$VALKEY_PORT" --requirepass "$$VALKEY_PASSWORD"
|
||
environment:
|
||
VALKEY_PORT: ${VALKEY_PORT:-6379}
|
||
VALKEY_PASSWORD: ${VALKEY_PASSWORD:?VALKEY_PASSWORD is empty, copy Valkey lines from .env.example}
|
||
# пароль для valkey-cli в контейнере (healthcheck), без -a в команде
|
||
VALKEYCLI_AUTH: ${VALKEY_PASSWORD:?VALKEY_PASSWORD is empty, copy Valkey lines from .env.example}
|
||
ports:
|
||
# только localhost: к нему подключается приложение в console
|
||
- "127.0.0.1:${VALKEY_OUT_PORT:-6380}:${VALKEY_PORT:-6379}"
|
||
volumes:
|
||
- type: bind
|
||
source: ./infra/valkey/valkey.conf
|
||
target: /usr/local/etc/valkey/valkey.conf
|
||
read_only: true
|
||
bind:
|
||
create_host_path: false
|
||
networks:
|
||
default:
|
||
# любое значение VALKEY_HOST указывает на этот сервис
|
||
aliases:
|
||
- ${VALKEY_HOST:-valkey}
|
||
healthcheck:
|
||
# PONG только после AUTH: проверяет и запуск, и пароль
|
||
test: ["CMD-SHELL", 'test "$$(valkey-cli -p "$$VALKEY_PORT" ping)" = PONG']
|
||
interval: 5s
|
||
timeout: 3s
|
||
retries: 10
|
||
start_period: 10s
|
||
start_interval: 1s
|
||
deploy:
|
||
resources:
|
||
limits:
|
||
# maxmemory 64mb в valkey.conf плюс накладные
|
||
cpus: "0.5"
|
||
memory: 128M
|
||
|
||
# S3 — байты вложений (design change s3-storage, решения 1–2): master,
|
||
# volume, filer и шлюз S3 одним процессом weed server. Служебные серверы
|
||
# слушают только 127.0.0.1 контейнера, в сеть выходят порт API S3
|
||
# (S3_PORT) и gRPC шлюза (S3_PORT + 10000), закрытый ключом подписи.
|
||
# Entrypoint образа сам переходит на пользователя seaweed и добавляет
|
||
# -dir=/data -volume.max=0 -master.volumeSizeLimitMB=1024
|
||
s3:
|
||
image: *s3-image
|
||
restart: unless-stopped
|
||
command:
|
||
- server
|
||
# master, volume и filer — только loopback контейнера
|
||
- -ip=127.0.0.1
|
||
- -ip.bind=127.0.0.1
|
||
# по умолчанию master шлёт статистику на telemetry.seaweedfs.com
|
||
- -master.telemetry=false
|
||
# узел один, выборам ждать некого: перезапуск до healthy ~7 с, а не ~24
|
||
- -master.electionTimeout=1s
|
||
# пауза перед остановкой тома нужна кластеру, а не одному узлу
|
||
- -volume.preStopSeconds=0
|
||
- -filer
|
||
- -s3
|
||
- -s3.ip.bind=0.0.0.0
|
||
- -s3.port=${S3_PORT:-8333}
|
||
# REST Catalog и Lance по умолчанию открыты на 8181 и 9101
|
||
- -s3.port.iceberg=0
|
||
- -s3.port.lance=0
|
||
# встроенный IAM API на порту S3 не нужен: bootstrap — weed shell
|
||
- -s3.iam=false
|
||
# шлюз держит не больше 64 МБ загрузок одновременно, лишние ждут
|
||
- -s3.concurrentUploadLimitMB=64
|
||
environment:
|
||
# административная пара: учётная запись есть с первого старта, и
|
||
# анонимного окна нет. Только у сервера: ни API, ни bootstrap её не
|
||
# получают
|
||
AWS_ACCESS_KEY_ID: ${S3_ROOT_ACCESS_KEY:?S3_ROOT_ACCESS_KEY is empty, copy S3 lines from .env.example}
|
||
AWS_SECRET_ACCESS_KEY: ${S3_ROOT_SECRET_KEY:?S3_ROOT_SECRET_KEY is empty, copy S3 lines from .env.example}
|
||
# без ключа подписи gRPC шлюза принимает учётную запись
|
||
# администратора от любого контейнера сети
|
||
WEED_JWT_FILER_SIGNING_KEY: ${S3_JWT_SIGNING_KEY:?S3_JWT_SIGNING_KEY is empty, copy S3 lines from .env.example}
|
||
# сборщик мусора Go чаще у предела: вместе с лимитом загрузок 20
|
||
# одновременных PUT по 10 MiB укладываются в 512 МБ
|
||
GOMEMLIMIT: 400MiB
|
||
# порт API S3 для healthcheck
|
||
S3_PORT: ${S3_PORT:-8333}
|
||
ports:
|
||
# только localhost и только API S3: к нему подключается приложение в
|
||
# console; консоль, UI и служебные серверы не публикуются
|
||
- "127.0.0.1:${S3_OUT_PORT:-8334}:${S3_PORT:-8333}"
|
||
volumes:
|
||
# volume образа (Config.Volumes): тома, filer и IAM
|
||
- s3_data:/data
|
||
networks:
|
||
default:
|
||
# любое значение S3_HOST указывает на этот сервис
|
||
aliases:
|
||
- ${S3_HOST:-s3}
|
||
healthcheck:
|
||
# master выбран, том зарегистрирован у master (непустой DataNodes в
|
||
# /dir/status), filer и шлюз S3 отвечают; всё на loopback. Без
|
||
# проверки тома healthy наступал на ~4 с раньше регистрации, и первая
|
||
# запись ждала её до ~4,8 с при сроке вызова 5 с. $$ — переменная
|
||
# контейнера
|
||
test: ["CMD-SHELL", "wget -q -O /dev/null http://127.0.0.1:9333/cluster/healthz && wget -q -O - http://127.0.0.1:9333/dir/status | grep -qF '\"DataNodes\":[{' && wget -q -O /dev/null http://127.0.0.1:8888/healthz && wget -q -O /dev/null \"http://127.0.0.1:$$S3_PORT/healthz\""]
|
||
interval: 5s
|
||
timeout: 3s
|
||
retries: 10
|
||
start_period: 30s
|
||
start_interval: 1s
|
||
# плавная остановка ~15 с: срок ожидания подписок filer зашит в код.
|
||
# При 10 с остановка кончалась бы SIGKILL (код 137)
|
||
stop_grace_period: 20s
|
||
deploy:
|
||
resources:
|
||
limits:
|
||
# память — GOMEMLIMIT и лимит загрузок выше
|
||
cpus: "1.0"
|
||
memory: 512M
|
||
|
||
# брокер заданий обработки вложений (design change async-attachments,
|
||
# решение 4). hostname постоянный: имя узла задаёт каталог данных, и
|
||
# пересозданный контейнер иначе не нашёл бы свои данные в том же volume.
|
||
# Учётная запись приложения создаётся при первом старте на пустом volume.
|
||
# Наружу — только AMQP на loopback, для запуска в консоли
|
||
rabbitmq:
|
||
image: rabbitmq:4.3.7@sha256:bd88985187aa73cd598fa0d8b31d49b2f814a6d9e58f6d5a89bae588669d946a
|
||
hostname: rabbitmq
|
||
restart: unless-stopped
|
||
environment:
|
||
RABBITMQ_DEFAULT_USER: ${RABBITMQ_DEFAULT_USER:?RABBITMQ_DEFAULT_USER is not set, run make env_setup}
|
||
RABBITMQ_DEFAULT_PASS: ${RABBITMQ_DEFAULT_PASS:?RABBITMQ_DEFAULT_PASS is empty, run make env_setup}
|
||
RABBITMQ_NODE_PORT: ${RABBITMQ_PORT:-5672}
|
||
ports:
|
||
- "127.0.0.1:${RABBITMQ_OUT_PORT:-5673}:${RABBITMQ_PORT:-5672}"
|
||
volumes:
|
||
# volume образа (Config.Volumes): очереди и сообщения
|
||
- rabbitmq_data:/var/lib/rabbitmq
|
||
- type: bind
|
||
source: ./infra/rabbitmq/rabbitmq.conf
|
||
target: /etc/rabbitmq/conf.d/90-messenger.conf
|
||
read_only: true
|
||
bind:
|
||
create_host_path: false
|
||
networks:
|
||
default:
|
||
# любое значение RABBITMQ_HOST указывает на этот сервис
|
||
aliases:
|
||
- ${RABBITMQ_HOST:-rabbitmq}
|
||
healthcheck:
|
||
test: ["CMD-SHELL", "rabbitmq-diagnostics -q check_port_connectivity"]
|
||
interval: 10s
|
||
timeout: 5s
|
||
retries: 10
|
||
start_period: 30s
|
||
start_interval: 1s
|
||
# брокер завершается сам за ~2 с; 20 с — запас на большую очередь
|
||
stop_grace_period: 20s
|
||
deploy:
|
||
resources:
|
||
limits:
|
||
# предел памяти брокера — 400 МиБ в infra/rabbitmq/rabbitmq.conf
|
||
cpus: "1.0"
|
||
memory: 512M
|
||
|
||
# bootstrap S3 — один раз до реплик, как миграции (решение 4): приватный
|
||
# bucket, пользователь API с политикой «только объекты своего bucket»,
|
||
# пользователь уборщика — «чтение и удаление объектов своего bucket»,
|
||
# проверки приватности вне API. Повтор сводит состояние к .env и ничего
|
||
# не ломает. В сетевом пространстве s3: master и filer сервера на
|
||
# 127.0.0.1 доступны ему, а в сети их нет. make s3_check запускает его
|
||
# же в режиме check
|
||
s3-bootstrap:
|
||
image: *s3-image
|
||
network_mode: service:s3
|
||
user: seaweed
|
||
entrypoint: ["sh", "/opt/s3/bootstrap.sh"]
|
||
command: ["apply"]
|
||
restart: "no"
|
||
environment:
|
||
S3_BUCKET: ${S3__BUCKET:-messenger}
|
||
S3_PORT: ${S3_PORT:-8333}
|
||
# ключ подписи: им weed shell подписывает вызовы IAM filer
|
||
WEED_JWT_FILER_SIGNING_KEY: ${S3_JWT_SIGNING_KEY:?S3_JWT_SIGNING_KEY is empty, copy S3 lines from .env.example}
|
||
S3_API_ACCESS_KEY: ${S3_API_ACCESS_KEY:?S3_API_ACCESS_KEY is empty, copy S3 lines from .env.example}
|
||
S3_API_SECRET_KEY: ${S3_API_SECRET_KEY:?S3_API_SECRET_KEY is empty, copy S3 lines from .env.example}
|
||
S3_CLEANER_ACCESS_KEY: ${S3_CLEANER_ACCESS_KEY:?S3_CLEANER_ACCESS_KEY is empty, run make env_setup}
|
||
S3_CLEANER_SECRET_KEY: ${S3_CLEANER_SECRET_KEY:?S3_CLEANER_SECRET_KEY is empty, run make env_setup}
|
||
S3_WORKER_ACCESS_KEY: ${S3_WORKER_ACCESS_KEY:?S3_WORKER_ACCESS_KEY is empty, run make env_setup}
|
||
S3_WORKER_SECRET_KEY: ${S3_WORKER_SECRET_KEY:?S3_WORKER_SECRET_KEY is empty, run make env_setup}
|
||
# список объектов уборщику — только по префиксу вложений своей базы
|
||
# (сверка bucket и БД, design change track2-reconciler, решение 2);
|
||
# не секрет, уборщик строит префикс сам из имени базы
|
||
S3_CLEANER_LIST_PREFIX: ${POSTGRES_DB:?POSTGRES_DB is not set, run make env_setup}/attachments/
|
||
HOME: /tmp
|
||
volumes:
|
||
- type: bind
|
||
source: ./infra/s3/bootstrap.sh
|
||
target: /opt/s3/bootstrap.sh
|
||
read_only: true
|
||
bind:
|
||
create_host_path: false
|
||
# файл ключа для curl и политика — только в памяти. /data — volume
|
||
# образа (Config.Volumes): без tmpfs каждый новый контейнер bootstrap
|
||
# оставлял бы анонимный volume
|
||
tmpfs:
|
||
- /tmp
|
||
- /data
|
||
depends_on:
|
||
s3:
|
||
condition: service_healthy
|
||
deploy:
|
||
resources:
|
||
limits:
|
||
# пик по пробе — 35 MiB, 0,76 с CPU
|
||
cpus: "0.5"
|
||
memory: 128M
|
||
|
||
# миграции — один раз до реплик, сами реплики их не запускают
|
||
migrate:
|
||
# образ собирает сервис api (make run_docker, make test_isolated)
|
||
image: mtusi-messenger:lab5
|
||
pull_policy: never
|
||
command: ["alembic", "upgrade", "head"]
|
||
restart: "no"
|
||
# только PostgreSQL: пароль Valkey миграциям не нужен
|
||
environment: *db-env
|
||
volumes:
|
||
- *config-toml
|
||
depends_on:
|
||
postgres:
|
||
condition: service_healthy
|
||
deploy:
|
||
resources:
|
||
limits:
|
||
cpus: "0.5"
|
||
memory: 256M
|
||
|
||
# реплики API: порты не публикуются, фиксированного имени контейнера
|
||
# нет (мешало бы масштабированию) — запросы идут только через haproxy; X-Instance-Id — hostname, то есть
|
||
# короткий ID контейнера. Разовая подмена числа — make replicas
|
||
# API_REPLICAS=N
|
||
api:
|
||
build: .
|
||
image: mtusi-messenger:lab5
|
||
restart: unless-stopped
|
||
environment:
|
||
<<: [*db-env, *cache-env, *s3-env, *s3-api-keys-env, *broker-env]
|
||
APP__PORT: ${APP__PORT:-8080}
|
||
volumes:
|
||
- *config-toml
|
||
depends_on:
|
||
postgres:
|
||
condition: service_healthy
|
||
# без кэша API работает, но в штатном стенде он есть с первого запроса
|
||
valkey:
|
||
condition: service_healthy
|
||
# без брокера API стартует и отвечает 503 на загрузке, но в штатном
|
||
# стенде он есть с первого запроса
|
||
rabbitmq:
|
||
condition: service_healthy
|
||
migrate:
|
||
condition: service_completed_successfully
|
||
# bucket и пользователь API есть до первого запроса
|
||
s3-bootstrap:
|
||
condition: service_completed_successfully
|
||
# healthcheck — из образа; SIGKILL не раньше, чем через 10 с
|
||
stop_grace_period: 10s
|
||
# буфер приёма сокетов реплики — до 512 KiB, а не до 32 MiB ВМ Docker:
|
||
# ядро копит недочитанное тело (ожидание места загрузки, отказ до тела)
|
||
# в буфере сокета, и он считается памятью контейнера. Параметр сетевого
|
||
# пространства контейнера — его получают все контейнеры сервиса, в том
|
||
# числе bench/, make test_isolated и стенд отказов (design change
|
||
# upload-memory, решение 6). В консоли (make run_dev) его нет
|
||
sysctls:
|
||
net.ipv4.tcp_rmem: "4096 131072 524288"
|
||
deploy:
|
||
replicas: ${API_REPLICAS:-2}
|
||
resources:
|
||
limits:
|
||
# один event loop занимает не больше 1 CPU. Argon2id (p=4, до
|
||
# kdf_concurrency хэшей сразу) взял бы больше: под лимитом вход
|
||
# медленнее в 4–5 раз, осознанно (REPORT.md, «Ограничения»).
|
||
# Память: Argon2id 4 × 64 MiB + интерпретатор ≈ 350 МБ
|
||
cpus: "1.0"
|
||
memory: 512M
|
||
|
||
# уборщик незавершённых загрузок (design change upload-consistency,
|
||
# решения 2 и 9): строки pending старше grace и их объекты. Один процесс
|
||
# на образе API со своей командой; реплики его не ждут, сам он ждёт
|
||
# схему и пользователя S3. Портов нет, HTTP не слушает
|
||
cleaner:
|
||
image: mtusi-messenger:lab5
|
||
pull_policy: never
|
||
# точка входа, а не command: разовый проход —
|
||
# docker compose run --rm --no-deps cleaner --once
|
||
entrypoint: ["python", "-m", "src.cleaner"]
|
||
restart: unless-stopped
|
||
environment:
|
||
<<: [*db-env, *s3-env]
|
||
# проход последовательный: второе соединение не нужно
|
||
DATABASE__POOL_SIZE: "1"
|
||
# пользователь уборщика: чтение и удаление объектов, без записи и
|
||
# списка; ключей API, пароля Valkey и административных ключей S3 нет
|
||
S3__ACCESS_KEY_ID: ${S3_CLEANER_ACCESS_KEY:?S3_CLEANER_ACCESS_KEY is empty, run make env_setup}
|
||
S3__SECRET_ACCESS_KEY: ${S3_CLEANER_SECRET_KEY:?S3_CLEANER_SECRET_KEY is empty, run make env_setup}
|
||
volumes:
|
||
- *config-toml
|
||
depends_on:
|
||
postgres:
|
||
condition: service_healthy
|
||
migrate:
|
||
condition: service_completed_successfully
|
||
s3-bootstrap:
|
||
condition: service_completed_successfully
|
||
# healthcheck образа — HTTP /health/ready, а уборщик HTTP не слушает.
|
||
# Живость — журнал: старт, проходы, отказы
|
||
healthcheck:
|
||
disable: true
|
||
# SIGTERM: текущая строка доводится (≤ 6 с), затем выход с кодом 0
|
||
stop_grace_period: 10s
|
||
deploy:
|
||
resources:
|
||
limits:
|
||
cpus: "0.25"
|
||
memory: 256M
|
||
|
||
# worker обработки вложений (design change async-attachments, решение 6):
|
||
# отдельный процесс на образе API, декодирование и thumbnail — только
|
||
# здесь. Портов нет, HTTP не слушает; реплики его не ждут
|
||
worker:
|
||
image: mtusi-messenger:lab5
|
||
pull_policy: never
|
||
entrypoint: ["python", "-m", "src.worker"]
|
||
restart: unless-stopped
|
||
environment:
|
||
<<: [*db-env, *s3-env, *broker-env]
|
||
# шаги с БД короткие: соединение на задание
|
||
DATABASE__POOL_SIZE: "2"
|
||
# пользователь worker: чтение и запись объектов, без удаления и
|
||
# списка; ключей API и уборщика, пароля Valkey и административных
|
||
# ключей S3 нет
|
||
S3__ACCESS_KEY_ID: ${S3_WORKER_ACCESS_KEY:?S3_WORKER_ACCESS_KEY is empty, run make env_setup}
|
||
S3__SECRET_ACCESS_KEY: ${S3_WORKER_SECRET_KEY:?S3_WORKER_SECRET_KEY is empty, run make env_setup}
|
||
volumes:
|
||
- *config-toml
|
||
depends_on:
|
||
postgres:
|
||
condition: service_healthy
|
||
rabbitmq:
|
||
condition: service_healthy
|
||
migrate:
|
||
condition: service_completed_successfully
|
||
s3-bootstrap:
|
||
condition: service_completed_successfully
|
||
# healthcheck образа — HTTP /health/ready, а worker HTTP не слушает.
|
||
# Живость — журнал и очередь
|
||
healthcheck:
|
||
disable: true
|
||
# SIGTERM: начатые задания ждут ≤ [worker] graceful_shutdown_seconds
|
||
stop_grace_period: 10s
|
||
deploy:
|
||
resources:
|
||
limits:
|
||
# две задачи PNG RGBA на 40 Мпкс: по замеру 323 МиБ на задачу, с
|
||
# клиентами и телами ≈ 800 МиБ при конкуренции 2
|
||
cpus: "1.0"
|
||
memory: 1G
|
||
|
||
# единственная точка входа: реплики находит через DNS Docker, проверяет
|
||
# /health/ready; конфиг — infra/haproxy/haproxy.cfg. Секретов не получает
|
||
haproxy:
|
||
image: haproxy:3.4.6-trixie@sha256:e273915691a8eab3f105bf3e39fd4c29a4ecf334e33421903b5589d25e14db26
|
||
restart: unless-stopped
|
||
environment:
|
||
# порт реплик и самого LB внутри сети: тот же APP__PORT
|
||
API_PORT: ${APP__PORT:-8080}
|
||
ports:
|
||
# только localhost: стенд учебный; API на хосте доступно только так
|
||
- "127.0.0.1:${APP_OUT_PORT:-8080}:${APP__PORT:-8080}"
|
||
volumes:
|
||
- type: bind
|
||
source: ./infra/haproxy/haproxy.cfg
|
||
target: /usr/local/etc/haproxy/haproxy.cfg
|
||
read_only: true
|
||
bind:
|
||
create_host_path: false
|
||
# make stop гасит LB раньше реплик, make run_docker поднимает после них
|
||
depends_on:
|
||
- api
|
||
healthcheck:
|
||
# healthy — через LB можно обслужить запрос: /lb/ready отвечает 200,
|
||
# пока есть хотя бы одна готовая реплика. curl в образе нет, bash есть
|
||
test: ["CMD", "bash", "-c", "exec 3<>/dev/tcp/127.0.0.1/8404 && printf 'GET /lb/ready HTTP/1.0\\r\\n\\r\\n' >&3 && head -n 1 <&3 | grep -q ' 200 '"]
|
||
interval: 5s
|
||
timeout: 3s
|
||
retries: 3
|
||
start_period: 10s
|
||
start_interval: 1s
|
||
deploy:
|
||
resources:
|
||
limits:
|
||
# nbthread 1 в haproxy.cfg
|
||
cpus: "1.0"
|
||
memory: 256M
|
||
|
||
volumes:
|
||
postgres_data:
|
||
s3_data:
|
||
rabbitmq_data:
|