Upload answers 202 after staging, a queued job in PostgreSQL and a broker confirm; a separate worker publishes the original and a thumbnail with bounded retries. Adds the job and variant tables, the broker service, the worker S3 user, cleanup and reconcile support for staging and variants, the failure stand with broker and worker, bench and driver updates. Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
163 lines
8.0 KiB
YAML
163 lines
8.0 KiB
YAML
# Override стенда make bench (bench/run.py): тот же docker-compose.yml под
|
||
# проектом mtusi-bench, со своими volume, сетью и лимитами. Пины, healthcheck
|
||
# хранилищ, valkey.conf, haproxy.cfg и миграции — из основного файла.
|
||
# Подстановки — из bench/bench.env, а не из .env рабочего стенда; пароли и
|
||
# BENCH_* передаёт run.py (поля Profile), без них стенд не поднимается.
|
||
# Решения 1, 2, 5 design change bench-postgres и 6 design change
|
||
# graceful-failover; что не меняется между метками — .claude/rules/bench.md.
|
||
# Стенд — HAProxy перед BENCH_API_REPLICAS репликами api, как рабочий; k6
|
||
# ходит через LB по имени сервиса haproxy. Лимиты — в форме
|
||
# deploy.resources.limits, как в основном файле: compose не принимает
|
||
# cpus/mem_limit рядом с deploy-лимитами.
|
||
services:
|
||
postgres:
|
||
container_name: mtusi-bench-postgres
|
||
# упавший контейнер не поднимается сам: прогон помечается stand_down
|
||
restart: "no"
|
||
# auto_explain загружен, но выключен (log_min_duration = -1): run.py
|
||
# включает его только на этапе плана, между прогонами. max_connections
|
||
# — конфигурация серии трека 1 (граница пула), у прочих профилей 100,
|
||
# как у образа (решение 1 design change scaling-bench)
|
||
command:
|
||
- postgres
|
||
- -c
|
||
- shared_preload_libraries=auto_explain
|
||
- -c
|
||
- max_connections=${BENCH_DB_MAX_CONNECTIONS:?run make bench}
|
||
ports: !reset []
|
||
deploy:
|
||
resources:
|
||
limits:
|
||
cpus: ${BENCH_DB_CPUS:?run make bench}
|
||
memory: ${BENCH_DB_MEMORY:?run make bench}
|
||
memswap_limit: ${BENCH_DB_MEMORY:?run make bench}
|
||
|
||
valkey:
|
||
container_name: mtusi-bench-valkey
|
||
restart: "no"
|
||
ports: !reset []
|
||
deploy:
|
||
resources:
|
||
limits:
|
||
cpus: ${BENCH_CACHE_CPUS:?run make bench}
|
||
memory: ${BENCH_CACHE_MEMORY:?run make bench}
|
||
memswap_limit: ${BENCH_CACHE_MEMORY:?run make bench}
|
||
|
||
# S3 (лаба 4) запускает только профиль uploads (design change
|
||
# upload-memory, решение 10): образ, аргументы сервера и лимиты рабочего
|
||
# стенда, swap = память; bucket и пользователей создаёт тот же
|
||
# s3-bootstrap. Профили лаб 2–3 его не запускают: старт стенда
|
||
# перечисляет сервисы, а реплики API поднимает с --no-deps (design change
|
||
# s3-storage, решение 9). Без порта хоста, без перезапуска, под своим
|
||
# именем
|
||
s3:
|
||
container_name: mtusi-bench-s3
|
||
restart: "no"
|
||
ports: !reset []
|
||
deploy:
|
||
resources:
|
||
limits:
|
||
cpus: ${BENCH_S3_CPUS:?run make bench}
|
||
memory: ${BENCH_S3_MEMORY:?run make bench}
|
||
memswap_limit: ${BENCH_S3_MEMORY:?run make bench}
|
||
|
||
# уборщик незавершённых загрузок (design change upload-consistency,
|
||
# решение 9) описан, как s3; сервис не запускается: старт стенда
|
||
# перечисляет сервисы, реплики — с --no-deps. Профиль сверки (change
|
||
# track2-reconcile-cost, решения 1 и 3) запускает его разовыми проходами
|
||
# `docker compose run --name mtusi-bench-reconcile-<n> cleaner reconcile`.
|
||
# Образ стенда, без config.toml рабочего стенда, без перезапуска и без
|
||
# плановой сверки bucket и БД; лимиты BENCH_CLEANER_* без swap — рабочего
|
||
# стенда, в управляемом опыте — CPU варианта
|
||
cleaner:
|
||
container_name: mtusi-bench-cleaner
|
||
image: mtusi-messenger:bench
|
||
restart: "no"
|
||
volumes: !reset []
|
||
environment:
|
||
RECONCILER__INTERVAL_SECONDS: "0"
|
||
deploy:
|
||
resources:
|
||
limits:
|
||
cpus: ${BENCH_CLEANER_CPUS:?run make bench}
|
||
memory: ${BENCH_CLEANER_MEMORY:?run make bench}
|
||
memswap_limit: ${BENCH_CLEANER_MEMORY:?run make bench}
|
||
|
||
# брокер (design change async-attachments, решение 16) запускает только
|
||
# профиль uploads: образ, rabbitmq.conf и лимиты рабочего стенда, swap =
|
||
# память, на прогон — новый volume. Прочие профили его не запускают:
|
||
# старт стенда перечисляет сервисы, реплики — с --no-deps (depends_on api
|
||
# не действует), а издатель API соединяется первой публикацией. Без порта
|
||
# хоста, без перезапуска, под своим именем
|
||
rabbitmq:
|
||
container_name: mtusi-bench-rabbitmq
|
||
restart: "no"
|
||
ports: !reset []
|
||
deploy:
|
||
resources:
|
||
limits:
|
||
cpus: ${BENCH_BROKER_CPUS:?run make bench}
|
||
memory: ${BENCH_BROKER_MEMORY:?run make bench}
|
||
memswap_limit: ${BENCH_BROKER_MEMORY:?run make bench}
|
||
|
||
# worker описан и не запускается ни одним профилем: стенд меряет реплику,
|
||
# а не обработку, задания ждут в очереди. Образ стенда, без config.toml
|
||
# рабочего стенда; лимиты BENCH_WORKER_* compose требует при разборе
|
||
worker:
|
||
container_name: mtusi-bench-worker
|
||
image: mtusi-messenger:bench
|
||
restart: "no"
|
||
volumes: !reset []
|
||
deploy:
|
||
resources:
|
||
limits:
|
||
cpus: ${BENCH_WORKER_CPUS:?run make bench}
|
||
memory: ${BENCH_WORKER_MEMORY:?run make bench}
|
||
memswap_limit: ${BENCH_WORKER_MEMORY:?run make bench}
|
||
|
||
migrate:
|
||
image: mtusi-messenger:bench
|
||
# без config.toml рабочего стенда: настройки — окружение и дефолты
|
||
volumes: !reset []
|
||
|
||
api:
|
||
# реплики без постоянного имени (оно мешало бы масштабированию):
|
||
# оркестратор находит их через docker compose ps, k6 ходит через LB
|
||
image: mtusi-messenger:bench
|
||
restart: "no"
|
||
volumes: !reset []
|
||
# healthcheck образа — лишний CPU внутри лимита API; готовность реплик
|
||
# проверяет HAProxy (раз в секунду /health/ready)
|
||
healthcheck:
|
||
disable: true
|
||
environment:
|
||
# размер 500k с наполнением идёт ~25 мин; на медленном хосте срок
|
||
# 3600 с по умолчанию мог бы истечь посреди прогона и дать 401
|
||
AUTH__SESSION_TTL_SECONDS: ${BENCH_SESSION_TTL_SECONDS:?run make bench}
|
||
deploy:
|
||
replicas: ${BENCH_API_REPLICAS:?run make bench}
|
||
resources:
|
||
limits:
|
||
# на каждую реплику
|
||
cpus: ${BENCH_APP_CPUS:?run make bench}
|
||
memory: ${BENCH_APP_MEMORY:?run make bench}
|
||
memswap_limit: ${BENCH_APP_MEMORY:?run make bench}
|
||
|
||
haproxy:
|
||
# один экземпляр: имя нужно оркестратору (статистика, журнал)
|
||
container_name: mtusi-bench-haproxy
|
||
restart: "no"
|
||
# порт рабочего стенда не занимает: k6 в сети стенда
|
||
ports: !reset []
|
||
deploy:
|
||
resources:
|
||
limits:
|
||
cpus: ${BENCH_LB_CPUS:?run make bench}
|
||
memory: ${BENCH_LB_MEMORY:?run make bench}
|
||
memswap_limit: ${BENCH_LB_MEMORY:?run make bench}
|
||
|
||
networks:
|
||
default:
|
||
# k6 подключается к сети стенда по имени (docker run --network)
|
||
name: mtusi-bench
|