- upload: delete the stored object when ready fails before COMMIT or the pending row is gone (503 instead of 500); unknown COMMIT outcome keeps it - cleaner service (python -m src.cleaner): stale pending rows older than grace (900 s, must exceed 17 s live-upload bound) under FOR UPDATE SKIP LOCKED, object before row, own S3 user with read/delete only - shared session_scope for API and cleaner; early_stop process name - partial index on pending attachments, CREATE INDEX CONCURRENTLY - s3-bootstrap: cleaner user, policy and checks; make env_setup appends missing template variables to an existing .env - failure checks: cleaner on the failure stand, id-list hook actions, five new and three updated tests; driver upload-consistency - sync upload-consistency deltas into main specs (storage-consistency) Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
110 lines
5.3 KiB
YAML
110 lines
5.3 KiB
YAML
# Override стенда make bench (bench/run.py): тот же docker-compose.yml под
|
||
# проектом mtusi-bench, со своими volume, сетью и лимитами. Пины, healthcheck
|
||
# хранилищ, valkey.conf, haproxy.cfg и миграции — из основного файла.
|
||
# Подстановки — из bench/bench.env, а не из .env рабочего стенда; пароли и
|
||
# BENCH_* передаёт run.py (поля Profile), без них стенд не поднимается.
|
||
# Решения 1, 2, 5 design change bench-postgres и 6 design change
|
||
# graceful-failover; что не меняется между метками — .claude/rules/bench.md.
|
||
# Стенд — HAProxy перед BENCH_API_REPLICAS репликами api, как рабочий; k6
|
||
# ходит через LB по имени сервиса haproxy. Лимиты — в форме
|
||
# deploy.resources.limits, как в основном файле: compose не принимает
|
||
# cpus/mem_limit рядом с deploy-лимитами.
|
||
services:
|
||
postgres:
|
||
container_name: mtusi-bench-postgres
|
||
# упавший контейнер не поднимается сам: прогон помечается stand_down
|
||
restart: "no"
|
||
# auto_explain загружен, но выключен (log_min_duration = -1): run.py
|
||
# включает его только на этапе плана, между прогонами. max_connections
|
||
# — конфигурация серии трека 1 (граница пула), у прочих профилей 100,
|
||
# как у образа (решение 1 design change scaling-bench)
|
||
command:
|
||
- postgres
|
||
- -c
|
||
- shared_preload_libraries=auto_explain
|
||
- -c
|
||
- max_connections=${BENCH_DB_MAX_CONNECTIONS:?run make bench}
|
||
ports: !reset []
|
||
deploy:
|
||
resources:
|
||
limits:
|
||
cpus: ${BENCH_DB_CPUS:?run make bench}
|
||
memory: ${BENCH_DB_MEMORY:?run make bench}
|
||
memswap_limit: ${BENCH_DB_MEMORY:?run make bench}
|
||
|
||
valkey:
|
||
container_name: mtusi-bench-valkey
|
||
restart: "no"
|
||
ports: !reset []
|
||
deploy:
|
||
resources:
|
||
limits:
|
||
cpus: ${BENCH_CACHE_CPUS:?run make bench}
|
||
memory: ${BENCH_CACHE_MEMORY:?run make bench}
|
||
memswap_limit: ${BENCH_CACHE_MEMORY:?run make bench}
|
||
|
||
# S3 (лаба 4) описан, но профили лаб 2–3 его не запускают: старт стенда
|
||
# перечисляет сервисы, а реплики API поднимает с --no-deps (design change
|
||
# s3-storage, решение 9). Если сервис всё же запустят — без порта хоста,
|
||
# без перезапуска и под своим именем
|
||
s3:
|
||
container_name: mtusi-bench-s3
|
||
restart: "no"
|
||
ports: !reset []
|
||
|
||
# уборщик незавершённых загрузок (design change upload-consistency,
|
||
# решение 9) описан, как s3, и тоже не запускается: старт стенда
|
||
# перечисляет сервисы, реплики — с --no-deps. Если его всё же запустят —
|
||
# образ стенда, без config.toml рабочего стенда, без перезапуска
|
||
cleaner:
|
||
container_name: mtusi-bench-cleaner
|
||
image: mtusi-messenger:bench
|
||
restart: "no"
|
||
volumes: !reset []
|
||
|
||
migrate:
|
||
image: mtusi-messenger:bench
|
||
# без config.toml рабочего стенда: настройки — окружение и дефолты
|
||
volumes: !reset []
|
||
|
||
api:
|
||
# реплики без постоянного имени (оно мешало бы масштабированию):
|
||
# оркестратор находит их через docker compose ps, k6 ходит через LB
|
||
image: mtusi-messenger:bench
|
||
restart: "no"
|
||
volumes: !reset []
|
||
# healthcheck образа — лишний CPU внутри лимита API; готовность реплик
|
||
# проверяет HAProxy (раз в секунду /health/ready)
|
||
healthcheck:
|
||
disable: true
|
||
environment:
|
||
# размер 500k с наполнением идёт ~25 мин; на медленном хосте срок
|
||
# 3600 с по умолчанию мог бы истечь посреди прогона и дать 401
|
||
AUTH__SESSION_TTL_SECONDS: ${BENCH_SESSION_TTL_SECONDS:?run make bench}
|
||
deploy:
|
||
replicas: ${BENCH_API_REPLICAS:?run make bench}
|
||
resources:
|
||
limits:
|
||
# на каждую реплику
|
||
cpus: ${BENCH_APP_CPUS:?run make bench}
|
||
memory: ${BENCH_APP_MEMORY:?run make bench}
|
||
memswap_limit: ${BENCH_APP_MEMORY:?run make bench}
|
||
|
||
haproxy:
|
||
# один экземпляр: имя нужно оркестратору (статистика, журнал)
|
||
container_name: mtusi-bench-haproxy
|
||
restart: "no"
|
||
# порт рабочего стенда не занимает: k6 в сети стенда
|
||
ports: !reset []
|
||
deploy:
|
||
resources:
|
||
limits:
|
||
cpus: ${BENCH_LB_CPUS:?run make bench}
|
||
memory: ${BENCH_LB_MEMORY:?run make bench}
|
||
memswap_limit: ${BENCH_LB_MEMORY:?run make bench}
|
||
|
||
networks:
|
||
default:
|
||
# k6 подключается к сети стенда по имени (docker run --network)
|
||
name: mtusi-bench
|