- [telemetry] trace_sample_ratio (ParentBased(TraceIdRatioBased), 1 keeps ParentBased(ALWAYS_ON)) and metric_buckets (default|coarse with SLO bounds), export interval <= 30 s; otel.sdk.span.started, span.live dropped; startup records name ratio, buckets and interval - bench: telemetry services on mtusi-bench, TELEMETRY=on switch for uploads and queue, make bench_telemetry[_quick] with off/full/full-aa/head/tail/ metrics/balanced, rare events, lookup from Tempo/Loki/Prometheus, cost sampler, verdicts H1-H8 and B1-B5; collector layers and lean Prometheus in bench/otel with preflight checks - REPORT: telemetry cost hypotheses and criteria before the label Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
240 lines
11 KiB
YAML
240 lines
11 KiB
YAML
# Override стенда make bench (bench/run.py): тот же docker-compose.yml под
|
||
# проектом mtusi-bench, со своими volume, сетью и лимитами. Пины, healthcheck
|
||
# хранилищ, valkey.conf, haproxy.cfg и миграции — из основного файла.
|
||
# Подстановки — из bench/bench.env, а не из .env рабочего стенда; пароли и
|
||
# BENCH_* передаёт run.py (поля Profile), без них стенд не поднимается.
|
||
# Решения 1, 2, 5 design change bench-postgres и 6 design change
|
||
# graceful-failover; что не меняется между метками — .claude/rules/bench.md.
|
||
# Стенд — HAProxy перед BENCH_API_REPLICAS репликами api, как рабочий; k6
|
||
# ходит через LB по имени сервиса haproxy. Лимиты — в форме
|
||
# deploy.resources.limits, как в основном файле: compose не принимает
|
||
# cpus/mem_limit рядом с deploy-лимитами.
|
||
services:
|
||
postgres:
|
||
container_name: mtusi-bench-postgres
|
||
# упавший контейнер не поднимается сам: прогон помечается stand_down
|
||
restart: "no"
|
||
# auto_explain загружен, но выключен (log_min_duration = -1): run.py
|
||
# включает его только на этапе плана, между прогонами. max_connections
|
||
# — конфигурация серии трека 1 (граница пула), у прочих профилей 100,
|
||
# как у образа (решение 1 design change scaling-bench)
|
||
command:
|
||
- postgres
|
||
- -c
|
||
- shared_preload_libraries=auto_explain
|
||
- -c
|
||
- max_connections=${BENCH_DB_MAX_CONNECTIONS:?run make bench}
|
||
ports: !reset []
|
||
deploy:
|
||
resources:
|
||
limits:
|
||
cpus: ${BENCH_DB_CPUS:?run make bench}
|
||
memory: ${BENCH_DB_MEMORY:?run make bench}
|
||
memswap_limit: ${BENCH_DB_MEMORY:?run make bench}
|
||
|
||
valkey:
|
||
container_name: mtusi-bench-valkey
|
||
restart: "no"
|
||
ports: !reset []
|
||
deploy:
|
||
resources:
|
||
limits:
|
||
cpus: ${BENCH_CACHE_CPUS:?run make bench}
|
||
memory: ${BENCH_CACHE_MEMORY:?run make bench}
|
||
memswap_limit: ${BENCH_CACHE_MEMORY:?run make bench}
|
||
|
||
# S3 (лаба 4) запускает только профиль uploads (design change
|
||
# upload-memory, решение 10): образ, аргументы сервера и лимиты рабочего
|
||
# стенда, swap = память; bucket и пользователей создаёт тот же
|
||
# s3-bootstrap. Профили лаб 2–3 его не запускают: старт стенда
|
||
# перечисляет сервисы, а реплики API поднимает с --no-deps (design change
|
||
# s3-storage, решение 9). Без порта хоста, без перезапуска, под своим
|
||
# именем
|
||
s3:
|
||
container_name: mtusi-bench-s3
|
||
restart: "no"
|
||
ports: !reset []
|
||
deploy:
|
||
resources:
|
||
limits:
|
||
cpus: ${BENCH_S3_CPUS:?run make bench}
|
||
memory: ${BENCH_S3_MEMORY:?run make bench}
|
||
memswap_limit: ${BENCH_S3_MEMORY:?run make bench}
|
||
|
||
# уборщик незавершённых загрузок (design change upload-consistency,
|
||
# решение 9) описан, как s3; сервис не запускается: старт стенда
|
||
# перечисляет сервисы, реплики — с --no-deps. Профиль сверки (change
|
||
# track2-reconcile-cost, решения 1 и 3) запускает его разовыми проходами
|
||
# `docker compose run --name mtusi-bench-reconcile-<n> cleaner reconcile`.
|
||
# Образ стенда, без config.toml рабочего стенда, без перезапуска и без
|
||
# плановой сверки bucket и БД; лимиты BENCH_CLEANER_* без swap — рабочего
|
||
# стенда, в управляемом опыте — CPU варианта
|
||
cleaner:
|
||
container_name: mtusi-bench-cleaner
|
||
image: mtusi-messenger:bench
|
||
restart: "no"
|
||
volumes: !reset []
|
||
environment:
|
||
RECONCILER__INTERVAL_SECONDS: "0"
|
||
deploy:
|
||
resources:
|
||
limits:
|
||
cpus: ${BENCH_CLEANER_CPUS:?run make bench}
|
||
memory: ${BENCH_CLEANER_MEMORY:?run make bench}
|
||
memswap_limit: ${BENCH_CLEANER_MEMORY:?run make bench}
|
||
|
||
# брокер описан и не запускается ни одним профилем (design change
|
||
# pipeline-reliability, решение 16): реплика к нему не обращается, задания
|
||
# ждут в PostgreSQL. Образ, rabbitmq.conf и лимиты рабочего стенда, swap =
|
||
# память; без порта хоста, без перезапуска, под своим именем
|
||
rabbitmq:
|
||
container_name: mtusi-bench-rabbitmq
|
||
restart: "no"
|
||
ports: !reset []
|
||
deploy:
|
||
resources:
|
||
limits:
|
||
cpus: ${BENCH_BROKER_CPUS:?run make bench}
|
||
memory: ${BENCH_BROKER_MEMORY:?run make bench}
|
||
memswap_limit: ${BENCH_BROKER_MEMORY:?run make bench}
|
||
|
||
# relay и worker описаны и не запускаются ни одним профилем: стенд меряет
|
||
# реплику, а не обработку. Образ стенда, без config.toml рабочего стенда;
|
||
# лимиты BENCH_RELAY_* и BENCH_WORKER_* compose требует при разборе
|
||
relay:
|
||
container_name: mtusi-bench-relay
|
||
image: mtusi-messenger:bench
|
||
restart: "no"
|
||
volumes: !reset []
|
||
environment:
|
||
# телеметрия выключена, как у api и worker (design change
|
||
# job-trace-propagation, решение 7)
|
||
TELEMETRY__ENABLED: "false"
|
||
deploy:
|
||
resources:
|
||
limits:
|
||
cpus: ${BENCH_RELAY_CPUS:?run make bench}
|
||
memory: ${BENCH_RELAY_MEMORY:?run make bench}
|
||
memswap_limit: ${BENCH_RELAY_MEMORY:?run make bench}
|
||
|
||
worker:
|
||
container_name: mtusi-bench-worker
|
||
image: mtusi-messenger:bench
|
||
restart: "no"
|
||
volumes: !reset []
|
||
environment:
|
||
# телеметрия выключена: методика и бюджеты стенда прежние (design change
|
||
# otel-telemetry, решение 20); сервисы телеметрии стенд не запускает
|
||
TELEMETRY__ENABLED: "false"
|
||
deploy:
|
||
resources:
|
||
limits:
|
||
cpus: ${BENCH_WORKER_CPUS:?run make bench}
|
||
memory: ${BENCH_WORKER_MEMORY:?run make bench}
|
||
memswap_limit: ${BENCH_WORKER_MEMORY:?run make bench}
|
||
|
||
migrate:
|
||
image: mtusi-messenger:bench
|
||
# без config.toml рабочего стенда: настройки — окружение и дефолты
|
||
volumes: !reset []
|
||
|
||
api:
|
||
# реплики без постоянного имени (оно мешало бы масштабированию):
|
||
# оркестратор находит их через docker compose ps, k6 ходит через LB
|
||
image: mtusi-messenger:bench
|
||
restart: "no"
|
||
volumes: !reset []
|
||
# healthcheck образа — лишний CPU внутри лимита API; готовность реплик
|
||
# проверяет HAProxy (раз в секунду /health/ready)
|
||
healthcheck:
|
||
disable: true
|
||
environment:
|
||
# размер 500k с наполнением идёт ~25 мин; на медленном хосте срок
|
||
# 3600 с по умолчанию мог бы истечь посреди прогона и дать 401
|
||
AUTH__SESSION_TTL_SECONDS: ${BENCH_SESSION_TTL_SECONDS:?run make bench}
|
||
# телеметрия выключена, как у worker (design change otel-telemetry,
|
||
# решение 20): вариант трека 1 с телеметрией включает её явно
|
||
TELEMETRY__ENABLED: "false"
|
||
deploy:
|
||
replicas: ${BENCH_API_REPLICAS:?run make bench}
|
||
resources:
|
||
limits:
|
||
# на каждую реплику
|
||
cpus: ${BENCH_APP_CPUS:?run make bench}
|
||
memory: ${BENCH_APP_MEMORY:?run make bench}
|
||
memswap_limit: ${BENCH_APP_MEMORY:?run make bench}
|
||
|
||
haproxy:
|
||
# один экземпляр: имя нужно оркестратору (статистика, журнал)
|
||
container_name: mtusi-bench-haproxy
|
||
restart: "no"
|
||
# порт рабочего стенда не занимает: k6 в сети стенда
|
||
ports: !reset []
|
||
deploy:
|
||
resources:
|
||
limits:
|
||
cpus: ${BENCH_LB_CPUS:?run make bench}
|
||
memory: ${BENCH_LB_MEMORY:?run make bench}
|
||
memswap_limit: ${BENCH_LB_MEMORY:?run make bench}
|
||
|
||
# сервисы телеметрии (design change track1-telemetry-cost, решения 1 и 13):
|
||
# образы, конфигурации infra/otel/ и лимиты рабочего стенда (BENCH_* — поля
|
||
# Profile, сверка с основным файлом до стенда), без swap, без перезапуска и
|
||
# без портов. Запускают их только варианты профиля цены телеметрии и
|
||
# выключатель TELEMETRY=on профилей загрузок и очереди: старт стенда
|
||
# перечисляет сервисы. Grafana описана основным файлом и не запускается —
|
||
# её порт сброшен, чтобы разбор стенда не занимал порт рабочего
|
||
otel-collector:
|
||
container_name: mtusi-bench-otel-collector
|
||
restart: "no"
|
||
deploy:
|
||
resources:
|
||
limits:
|
||
cpus: ${BENCH_COLLECTOR_CPUS:?run make bench}
|
||
memory: ${BENCH_COLLECTOR_MEMORY:?run make bench}
|
||
memswap_limit: ${BENCH_COLLECTOR_MEMORY:?run make bench}
|
||
|
||
prometheus:
|
||
container_name: mtusi-bench-prometheus
|
||
restart: "no"
|
||
deploy:
|
||
resources:
|
||
limits:
|
||
cpus: ${BENCH_PROMETHEUS_CPUS:?run make bench}
|
||
memory: ${BENCH_PROMETHEUS_MEMORY:?run make bench}
|
||
memswap_limit: ${BENCH_PROMETHEUS_MEMORY:?run make bench}
|
||
|
||
loki:
|
||
container_name: mtusi-bench-loki
|
||
restart: "no"
|
||
deploy:
|
||
resources:
|
||
limits:
|
||
cpus: ${BENCH_LOKI_CPUS:?run make bench}
|
||
memory: ${BENCH_LOKI_MEMORY:?run make bench}
|
||
memswap_limit: ${BENCH_LOKI_MEMORY:?run make bench}
|
||
|
||
tempo:
|
||
container_name: mtusi-bench-tempo
|
||
restart: "no"
|
||
deploy:
|
||
resources:
|
||
limits:
|
||
cpus: ${BENCH_TEMPO_CPUS:?run make bench}
|
||
memory: ${BENCH_TEMPO_MEMORY:?run make bench}
|
||
memswap_limit: ${BENCH_TEMPO_MEMORY:?run make bench}
|
||
|
||
grafana:
|
||
container_name: mtusi-bench-grafana
|
||
restart: "no"
|
||
ports: !reset []
|
||
|
||
networks:
|
||
default:
|
||
# k6 подключается к сети стенда по имени (docker run --network)
|
||
name: mtusi-bench
|
||
telemetry:
|
||
# хранилища телеметрии; контейнер выборки (telemetry_lookup.py)
|
||
# подключается к ней по имени
|
||
name: mtusi-bench-telemetry
|