Files
mtusi2026lab6/bench/bench.compose.yml
T
ricoromaandClaude Opus 5.5 509afca89e feat: telemetry cost profile with head sampling, coarse buckets and balanced tail sampling
- [telemetry] trace_sample_ratio (ParentBased(TraceIdRatioBased), 1 keeps
  ParentBased(ALWAYS_ON)) and metric_buckets (default|coarse with SLO bounds),
  export interval <= 30 s; otel.sdk.span.started, span.live dropped; startup
  records name ratio, buckets and interval
- bench: telemetry services on mtusi-bench, TELEMETRY=on switch for uploads
  and queue, make bench_telemetry[_quick] with off/full/full-aa/head/tail/
  metrics/balanced, rare events, lookup from Tempo/Loki/Prometheus, cost
  sampler, verdicts H1-H8 and B1-B5; collector layers and lean Prometheus in
  bench/otel with preflight checks
- REPORT: telemetry cost hypotheses and criteria before the label

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
2026-11-14 19:17:25 +03:00

240 lines
11 KiB
YAML
Raw Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
# Override стенда make bench (bench/run.py): тот же docker-compose.yml под
# проектом mtusi-bench, со своими volume, сетью и лимитами. Пины, healthcheck
# хранилищ, valkey.conf, haproxy.cfg и миграции — из основного файла.
# Подстановки — из bench/bench.env, а не из .env рабочего стенда; пароли и
# BENCH_* передаёт run.py (поля Profile), без них стенд не поднимается.
# Решения 1, 2, 5 design change bench-postgres и 6 design change
# graceful-failover; что не меняется между метками — .claude/rules/bench.md.
# Стенд — HAProxy перед BENCH_API_REPLICAS репликами api, как рабочий; k6
# ходит через LB по имени сервиса haproxy. Лимиты — в форме
# deploy.resources.limits, как в основном файле: compose не принимает
# cpus/mem_limit рядом с deploy-лимитами.
services:
postgres:
container_name: mtusi-bench-postgres
# упавший контейнер не поднимается сам: прогон помечается stand_down
restart: "no"
# auto_explain загружен, но выключен (log_min_duration = -1): run.py
# включает его только на этапе плана, между прогонами. max_connections
# — конфигурация серии трека 1 (граница пула), у прочих профилей 100,
# как у образа (решение 1 design change scaling-bench)
command:
- postgres
- -c
- shared_preload_libraries=auto_explain
- -c
- max_connections=${BENCH_DB_MAX_CONNECTIONS:?run make bench}
ports: !reset []
deploy:
resources:
limits:
cpus: ${BENCH_DB_CPUS:?run make bench}
memory: ${BENCH_DB_MEMORY:?run make bench}
memswap_limit: ${BENCH_DB_MEMORY:?run make bench}
valkey:
container_name: mtusi-bench-valkey
restart: "no"
ports: !reset []
deploy:
resources:
limits:
cpus: ${BENCH_CACHE_CPUS:?run make bench}
memory: ${BENCH_CACHE_MEMORY:?run make bench}
memswap_limit: ${BENCH_CACHE_MEMORY:?run make bench}
# S3 (лаба 4) запускает только профиль uploads (design change
# upload-memory, решение 10): образ, аргументы сервера и лимиты рабочего
# стенда, swap = память; bucket и пользователей создаёт тот же
# s3-bootstrap. Профили лаб 2–3 его не запускают: старт стенда
# перечисляет сервисы, а реплики API поднимает с --no-deps (design change
# s3-storage, решение 9). Без порта хоста, без перезапуска, под своим
# именем
s3:
container_name: mtusi-bench-s3
restart: "no"
ports: !reset []
deploy:
resources:
limits:
cpus: ${BENCH_S3_CPUS:?run make bench}
memory: ${BENCH_S3_MEMORY:?run make bench}
memswap_limit: ${BENCH_S3_MEMORY:?run make bench}
# уборщик незавершённых загрузок (design change upload-consistency,
# решение 9) описан, как s3; сервис не запускается: старт стенда
# перечисляет сервисы, реплики — с --no-deps. Профиль сверки (change
# track2-reconcile-cost, решения 1 и 3) запускает его разовыми проходами
# `docker compose run --name mtusi-bench-reconcile-<n> cleaner reconcile`.
# Образ стенда, без config.toml рабочего стенда, без перезапуска и без
# плановой сверки bucket и БД; лимиты BENCH_CLEANER_* без swap — рабочего
# стенда, в управляемом опыте — CPU варианта
cleaner:
container_name: mtusi-bench-cleaner
image: mtusi-messenger:bench
restart: "no"
volumes: !reset []
environment:
RECONCILER__INTERVAL_SECONDS: "0"
deploy:
resources:
limits:
cpus: ${BENCH_CLEANER_CPUS:?run make bench}
memory: ${BENCH_CLEANER_MEMORY:?run make bench}
memswap_limit: ${BENCH_CLEANER_MEMORY:?run make bench}
# брокер описан и не запускается ни одним профилем (design change
# pipeline-reliability, решение 16): реплика к нему не обращается, задания
# ждут в PostgreSQL. Образ, rabbitmq.conf и лимиты рабочего стенда, swap =
# память; без порта хоста, без перезапуска, под своим именем
rabbitmq:
container_name: mtusi-bench-rabbitmq
restart: "no"
ports: !reset []
deploy:
resources:
limits:
cpus: ${BENCH_BROKER_CPUS:?run make bench}
memory: ${BENCH_BROKER_MEMORY:?run make bench}
memswap_limit: ${BENCH_BROKER_MEMORY:?run make bench}
# relay и worker описаны и не запускаются ни одним профилем: стенд меряет
# реплику, а не обработку. Образ стенда, без config.toml рабочего стенда;
# лимиты BENCH_RELAY_* и BENCH_WORKER_* compose требует при разборе
relay:
container_name: mtusi-bench-relay
image: mtusi-messenger:bench
restart: "no"
volumes: !reset []
environment:
# телеметрия выключена, как у api и worker (design change
# job-trace-propagation, решение 7)
TELEMETRY__ENABLED: "false"
deploy:
resources:
limits:
cpus: ${BENCH_RELAY_CPUS:?run make bench}
memory: ${BENCH_RELAY_MEMORY:?run make bench}
memswap_limit: ${BENCH_RELAY_MEMORY:?run make bench}
worker:
container_name: mtusi-bench-worker
image: mtusi-messenger:bench
restart: "no"
volumes: !reset []
environment:
# телеметрия выключена: методика и бюджеты стенда прежние (design change
# otel-telemetry, решение 20); сервисы телеметрии стенд не запускает
TELEMETRY__ENABLED: "false"
deploy:
resources:
limits:
cpus: ${BENCH_WORKER_CPUS:?run make bench}
memory: ${BENCH_WORKER_MEMORY:?run make bench}
memswap_limit: ${BENCH_WORKER_MEMORY:?run make bench}
migrate:
image: mtusi-messenger:bench
# без config.toml рабочего стенда: настройки — окружение и дефолты
volumes: !reset []
api:
# реплики без постоянного имени (оно мешало бы масштабированию):
# оркестратор находит их через docker compose ps, k6 ходит через LB
image: mtusi-messenger:bench
restart: "no"
volumes: !reset []
# healthcheck образа — лишний CPU внутри лимита API; готовность реплик
# проверяет HAProxy (раз в секунду /health/ready)
healthcheck:
disable: true
environment:
# размер 500k с наполнением идёт ~25 мин; на медленном хосте срок
# 3600 с по умолчанию мог бы истечь посреди прогона и дать 401
AUTH__SESSION_TTL_SECONDS: ${BENCH_SESSION_TTL_SECONDS:?run make bench}
# телеметрия выключена, как у worker (design change otel-telemetry,
# решение 20): вариант трека 1 с телеметрией включает её явно
TELEMETRY__ENABLED: "false"
deploy:
replicas: ${BENCH_API_REPLICAS:?run make bench}
resources:
limits:
# на каждую реплику
cpus: ${BENCH_APP_CPUS:?run make bench}
memory: ${BENCH_APP_MEMORY:?run make bench}
memswap_limit: ${BENCH_APP_MEMORY:?run make bench}
haproxy:
# один экземпляр: имя нужно оркестратору (статистика, журнал)
container_name: mtusi-bench-haproxy
restart: "no"
# порт рабочего стенда не занимает: k6 в сети стенда
ports: !reset []
deploy:
resources:
limits:
cpus: ${BENCH_LB_CPUS:?run make bench}
memory: ${BENCH_LB_MEMORY:?run make bench}
memswap_limit: ${BENCH_LB_MEMORY:?run make bench}
# сервисы телеметрии (design change track1-telemetry-cost, решения 1 и 13):
# образы, конфигурации infra/otel/ и лимиты рабочего стенда (BENCH_* — поля
# Profile, сверка с основным файлом до стенда), без swap, без перезапуска и
# без портов. Запускают их только варианты профиля цены телеметрии и
# выключатель TELEMETRY=on профилей загрузок и очереди: старт стенда
# перечисляет сервисы. Grafana описана основным файлом и не запускается —
# её порт сброшен, чтобы разбор стенда не занимал порт рабочего
otel-collector:
container_name: mtusi-bench-otel-collector
restart: "no"
deploy:
resources:
limits:
cpus: ${BENCH_COLLECTOR_CPUS:?run make bench}
memory: ${BENCH_COLLECTOR_MEMORY:?run make bench}
memswap_limit: ${BENCH_COLLECTOR_MEMORY:?run make bench}
prometheus:
container_name: mtusi-bench-prometheus
restart: "no"
deploy:
resources:
limits:
cpus: ${BENCH_PROMETHEUS_CPUS:?run make bench}
memory: ${BENCH_PROMETHEUS_MEMORY:?run make bench}
memswap_limit: ${BENCH_PROMETHEUS_MEMORY:?run make bench}
loki:
container_name: mtusi-bench-loki
restart: "no"
deploy:
resources:
limits:
cpus: ${BENCH_LOKI_CPUS:?run make bench}
memory: ${BENCH_LOKI_MEMORY:?run make bench}
memswap_limit: ${BENCH_LOKI_MEMORY:?run make bench}
tempo:
container_name: mtusi-bench-tempo
restart: "no"
deploy:
resources:
limits:
cpus: ${BENCH_TEMPO_CPUS:?run make bench}
memory: ${BENCH_TEMPO_MEMORY:?run make bench}
memswap_limit: ${BENCH_TEMPO_MEMORY:?run make bench}
grafana:
container_name: mtusi-bench-grafana
restart: "no"
ports: !reset []
networks:
default:
# k6 подключается к сети стенда по имени (docker run --network)
name: mtusi-bench
telemetry:
# хранилища телеметрии; контейнер выборки (telemetry_lookup.py)
# подключается к ней по имени
name: mtusi-bench-telemetry