#!/usr/bin/env bash # Сэмплер стенда (решение 7 design change scaling-bench, решение 1 design # change profile-resources). Работает только внутри контейнера # mtusi-bench-sampler (образ PostgreSQL стенда, --cgroupns host), не на # хосте: его запускает bench/run.py (Stand.start_sampler). Раз в интервал # пишет в /work/samples.log строки с отметкой часов ВМ в наносекундах # (одна отметка на весь тик): # cg <нс> <роль> # # cg <нс> <роль> missing — нет каталога cgroup # vm <нс> <занято jiffies> <всего jiffies> # lb <нс> # <заголовок CSV статистики HAProxy> / lb <нс> api,<строка> # lb <нс> missing — статистика недоступна # Режимы — по второму аргументу: # list (серии трека 1): <интервал, с> <роль>=<полный id контейнера>… # Сеть mtusi-bench. Строки cg заданных контейнеров, vm и lb; в фоне # psql с \watch пишет /work/pg-samples.log (одно соединение на всю # ячейку): act, db, wal, io — разбор в bench/scaling.py # (parse_samples). # scan (профили failover и rollout): <интервал, с> scan # Контейнер без сети. На каждом тике — обход /sys/fs/cgroup/docker/*/ # (только каталоги с именем из 64 hex — контейнеры), строка # `cg <нс> - …` на каждый; роли назначает оркестратор. Строки # vm — как в list. Ни psql, ни опроса LB: наблюдатель не обращается к # стенду. # peak (профиль uploads, design change upload-memory, решение 10): # <интервал, с> peak <имя> <роль>=<полный id контейнера>… # Контейнер без сети, --user 0, cgroupfs на запись. perl открывает # memory.peak каждого контейнера на чтение и запись, пишет его прежнее # значение (`start <роль> <байт>`) и сбрасывает пик записью в свой # дескриптор (ядро ≥ 6.12): `reset <роль> ok|failed`. Раз в интервал — # `pk <нс> <роль> ` # (`anon`, `sock` — memory.stat, `oom_kill` — memory.events) или # `pk <нс> <роль> missing`. Появился /work/<имя>.stop — perl # читает пик через тот же дескриптор (`peak <роль> <байт>|missing`), # строка `end <нс>`, выход 0. Всё — в /work/<имя>.log. set -u interval=$1 shift mode=list if [[ ${1:-} == scan ]]; then mode=scan shift elif [[ ${1:-} == peak ]]; then mode=peak name=$2 shift 2 fi roles=() ids=() for arg in "$@"; do roles+=("${arg%%=*}") ids+=("${arg#*=}") done if [[ $mode == list ]]; then export PGPASSWORD="$POSTGRES_PASSWORD" psql "host=postgres user=$POSTGRES_USER dbname=$POSTGRES_DB \ application_name=bench-sampler" -XAtq -F '|' >/work/pg-samples.log 2>&1 < pg_backend_pid() GROUP BY 3, 4, 5, 6 UNION ALL SELECT 'db', (SELECT ts FROM t), xact_commit::text, xact_rollback::text, sessions::text, sessions_fatal::text, numbackends::bigint FROM pg_stat_database WHERE datname = current_database() UNION ALL SELECT 'wal', (SELECT ts FROM t), wal_records::text, wal_fpi::text, wal_bytes::text, NULL, NULL FROM pg_stat_wal UNION ALL SELECT 'io', (SELECT ts FROM t), coalesce(sum(writes), 0)::text, coalesce(sum(fsyncs), 0)::text, NULL, NULL, NULL FROM pg_stat_io WHERE object = 'wal' \watch $interval SQL fi if [[ $mode == peak ]]; then log=/work/$name.log stop=/work/$name.stop : >"$log" exec 4>>"$log" # пик через свой дескриптор: сброс и чтение — в одном процессе perl, bash # позиционировать дескриптор не умеет perl -e ' use strict; my ($stop, @targets) = @ARGV; $| = 1; my %fh; for my $t (@targets) { my ($role, $id) = split /=/, $t, 2; my $path = "/sys/fs/cgroup/docker/$id/memory.peak"; my $h; if (!open($h, "+<", $path)) { print "start $role missing\nreset $role failed open\n"; next; } my $old = ""; sysread($h, $old, 64); chomp $old; print "start $role ", ($old =~ /^\d+$/ ? $old : "missing"), "\n"; sysseek($h, 0, 0); if (defined syswrite($h, "reset")) { print "reset $role ok\n"; $fh{$role} = $h; } else { print "reset $role failed $!\n"; } } select(undef, undef, undef, 0.05) until -e $stop; for my $role (sort keys %fh) { my $h = $fh{$role}; my $value = ""; if (sysseek($h, 0, 0) && sysread($h, $value, 64)) { chomp $value; } print "peak $role ", ($value =~ /^\d+$/ ? $value : "missing"), "\n"; } ' "$stop" "$@" >&4 & perl_pid=$! pk_line() { local role=$1 id=$2 dir=/sys/fs/cgroup/docker/$2 local key val mem= anon= sock= oom= { read -r mem <"$dir/memory.current" while read -r key val; do case $key in anon) anon=$val ;; sock) sock=$val ;; esac done <"$dir/memory.stat" while read -r key val; do [[ $key == oom_kill ]] && oom=$val done <"$dir/memory.events" } 2>/dev/null if [[ -z $mem || -z $anon || -z $sock || -z $oom ]]; then printf 'pk %s %s %s missing\n' "$ns" "$role" "${id:0:12}" >&4 return fi printf 'pk %s %s %s %s %s %s %s\n' "$ns" "$role" "${id:0:12}" \ "$mem" "$anon" "$sock" "$oom" >&4 } while [[ ! -e $stop ]]; do ns=${EPOCHREALTIME/./}000 for i in "${!ids[@]}"; do pk_line "${roles[$i]}" "${ids[$i]}" done sleep "$interval" done wait "$perl_pid" printf 'end %s\n' "${EPOCHREALTIME/./}000" >&4 exit 0 fi exec 4>>/work/samples.log cg_line() { local role=$1 id=$2 dir=/sys/fs/cgroup/docker/$2 local key val usage= periods=0 throttled=0 thr_usec=0 mem= psi=0 rest= if [[ ! -r $dir/cpu.stat ]]; then printf 'cg %s %s %s missing\n' "$ns" "$role" "${id:0:12}" >&4 return fi # каталог может пропасть между проверкой и чтением (контейнер # остановлен посреди тика): тогда тоже missing, а не строка нулей { while read -r key val; do case $key in usage_usec) usage=$val ;; nr_periods) periods=$val ;; nr_throttled) throttled=$val ;; throttled_usec) thr_usec=$val ;; esac done <"$dir/cpu.stat" read -r mem <"$dir/memory.current" read -r _ _ _ _ rest <"$dir/cpu.pressure" } 2>/dev/null if [[ -z $usage || -z $mem ]]; then printf 'cg %s %s %s missing\n' "$ns" "$role" "${id:0:12}" >&4 return fi psi=${rest#total=} printf 'cg %s %s %s %s %s %s %s %s %s\n' "$ns" "$role" "${id:0:12}" \ "$usage" "$periods" "$throttled" "$thr_usec" "$mem" "$psi" >&4 } vm_line() { local _cpu user nice system idle iowait irq softirq steal rest total read -r _cpu user nice system idle iowait irq softirq steal rest &4 } lb_lines() { local line if ! exec 3<>/dev/tcp/haproxy/8404 2>/dev/null; then printf 'lb %s missing\n' "$ns" >&4 return fi printf 'GET /stats;csv HTTP/1.0\r\n\r\n' >&3 while IFS= read -r line; do line=${line%$'\r'} case $line in "# "* | api,*) printf 'lb %s %s\n' "$ns" "$line" >&4 ;; esac done <&3 exec 3<&- } hex64='^[0-9a-f]{64}$' while :; do # EPOCHREALTIME bash 5 — часы ВМ без запуска date ns=${EPOCHREALTIME/./}000 if [[ $mode == scan ]]; then for dir in /sys/fs/cgroup/docker/*/; do dir=${dir%/} id=${dir##*/} [[ $id =~ $hex64 ]] && cg_line - "$id" done else for i in "${!ids[@]}"; do cg_line "${roles[$i]}" "${ids[$i]}" done fi vm_line [[ $mode == list ]] && lb_lines sleep "$interval" done