# Общие функции скриптов отказов. Подключается через: . scripts/lb-lib.sh # Сам по себе не запускается и ничего не делает: только объявляет функции. Вызывающий скрипт # должен перед подключением перейти в корень проекта. В sh нет локальных переменных, поэтому # все переменные функций (want, i, status) общие со скриптом: не храните в них важное. # docker compose с настройками стенда: все скрипты работают с одним и тем же проектом. compose() { docker compose --env-file .env "$@"; } # Сколько реплик балансировщик считает рабочими. # Читает CSV-статистику HAProxy изнутри контейнера LB: порт 8404 снаружи не опубликован. # Поля awk: $1 — имя бэкенда, $2 — имя сервера (BACKEND — итоговая строка), $18 — статус. # Считается только точное UP: "UP 1/2" значит, что реплика уже провалила проверку. lb_up_count() { compose exec -T lb wget -qO- 'http://127.0.0.1:8404/stats;csv' | awk -F, -v n=0 '$1=="api" && $2!="BACKEND" && $18=="UP" {n++} END {print n}' } # Ждёт, пока LB не увидит заданное число реплик; healthy контейнера для этого недостаточно. # Healthy проверяет Docker, а трафик направляет LB по своим проверкам. Ждём до 30 с (60 × 0,5 с). # Подходит и для ожидания вывода реплики: нужно ровно заданное число, а не "не меньше". wait_lb_up() { want=$1 i=0 while [ "$i" -lt 60 ]; do [ "$(lb_up_count)" = "$want" ] && return 0 sleep 0.5 i=$((i + 1)) done echo "LB не увидел реплик: $want за 30 с" >&2 return 1 } # Ждёт, пока контейнер с заданным ID или именем не станет healthy по мнению Docker, до 30 с. wait_healthy() { i=0 while [ "$i" -lt 60 ]; do [ "$(docker inspect -f '{{.State.Health.Status}}' "$1")" = healthy ] && return 0 sleep 0.5 i=$((i + 1)) done echo "контейнер не стал healthy за 30 с" >&2 return 1 } # Запускает loadgen в фоне (LOADGEN_PID, LOADGEN_LOG) и ждёт начала замера (MEASURE_START). # Аргументы передаются генератору как есть. Парой к ней вызывается finish_loadgen. start_loadgen() { # Свежая статистика делает прогоны сравнимыми. compose exec -T postgres psql -U messenger -d messenger -q -c 'ANALYZE;' >/dev/null # Вывод генератора идёт во временный файл: из него читается момент начала замера. LOADGEN_LOG=$(mktemp) compose --profile bench run --rm -T loadgen "$@" >"$LOADGEN_LOG" 2>&1 & LOADGEN_PID=$! # Ждём строку measure_start, которую генератор печатает после прогрева. Выходим с ошибкой, # если процесс завершился раньше или прошло больше 2 минут (600 × 0,2 с). i=0 while ! grep -q '^measure_start' "$LOADGEN_LOG"; do if ! kill -0 "$LOADGEN_PID" 2>/dev/null || [ "$i" -gt 600 ]; then cat "$LOADGEN_LOG" >&2 echo "loadgen не начал замер" >&2 return 1 fi sleep 0.2 i=$((i + 1)) done # Время начала замера по часам генератора: от него отсчитывается расписание отказов. MEASURE_START=$(sed -n 's/^measure_start unix=//p' "$LOADGEN_LOG") } # Секунд с начала замера. # Точность 1 с: часы скрипта и генератора могут расходиться меньше чем на секунду. elapsed() { echo $(($(date +%s) - MEASURE_START)); } # Ждёт секунду T от начала замера. sleep_until() { while [ "$(elapsed)" -lt "$1" ]; do sleep 0.2; done } # Ждёт конец нагрузки, печатает итог генератора без служебных строк и удаляет временный файл. # Возвращает код выхода генератора: он ненулевой, если сверка нашла потери или дубли. finish_loadgen() { status=0 wait "$LOADGEN_PID" || status=$? grep -v -E '^measure_start| Container ' "$LOADGEN_LOG" rm -f "$LOADGEN_LOG" return "$status" } # Версия кода для шапки доказательств: короткий хеш и +dirty при незакоммиченных изменениях # в отслеживаемых файлах. Новые файлы, ещё не добавленные в Git, этот признак не учитывает. git_state() { echo "$(git rev-parse --short HEAD)$(git diff --quiet HEAD -- . || echo +dirty)"; }