lab3: стенд HAProxy + реплики под compose, лимиты, хуки остановки и квиесценции

- compose.yaml: проект mtusi-lab3, HAProxy как единственная точка входа,
  deploy.replicas ${API_REPLICAS:-2}, CPU/RAM-лимиты на каждый сервис,
  stop_grace_period 20s, лимиты из переменных (API_CPUS_PER_REPLICA и т.д.),
  loopback-порты PostgreSQL/Redis только для операторских проверок; у API
  портов нет; container_name нигде не задан.
- infra/haproxy/haproxy.cfg: проба GET /internal/lb-check, inter 500ms/fall 2
  (~1s обнаружение), server-template + DNS Docker вместо статического списка,
  stats на 127.0.0.1:8404.
- Дрейн: SIGTERM -> реплика сразу перестаёт проходить пробу LB -> пауза
  DRAIN_DELAY_MS -> закрытие сервера и пулов. Nest уничтожает провайдеров
  раньше beforeApplicationShutdown, поэтому последовательность вынесена в
  main.ts, а HealthService отвечает только за флаг not-ready.
- scripts/stop-one.sh (остановка ровно одной реплики по X-Instance-Id),
  scripts/start-replica.sh (восстановление до API_REPLICAS), scripts/quiesce.sh
  (остановка/возврат посторонних контейнеров хоста), restart.sh перезапускает
  и LB, scripts/app-e2e.sh (host-side e2e через loopback-порты).
- Makefile: stand-up/down/status, stand-replica, wait-ready, quiesce-up/down,
  test-e2e, test-failover-all, rolling-update, track1, evidence.
- Dockerfile: ARG/ENV BUILD_ID для доказательства rolling update.

Проверено: make test, make test-e2e, make test-persistence (restart.sh),
make test-failover (stop-one.sh, восстановление через start-replica.sh),
make test-dependencies; docker inspect подтверждает NanoCpus/Memory и
отсутствие опубликованных портов у api.
This commit is contained in:
2026-10-15 21:14:17 +03:00
parent e9cd28d6ba
commit 917ed1a734
14 changed files with 464 additions and 82 deletions
+19
View File
@@ -0,0 +1,19 @@
#!/bin/sh
# Black-box набор приложения (app/test/*.e2e-spec.ts) против поднятого стенда.
# Требует loopback-портов PostgreSQL и Redis из compose.yaml: API-реплики портов
# не публикуют, а сам набор подключается к хранилищам напрямую для проверки
# фактического состояния (уникальность пользователей, история сообщений).
set -eu
env_file="${COMPOSE_ENV_FILE:-.env}"
# shellcheck disable=SC1090
set -a
. "./$env_file"
set +a
export API_BASE_URL="${API_BASE_URL:-http://127.0.0.1:${APP_PUBLIC_PORT:-8080}}"
export DATABASE_URL="postgresql://${POSTGRES_USER:-messenger}:${POSTGRES_PASSWORD:?set POSTGRES_PASSWORD in $env_file}@127.0.0.1:${POSTGRES_PUBLISHED_PORT:-5432}/${POSTGRES_DB:-messenger}"
export REDIS_URL="redis://127.0.0.1:${REDIS_PUBLISHED_PORT:-6379}"
cd "$(dirname "$0")/../app"
exec npm run test:e2e
+70
View File
@@ -0,0 +1,70 @@
#!/bin/sh
# Готовит хост к измерениям: посторонние контейнеры (чужие БД, прокси, dev-серверы)
# потребляют CPU/RAM и портят сравнение конфигураций стенда. Скрипт запоминает,
# что именно он остановил, и возвращает только это: чужие контейнеры, поднятые
# пользователем после `up`, скрипт не трогает.
#
# scripts/quiesce.sh up остановить фон перед серией
# scripts/quiesce.sh down вернуть ровно остановленное
# scripts/quiesce.sh status состояние фона и список остановленного
#
# Список переопределяется QUIESCE_CONTAINERS (имена через пробел), файл
# состояния — QUIESCE_STATE_FILE.
set -eu
state_file="${QUIESCE_STATE_FILE:-.lab3-quiesce.json}"
containers="${QUIESCE_CONTAINERS:-omniroute lampa caddy redis valkey sql-lab-db-1 redis-lab-redis-1}"
is_running() {
[ "$(docker inspect -f '{{.State.Running}}' "$1" 2>/dev/null || printf false)" = 'true' ]
}
case "${1:-}" in
up)
if [ -f "$state_file" ]; then
printf 'quiesce: %s exists, background is already quiesced (run down first)\n' "$state_file" >&2
exit 1
fi
stopped=''
for container in $containers; do
if is_running "$container"; then
docker stop "$container" >/dev/null
stopped="$stopped $container"
printf 'quiesce: stopped %s\n' "$container"
fi
done
printf '%s\n' "$stopped" | tr ' ' '\n' | sed '/^$/d' |
jq -Rn --arg at "$(date -u +%Y-%m-%dT%H:%M:%SZ)" \
'{started_at: $at, stopped: [inputs]}' >"$state_file"
printf 'quiesce: %s stopped %s\n' "$(basename "$state_file")" "$(tr -d '\n' <"$state_file")"
;;
down)
if [ ! -f "$state_file" ]; then
printf 'quiesce: no %s, nothing to restore\n' "$state_file" >&2
exit 0
fi
for container in $(jq -r '.stopped[]' "$state_file"); do
docker start "$container" >/dev/null
printf 'quiesce: started %s\n' "$container"
done
rm -f "$state_file"
;;
status)
if [ -f "$state_file" ]; then
printf 'quiesced at %s: %s\n' \
"$(jq -r '.started_at' "$state_file")" \
"$(jq -r '.stopped | join(" ")' "$state_file")"
else
printf 'background is not quiesced\n'
fi
for container in $containers; do
if docker inspect -f '{{.State.Status}}' "$container" >/dev/null 2>&1; then
printf '%s\t%s\n' "$container" "$(docker inspect -f '{{.State.Status}}' "$container")"
fi
done
;;
*)
printf 'usage: %s up|down|status\n' "$0" >&2
exit 2
;;
esac
+2 -2
View File
@@ -4,5 +4,5 @@
set -euo pipefail
compose=(docker compose --env-file .env)
"${compose[@]}" restart postgres redis api
"${compose[@]}" up -d --no-recreate --no-deps --wait postgres redis api
"${compose[@]}" restart postgres redis api haproxy
"${compose[@]}" up -d --no-recreate --no-deps --wait postgres redis api haproxy
+16
View File
@@ -0,0 +1,16 @@
#!/bin/sh
# Восстанавливает недостающую API-реплику до объявленного числа реплик.
# Вызывается после make test-failover (или после остановки реплики вручную):
# Compose создаёт ровно ту реплику, которой не хватает, и не трогает остальные
# (--no-deps: миграции и БД не перезапускаются).
set -eu
env_file="${COMPOSE_ENV_FILE:-.env}"
replicas="${API_REPLICAS:-}"
if [ -z "$replicas" ] && [ -f "$env_file" ]; then
replicas=$(sed -n 's/^API_REPLICAS=//p' "$env_file" | tail -n 1)
fi
replicas="${replicas:-2}"
exec docker compose --env-file "$env_file" up -d --no-deps \
--scale "api=${replicas}" api
+35
View File
@@ -0,0 +1,35 @@
#!/bin/sh
# Останавливает ровно одну API-реплику стенда — ту, которую обслужила текущая
# сессия. TARGET_INSTANCE_ID приходит из теста (значение X-Instance-Id ответа),
# а в Docker hostname контейнера равен его короткому ID, поэтому сопоставление
# однозначно. Ничего, кроме этой реплики, скрипт не трогает: ни LB, ни БД, ни
# тома. Возврат управления — быстрый (SIGTERM -> дрейн DRAIN_DELAY_MS=3s ->
# выход), останавливать реплику "навсегда" не требуется.
set -eu
: "${TARGET_INSTANCE_ID:?test provides target API instance alias}"
project="${LAB3_PROJECT:-mtusi-lab3}"
target=''
for container in $(
docker ps \
--filter "label=com.docker.compose.project=${project}" \
--filter 'label=com.docker.compose.service=api' \
--format '{{.ID}}'
); do
case "$container" in
"$TARGET_INSTANCE_ID"*)
target="$container"
break
;;
esac
done
if [ -z "$target" ]; then
printf 'stop-one: no running api replica of project %s whose id starts with %s\n' \
"$project" "$TARGET_INSTANCE_ID" >&2
exit 1
fi
printf 'stop-one: stopping api replica %s\n' "$target" >&2
docker stop --time 10 "$target" >/dev/null