forked from mtusi2026/mtusi2026lab3
lab3: стенд HAProxy + реплики под compose, лимиты, хуки остановки и квиесценции
- compose.yaml: проект mtusi-lab3, HAProxy как единственная точка входа,
deploy.replicas ${API_REPLICAS:-2}, CPU/RAM-лимиты на каждый сервис,
stop_grace_period 20s, лимиты из переменных (API_CPUS_PER_REPLICA и т.д.),
loopback-порты PostgreSQL/Redis только для операторских проверок; у API
портов нет; container_name нигде не задан.
- infra/haproxy/haproxy.cfg: проба GET /internal/lb-check, inter 500ms/fall 2
(~1s обнаружение), server-template + DNS Docker вместо статического списка,
stats на 127.0.0.1:8404.
- Дрейн: SIGTERM -> реплика сразу перестаёт проходить пробу LB -> пауза
DRAIN_DELAY_MS -> закрытие сервера и пулов. Nest уничтожает провайдеров
раньше beforeApplicationShutdown, поэтому последовательность вынесена в
main.ts, а HealthService отвечает только за флаг not-ready.
- scripts/stop-one.sh (остановка ровно одной реплики по X-Instance-Id),
scripts/start-replica.sh (восстановление до API_REPLICAS), scripts/quiesce.sh
(остановка/возврат посторонних контейнеров хоста), restart.sh перезапускает
и LB, scripts/app-e2e.sh (host-side e2e через loopback-порты).
- Makefile: stand-up/down/status, stand-replica, wait-ready, quiesce-up/down,
test-e2e, test-failover-all, rolling-update, track1, evidence.
- Dockerfile: ARG/ENV BUILD_ID для доказательства rolling update.
Проверено: make test, make test-e2e, make test-persistence (restart.sh),
make test-failover (stop-one.sh, восстановление через start-replica.sh),
make test-dependencies; docker inspect подтверждает NanoCpus/Memory и
отсутствие опубликованных портов у api.
This commit is contained in:
Executable
+19
@@ -0,0 +1,19 @@
|
||||
#!/bin/sh
|
||||
# Black-box набор приложения (app/test/*.e2e-spec.ts) против поднятого стенда.
|
||||
# Требует loopback-портов PostgreSQL и Redis из compose.yaml: API-реплики портов
|
||||
# не публикуют, а сам набор подключается к хранилищам напрямую для проверки
|
||||
# фактического состояния (уникальность пользователей, история сообщений).
|
||||
set -eu
|
||||
|
||||
env_file="${COMPOSE_ENV_FILE:-.env}"
|
||||
# shellcheck disable=SC1090
|
||||
set -a
|
||||
. "./$env_file"
|
||||
set +a
|
||||
|
||||
export API_BASE_URL="${API_BASE_URL:-http://127.0.0.1:${APP_PUBLIC_PORT:-8080}}"
|
||||
export DATABASE_URL="postgresql://${POSTGRES_USER:-messenger}:${POSTGRES_PASSWORD:?set POSTGRES_PASSWORD in $env_file}@127.0.0.1:${POSTGRES_PUBLISHED_PORT:-5432}/${POSTGRES_DB:-messenger}"
|
||||
export REDIS_URL="redis://127.0.0.1:${REDIS_PUBLISHED_PORT:-6379}"
|
||||
|
||||
cd "$(dirname "$0")/../app"
|
||||
exec npm run test:e2e
|
||||
Executable
+70
@@ -0,0 +1,70 @@
|
||||
#!/bin/sh
|
||||
# Готовит хост к измерениям: посторонние контейнеры (чужие БД, прокси, dev-серверы)
|
||||
# потребляют CPU/RAM и портят сравнение конфигураций стенда. Скрипт запоминает,
|
||||
# что именно он остановил, и возвращает только это: чужие контейнеры, поднятые
|
||||
# пользователем после `up`, скрипт не трогает.
|
||||
#
|
||||
# scripts/quiesce.sh up остановить фон перед серией
|
||||
# scripts/quiesce.sh down вернуть ровно остановленное
|
||||
# scripts/quiesce.sh status состояние фона и список остановленного
|
||||
#
|
||||
# Список переопределяется QUIESCE_CONTAINERS (имена через пробел), файл
|
||||
# состояния — QUIESCE_STATE_FILE.
|
||||
set -eu
|
||||
|
||||
state_file="${QUIESCE_STATE_FILE:-.lab3-quiesce.json}"
|
||||
containers="${QUIESCE_CONTAINERS:-omniroute lampa caddy redis valkey sql-lab-db-1 redis-lab-redis-1}"
|
||||
|
||||
is_running() {
|
||||
[ "$(docker inspect -f '{{.State.Running}}' "$1" 2>/dev/null || printf false)" = 'true' ]
|
||||
}
|
||||
|
||||
case "${1:-}" in
|
||||
up)
|
||||
if [ -f "$state_file" ]; then
|
||||
printf 'quiesce: %s exists, background is already quiesced (run down first)\n' "$state_file" >&2
|
||||
exit 1
|
||||
fi
|
||||
stopped=''
|
||||
for container in $containers; do
|
||||
if is_running "$container"; then
|
||||
docker stop "$container" >/dev/null
|
||||
stopped="$stopped $container"
|
||||
printf 'quiesce: stopped %s\n' "$container"
|
||||
fi
|
||||
done
|
||||
printf '%s\n' "$stopped" | tr ' ' '\n' | sed '/^$/d' |
|
||||
jq -Rn --arg at "$(date -u +%Y-%m-%dT%H:%M:%SZ)" \
|
||||
'{started_at: $at, stopped: [inputs]}' >"$state_file"
|
||||
printf 'quiesce: %s stopped %s\n' "$(basename "$state_file")" "$(tr -d '\n' <"$state_file")"
|
||||
;;
|
||||
down)
|
||||
if [ ! -f "$state_file" ]; then
|
||||
printf 'quiesce: no %s, nothing to restore\n' "$state_file" >&2
|
||||
exit 0
|
||||
fi
|
||||
for container in $(jq -r '.stopped[]' "$state_file"); do
|
||||
docker start "$container" >/dev/null
|
||||
printf 'quiesce: started %s\n' "$container"
|
||||
done
|
||||
rm -f "$state_file"
|
||||
;;
|
||||
status)
|
||||
if [ -f "$state_file" ]; then
|
||||
printf 'quiesced at %s: %s\n' \
|
||||
"$(jq -r '.started_at' "$state_file")" \
|
||||
"$(jq -r '.stopped | join(" ")' "$state_file")"
|
||||
else
|
||||
printf 'background is not quiesced\n'
|
||||
fi
|
||||
for container in $containers; do
|
||||
if docker inspect -f '{{.State.Status}}' "$container" >/dev/null 2>&1; then
|
||||
printf '%s\t%s\n' "$container" "$(docker inspect -f '{{.State.Status}}' "$container")"
|
||||
fi
|
||||
done
|
||||
;;
|
||||
*)
|
||||
printf 'usage: %s up|down|status\n' "$0" >&2
|
||||
exit 2
|
||||
;;
|
||||
esac
|
||||
+2
-2
@@ -4,5 +4,5 @@
|
||||
set -euo pipefail
|
||||
|
||||
compose=(docker compose --env-file .env)
|
||||
"${compose[@]}" restart postgres redis api
|
||||
"${compose[@]}" up -d --no-recreate --no-deps --wait postgres redis api
|
||||
"${compose[@]}" restart postgres redis api haproxy
|
||||
"${compose[@]}" up -d --no-recreate --no-deps --wait postgres redis api haproxy
|
||||
|
||||
Executable
+16
@@ -0,0 +1,16 @@
|
||||
#!/bin/sh
|
||||
# Восстанавливает недостающую API-реплику до объявленного числа реплик.
|
||||
# Вызывается после make test-failover (или после остановки реплики вручную):
|
||||
# Compose создаёт ровно ту реплику, которой не хватает, и не трогает остальные
|
||||
# (--no-deps: миграции и БД не перезапускаются).
|
||||
set -eu
|
||||
|
||||
env_file="${COMPOSE_ENV_FILE:-.env}"
|
||||
replicas="${API_REPLICAS:-}"
|
||||
if [ -z "$replicas" ] && [ -f "$env_file" ]; then
|
||||
replicas=$(sed -n 's/^API_REPLICAS=//p' "$env_file" | tail -n 1)
|
||||
fi
|
||||
replicas="${replicas:-2}"
|
||||
|
||||
exec docker compose --env-file "$env_file" up -d --no-deps \
|
||||
--scale "api=${replicas}" api
|
||||
Executable
+35
@@ -0,0 +1,35 @@
|
||||
#!/bin/sh
|
||||
# Останавливает ровно одну API-реплику стенда — ту, которую обслужила текущая
|
||||
# сессия. TARGET_INSTANCE_ID приходит из теста (значение X-Instance-Id ответа),
|
||||
# а в Docker hostname контейнера равен его короткому ID, поэтому сопоставление
|
||||
# однозначно. Ничего, кроме этой реплики, скрипт не трогает: ни LB, ни БД, ни
|
||||
# тома. Возврат управления — быстрый (SIGTERM -> дрейн DRAIN_DELAY_MS=3s ->
|
||||
# выход), останавливать реплику "навсегда" не требуется.
|
||||
set -eu
|
||||
|
||||
: "${TARGET_INSTANCE_ID:?test provides target API instance alias}"
|
||||
project="${LAB3_PROJECT:-mtusi-lab3}"
|
||||
|
||||
target=''
|
||||
for container in $(
|
||||
docker ps \
|
||||
--filter "label=com.docker.compose.project=${project}" \
|
||||
--filter 'label=com.docker.compose.service=api' \
|
||||
--format '{{.ID}}'
|
||||
); do
|
||||
case "$container" in
|
||||
"$TARGET_INSTANCE_ID"*)
|
||||
target="$container"
|
||||
break
|
||||
;;
|
||||
esac
|
||||
done
|
||||
|
||||
if [ -z "$target" ]; then
|
||||
printf 'stop-one: no running api replica of project %s whose id starts with %s\n' \
|
||||
"$project" "$TARGET_INSTANCE_ID" >&2
|
||||
exit 1
|
||||
fi
|
||||
|
||||
printf 'stop-one: stopping api replica %s\n' "$target" >&2
|
||||
docker stop --time 10 "$target" >/dev/null
|
||||
Reference in New Issue
Block a user