forked from mtusi2026/mtusi2026lab5
ЛР5
This commit is contained in:
Executable
+71
@@ -0,0 +1,71 @@
|
||||
#!/bin/sh
|
||||
# Создаёт локальные секреты стенда в каталоге secrets/ (он в .gitignore и в Git не попадает).
|
||||
# Запуск один раз: sh scripts/init-secrets.sh
|
||||
# Повторный запуск безопасен: существующие файлы не меняются, недостающие досоздаются.
|
||||
set -eu
|
||||
cd "$(dirname "$0")/.."
|
||||
|
||||
umask 077 # каталог secrets/ доступен только владельцу
|
||||
mkdir -p secrets
|
||||
|
||||
# 24 случайных байта -> 48 hex-символов. /dev/urandom есть и в Linux/macOS, и в Git Bash.
|
||||
random_hex() { od -An -tx1 -N24 /dev/urandom | tr -d ' \n'; }
|
||||
|
||||
# Каждый файл создаётся, только если его ещё нет: повторный запуск ничего не меняет
|
||||
# (у уже созданного volume PostgreSQL пароль так не сменить), но досоздаёт недостающие.
|
||||
if [ ! -e secrets/postgres_password ]; then
|
||||
PG_PASSWORD=$(random_hex)
|
||||
CACHE_PASSWORD=$(random_hex)
|
||||
# printf без перевода строки в конце: в файле только значение.
|
||||
printf '%s' "$PG_PASSWORD" > secrets/postgres_password
|
||||
printf 'postgresql://messenger:%s@postgres:5432/messenger' "$PG_PASSWORD" > secrets/database_url
|
||||
printf 'valkey://messenger:%s@valkey:6379/0' "$CACHE_PASSWORD" > secrets/cache_url
|
||||
printf '%s\n' \
|
||||
'user default off' \
|
||||
'user health on nopass -@all +ping +info +dbsize' \
|
||||
"user messenger on >$CACHE_PASSWORD ~sess:* resetchannels -@all +get +mget +set +del +ping" \
|
||||
> secrets/valkey_users.acl
|
||||
else
|
||||
echo "PostgreSQL/Valkey: secrets уже есть, оставляю как есть."
|
||||
fi
|
||||
|
||||
# С lab4: S3 (SeaweedFS). root — администратор S3 (только для s3-init, создаёт bucket),
|
||||
# отдельная пара ключей — пользователь API с правами только на свой bucket.
|
||||
# Каждый файл создаётся, только если его ещё нет.
|
||||
make_secret() { [ -e "secrets/$1" ] || printf '%s%s' "$2" "$(random_hex | cut -c1-"$3")" > "secrets/$1"; }
|
||||
make_secret s3_root_user admin 12
|
||||
make_secret s3_root_password "" 32
|
||||
make_secret s3_access_key_id api 16
|
||||
make_secret s3_secret_access_key "" 32
|
||||
|
||||
# Конфигурация пользователей SeaweedFS (s3.json): у API действия только для своего bucket,
|
||||
# анонимного пользователя нет — запрос без подписи получает AccessDenied. Пересобирается из ключей выше.
|
||||
BUCKET=$(sed -n 's/^S3_BUCKET=//p' .env 2>/dev/null | tr -d '\r')
|
||||
BUCKET=${BUCKET:-messenger-attachments}
|
||||
printf '{"identities":[{"name":"admin","credentials":[{"accessKey":"%s","secretKey":"%s"}],"actions":["Admin","Read","List","Tagging","Write"]},{"name":"messenger-api","credentials":[{"accessKey":"%s","secretKey":"%s"}],"actions":["Read:%s","Write:%s","List:%s"]}]}\n' \
|
||||
"$(cat secrets/s3_root_user)" "$(cat secrets/s3_root_password)" \
|
||||
"$(cat secrets/s3_access_key_id)" "$(cat secrets/s3_secret_access_key)" \
|
||||
"$BUCKET" "$BUCKET" "$BUCKET" > secrets/s3_config.json
|
||||
|
||||
# С lab5: брокер RabbitMQ. Один пароль в двух местах: в конфиге брокера (по нему RabbitMQ создаёт
|
||||
# пользователя при ПЕРВОМ запуске с пустым volume) и в адресе для API (relay) и worker.
|
||||
# Права пользователя — только на свои exchange и очереди (attachments, attachments.*).
|
||||
if [ ! -e secrets/broker_url ]; then
|
||||
BROKER_PASSWORD=$(random_hex)
|
||||
printf 'amqp://messenger:%s@broker:5672/messenger' "$BROKER_PASSWORD" > secrets/broker_url
|
||||
printf '%s\n' \
|
||||
'default_user = messenger' \
|
||||
"default_pass = $BROKER_PASSWORD" \
|
||||
'default_vhost = messenger' \
|
||||
'default_permissions.configure = ^attachments(\..*)?$' \
|
||||
'default_permissions.read = ^attachments(\..*)?$' \
|
||||
'default_permissions.write = ^attachments(\..*)?$' \
|
||||
> secrets/rabbitmq_credentials.conf
|
||||
else
|
||||
echo "RabbitMQ: secrets уже есть, оставляю как есть."
|
||||
fi
|
||||
|
||||
# Файлы читают процессы в контейнерах под своими пользователями (postgres, valkey, app, seaweedfs, rabbitmq),
|
||||
# поэтому сами файлы доступны на чтение; посторонних на хосте не пускает каталог (700).
|
||||
chmod 644 secrets/*
|
||||
echo "Готово: secrets/ (PostgreSQL, Valkey, S3 root и S3 для API, RabbitMQ; значения не выводятся)."
|
||||
@@ -0,0 +1,11 @@
|
||||
@echo off
|
||||
rem Windows restart hook for make test-persistence: same steps as scripts/restart.sh.
|
||||
rem Python on Windows cannot run .sh directly (WinError 193), so this .cmd is used instead.
|
||||
rem Restarts ALL api replicas, the worker and ALL stores (PostgreSQL, Valkey, S3 SeaweedFS, RabbitMQ),
|
||||
rem then the balancer. Volumes are kept (no down -v, no queue purge). Same containers, new start time.
|
||||
cd /d "%~dp0.."
|
||||
docker compose stop api worker || exit /b 1
|
||||
docker compose restart postgres valkey s3 broker || exit /b 1
|
||||
docker compose start worker api || exit /b 1
|
||||
docker compose restart lb || exit /b 1
|
||||
exit /b 0
|
||||
Executable
+12
@@ -0,0 +1,12 @@
|
||||
#!/bin/sh
|
||||
# Restart hook для make test-persistence (Linux/macOS).
|
||||
# Перезапускает ВСЕ реплики API, worker и ВСЕ используемые хранилища (PostgreSQL, Valkey, S3, RabbitMQ),
|
||||
# а затем балансировщик. Volumes сохраняются: нет down -v, flush, purge очереди или повторного seed.
|
||||
# Контейнеры те же (restart/stop/start, не recreate): ID не меняется, меняется время старта.
|
||||
set -eu
|
||||
cd "$(dirname "$0")/.."
|
||||
|
||||
docker compose stop api worker # API: readiness 503 -> уход из балансировки; worker доделывает задания
|
||||
docker compose restart postgres valkey s3 broker # корректная остановка (SIGINT/SIGTERM) и запуск тех же контейнеров
|
||||
docker compose start worker api # ждут PostgreSQL и брокер сами (повторные подключения)
|
||||
docker compose restart lb # балансировщик заново находит реплики по DNS
|
||||
@@ -0,0 +1,6 @@
|
||||
@echo off
|
||||
rem Failover hook for make test-failover on Windows (same as scripts/stop-one.sh).
|
||||
rem Python on Windows cannot start .sh files directly (WinError 193), a .cmd file works.
|
||||
rem Stops ONE api replica from TARGET_INSTANCE_ID; the logic is in scripts\stop_one.py.
|
||||
python "%~dp0stop_one.py"
|
||||
exit /b %ERRORLEVEL%
|
||||
Executable
+9
@@ -0,0 +1,9 @@
|
||||
#!/bin/sh
|
||||
# Failover hook для make test-failover (Linux/macOS): останавливает ОДНУ реплику API —
|
||||
# ту, чей X-Instance-Id тест передал в TARGET_INSTANCE_ID, и оставляет её остановленной.
|
||||
# Логика (проверка значения, поиск контейнера, docker stop) — в scripts/stop_one.py,
|
||||
# общем для этого скрипта и для scripts/stop-one.cmd (Windows).
|
||||
# Восстановить реплику после теста: make restore (docker compose up -d --wait).
|
||||
set -eu
|
||||
: "${TARGET_INSTANCE_ID:?test provides target API instance alias}"
|
||||
exec "${PYTHON:-python3}" "$(dirname "$0")/stop_one.py"
|
||||
@@ -0,0 +1,49 @@
|
||||
"""Failover hook logic for tests/resilience.py --mode failover (lab3).
|
||||
|
||||
Called by scripts/stop-one.sh (Linux/macOS) and scripts/stop-one.cmd (Windows).
|
||||
The test puts X-Instance-Id of the replica that served its first message into
|
||||
TARGET_INSTANCE_ID. In this solution X-Instance-Id is the container hostname, and
|
||||
Docker sets the hostname to the short container ID. So the script finds that ID
|
||||
among the RUNNING containers of the "api" service of this Compose project and
|
||||
stops only that one container. Postgres, Valkey, the balancer and volumes are not
|
||||
touched. The replica stays stopped; restore it with `make restore`
|
||||
(docker compose up -d --wait) or `docker start <id>`.
|
||||
|
||||
docker stop sends SIGTERM: the replica first answers 503 on /health/ready for
|
||||
SHUTDOWN_DRAIN_SECONDS (HAProxy takes it out of rotation), then finishes started
|
||||
requests and exits. --time 8: SIGKILL after 8 s at most, so the hook always returns
|
||||
within the 10 s the test allows.
|
||||
|
||||
This file is plain ASCII on purpose: scripts/check_contract.py reads every
|
||||
scripts/*.py with the default encoding, which is cp1251 on a Russian Windows.
|
||||
"""
|
||||
import os
|
||||
import re
|
||||
import subprocess
|
||||
import sys
|
||||
from pathlib import Path
|
||||
|
||||
ROOT = Path(__file__).resolve().parents[1]
|
||||
STOP_TIMEOUT_SECONDS = 8
|
||||
|
||||
|
||||
def main() -> int:
|
||||
target = os.environ.get("TARGET_INSTANCE_ID", "").strip().lower()
|
||||
# The value comes from an HTTP header: accept only a hex container ID, nothing else.
|
||||
if not re.fullmatch(r"[0-9a-f]{12,64}", target):
|
||||
print("TARGET_INSTANCE_ID must be a container id (X-Instance-Id)", file=sys.stderr)
|
||||
return 2
|
||||
running = subprocess.run(["docker", "compose", "ps", "-q", "api"], cwd=ROOT,
|
||||
capture_output=True, text=True, check=True).stdout.split()
|
||||
matches = [container for container in running if container.startswith(target)]
|
||||
if len(matches) != 1:
|
||||
print("no running api container with id " + target, file=sys.stderr)
|
||||
return 1
|
||||
subprocess.run(["docker", "stop", "--time", str(STOP_TIMEOUT_SECONDS), matches[0]],
|
||||
cwd=ROOT, check=True, stdout=subprocess.DEVNULL)
|
||||
print("stopped api container " + matches[0][:12])
|
||||
return 0
|
||||
|
||||
|
||||
if __name__ == "__main__":
|
||||
sys.exit(main())
|
||||
Reference in New Issue
Block a user