This commit is contained in:
2026-10-25 21:43:03 +03:00
parent 276dbdad8a
commit a591243d80
103 changed files with 10857 additions and 36 deletions
+71
View File
@@ -0,0 +1,71 @@
#!/bin/sh
# Создаёт локальные секреты стенда в каталоге secrets/ (он в .gitignore и в Git не попадает).
# Запуск один раз: sh scripts/init-secrets.sh
# Повторный запуск безопасен: существующие файлы не меняются, недостающие досоздаются.
set -eu
cd "$(dirname "$0")/.."
umask 077 # каталог secrets/ доступен только владельцу
mkdir -p secrets
# 24 случайных байта -> 48 hex-символов. /dev/urandom есть и в Linux/macOS, и в Git Bash.
random_hex() { od -An -tx1 -N24 /dev/urandom | tr -d ' \n'; }
# Каждый файл создаётся, только если его ещё нет: повторный запуск ничего не меняет
# (у уже созданного volume PostgreSQL пароль так не сменить), но досоздаёт недостающие.
if [ ! -e secrets/postgres_password ]; then
PG_PASSWORD=$(random_hex)
CACHE_PASSWORD=$(random_hex)
# printf без перевода строки в конце: в файле только значение.
printf '%s' "$PG_PASSWORD" > secrets/postgres_password
printf 'postgresql://messenger:%s@postgres:5432/messenger' "$PG_PASSWORD" > secrets/database_url
printf 'valkey://messenger:%s@valkey:6379/0' "$CACHE_PASSWORD" > secrets/cache_url
printf '%s\n' \
'user default off' \
'user health on nopass -@all +ping +info +dbsize' \
"user messenger on >$CACHE_PASSWORD ~sess:* resetchannels -@all +get +mget +set +del +ping" \
> secrets/valkey_users.acl
else
echo "PostgreSQL/Valkey: secrets уже есть, оставляю как есть."
fi
# С lab4: S3 (SeaweedFS). root — администратор S3 (только для s3-init, создаёт bucket),
# отдельная пара ключей — пользователь API с правами только на свой bucket.
# Каждый файл создаётся, только если его ещё нет.
make_secret() { [ -e "secrets/$1" ] || printf '%s%s' "$2" "$(random_hex | cut -c1-"$3")" > "secrets/$1"; }
make_secret s3_root_user admin 12
make_secret s3_root_password "" 32
make_secret s3_access_key_id api 16
make_secret s3_secret_access_key "" 32
# Конфигурация пользователей SeaweedFS (s3.json): у API действия только для своего bucket,
# анонимного пользователя нет — запрос без подписи получает AccessDenied. Пересобирается из ключей выше.
BUCKET=$(sed -n 's/^S3_BUCKET=//p' .env 2>/dev/null | tr -d '\r')
BUCKET=${BUCKET:-messenger-attachments}
printf '{"identities":[{"name":"admin","credentials":[{"accessKey":"%s","secretKey":"%s"}],"actions":["Admin","Read","List","Tagging","Write"]},{"name":"messenger-api","credentials":[{"accessKey":"%s","secretKey":"%s"}],"actions":["Read:%s","Write:%s","List:%s"]}]}\n' \
"$(cat secrets/s3_root_user)" "$(cat secrets/s3_root_password)" \
"$(cat secrets/s3_access_key_id)" "$(cat secrets/s3_secret_access_key)" \
"$BUCKET" "$BUCKET" "$BUCKET" > secrets/s3_config.json
# С lab5: брокер RabbitMQ. Один пароль в двух местах: в конфиге брокера (по нему RabbitMQ создаёт
# пользователя при ПЕРВОМ запуске с пустым volume) и в адресе для API (relay) и worker.
# Права пользователя — только на свои exchange и очереди (attachments, attachments.*).
if [ ! -e secrets/broker_url ]; then
BROKER_PASSWORD=$(random_hex)
printf 'amqp://messenger:%s@broker:5672/messenger' "$BROKER_PASSWORD" > secrets/broker_url
printf '%s\n' \
'default_user = messenger' \
"default_pass = $BROKER_PASSWORD" \
'default_vhost = messenger' \
'default_permissions.configure = ^attachments(\..*)?$' \
'default_permissions.read = ^attachments(\..*)?$' \
'default_permissions.write = ^attachments(\..*)?$' \
> secrets/rabbitmq_credentials.conf
else
echo "RabbitMQ: secrets уже есть, оставляю как есть."
fi
# Файлы читают процессы в контейнерах под своими пользователями (postgres, valkey, app, seaweedfs, rabbitmq),
# поэтому сами файлы доступны на чтение; посторонних на хосте не пускает каталог (700).
chmod 644 secrets/*
echo "Готово: secrets/ (PostgreSQL, Valkey, S3 root и S3 для API, RabbitMQ; значения не выводятся)."
+11
View File
@@ -0,0 +1,11 @@
@echo off
rem Windows restart hook for make test-persistence: same steps as scripts/restart.sh.
rem Python on Windows cannot run .sh directly (WinError 193), so this .cmd is used instead.
rem Restarts ALL api replicas, the worker and ALL stores (PostgreSQL, Valkey, S3 SeaweedFS, RabbitMQ),
rem then the balancer. Volumes are kept (no down -v, no queue purge). Same containers, new start time.
cd /d "%~dp0.."
docker compose stop api worker || exit /b 1
docker compose restart postgres valkey s3 broker || exit /b 1
docker compose start worker api || exit /b 1
docker compose restart lb || exit /b 1
exit /b 0
+12
View File
@@ -0,0 +1,12 @@
#!/bin/sh
# Restart hook для make test-persistence (Linux/macOS).
# Перезапускает ВСЕ реплики API, worker и ВСЕ используемые хранилища (PostgreSQL, Valkey, S3, RabbitMQ),
# а затем балансировщик. Volumes сохраняются: нет down -v, flush, purge очереди или повторного seed.
# Контейнеры те же (restart/stop/start, не recreate): ID не меняется, меняется время старта.
set -eu
cd "$(dirname "$0")/.."
docker compose stop api worker # API: readiness 503 -> уход из балансировки; worker доделывает задания
docker compose restart postgres valkey s3 broker # корректная остановка (SIGINT/SIGTERM) и запуск тех же контейнеров
docker compose start worker api # ждут PostgreSQL и брокер сами (повторные подключения)
docker compose restart lb # балансировщик заново находит реплики по DNS
+6
View File
@@ -0,0 +1,6 @@
@echo off
rem Failover hook for make test-failover on Windows (same as scripts/stop-one.sh).
rem Python on Windows cannot start .sh files directly (WinError 193), a .cmd file works.
rem Stops ONE api replica from TARGET_INSTANCE_ID; the logic is in scripts\stop_one.py.
python "%~dp0stop_one.py"
exit /b %ERRORLEVEL%
+9
View File
@@ -0,0 +1,9 @@
#!/bin/sh
# Failover hook для make test-failover (Linux/macOS): останавливает ОДНУ реплику API —
# ту, чей X-Instance-Id тест передал в TARGET_INSTANCE_ID, и оставляет её остановленной.
# Логика (проверка значения, поиск контейнера, docker stop) — в scripts/stop_one.py,
# общем для этого скрипта и для scripts/stop-one.cmd (Windows).
# Восстановить реплику после теста: make restore (docker compose up -d --wait).
set -eu
: "${TARGET_INSTANCE_ID:?test provides target API instance alias}"
exec "${PYTHON:-python3}" "$(dirname "$0")/stop_one.py"
+49
View File
@@ -0,0 +1,49 @@
"""Failover hook logic for tests/resilience.py --mode failover (lab3).
Called by scripts/stop-one.sh (Linux/macOS) and scripts/stop-one.cmd (Windows).
The test puts X-Instance-Id of the replica that served its first message into
TARGET_INSTANCE_ID. In this solution X-Instance-Id is the container hostname, and
Docker sets the hostname to the short container ID. So the script finds that ID
among the RUNNING containers of the "api" service of this Compose project and
stops only that one container. Postgres, Valkey, the balancer and volumes are not
touched. The replica stays stopped; restore it with `make restore`
(docker compose up -d --wait) or `docker start <id>`.
docker stop sends SIGTERM: the replica first answers 503 on /health/ready for
SHUTDOWN_DRAIN_SECONDS (HAProxy takes it out of rotation), then finishes started
requests and exits. --time 8: SIGKILL after 8 s at most, so the hook always returns
within the 10 s the test allows.
This file is plain ASCII on purpose: scripts/check_contract.py reads every
scripts/*.py with the default encoding, which is cp1251 on a Russian Windows.
"""
import os
import re
import subprocess
import sys
from pathlib import Path
ROOT = Path(__file__).resolve().parents[1]
STOP_TIMEOUT_SECONDS = 8
def main() -> int:
target = os.environ.get("TARGET_INSTANCE_ID", "").strip().lower()
# The value comes from an HTTP header: accept only a hex container ID, nothing else.
if not re.fullmatch(r"[0-9a-f]{12,64}", target):
print("TARGET_INSTANCE_ID must be a container id (X-Instance-Id)", file=sys.stderr)
return 2
running = subprocess.run(["docker", "compose", "ps", "-q", "api"], cwd=ROOT,
capture_output=True, text=True, check=True).stdout.split()
matches = [container for container in running if container.startswith(target)]
if len(matches) != 1:
print("no running api container with id " + target, file=sys.stderr)
return 1
subprocess.run(["docker", "stop", "--time", str(STOP_TIMEOUT_SECONDS), matches[0]],
cwd=ROOT, check=True, stdout=subprocess.DEVNULL)
print("stopped api container " + matches[0][:12])
return 0
if __name__ == "__main__":
sys.exit(main())