Apply completed lab 6 implementation
Co-authored-by: Copilot <223556219+Copilot@users.noreply.github.com>
This commit is contained in:
@@ -0,0 +1,41 @@
|
||||
#!/bin/sh
|
||||
# Проверка приватности S3 мимо API (уровень 4). Запросы идут из отдельного контейнера s3-probe
|
||||
# в сети стенда — ближе всего к атакующему внутри; с хоста S3 вообще недоступен.
|
||||
# Нужен хотя бы один загруженный файл (например, после make test). Секреты не печатаются.
|
||||
set -eu
|
||||
cd "$(dirname "$0")/.."
|
||||
|
||||
key=$(docker compose exec -T postgres psql -U messenger -d messenger -At -c "select object_key from attachments where state='ready' limit 1")
|
||||
[ -n "$key" ] || { echo "no attachments yet: run make test first" >&2; exit 2; }
|
||||
|
||||
docker compose run --rm -T -e KEY="$key" s3-probe <<'EOF'
|
||||
url="http://s3:8333/messenger-attachments"
|
||||
fail=0
|
||||
expect() { # expect <описание> <ожидаемый код> <фактический код>
|
||||
if [ "$2" = "$3" ]; then echo "PASS $1 -> $3"; else echo "FAIL $1 -> $3 (expected $2)"; fail=1; fi
|
||||
}
|
||||
signed() { # подписанный запрос ключами API; ключи идут в curl через stdin, не в argv
|
||||
printf 'user = "%s:%s"\n' "$(cat /run/secrets/s3.access-key)" "$(cat /run/secrets/s3.secret-key)" |
|
||||
curl -K - -s -o /tmp/body -w '%{http_code}' -m 5 --aws-sigv4 aws:amz:us-east-1:s3 "$@"
|
||||
}
|
||||
anon() { curl -s -o /dev/null -w '%{http_code}' -m 5 "$@"; }
|
||||
|
||||
expect "anonymous GET object" 403 "$(anon "$url/$KEY")"
|
||||
expect "anonymous HEAD object" 403 "$(anon -I "$url/$KEY")"
|
||||
expect "anonymous LIST bucket" 403 "$(anon "$url?list-type=2")"
|
||||
expect "anonymous PUT object" 403 "$(anon -X PUT --data-binary x "$url/originals/anon-probe")"
|
||||
# Контроль: подпись верна и ключ API читает свой bucket — значит, 403 ниже вызваны именно правами.
|
||||
expect "API key GET object (control)" 200 "$(signed "$url/$KEY")"
|
||||
expect "API key create other bucket" 403 "$(signed -X PUT http://s3:8333/probe-other-bucket)"
|
||||
grep -q AccessDenied /tmp/body && echo "PASS ...denied by policy (AccessDenied), not by signature" || { echo "FAIL unexpected error body"; fail=1; }
|
||||
expect "API key delete own bucket" 403 "$(signed -X DELETE "$url")"
|
||||
# HTTP-админки SeaweedFS (master UI, filer UI, volume) слушают только 127.0.0.1 внутри контейнера s3.
|
||||
for port in 9333 8888 8080; do expect "admin port s3:$port reachable" 000 "$(anon "http://s3:$port/")"; done
|
||||
exit $fail
|
||||
EOF
|
||||
|
||||
# С хоста опубликованы только nginx (API) и Grafana (UI наблюдаемости, вход по паролю).
|
||||
if docker compose ps --format '{{.Service}} {{.Ports}}' | grep -vE '^(nginx|grafana) ' | grep -q -- '->'; then
|
||||
echo "FAIL services other than nginx/grafana publish host ports"; exit 1
|
||||
fi
|
||||
echo "PASS only nginx and grafana publish host ports"
|
||||
@@ -0,0 +1,86 @@
|
||||
#!/usr/bin/env python3
|
||||
"""Создаёт синтетические секреты локального стенда в secrets/ (вне Git); значения не печатает.
|
||||
|
||||
Повторный запуск не меняет существующие файлы: пароль PostgreSQL задаётся при первой
|
||||
инициализации volume, и его смена сломала бы уже созданный стенд.
|
||||
"""
|
||||
import base64
|
||||
import hashlib
|
||||
import json
|
||||
import os
|
||||
import secrets
|
||||
import string
|
||||
from pathlib import Path
|
||||
|
||||
ROOT = Path(__file__).resolve().parents[1]
|
||||
DIR = ROOT / 'secrets'
|
||||
BUCKET = os.environ.get('S3_BUCKET', 'messenger-attachments')
|
||||
|
||||
|
||||
def value(name, generate):
|
||||
path = DIR / name
|
||||
if not path.exists():
|
||||
path.write_text(generate(), encoding='utf-8')
|
||||
# 644: файлы монтируются в контейнеры, где сервисы работают не от root; каталог закрыт 700.
|
||||
os.chmod(path, 0o644)
|
||||
return path.read_text(encoding='utf-8')
|
||||
|
||||
|
||||
def token():
|
||||
return secrets.token_urlsafe(30)
|
||||
|
||||
|
||||
def access_key():
|
||||
return ''.join(secrets.choice(string.ascii_uppercase + string.digits) for _ in range(20))
|
||||
|
||||
|
||||
DIR.mkdir(exist_ok=True)
|
||||
os.chmod(DIR, 0o700)
|
||||
value('db_password', token)
|
||||
redis_password = value('redis_password', token)
|
||||
value('redis.conf', lambda: 'requirepass %s\nappendonly yes\ndir /data\n' % redis_password)
|
||||
api_key, api_secret = value('s3_api_access_key', access_key), value('s3_api_secret_key', token)
|
||||
admin_key, admin_secret = value('s3_admin_access_key', access_key), value('s3_admin_secret_key', token)
|
||||
worker_key, worker_secret = value('s3_worker_access_key', access_key), value('s3_worker_secret_key', token)
|
||||
# admin нужен только s3-init для создания bucket; API получает права лишь на свой bucket.
|
||||
value('s3_config.json', lambda: json.dumps({'identities': [
|
||||
{'name': 'admin', 'credentials': [{'accessKey': admin_key, 'secretKey': admin_secret}],
|
||||
'actions': ['Admin', 'Read', 'Write', 'List']},
|
||||
{'name': 'api', 'credentials': [{'accessKey': api_key, 'secretKey': api_secret}],
|
||||
'actions': ['Read:' + BUCKET, 'Write:' + BUCKET, 'List:' + BUCKET]},
|
||||
{'name': 'worker', 'credentials': [{'accessKey': worker_key, 'secretKey': worker_secret}],
|
||||
'actions': ['Read:' + BUCKET, 'Write:' + BUCKET, 'List:' + BUCKET]},
|
||||
]}, indent=2))
|
||||
|
||||
|
||||
def rabbit_hash(password):
|
||||
# Формат rabbit_password_hashing_sha256: base64(salt4 + sha256(salt4 + password)).
|
||||
salt = os.urandom(4)
|
||||
return base64.b64encode(salt + hashlib.sha256(salt + password.encode()).digest()).decode()
|
||||
|
||||
|
||||
# RabbitMQ: пользователь api только публикует в exchange attachments, worker ещё и читает очередь.
|
||||
# configure-прав нет ни у кого: топологию создаёт definitions-файл при старте брокера.
|
||||
api_pw, worker_pw = value('broker_api_password', token), value('broker_worker_password', token)
|
||||
value('broker_api_url', lambda: 'amqp://api:%s@rabbitmq:5672/%%2F' % api_pw)
|
||||
value('broker_worker_url', lambda: 'amqp://worker:%s@rabbitmq:5672/%%2F' % worker_pw)
|
||||
user = lambda name, pw: {'name': name, 'password_hash': rabbit_hash(pw), 'hashing_algorithm': 'rabbit_password_hashing_sha256', 'tags': []}
|
||||
exchange = lambda name, kind: {'name': name, 'vhost': '/', 'type': kind, 'durable': True, 'auto_delete': False, 'internal': False, 'arguments': {}}
|
||||
queue = lambda name, args: {'name': name, 'vhost': '/', 'durable': True, 'auto_delete': False, 'arguments': args}
|
||||
binding = lambda source, queue, key: {'source': source, 'vhost': '/', 'destination': queue, 'destination_type': 'queue', 'routing_key': key, 'arguments': {}}
|
||||
value('rabbitmq_definitions.json', lambda: json.dumps({
|
||||
'users': [user('api', api_pw), user('worker', worker_pw)],
|
||||
'vhosts': [{'name': '/'}],
|
||||
'permissions': [
|
||||
{'user': 'api', 'vhost': '/', 'configure': '^$', 'write': '^attachments$', 'read': '^$'},
|
||||
{'user': 'worker', 'vhost': '/', 'configure': '^$', 'write': '^attachments$', 'read': '^attachments\\.process$'},
|
||||
],
|
||||
'exchanges': [exchange('attachments', 'direct'), exchange('attachments.dlx', 'fanout')],
|
||||
# Quorum-очередь: реплицируемый журнал на диске, сообщения переживают рестарт брокера с volume.
|
||||
'queues': [queue('attachments.process', {'x-queue-type': 'quorum', 'x-dead-letter-exchange': 'attachments.dlx', 'x-delivery-limit': 50}),
|
||||
queue('attachments.dlq', {'x-queue-type': 'quorum'})],
|
||||
'bindings': [binding('attachments', 'attachments.process', 'process'), binding('attachments.dlx', 'attachments.dlq', '')],
|
||||
}, indent=2))
|
||||
# Пароль администратора Grafana (UI наблюдаемости).
|
||||
value('grafana_admin_password', token)
|
||||
print('secrets ready in %s (values are not printed)' % DIR)
|
||||
@@ -0,0 +1,47 @@
|
||||
#!/bin/bash
|
||||
# Поочерёдная остановка каждой API-реплики под нагрузкой (уровень «4»).
|
||||
# RPS, ошибки и p50/p95/p99 даёт tests/load.py (POST сообщений через nginx),
|
||||
# время восстановления — от запуска реплики до её возвращения в балансировку nginx.
|
||||
# Время переключения LB на живую реплику измеряет make test-failover (first_recovery_seconds).
|
||||
|
||||
set -euo pipefail
|
||||
|
||||
cd "$(dirname "$0")/.."
|
||||
BASE_URL="${BASE_URL:-http://localhost:8080}"
|
||||
DURATION="${DURATION:-40}"
|
||||
OUTPUT_DIR="${OUTPUT_DIR:-evidence/failover}"
|
||||
mkdir -p "$OUTPUT_DIR"
|
||||
|
||||
# healthy ещё не значит «в балансировке»: nginx держит упавшую реплику выключенной fail_timeout=10s.
|
||||
in_rotation() {
|
||||
local id; id=$(docker compose ps -q "$1" | cut -c1-12)
|
||||
for _ in $(seq 60); do
|
||||
curl -s -D - -o /dev/null "$BASE_URL/health/live" | grep -qi "x-instance-id: $id" && return 0
|
||||
sleep 0.5
|
||||
done
|
||||
echo "$1 не вернулась в балансировку за 30 s" >&2; return 1
|
||||
}
|
||||
|
||||
for svc in api-1 api-2; do
|
||||
result="$OUTPUT_DIR/${svc}_$(date +%Y%m%d_%H%M%S).json"
|
||||
echo "=== Остановка $svc под нагрузкой (${DURATION}s, 4 потока POST сообщений) ==="
|
||||
|
||||
python3 tests/load.py --base-url "$BASE_URL" --duration "$DURATION" --concurrency 4 --output "$result" >/dev/null &
|
||||
load_pid=$!
|
||||
sleep 5
|
||||
|
||||
docker compose stop "$svc"
|
||||
echo "$svc остановлена, запросы обслуживает другая реплика"
|
||||
sleep 10
|
||||
|
||||
start=$SECONDS
|
||||
docker compose up -d --no-deps --wait "$svc"
|
||||
in_rotation "$svc"
|
||||
echo "Время восстановления $svc (запуск → снова в балансировке): $((SECONDS - start)) s"
|
||||
|
||||
wait "$load_pid" || echo "load.py завершился с ошибкой"
|
||||
cat "$result"
|
||||
echo
|
||||
done
|
||||
|
||||
echo "Результаты в: $OUTPUT_DIR"
|
||||
@@ -0,0 +1,19 @@
|
||||
#!/bin/bash
|
||||
# Скрипт перезапуска всего стенда с сохранением volumes.
|
||||
|
||||
set -e
|
||||
|
||||
echo "Останавливаем все контейнеры стенда..."
|
||||
docker compose down
|
||||
|
||||
echo "Запускаем стенд заново..."
|
||||
docker compose up -d
|
||||
|
||||
# Готовность (/health/ready) ждёт сам tests/resilience.py — лишний sleep только съедал бюджет 90 с.
|
||||
echo "Проверяем статус контейнеров..."
|
||||
docker compose ps
|
||||
|
||||
echo "Проверяем health check..."
|
||||
curl -f http://localhost:8080/health/ready || echo "API ещё не готов"
|
||||
|
||||
echo "Стенд успешно перезапущен"
|
||||
@@ -0,0 +1,49 @@
|
||||
#!/bin/bash
|
||||
# Rolling update под нагрузкой: реплики пересобираются и заменяются по одной,
|
||||
# пока tests/load.py пишет сообщения через nginx.
|
||||
|
||||
set -euo pipefail
|
||||
|
||||
cd "$(dirname "$0")/.."
|
||||
BASE_URL="${BASE_URL:-http://localhost:8080}"
|
||||
DURATION="${DURATION:-60}"
|
||||
OUTPUT_DIR="${OUTPUT_DIR:-evidence/rolling}"
|
||||
mkdir -p "$OUTPUT_DIR"
|
||||
result="$OUTPUT_DIR/rolling_$(date +%Y%m%d_%H%M%S).json"
|
||||
|
||||
# healthy ещё не значит «в балансировке»: nginx держит упавшую реплику выключенной fail_timeout=10s.
|
||||
# Ждём ответ с X-Instance-Id новой реплики, иначе следующая замена оставит nginx без живых backend.
|
||||
in_rotation() {
|
||||
local id; id=$(docker compose ps -q "$1" | cut -c1-12)
|
||||
for _ in $(seq 60); do
|
||||
curl -s -D - -o /dev/null "$BASE_URL/health/live" | grep -qi "x-instance-id: $id" && return 0
|
||||
sleep 0.5
|
||||
done
|
||||
echo "$1 не вернулась в балансировку за 30 s" >&2; return 1
|
||||
}
|
||||
|
||||
echo "=== Rolling update под нагрузкой (${DURATION}s, 4 потока POST сообщений) ==="
|
||||
docker compose ps
|
||||
|
||||
python3 tests/load.py --base-url "$BASE_URL" --duration "$DURATION" --concurrency 4 --output "$result" >/dev/null &
|
||||
load_pid=$!
|
||||
sleep 5
|
||||
|
||||
for svc in api-1 api-2; do
|
||||
# Сборка до остановки: пока собирается образ, реплика продолжает работать.
|
||||
echo "Собираем образ $svc..."
|
||||
docker compose build -q "$svc"
|
||||
# --force-recreate заменяет контейнер, даже если образ не изменился.
|
||||
echo "Заменяем $svc и ждём healthy..."
|
||||
start=$SECONDS
|
||||
docker compose up -d --no-deps --force-recreate --wait "$svc"
|
||||
in_rotation "$svc"
|
||||
echo "$svc заменена и снова в балансировке за $((SECONDS - start)) s"
|
||||
done
|
||||
|
||||
echo "Ожидание завершения нагрузки..."
|
||||
wait "$load_pid" || echo "load.py завершился с ошибкой"
|
||||
docker compose ps
|
||||
|
||||
echo "=== Нагрузка во время rolling update ==="
|
||||
cat "$result"
|
||||
@@ -0,0 +1,13 @@
|
||||
#!/bin/sh
|
||||
# Останавливает ровно ту API-реплику, чей X-Instance-Id передан тестом в TARGET_INSTANCE_ID,
|
||||
# и оставляет её остановленной. X-Instance-Id = hostname = первые 12 символов ID контейнера.
|
||||
# Восстановление после теста: docker compose start api-1 api-2
|
||||
set -eu
|
||||
: "${TARGET_INSTANCE_ID:?тест передаёт X-Instance-Id обслужившей реплики}"
|
||||
case "$TARGET_INSTANCE_ID" in
|
||||
*[!0-9a-f]* | "") echo "unexpected instance id" >&2; exit 2 ;;
|
||||
esac
|
||||
cid=$(docker compose ps -q api-1 api-2 | grep "^$TARGET_INSTANCE_ID" || true)
|
||||
[ "$(printf "%s\n" "$cid" | grep -c .)" -eq 1 ] || { echo "no single running api container for $TARGET_INSTANCE_ID" >&2; exit 1; }
|
||||
docker stop "$cid" >/dev/null
|
||||
echo "stopped $(docker inspect -f "{{.Name}}" "$cid") ($TARGET_INSTANCE_ID)"
|
||||
@@ -0,0 +1,6 @@
|
||||
#!/bin/sh
|
||||
# Останавливает worker (graceful: текущие попытки дорабатываются ≤ 25 с); очередь и задания остаются.
|
||||
# Запуск обратно: docker compose start worker
|
||||
set -eu
|
||||
cd "$(dirname "$0")/.."
|
||||
docker compose stop worker
|
||||
Reference in New Issue
Block a user