Apply completed lab 4 implementation
Co-authored-by: Copilot <223556219+Copilot@users.noreply.github.com>
This commit is contained in:
@@ -0,0 +1,41 @@
|
||||
#!/bin/sh
|
||||
# Проверка приватности S3 мимо API (уровень 4). Запросы идут из отдельного контейнера s3-probe
|
||||
# в сети стенда — ближе всего к атакующему внутри; с хоста S3 вообще недоступен.
|
||||
# Нужен хотя бы один загруженный файл (например, после make test). Секреты не печатаются.
|
||||
set -eu
|
||||
cd "$(dirname "$0")/.."
|
||||
|
||||
key=$(docker compose exec -T postgres psql -U messenger -d messenger -At -c "select object_key from attachments where state='ready' limit 1")
|
||||
[ -n "$key" ] || { echo "no attachments yet: run make test first" >&2; exit 2; }
|
||||
|
||||
docker compose run --rm -T -e KEY="$key" s3-probe <<'EOF'
|
||||
url="http://s3:8333/messenger-attachments"
|
||||
fail=0
|
||||
expect() { # expect <описание> <ожидаемый код> <фактический код>
|
||||
if [ "$2" = "$3" ]; then echo "PASS $1 -> $3"; else echo "FAIL $1 -> $3 (expected $2)"; fail=1; fi
|
||||
}
|
||||
signed() { # подписанный запрос ключами API; ключи идут в curl через stdin, не в argv
|
||||
printf 'user = "%s:%s"\n' "$(cat /run/secrets/s3.access-key)" "$(cat /run/secrets/s3.secret-key)" |
|
||||
curl -K - -s -o /tmp/body -w '%{http_code}' -m 5 --aws-sigv4 aws:amz:us-east-1:s3 "$@"
|
||||
}
|
||||
anon() { curl -s -o /dev/null -w '%{http_code}' -m 5 "$@"; }
|
||||
|
||||
expect "anonymous GET object" 403 "$(anon "$url/$KEY")"
|
||||
expect "anonymous HEAD object" 403 "$(anon -I "$url/$KEY")"
|
||||
expect "anonymous LIST bucket" 403 "$(anon "$url?list-type=2")"
|
||||
expect "anonymous PUT object" 403 "$(anon -X PUT --data-binary x "$url/originals/anon-probe")"
|
||||
# Контроль: подпись верна и ключ API читает свой bucket — значит, 403 ниже вызваны именно правами.
|
||||
expect "API key GET object (control)" 200 "$(signed "$url/$KEY")"
|
||||
expect "API key create other bucket" 403 "$(signed -X PUT http://s3:8333/probe-other-bucket)"
|
||||
grep -q AccessDenied /tmp/body && echo "PASS ...denied by policy (AccessDenied), not by signature" || { echo "FAIL unexpected error body"; fail=1; }
|
||||
expect "API key delete own bucket" 403 "$(signed -X DELETE "$url")"
|
||||
# HTTP-админки SeaweedFS (master UI, filer UI, volume) слушают только 127.0.0.1 внутри контейнера s3.
|
||||
for port in 9333 8888 8080; do expect "admin port s3:$port reachable" 000 "$(anon "http://s3:$port/")"; done
|
||||
exit $fail
|
||||
EOF
|
||||
|
||||
# С хоста опубликован только порт nginx.
|
||||
if docker compose ps --format '{{.Service}} {{.Ports}}' | grep -v '^nginx' | grep -q -- '->'; then
|
||||
echo "FAIL services other than nginx publish host ports"; exit 1
|
||||
fi
|
||||
echo "PASS only nginx publishes host ports"
|
||||
@@ -0,0 +1,49 @@
|
||||
#!/usr/bin/env python3
|
||||
"""Создаёт синтетические секреты локального стенда в secrets/ (вне Git); значения не печатает.
|
||||
|
||||
Повторный запуск не меняет существующие файлы: пароль PostgreSQL задаётся при первой
|
||||
инициализации volume, и его смена сломала бы уже созданный стенд.
|
||||
"""
|
||||
import json
|
||||
import os
|
||||
import secrets
|
||||
import string
|
||||
from pathlib import Path
|
||||
|
||||
ROOT = Path(__file__).resolve().parents[1]
|
||||
DIR = ROOT / 'secrets'
|
||||
BUCKET = os.environ.get('S3_BUCKET', 'messenger-attachments')
|
||||
|
||||
|
||||
def value(name, generate):
|
||||
path = DIR / name
|
||||
if not path.exists():
|
||||
path.write_text(generate(), encoding='utf-8')
|
||||
# 644: файлы монтируются в контейнеры, где сервисы работают не от root; каталог закрыт 700.
|
||||
os.chmod(path, 0o644)
|
||||
return path.read_text(encoding='utf-8')
|
||||
|
||||
|
||||
def token():
|
||||
return secrets.token_urlsafe(30)
|
||||
|
||||
|
||||
def access_key():
|
||||
return ''.join(secrets.choice(string.ascii_uppercase + string.digits) for _ in range(20))
|
||||
|
||||
|
||||
DIR.mkdir(exist_ok=True)
|
||||
os.chmod(DIR, 0o700)
|
||||
value('db_password', token)
|
||||
redis_password = value('redis_password', token)
|
||||
value('redis.conf', lambda: 'requirepass %s\nappendonly yes\ndir /data\n' % redis_password)
|
||||
api_key, api_secret = value('s3_api_access_key', access_key), value('s3_api_secret_key', token)
|
||||
admin_key, admin_secret = value('s3_admin_access_key', access_key), value('s3_admin_secret_key', token)
|
||||
# admin нужен только s3-init для создания bucket; API получает права лишь на свой bucket.
|
||||
value('s3_config.json', lambda: json.dumps({'identities': [
|
||||
{'name': 'admin', 'credentials': [{'accessKey': admin_key, 'secretKey': admin_secret}],
|
||||
'actions': ['Admin', 'Read', 'Write', 'List']},
|
||||
{'name': 'api', 'credentials': [{'accessKey': api_key, 'secretKey': api_secret}],
|
||||
'actions': ['Read:' + BUCKET, 'Write:' + BUCKET, 'List:' + BUCKET]},
|
||||
]}, indent=2))
|
||||
print('secrets ready in %s (values are not printed)' % DIR)
|
||||
@@ -0,0 +1,47 @@
|
||||
#!/bin/bash
|
||||
# Поочерёдная остановка каждой API-реплики под нагрузкой (уровень «4»).
|
||||
# RPS, ошибки и p50/p95/p99 даёт tests/load.py (POST сообщений через nginx),
|
||||
# время восстановления — от запуска реплики до её возвращения в балансировку nginx.
|
||||
# Время переключения LB на живую реплику измеряет make test-failover (first_recovery_seconds).
|
||||
|
||||
set -euo pipefail
|
||||
|
||||
cd "$(dirname "$0")/.."
|
||||
BASE_URL="${BASE_URL:-http://localhost:8080}"
|
||||
DURATION="${DURATION:-40}"
|
||||
OUTPUT_DIR="${OUTPUT_DIR:-evidence/failover}"
|
||||
mkdir -p "$OUTPUT_DIR"
|
||||
|
||||
# healthy ещё не значит «в балансировке»: nginx держит упавшую реплику выключенной fail_timeout=10s.
|
||||
in_rotation() {
|
||||
local id; id=$(docker compose ps -q "$1" | cut -c1-12)
|
||||
for _ in $(seq 60); do
|
||||
curl -s -D - -o /dev/null "$BASE_URL/health/live" | grep -qi "x-instance-id: $id" && return 0
|
||||
sleep 0.5
|
||||
done
|
||||
echo "$1 не вернулась в балансировку за 30 s" >&2; return 1
|
||||
}
|
||||
|
||||
for svc in api-1 api-2; do
|
||||
result="$OUTPUT_DIR/${svc}_$(date +%Y%m%d_%H%M%S).json"
|
||||
echo "=== Остановка $svc под нагрузкой (${DURATION}s, 4 потока POST сообщений) ==="
|
||||
|
||||
python3 tests/load.py --base-url "$BASE_URL" --duration "$DURATION" --concurrency 4 --output "$result" >/dev/null &
|
||||
load_pid=$!
|
||||
sleep 5
|
||||
|
||||
docker compose stop "$svc"
|
||||
echo "$svc остановлена, запросы обслуживает другая реплика"
|
||||
sleep 10
|
||||
|
||||
start=$SECONDS
|
||||
docker compose up -d --no-deps --wait "$svc"
|
||||
in_rotation "$svc"
|
||||
echo "Время восстановления $svc (запуск → снова в балансировке): $((SECONDS - start)) s"
|
||||
|
||||
wait "$load_pid" || echo "load.py завершился с ошибкой"
|
||||
cat "$result"
|
||||
echo
|
||||
done
|
||||
|
||||
echo "Результаты в: $OUTPUT_DIR"
|
||||
@@ -0,0 +1,290 @@
|
||||
#!/usr/bin/env python3
|
||||
"""
|
||||
Reconciler для согласованности S3 и PostgreSQL (Трек 5).
|
||||
|
||||
Функции:
|
||||
- Обнаружение orphan объектов (в S3, но нет в БД)
|
||||
- Обнаружение missing файлов (в БД, но нет в S3)
|
||||
- Dry-run режим для безопасной проверки
|
||||
- Grace period для защиты свежих файлов
|
||||
- Метрики и отчет
|
||||
"""
|
||||
|
||||
import argparse
|
||||
import sys
|
||||
import json
|
||||
from datetime import datetime, timedelta, timezone
|
||||
import psycopg2
|
||||
import boto3
|
||||
from botocore.client import Config
|
||||
|
||||
def parse_args():
|
||||
parser = argparse.ArgumentParser(description='S3/DB reconciler for attachments')
|
||||
parser.add_argument('--db-host', default='localhost', help='PostgreSQL host')
|
||||
parser.add_argument('--db-port', type=int, default=5432, help='PostgreSQL port')
|
||||
parser.add_argument('--db-name', default='messenger', help='Database name')
|
||||
parser.add_argument('--db-user', default='messenger', help='Database user')
|
||||
parser.add_argument('--db-password', default='messenger', help='Database password')
|
||||
parser.add_argument('--s3-endpoint', default='http://localhost:9000', help='S3 endpoint')
|
||||
parser.add_argument('--s3-access-key', default='minioadmin', help='S3 access key')
|
||||
parser.add_argument('--s3-secret-key', default='minioadmin', help='S3 secret key')
|
||||
parser.add_argument('--s3-bucket', default='messenger-attachments', help='S3 bucket name')
|
||||
parser.add_argument('--grace-period-hours', type=int, default=1, help='Grace period in hours for fresh files')
|
||||
parser.add_argument('--dry-run', action='store_true', help='Dry run mode (no deletions)')
|
||||
parser.add_argument('--output', default='reconciler_report.json', help='Output report file')
|
||||
return parser.parse_args()
|
||||
|
||||
def connect_db(args):
|
||||
"""Подключение к PostgreSQL."""
|
||||
return psycopg2.connect(
|
||||
host=args.db_host,
|
||||
port=args.db_port,
|
||||
dbname=args.db_name,
|
||||
user=args.db_user,
|
||||
password=args.db_password
|
||||
)
|
||||
|
||||
def connect_s3(args):
|
||||
"""Подключение к S3 (MinIO)."""
|
||||
return boto3.client(
|
||||
's3',
|
||||
endpoint_url=args.s3_endpoint,
|
||||
aws_access_key_id=args.s3_access_key,
|
||||
aws_secret_access_key=args.s3_secret_key,
|
||||
config=Config(signature_version='s3v4')
|
||||
)
|
||||
|
||||
def get_db_attachments(conn):
|
||||
"""Получить список всех s3_key из БД с метаданными."""
|
||||
cur = conn.cursor()
|
||||
cur.execute("""
|
||||
SELECT id, s3_key, created_at, status, chat_id
|
||||
FROM attachments
|
||||
ORDER BY created_at DESC
|
||||
""")
|
||||
|
||||
attachments = {}
|
||||
for row in cur.fetchall():
|
||||
att_id, s3_key, created_at, status, chat_id = row
|
||||
attachments[s3_key] = {
|
||||
'id': str(att_id),
|
||||
'created_at': created_at,
|
||||
'status': status,
|
||||
'chat_id': str(chat_id)
|
||||
}
|
||||
|
||||
cur.close()
|
||||
return attachments
|
||||
|
||||
def get_s3_objects(s3_client, bucket):
|
||||
"""Получить список всех объектов из S3."""
|
||||
objects = {}
|
||||
paginator = s3_client.get_paginator('list_objects_v2')
|
||||
|
||||
for page in paginator.paginate(Bucket=bucket, Prefix='attachments/'):
|
||||
if 'Contents' not in page:
|
||||
continue
|
||||
|
||||
for obj in page['Contents']:
|
||||
key = obj['Key']
|
||||
objects[key] = {
|
||||
'size': obj['Size'],
|
||||
'last_modified': obj['LastModified']
|
||||
}
|
||||
|
||||
return objects
|
||||
|
||||
def find_orphans(s3_objects, db_attachments, grace_period_hours):
|
||||
"""Найти orphan объекты в S3 (нет в БД)."""
|
||||
orphans = []
|
||||
grace_cutoff = datetime.now(timezone.utc) - timedelta(hours=grace_period_hours)
|
||||
|
||||
for s3_key, s3_meta in s3_objects.items():
|
||||
if s3_key not in db_attachments:
|
||||
# Проверяем grace period.
|
||||
if s3_meta['last_modified'] > grace_cutoff:
|
||||
continue
|
||||
|
||||
orphans.append({
|
||||
's3_key': s3_key,
|
||||
'size': s3_meta['size'],
|
||||
'last_modified': s3_meta['last_modified'].isoformat(),
|
||||
'age_hours': (datetime.now(timezone.utc) - s3_meta['last_modified']).total_seconds() / 3600
|
||||
})
|
||||
|
||||
return orphans
|
||||
|
||||
def find_missing(db_attachments, s3_objects, grace_period_hours):
|
||||
"""Найти missing файлы (в БД, но нет в S3)."""
|
||||
missing = []
|
||||
grace_cutoff = datetime.now(timezone.utc) - timedelta(hours=grace_period_hours)
|
||||
|
||||
for s3_key, db_meta in db_attachments.items():
|
||||
if s3_key not in s3_objects:
|
||||
# Проверяем grace period.
|
||||
created_at_utc = db_meta['created_at'].replace(tzinfo=timezone.utc)
|
||||
if created_at_utc > grace_cutoff:
|
||||
continue
|
||||
|
||||
missing.append({
|
||||
's3_key': s3_key,
|
||||
'attachment_id': db_meta['id'],
|
||||
'created_at': db_meta['created_at'].isoformat(),
|
||||
'status': db_meta['status'],
|
||||
'chat_id': db_meta['chat_id'],
|
||||
'age_hours': (datetime.now(timezone.utc) - created_at_utc).total_seconds() / 3600
|
||||
})
|
||||
|
||||
return missing
|
||||
|
||||
def delete_orphans(s3_client, bucket, orphans, dry_run):
|
||||
"""Удалить orphan объекты из S3."""
|
||||
deleted = 0
|
||||
|
||||
for orphan in orphans:
|
||||
s3_key = orphan['s3_key']
|
||||
if dry_run:
|
||||
print(f"[DRY-RUN] Would delete S3 object: {s3_key}")
|
||||
else:
|
||||
try:
|
||||
s3_client.delete_object(Bucket=bucket, Key=s3_key)
|
||||
print(f"Deleted S3 orphan: {s3_key}")
|
||||
deleted += 1
|
||||
except Exception as e:
|
||||
print(f"Failed to delete {s3_key}: {e}", file=sys.stderr)
|
||||
|
||||
return deleted
|
||||
|
||||
def mark_missing(conn, missing, dry_run):
|
||||
"""Отметить missing файлы в БД (status=failed, error_code)."""
|
||||
marked = 0
|
||||
cur = conn.cursor()
|
||||
|
||||
for miss in missing:
|
||||
att_id = miss['attachment_id']
|
||||
if dry_run:
|
||||
print(f"[DRY-RUN] Would mark attachment {att_id} as failed (s3_object_missing)")
|
||||
else:
|
||||
try:
|
||||
cur.execute("""
|
||||
UPDATE attachments
|
||||
SET status = 'failed', error_code = 's3_object_missing'
|
||||
WHERE id = %s AND status != 'failed'
|
||||
""", (att_id,))
|
||||
if cur.rowcount > 0:
|
||||
print(f"Marked attachment {att_id} as failed")
|
||||
marked += 1
|
||||
except Exception as e:
|
||||
print(f"Failed to mark {att_id}: {e}", file=sys.stderr)
|
||||
|
||||
if not dry_run:
|
||||
conn.commit()
|
||||
cur.close()
|
||||
|
||||
return marked
|
||||
|
||||
def generate_report(args, db_attachments, s3_objects, orphans, missing, deleted_count, marked_count):
|
||||
"""Сгенерировать JSON-отчет."""
|
||||
total_db = len(db_attachments)
|
||||
total_s3 = len(s3_objects)
|
||||
total_orphans = len(orphans)
|
||||
total_missing = len(missing)
|
||||
|
||||
# Размеры.
|
||||
orphan_bytes = sum(o['size'] for o in orphans)
|
||||
|
||||
report = {
|
||||
'timestamp': datetime.now(timezone.utc).isoformat(),
|
||||
'parameters': {
|
||||
'grace_period_hours': args.grace_period_hours,
|
||||
'dry_run': args.dry_run
|
||||
},
|
||||
'summary': {
|
||||
'total_db_attachments': total_db,
|
||||
'total_s3_objects': total_s3,
|
||||
'orphan_objects': total_orphans,
|
||||
'orphan_bytes': orphan_bytes,
|
||||
'missing_files': total_missing,
|
||||
'deleted_orphans': deleted_count,
|
||||
'marked_missing': marked_count
|
||||
},
|
||||
'orphans': orphans[:100], # Первые 100 для отчета.
|
||||
'missing': missing[:100]
|
||||
}
|
||||
|
||||
with open(args.output, 'w') as f:
|
||||
json.dump(report, f, indent=2, default=str)
|
||||
|
||||
return report
|
||||
|
||||
def main():
|
||||
args = parse_args()
|
||||
|
||||
print("=== S3/DB Reconciler ===")
|
||||
print(f"Mode: {'DRY-RUN' if args.dry_run else 'LIVE'}")
|
||||
print(f"Grace period: {args.grace_period_hours} hours")
|
||||
print()
|
||||
|
||||
# Подключение.
|
||||
print("Connecting to PostgreSQL...")
|
||||
conn = connect_db(args)
|
||||
|
||||
print("Connecting to S3...")
|
||||
s3 = connect_s3(args)
|
||||
|
||||
# Сканирование.
|
||||
print("Scanning database...")
|
||||
db_attachments = get_db_attachments(conn)
|
||||
print(f"Found {len(db_attachments)} attachments in database")
|
||||
|
||||
print("Scanning S3 bucket...")
|
||||
s3_objects = get_s3_objects(s3, args.s3_bucket)
|
||||
print(f"Found {len(s3_objects)} objects in S3")
|
||||
print()
|
||||
|
||||
# Поиск несоответствий.
|
||||
print("Finding orphan objects...")
|
||||
orphans = find_orphans(s3_objects, db_attachments, args.grace_period_hours)
|
||||
print(f"Found {len(orphans)} orphan objects (older than {args.grace_period_hours}h)")
|
||||
|
||||
print("Finding missing files...")
|
||||
missing = find_missing(db_attachments, s3_objects, args.grace_period_hours)
|
||||
print(f"Found {len(missing)} missing files (older than {args.grace_period_hours}h)")
|
||||
print()
|
||||
|
||||
# Очистка.
|
||||
deleted_count = 0
|
||||
marked_count = 0
|
||||
|
||||
if orphans:
|
||||
print("Processing orphan objects...")
|
||||
deleted_count = delete_orphans(s3, args.s3_bucket, orphans, args.dry_run)
|
||||
print()
|
||||
|
||||
if missing:
|
||||
print("Processing missing files...")
|
||||
marked_count = mark_missing(conn, missing, args.dry_run)
|
||||
print()
|
||||
|
||||
# Отчет.
|
||||
print("Generating report...")
|
||||
report = generate_report(args, db_attachments, s3_objects, orphans, missing, deleted_count, marked_count)
|
||||
print(f"Report saved to: {args.output}")
|
||||
print()
|
||||
|
||||
# Итоги.
|
||||
print("=== Summary ===")
|
||||
print(f"Database attachments: {report['summary']['total_db_attachments']}")
|
||||
print(f"S3 objects: {report['summary']['total_s3_objects']}")
|
||||
print(f"Orphan objects: {report['summary']['orphan_objects']} ({report['summary']['orphan_bytes']} bytes)")
|
||||
print(f"Missing files: {report['summary']['missing_files']}")
|
||||
if not args.dry_run:
|
||||
print(f"Deleted orphans: {deleted_count}")
|
||||
print(f"Marked missing: {marked_count}")
|
||||
else:
|
||||
print("(DRY-RUN: no changes made)")
|
||||
|
||||
conn.close()
|
||||
|
||||
if __name__ == '__main__':
|
||||
main()
|
||||
@@ -0,0 +1,21 @@
|
||||
#!/bin/bash
|
||||
# Скрипт перезапуска всего стенда с сохранением volumes.
|
||||
|
||||
set -e
|
||||
|
||||
echo "Останавливаем все контейнеры стенда..."
|
||||
docker compose down
|
||||
|
||||
echo "Запускаем стенд заново..."
|
||||
docker compose up -d
|
||||
|
||||
echo "Ожидаем готовности сервисов..."
|
||||
sleep 10
|
||||
|
||||
echo "Проверяем статус контейнеров..."
|
||||
docker compose ps
|
||||
|
||||
echo "Проверяем health check..."
|
||||
curl -f http://localhost:8080/health/ready || echo "API ещё не готов"
|
||||
|
||||
echo "Стенд успешно перезапущен"
|
||||
@@ -0,0 +1,49 @@
|
||||
#!/bin/bash
|
||||
# Rolling update под нагрузкой: реплики пересобираются и заменяются по одной,
|
||||
# пока tests/load.py пишет сообщения через nginx.
|
||||
|
||||
set -euo pipefail
|
||||
|
||||
cd "$(dirname "$0")/.."
|
||||
BASE_URL="${BASE_URL:-http://localhost:8080}"
|
||||
DURATION="${DURATION:-60}"
|
||||
OUTPUT_DIR="${OUTPUT_DIR:-evidence/rolling}"
|
||||
mkdir -p "$OUTPUT_DIR"
|
||||
result="$OUTPUT_DIR/rolling_$(date +%Y%m%d_%H%M%S).json"
|
||||
|
||||
# healthy ещё не значит «в балансировке»: nginx держит упавшую реплику выключенной fail_timeout=10s.
|
||||
# Ждём ответ с X-Instance-Id новой реплики, иначе следующая замена оставит nginx без живых backend.
|
||||
in_rotation() {
|
||||
local id; id=$(docker compose ps -q "$1" | cut -c1-12)
|
||||
for _ in $(seq 60); do
|
||||
curl -s -D - -o /dev/null "$BASE_URL/health/live" | grep -qi "x-instance-id: $id" && return 0
|
||||
sleep 0.5
|
||||
done
|
||||
echo "$1 не вернулась в балансировку за 30 s" >&2; return 1
|
||||
}
|
||||
|
||||
echo "=== Rolling update под нагрузкой (${DURATION}s, 4 потока POST сообщений) ==="
|
||||
docker compose ps
|
||||
|
||||
python3 tests/load.py --base-url "$BASE_URL" --duration "$DURATION" --concurrency 4 --output "$result" >/dev/null &
|
||||
load_pid=$!
|
||||
sleep 5
|
||||
|
||||
for svc in api-1 api-2; do
|
||||
# Сборка до остановки: пока собирается образ, реплика продолжает работать.
|
||||
echo "Собираем образ $svc..."
|
||||
docker compose build -q "$svc"
|
||||
# --force-recreate заменяет контейнер, даже если образ не изменился.
|
||||
echo "Заменяем $svc и ждём healthy..."
|
||||
start=$SECONDS
|
||||
docker compose up -d --no-deps --force-recreate --wait "$svc"
|
||||
in_rotation "$svc"
|
||||
echo "$svc заменена и снова в балансировке за $((SECONDS - start)) s"
|
||||
done
|
||||
|
||||
echo "Ожидание завершения нагрузки..."
|
||||
wait "$load_pid" || echo "load.py завершился с ошибкой"
|
||||
docker compose ps
|
||||
|
||||
echo "=== Нагрузка во время rolling update ==="
|
||||
cat "$result"
|
||||
@@ -0,0 +1,13 @@
|
||||
#!/bin/sh
|
||||
# Останавливает ровно ту API-реплику, чей X-Instance-Id передан тестом в TARGET_INSTANCE_ID,
|
||||
# и оставляет её остановленной. X-Instance-Id = hostname = первые 12 символов ID контейнера.
|
||||
# Восстановление после теста: docker compose start api-1 api-2
|
||||
set -eu
|
||||
: "${TARGET_INSTANCE_ID:?тест передаёт X-Instance-Id обслужившей реплики}"
|
||||
case "$TARGET_INSTANCE_ID" in
|
||||
*[!0-9a-f]* | "") echo "unexpected instance id" >&2; exit 2 ;;
|
||||
esac
|
||||
cid=$(docker compose ps -q api-1 api-2 | grep "^$TARGET_INSTANCE_ID" || true)
|
||||
[ "$(printf "%s\n" "$cid" | grep -c .)" -eq 1 ] || { echo "no single running api container for $TARGET_INSTANCE_ID" >&2; exit 1; }
|
||||
docker stop "$cid" >/dev/null
|
||||
echo "stopped $(docker inspect -f "{{.Name}}" "$cid") ($TARGET_INSTANCE_ID)"
|
||||
@@ -0,0 +1,109 @@
|
||||
#!/bin/bash
|
||||
# Скрипт для тестирования reconciler (Трек 5).
|
||||
|
||||
set -e
|
||||
|
||||
echo "=== Testing Reconciler (Трек 5) ==="
|
||||
echo
|
||||
|
||||
# Проверка, что стенд запущен.
|
||||
if ! docker compose ps | grep -q "Up"; then
|
||||
echo "Error: Docker Compose stack is not running"
|
||||
exit 1
|
||||
fi
|
||||
|
||||
# Установка зависимостей для reconciler.
|
||||
echo "Installing Python dependencies..."
|
||||
pip3 install -q psycopg2-binary boto3 2>/dev/null || pip install -q psycopg2-binary boto3
|
||||
|
||||
# 1. Baseline: reconciler на чистой системе.
|
||||
echo "Step 1: Running reconciler on clean system (baseline)..."
|
||||
python3 scripts/reconciler.py \
|
||||
--db-host localhost \
|
||||
--s3-endpoint http://localhost:9000 \
|
||||
--grace-period-hours 0 \
|
||||
--dry-run \
|
||||
--output evidence/reconciler_baseline.json
|
||||
echo "Baseline report saved to evidence/reconciler_baseline.json"
|
||||
echo
|
||||
|
||||
# 2. Создание тестовых orphan объектов в S3.
|
||||
echo "Step 2: Creating orphan objects in S3..."
|
||||
docker compose exec -T minio sh -c "
|
||||
mc alias set myminio http://localhost:9000 minioadmin minioadmin
|
||||
echo 'orphan test data' | mc pipe myminio/messenger-attachments/attachments/test-orphan-1.jpg
|
||||
echo 'orphan test data 2' | mc pipe myminio/messenger-attachments/attachments/test-orphan-2.png
|
||||
mc ls myminio/messenger-attachments/attachments/ | grep test-orphan
|
||||
"
|
||||
echo "Created 2 orphan objects"
|
||||
echo
|
||||
|
||||
# 3. Создание missing file (удаление объекта из S3, но оставляем запись в БД).
|
||||
echo "Step 3: Simulating missing file (requires manual setup via API)..."
|
||||
echo "Note: This step requires an actual attachment uploaded via API first."
|
||||
echo "Skipping automatic missing file creation in test script."
|
||||
echo
|
||||
|
||||
# 4. Запуск reconciler в dry-run режиме.
|
||||
echo "Step 4: Running reconciler in dry-run mode..."
|
||||
python3 scripts/reconciler.py \
|
||||
--db-host localhost \
|
||||
--s3-endpoint http://localhost:9000 \
|
||||
--grace-period-hours 0 \
|
||||
--dry-run \
|
||||
--output evidence/reconciler_dryrun.json
|
||||
echo "Dry-run report saved to evidence/reconciler_dryrun.json"
|
||||
echo
|
||||
|
||||
# 5. Запуск reconciler в live режиме (удаление orphans).
|
||||
echo "Step 5: Running reconciler in LIVE mode (cleanup)..."
|
||||
python3 scripts/reconciler.py \
|
||||
--db-host localhost \
|
||||
--s3-endpoint http://localhost:9000 \
|
||||
--grace-period-hours 0 \
|
||||
--output evidence/reconciler_cleanup.json
|
||||
echo "Cleanup report saved to evidence/reconciler_cleanup.json"
|
||||
echo
|
||||
|
||||
# 6. Проверка, что orphans удалены.
|
||||
echo "Step 6: Verifying orphan cleanup..."
|
||||
docker compose exec -T minio sh -c "
|
||||
mc alias set myminio http://localhost:9000 minioadmin minioadmin
|
||||
mc ls myminio/messenger-attachments/attachments/ | grep test-orphan || echo 'All test orphans removed successfully'
|
||||
"
|
||||
echo
|
||||
|
||||
# 7. Тест grace period (свежие файлы не трогаются).
|
||||
echo "Step 7: Testing grace period protection..."
|
||||
docker compose exec -T minio sh -c "
|
||||
mc alias set myminio http://localhost:9000 minioadmin minioadmin
|
||||
echo 'fresh orphan' | mc pipe myminio/messenger-attachments/attachments/test-fresh.jpg
|
||||
"
|
||||
|
||||
python3 scripts/reconciler.py \
|
||||
--db-host localhost \
|
||||
--s3-endpoint http://localhost:9000 \
|
||||
--grace-period-hours 1 \
|
||||
--dry-run \
|
||||
--output evidence/reconciler_grace.json
|
||||
|
||||
# Проверяем, что свежий файл НЕ попал в список orphans.
|
||||
if grep -q "test-fresh.jpg" evidence/reconciler_grace.json; then
|
||||
echo "WARNING: Fresh file should not be in orphans list (grace period failed)"
|
||||
else
|
||||
echo "Grace period protection works: fresh file excluded from cleanup"
|
||||
fi
|
||||
|
||||
# Очистка тестового файла.
|
||||
docker compose exec -T minio sh -c "
|
||||
mc alias set myminio http://localhost:9000 minioadmin minioadmin
|
||||
mc rm myminio/messenger-attachments/attachments/test-fresh.jpg
|
||||
"
|
||||
echo
|
||||
|
||||
echo "=== Reconciler Testing Complete ==="
|
||||
echo "Reports saved in evidence/ directory:"
|
||||
echo " - reconciler_baseline.json"
|
||||
echo " - reconciler_dryrun.json"
|
||||
echo " - reconciler_cleanup.json"
|
||||
echo " - reconciler_grace.json"
|
||||
Reference in New Issue
Block a user