forked from mtusi2026/mtusi2026lab6
ЛР 6 — БПИ2302 — Нурлыгаянова — на 3
This commit is contained in:
Executable
+116
@@ -0,0 +1,116 @@
|
||||
#!/bin/sh
|
||||
# Создаёт локальные секреты стенда в каталоге secrets/ (он в .gitignore). Запускается один раз
|
||||
# на чистом clone, до первого docker compose up: compose.yaml читает секреты из этих файлов.
|
||||
#
|
||||
# Запуск из любого каталога: sh scripts/init-secrets.sh
|
||||
# Настройки через окружение: POSTGRES_USER, POSTGRES_DB (по умолчанию messenger).
|
||||
# Повторный запуск безопасен: непустые файлы не перезаписываются, значения секретов не печатаются.
|
||||
# Не удаляйте пароль при существующих томах: PostgreSQL задаёт пароль только при создании своего
|
||||
# тома, и новый пароль с ним не совпадёт.
|
||||
|
||||
# -e: выйти при ошибке команды; -u: считать ошибкой неизвестную переменную.
|
||||
set -eu
|
||||
|
||||
# Перейти в корень проекта: все пути ниже указаны относительно него.
|
||||
cd "$(dirname "$0")/.."
|
||||
DIR=secrets
|
||||
# Должны совпадать с POSTGRES_USER и POSTGRES_DB сервиса postgres в compose.yaml.
|
||||
DB_USER="${POSTGRES_USER:-messenger}"
|
||||
DB_NAME="${POSTGRES_DB:-messenger}"
|
||||
|
||||
# Новые файлы и каталог сразу доступны только владельцу: секрет не открыт ни на миг.
|
||||
umask 077
|
||||
mkdir -p "$DIR"
|
||||
|
||||
# Пароль PostgreSQL: 24 случайных байта в hex. -s: файла нет или он пуст.
|
||||
if [ ! -s "$DIR/postgres_password" ]; then
|
||||
# hex, чтобы пароль не требовал URL-экранирования в DSN.
|
||||
od -An -tx1 -N24 /dev/urandom | tr -d ' \n' > "$DIR/postgres_password"
|
||||
echo "init-secrets: created $DIR/postgres_password"
|
||||
fi
|
||||
|
||||
# Строка подключения к БД для API и migrate. Хост postgres — имя сервиса в сети Compose.
|
||||
# TLS выключен: подключение идёт только внутри сети учебного стенда.
|
||||
if [ ! -s "$DIR/database_url" ]; then
|
||||
pw="$(cat "$DIR/postgres_password")"
|
||||
printf 'postgres://%s:%s@postgres:5432/%s?sslmode=disable' "$DB_USER" "$pw" "$DB_NAME" > "$DIR/database_url"
|
||||
echo "init-secrets: created $DIR/database_url"
|
||||
fi
|
||||
|
||||
# Пароль Valkey, в котором хранятся сессии.
|
||||
if [ ! -s "$DIR/valkey_password" ]; then
|
||||
od -An -tx1 -N24 /dev/urandom | tr -d ' \n' > "$DIR/valkey_password"
|
||||
echo "init-secrets: created $DIR/valkey_password"
|
||||
fi
|
||||
|
||||
# Адрес хранилища сессий для API.
|
||||
if [ ! -s "$DIR/cache_url" ]; then
|
||||
pw="$(cat "$DIR/valkey_password")"
|
||||
printf 'redis://:%s@valkey:6379/0' "$pw" > "$DIR/cache_url"
|
||||
echo "init-secrets: created $DIR/cache_url"
|
||||
fi
|
||||
|
||||
# Пароль отдельного Valkey для кэша истории (необязательный профиль). Перевод строки в кавычках
|
||||
# ниже — это символ для удаления, как \n в блоках выше.
|
||||
if [ ! -s "$DIR/valkey_cache_password" ]; then
|
||||
od -An -tx1 -N24 /dev/urandom | tr -d '
|
||||
' > "$DIR/valkey_cache_password"
|
||||
echo "init-secrets: created $DIR/valkey_cache_password"
|
||||
fi
|
||||
|
||||
# Адрес кэша истории для API.
|
||||
if [ ! -s "$DIR/history_cache_url" ]; then
|
||||
pw="$(cat "$DIR/valkey_cache_password")"
|
||||
printf 'redis://:%s@valkey-cache:6379/0' "$pw" > "$DIR/history_cache_url"
|
||||
echo "init-secrets: created $DIR/history_cache_url"
|
||||
fi
|
||||
|
||||
# Ключи S3, отдельные на каждую роль. Hex: значения не требуют экранирования в JSON.
|
||||
# s3_* — API; s3_janitor_* — очиститель; s3_admin_* — только подготовка bucket (s3-init).
|
||||
for role in s3 s3_janitor s3_admin; do
|
||||
if [ ! -s "$DIR/${role}_access_key_id" ]; then
|
||||
od -An -tx1 -N10 /dev/urandom | tr -d ' \n' > "$DIR/${role}_access_key_id"
|
||||
echo "init-secrets: created $DIR/${role}_access_key_id"
|
||||
fi
|
||||
if [ ! -s "$DIR/${role}_secret_access_key" ]; then
|
||||
od -An -tx1 -N20 /dev/urandom | tr -d ' \n' > "$DIR/${role}_secret_access_key"
|
||||
echo "init-secrets: created $DIR/${role}_secret_access_key"
|
||||
fi
|
||||
done
|
||||
|
||||
# Пользователи SeaweedFS. Выводится из ключей выше и перезаписывается всегда, поэтому изменение прав
|
||||
# здесь применяется и к уже созданному стенду (после перезапуска сервиса s3). Секретов не добавляет.
|
||||
# Отсутствие записи anonymous означает, что запрос без подписи получает отказ: bucket приватный.
|
||||
# Права на запись ограничены префиксом объектов, а не bucket: в SeaweedFS Write:<bucket> разрешает
|
||||
# и PUT политики bucket, то есть позволил бы API сделать bucket публичным (найдено cmd/s3check).
|
||||
BUCKET="$(sed -n 's/^S3_BUCKET=//p' .env 2>/dev/null || true)"
|
||||
BUCKET="${BUCKET:-messenger-attachments}"
|
||||
identity() {
|
||||
printf '{"name":"%s","credentials":[{"accessKey":"%s","secretKey":"%s"}],"actions":[%s]}' \
|
||||
"$1" "$(cat "$DIR/$2_access_key_id")" "$(cat "$DIR/$2_secret_access_key")" "$3"
|
||||
}
|
||||
{
|
||||
printf '{"identities":['
|
||||
identity messenger-admin s3_admin '"Admin","Read","Write","List"'
|
||||
printf ','
|
||||
identity messenger-api s3 "\"Read:$BUCKET/originals/*\",\"Write:$BUCKET/originals/*\",\"Read:$BUCKET/staging/*\",\"Write:$BUCKET/staging/*\",\"Read:$BUCKET/variants/*\",\"Write:$BUCKET/variants/*\""
|
||||
printf ','
|
||||
identity messenger-janitor s3_janitor "\"List:$BUCKET\",\"Write:$BUCKET/originals/*\""
|
||||
printf ']}'
|
||||
} > "$DIR/s3_config"
|
||||
|
||||
# Каталог закрыт от других пользователей хоста. Сами файлы открыты на чтение: Compose монтирует
|
||||
# их в контейнеры с правами хоста, а процессы там работают не от root (API — uid 100).
|
||||
chmod 0700 "$DIR"
|
||||
chmod 0644 "$DIR/postgres_password" "$DIR/database_url" "$DIR/valkey_password" "$DIR/cache_url" "$DIR/valkey_cache_password" "$DIR/history_cache_url" \
|
||||
"$DIR/s3_access_key_id" "$DIR/s3_secret_access_key" \
|
||||
"$DIR/s3_janitor_access_key_id" "$DIR/s3_janitor_secret_access_key" \
|
||||
"$DIR/s3_admin_access_key_id" "$DIR/s3_admin_secret_access_key" "$DIR/s3_config"
|
||||
|
||||
if [ ! -s "$DIR/broker_password" ]; then
|
||||
od -An -tx1 -N24 /dev/urandom | tr -d ' \n' > "$DIR/broker_password"
|
||||
fi
|
||||
if [ ! -s "$DIR/broker_url" ]; then
|
||||
printf 'redis://:%s@broker:6379/0' "$(cat "$DIR/broker_password")" > "$DIR/broker_url"
|
||||
fi
|
||||
chmod 0644 "$DIR/broker_password" "$DIR/broker_url"
|
||||
@@ -0,0 +1,25 @@
|
||||
#!/usr/bin/env python3
|
||||
"""30s closed-loop workload plus sampled Docker CPU/RAM (not peak measurement)."""
|
||||
import json
|
||||
import platform
|
||||
import subprocess
|
||||
import sys
|
||||
import time
|
||||
from pathlib import Path
|
||||
|
||||
root = Path(__file__).resolve().parents[1]
|
||||
with (root/'evidence'/'load.txt').open('w') as output:
|
||||
process = subprocess.Popen([sys.executable,'tests/load.py','--base-url','http://localhost:18086',
|
||||
'--duration','30','--concurrency','4','--output','evidence/load.json'],cwd=root,stdout=output,stderr=subprocess.STDOUT)
|
||||
samples = []
|
||||
while process.poll() is None:
|
||||
raw = subprocess.check_output(['docker','stats','--no-stream','--format','{{json .}}'],text=True)
|
||||
samples.append({'unix':time.time(),'containers':[json.loads(line) for line in raw.splitlines() if 'mtusi-lab6-' in line]})
|
||||
time.sleep(3)
|
||||
if process.returncode:
|
||||
raise SystemExit(process.returncode)
|
||||
info = json.loads(subprocess.check_output(['docker','info','--format','{{json .}}'],text=True))
|
||||
result = {'host':platform.platform(),'docker':{'os':info['OperatingSystem'],'cpus':info['NCPU'],'memory_bytes':info['MemTotal']},
|
||||
'note':'CPU/RAM snapshots during workload, not peaks; Docker Desktop shared with other local services.', 'samples':samples}
|
||||
(root/'evidence'/'resources.json').write_text(json.dumps(result,ensure_ascii=False,indent=2)+'\n')
|
||||
print('PASS: evidence/load.json and evidence/resources.json')
|
||||
Executable
+36
@@ -0,0 +1,36 @@
|
||||
#!/bin/sh
|
||||
# Перезапускает API, LB и все используемые хранилища с сохранением volumes.
|
||||
# Без down -v, flush и повторного seed; migrate при up повторно ничего не применяет.
|
||||
#
|
||||
# Вызывается тестом сохранности: make test-persistence ACTION_SCRIPT=scripts/restart.sh
|
||||
# Можно запускать и вручную из любого каталога: sh scripts/restart.sh
|
||||
# Стенд на время перезапуска недоступен. Удаляет данные только down -v, здесь его нет.
|
||||
|
||||
# -e: выйти при ошибке команды; -u: считать ошибкой неизвестную переменную.
|
||||
set -eu
|
||||
# Перейти в корень проекта: compose.yaml и .env ищутся в нём.
|
||||
cd "$(dirname "$0")/.."
|
||||
|
||||
# docker compose с настройками стенда.
|
||||
compose() { docker compose --env-file .env "$@"; }
|
||||
|
||||
snapshot() {
|
||||
for container_id in $(compose ps -q); do
|
||||
docker inspect --format '{{.Name}} {{.State.StartedAt}}' "$container_id"
|
||||
done
|
||||
}
|
||||
printf 'Before restart (UTC timestamps)\n' > evidence/persistence-containers.txt
|
||||
snapshot >> evidence/persistence-containers.txt
|
||||
|
||||
# Сначала точка входа и API: они перестают принимать запросы и штатно завершают открытые,
|
||||
# пока БД и сессии ещё доступны. Контейнеры останавливаются, но не удаляются.
|
||||
compose stop lb api dispatcher worker
|
||||
# Затем хранилища: штатная остановка, тома остаются на месте.
|
||||
compose stop postgres valkey broker s3-gateway s3
|
||||
compose stop otel-collector prometheus loki tempo grafana
|
||||
# Запустить всё и дождаться готовности. Миграции уже применены, поэтому migrate ничего не меняет.
|
||||
# Отказ на любом шаге завершит скрипт с ошибкой благодаря set -e.
|
||||
compose up -d --wait
|
||||
|
||||
printf 'After restart (UTC timestamps)\n' >> evidence/persistence-containers.txt
|
||||
snapshot >> evidence/persistence-containers.txt
|
||||
Executable
+34
@@ -0,0 +1,34 @@
|
||||
#!/bin/sh
|
||||
# Останавливает одну реплику API, которую назвал тест, и оставляет её остановленной.
|
||||
# TARGET_INSTANCE_ID — значение X-Instance-Id, то есть короткий ID контейнера.
|
||||
# БД, сессии и LB не трогает. Восстановление: docker compose --env-file .env up -d --wait
|
||||
#
|
||||
# Вызывается тестом отказа: make test-failover ACTION_SCRIPT=scripts/stop-one.sh
|
||||
# Вручную из любого каталога: TARGET_INSTANCE_ID=<короткий ID> sh scripts/stop-one.sh
|
||||
# Код выхода: 0 — реплика остановлена, 2 — такой реплики нет.
|
||||
|
||||
# -e: выйти при ошибке команды; -u: считать ошибкой неизвестную переменную.
|
||||
set -eu
|
||||
# Перейти в корень проекта: compose.yaml и .env ищутся в нём.
|
||||
cd "$(dirname "$0")/.."
|
||||
|
||||
# Без ID завершиться с этим сообщением: останавливать случайную реплику нельзя.
|
||||
: "${TARGET_INSTANCE_ID:?test provides target API instance alias}"
|
||||
|
||||
# Перебрать работающие API-контейнеры. Полные ID сравниваются с коротким по началу строки.
|
||||
for id in $(docker compose --env-file .env ps -q api); do
|
||||
case "$id" in
|
||||
# Шаблон с *: совпадает полный ID, начинающийся с короткого.
|
||||
"$TARGET_INSTANCE_ID"*)
|
||||
# Штатная остановка: SIGTERM, реплика уходит из балансировки и завершает открытые запросы.
|
||||
docker stop "$id" >/dev/null
|
||||
# Первые 12 символов ID: в обычном sh нет записи ${id:0:12}.
|
||||
echo "stopped api container ${id%"${id#????????????}"}"
|
||||
exit 0
|
||||
;;
|
||||
esac
|
||||
done
|
||||
|
||||
# Сюда дошли, только если ни один контейнер не подошёл: реплика уже остановлена или ID неверный.
|
||||
echo "stop-one: no running api container matches the given instance id" >&2
|
||||
exit 2
|
||||
Reference in New Issue
Block a user