Реализовать лабораторную 6: OpenTelemetry, Grafana, SLO и burn-rate alerts
- api и worker отдают traces, metrics и logs по OTLP в Collector (memory_limiter, redaction, batch, ограниченная очередь и retry); хранилища: Prometheus (OTLP receiver), Loki, Tempo; Grafana с provisioning datasources и dashboard «Messenger lab6» - W3C trace context через outbox и RabbitMQ: producer/consumer spans связывают upload, публикации и попытки worker в одном trace - SLO доступности API (SLI на HAProxy) и времени до ready, multiwindow burn-rate alerts, ApiHighErrorRate, JobQueueLagGrowing, DbPoolSaturated, TelemetryExportFailing; unit-тесты promtool, runbooks - кампания трека 2 (k6, 6 отказов по расписанию), разбор и графики; проверки сигналов и истории telemetry, evidence и REPORT.md
This commit is contained in:
Executable
+51
@@ -0,0 +1,51 @@
|
||||
#!/bin/sh
|
||||
# Проверка приватности bucket и минимальных прав вне API (уровень 4). Ничего не меняет, кроме
|
||||
# временного объекта probe/* (создаётся и сразу удаляется ключом api) — и повторного запуска s3-init.
|
||||
set -eu
|
||||
cd "$(dirname "$0")/.."
|
||||
fail=0
|
||||
expect() { # описание, ожидаемое, фактическое
|
||||
if [ "$2" = "$3" ]; then echo "PASS $1: $3"; else echo "FAIL $1: ожидалось $2, получено $3"; fail=1; fi
|
||||
}
|
||||
key=$(docker compose exec -T postgres psql -U messenger -d messenger -tAc "SELECT object_key FROM attachments WHERE state = 'ready' LIMIT 1")
|
||||
[ -n "$key" ] || { echo "нужно хотя бы одно вложение: сначала make test"; exit 2; }
|
||||
bucket=$(docker compose exec -T api printenv S3_BUCKET)
|
||||
|
||||
# 1. Анонимный доступ напрямую к S3-шлюзу из сети backend (минуя API): без подписи — 403.
|
||||
anon() { docker compose exec -T api node -e 'fetch(process.argv[1], { method: process.argv[2], body: process.argv[2] === "PUT" ? "x" : undefined }).then((r) => console.log(r.status), () => console.log("error"))' "$@"; }
|
||||
expect "анонимный GET объекта" 403 "$(anon "http://s3:9000/$bucket/$key" GET)"
|
||||
expect "анонимный LIST bucket" 403 "$(anon "http://s3:9000/$bucket?list-type=2" GET)"
|
||||
expect "анонимный PUT объекта" 403 "$(anon "http://s3:9000/$bucket/originals/anonymous" PUT)"
|
||||
|
||||
# 2. Ключи api и reconciler: только свой bucket и только нужные действия.
|
||||
for svc in api reconciler; do
|
||||
docker compose exec -T "$svc" node --input-type=module - "$key" < student-tests/s3_probe.mjs | while read -r line; do echo " $svc $line"; done
|
||||
done
|
||||
probe() { docker compose exec -T "$1" node --input-type=module - "$key" < student-tests/s3_probe.mjs | awk -v op="$2: " 'index($0, op) == 1 {split(substr($0, length(op) + 1), w, " "); print w[1]}'; }
|
||||
expect "api GetObject" allowed "$(probe api 'GetObject own bucket')"
|
||||
expect "api ListObjectsV2 (не нужен API)" denied "$(probe api 'ListObjectsV2 own bucket')"
|
||||
expect "api CreateBucket" denied "$(probe api 'CreateBucket other')"
|
||||
expect "api PutObject в чужой bucket" denied "$(probe api 'PutObject other bucket')"
|
||||
expect "reconciler ListObjectsV2" allowed "$(probe reconciler 'ListObjectsV2 own bucket')"
|
||||
expect "reconciler CreateBucket" denied "$(probe reconciler 'CreateBucket other')"
|
||||
|
||||
# 3. Внутренние интерфейсы SeaweedFS (filer/master/volume без подписи S3) недоступны из API: другая сеть.
|
||||
for port in 8888 9333 8080; do
|
||||
if docker compose exec -T api wget -T 2 -q -O /dev/null "http://seaweedfs:$port/" 2>/dev/null; then r=reachable; else r=unreachable; fi
|
||||
expect "seaweedfs:$port из контейнера api" unreachable "$r"
|
||||
done
|
||||
# Не только DNS: и по IP в сети storage маршрута из backend нет.
|
||||
ip=$(docker inspect -f '{{range .NetworkSettings.Networks}}{{.IPAddress}}{{end}}' "$(docker compose ps -q seaweedfs)")
|
||||
if docker compose exec -T api wget -T 2 -q -O /dev/null "http://$ip:8888/" 2>/dev/null; then r=reachable; else r=unreachable; fi
|
||||
expect "filer по IP $ip:8888 из контейнера api" unreachable "$r"
|
||||
|
||||
# 4. На хост опубликованы только LB (API и статистика HAProxy) и Grafana (lab6), все на 127.0.0.1; S3 и консоли — нет.
|
||||
published=$(for id in $(docker compose ps -q); do
|
||||
[ -n "$(docker port "$id")" ] && docker inspect -f '{{index .Config.Labels "com.docker.compose.service"}}' "$id"
|
||||
done | sort -u | tr '\n' ' ')
|
||||
expect "сервисы с опубликованными портами" "grafana lb " "$published"
|
||||
|
||||
# 5. Bootstrap идемпотентен: повторный s3-init не создаёт и не ломает bucket.
|
||||
expect "повторный s3-init" "bucket $bucket: exists" "$(docker compose run --rm -T s3-init 2>/dev/null | tail -1)"
|
||||
|
||||
[ "$fail" = 0 ] && echo "PASS: bucket приватен, права минимальны, внутренние порты закрыты" || exit 1
|
||||
Executable
+79
@@ -0,0 +1,79 @@
|
||||
#!/bin/sh
|
||||
# Создаёт локальные учебные секреты и .env (вне Git). Существующие ключи не перезаписывает: они уже записаны
|
||||
# в volume pgdata и используются SeaweedFS. Повторный запуск только добавляет недостающее.
|
||||
set -eu
|
||||
cd "$(dirname "$0")/.."
|
||||
[ -f .env ] || cp .env.example .env
|
||||
mkdir -p secrets
|
||||
chmod 700 secrets
|
||||
put() {
|
||||
[ -f "secrets/$1" ] && return 0
|
||||
printf '%s' "$2" > "secrets/$1"
|
||||
chmod 644 "secrets/$1" # читают пользователи контейнеров; сам каталог остаётся 700
|
||||
echo "created secrets/$1"
|
||||
}
|
||||
if [ ! -f secrets/postgres_password ]; then
|
||||
password=$(openssl rand -hex 24)
|
||||
put postgres_password "$password"
|
||||
put database_url "postgres://messenger:$password@postgres:5432/messenger"
|
||||
fi
|
||||
# Отдельные S3-ключи: admin — только bootstrap bucket (s3-init), api и worker — объекты, reconciler — объекты + листинг.
|
||||
for who in admin api worker reconciler; do
|
||||
put "s3_${who}_access_key_id" "$who$(openssl rand -hex 8)"
|
||||
put "s3_${who}_secret_access_key" "$(openssl rand -hex 24)"
|
||||
done
|
||||
|
||||
# Lab6: пароль администратора Grafana. Применяется при первом старте (база Grafana в volume grafana-data).
|
||||
put grafana_admin_password "$(openssl rand -hex 16)"
|
||||
|
||||
# Identities SeaweedFS выводятся из ключей и bucket, поэтому файл пересобирается при каждом запуске.
|
||||
# Действие с суффиксом :bucket разрешено только в этом bucket; Admin (создание/удаление bucket) — только у admin.
|
||||
# Анонимной identity нет: запрос без подписи получает 403.
|
||||
bucket=$(sed -n 's/^S3_BUCKET=//p' .env)
|
||||
bucket=${bucket:-messenger-attachments}
|
||||
identity() {
|
||||
printf '{"name":"%s","credentials":[{"accessKey":"%s","secretKey":"%s"}],"actions":[%s]}' \
|
||||
"$1" "$(cat "secrets/s3_$1_access_key_id")" "$(cat "secrets/s3_$1_secret_access_key")" "$2"
|
||||
}
|
||||
umask 022
|
||||
printf '{"identities":[%s,%s,%s,%s]}\n' \
|
||||
"$(identity admin '"Admin","Read","List","Write"')" \
|
||||
"$(identity api "\"Read:$bucket\",\"Write:$bucket\"")" \
|
||||
"$(identity worker "\"Read:$bucket\",\"Write:$bucket\"")" \
|
||||
"$(identity reconciler "\"Read:$bucket\",\"Write:$bucket\",\"List:$bucket\"")" > secrets/s3_identities.json
|
||||
|
||||
# RabbitMQ: отдельные пользователи api (только публикация в exchange attachments) и worker (только чтение
|
||||
# очереди attachments.process), configure ни у кого — топология объявлена здесь и импортируется при старте узла.
|
||||
# В definitions лежат только солёные хеши SHA-256 (формат rabbit_password_hashing_sha256), пароли — в broker_url_*.
|
||||
for who in api worker; do
|
||||
put "rabbitmq_${who}_password" "$(openssl rand -hex 24)"
|
||||
put "broker_url_$who" "amqp://$who:$(cat "secrets/rabbitmq_${who}_password")@rabbitmq:5672/messenger?heartbeat=10"
|
||||
done
|
||||
python3 - > secrets/rabbitmq_definitions.json <<'PY'
|
||||
import base64, hashlib, json, os
|
||||
def user(name):
|
||||
salt = os.urandom(4)
|
||||
with open(f'secrets/rabbitmq_{name}_password', 'rb') as f:
|
||||
digest = hashlib.sha256(salt + f.read()).digest()
|
||||
return {'name': name, 'password_hash': base64.b64encode(salt + digest).decode(),
|
||||
'hashing_algorithm': 'rabbit_password_hashing_sha256', 'tags': []}
|
||||
vh = 'messenger'
|
||||
print(json.dumps({
|
||||
'users': [user('api'), user('worker')],
|
||||
'vhosts': [{'name': vh}],
|
||||
'permissions': [
|
||||
{'user': 'api', 'vhost': vh, 'configure': '^$', 'write': '^attachments$', 'read': '^$'},
|
||||
{'user': 'worker', 'vhost': vh, 'configure': '^$', 'write': '^$', 'read': '^attachments\\.process$'},
|
||||
],
|
||||
'exchanges': [{'name': 'attachments', 'vhost': vh, 'type': 'direct', 'durable': True, 'auto_delete': False,
|
||||
'internal': False, 'arguments': {}}],
|
||||
# Quorum-очередь: сообщение подтверждается publisher confirm после записи на диск (Raft-лог).
|
||||
# delivery-limit: сообщение, которое worker 20 раз вернул без ack, отбрасывается; задание при этом остаётся в БД
|
||||
# и будет опубликовано снова sweeper-ом (relay.ts) — источник истины о работе PostgreSQL, а не очередь.
|
||||
'queues': [{'name': 'attachments.process', 'vhost': vh, 'durable': True, 'auto_delete': False,
|
||||
'arguments': {'x-queue-type': 'quorum', 'x-delivery-limit': 20}}],
|
||||
'bindings': [{'source': 'attachments', 'vhost': vh, 'destination': 'attachments.process',
|
||||
'destination_type': 'queue', 'routing_key': 'process', 'arguments': {}}],
|
||||
}, indent=2))
|
||||
PY
|
||||
echo "secrets/ and .env are ready (bucket $bucket)"
|
||||
Executable
+10
@@ -0,0 +1,10 @@
|
||||
#!/bin/sh
|
||||
# Нагрузка k6 на стенд lab6 изнутри сети frontend (через HAProxy lb:8080), итог — одна строка JSON в stdout.
|
||||
# Параметры окружения: RATE (итераций/с), DURATION, WRITE_SHARE, UPLOAD_SHARE, PAIRS, VUS, MAX_VUS — см. research/k6/messenger.js.
|
||||
# Пример: RATE=20 DURATION=10m scripts/load.sh > evidence/load/baseline.json
|
||||
set -eu
|
||||
cd "$(dirname "$0")/.."
|
||||
exec docker run --rm --cpus 2 --network "${COMPOSE_PROJECT_NAME:-messenger-lab6}_frontend" \
|
||||
-v "$PWD/research/k6:/k6:ro" -v "$PWD/tests/fixtures:/fixtures:ro" \
|
||||
-e BASE_URL=http://lb:8080 -e RATE -e DURATION -e WRITE_SHARE -e UPLOAD_SHARE -e PAIRS -e VUS -e MAX_VUS \
|
||||
grafana/k6:1.8.2@sha256:00fdcebafbc86cb0137d429529b1caa401a02e09025f02fc74866fa6e2b004d8 run -q /k6/messenger.js
|
||||
Executable
+12
@@ -0,0 +1,12 @@
|
||||
#!/bin/sh
|
||||
# Перезапускает LB, все API-реплики, worker, reconciler, PostgreSQL, RabbitMQ и SeaweedFS (хранилище + S3-шлюз),
|
||||
# а также Collector и хранилища telemetry (Prometheus, Loki, Tempo) и Grafana (lab6).
|
||||
# Все volumes сохраняются: pgdata, s3data, rabbitmq-data, prometheus-data, loki-data, tempo-data, grafana-data;
|
||||
# migrate и s3-init ничего не меняют. Telemetry не теряется: приложение остановлено раньше хранилищ.
|
||||
set -eu
|
||||
cd "$(dirname "$0")/.."
|
||||
docker compose stop lb api worker reconciler # штатный SIGTERM, реплики сначала завершают запросы и сбрасывают telemetry
|
||||
docker compose stop s3
|
||||
docker compose restart postgres seaweedfs rabbitmq otel-collector prometheus loki tempo grafana # те же контейнеры и volumes
|
||||
docker compose start s3
|
||||
docker compose start api worker reconciler lb
|
||||
Executable
+14
@@ -0,0 +1,14 @@
|
||||
#!/bin/sh
|
||||
# Останавливает ровно ту API-реплику, чей X-Instance-Id передан в TARGET_INSTANCE_ID, и оставляет её остановленной.
|
||||
# X-Instance-Id = hostname контейнера = первые 12 hex-символов ID контейнера.
|
||||
# Восстановление после теста: docker compose start api
|
||||
set -eu
|
||||
: "${TARGET_INSTANCE_ID:?test provides target API instance alias}"
|
||||
cd "$(dirname "$0")/.."
|
||||
case "$TARGET_INSTANCE_ID" in
|
||||
*[!0-9a-f]* | "") echo "unexpected instance id" >&2; exit 2 ;;
|
||||
esac
|
||||
ids=$(docker compose ps -q api | grep "^$TARGET_INSTANCE_ID" || true)
|
||||
[ "$(printf '%s\n' "$ids" | grep -c .)" -eq 1 ] || { echo "no single running api container for $TARGET_INSTANCE_ID" >&2; exit 1; }
|
||||
docker stop "$ids" >/dev/null # SIGTERM → readiness 503 → drain → выход (около 3 с)
|
||||
echo "stopped $(docker inspect -f '{{.Name}}' "$ids") ($TARGET_INSTANCE_ID)"
|
||||
Reference in New Issue
Block a user