forked from mtusi2026/mtusi2026lab7
392 lines
20 KiB
Makefile
392 lines
20 KiB
Makefile
PYTHON ?= python3
|
||
# 127.0.0.1, а не localhost: на части Windows-машин localhost резолвится очень медленно.
|
||
# С lab7 — HTTPS. Сертификат lb выдан на lb, localhost и 127.0.0.1, поэтому проверка имени проходит.
|
||
BASE_URL ?= https://127.0.0.1:8443
|
||
# API с SESSION_TTL_SECONDS=2 (сервис api-short-ttl, профиль ttl), тоже через балансировщик.
|
||
BASE_URL_TTL ?= https://127.0.0.1:8444
|
||
# Публичный CA стенда (make pki). Относительный путь: команды выполняются из корня репозитория.
|
||
CA_FILE ?= secrets/tls/ca/ca.crt
|
||
ACTION_SCRIPT ?=
|
||
TLS_ARGS = $(if $(CA_FILE),--ca-file "$(CA_FILE)",)
|
||
# Передаём адреса и CA собственным тестам через окружение (работает и в cmd, и в sh).
|
||
export BASE_URL
|
||
export BASE_URL_TTL
|
||
export CA_FILE
|
||
TOOLS = docker compose --profile tools run --rm
|
||
|
||
.PHONY: help check validate test load test-persistence test-failover \
|
||
secrets up down ps logs restore student-test race expiry failure-valkey failure-postgres \
|
||
failure-valkey-pause db-test explain demo cache-stats \
|
||
balancing idempotency failover persistence failover-metrics rolling-update load-profile check-stack report-tables \
|
||
attachments attachment-failover failure-s3 s3-checks upload-memory cleanup s3-bootstrap \
|
||
worker-stop worker-start worker-outage redelivery outbox-crash worker-crash retry-replay lease concurrency \
|
||
staging-cleanup cleanup-race imaging-test jobs failed job replay queues \
|
||
telemetry-check dashboard-check incident-worker incident-db incident-db-down telemetry-outage \
|
||
telemetry-persistence alerts telemetry-logs \
|
||
pki pki-show pki-crl rotate-lb-cert bootstrap bao-status bao-init bao-unseal bao-seal bao-bootstrap \
|
||
bao-revoke-tokens bao-token-ttl rotate-db-secret test-security tls-matrix acl-matrix limits-test \
|
||
scan-deps scan-images argon2-bench
|
||
|
||
help:
|
||
@echo "check: offline structure; validate: full OpenAPI (requirements-dev.txt); test: running API; load: synthetic writes"
|
||
@echo "secrets/up/down/ps/logs/restore: stand; student-test, race, expiry, failure-valkey, failure-postgres, failure-valkey-pause, db-test, explain, demo, cache-stats: own checks (lab2)"
|
||
@echo "balancing, idempotency, failover, persistence, failover-metrics, rolling-update, load-profile, check-stack, report-tables: own checks (lab3)"
|
||
@echo "attachments, attachment-failover, failure-s3, s3-checks, upload-memory, cleanup, s3-bootstrap: own checks (lab4)"
|
||
@echo "worker-stop, worker-start, worker-outage, redelivery, outbox-crash, worker-crash, retry-replay, lease, concurrency, staging-cleanup, cleanup-race, imaging-test: own checks (lab5)"
|
||
@echo "jobs, failed, job ID=..., replay ID=..., queues: operator commands (lab5)"
|
||
@echo "telemetry-check, dashboard-check, incident-worker, incident-db, incident-db-down, telemetry-outage, telemetry-persistence, alerts, telemetry-logs: observability (lab6)"
|
||
@echo "bootstrap, pki, pki-show, pki-crl, rotate-lb-cert, bao-status/init/unseal/seal/bootstrap/revoke-tokens/token-ttl, rotate-db-secret: security operations (lab7)"
|
||
@echo "test-security, check-stack, tls-matrix, acl-matrix, limits-test, scan-deps, scan-images: security checks (lab7)"
|
||
|
||
check:
|
||
$(PYTHON) scripts/check_contract.py
|
||
|
||
validate:
|
||
$(PYTHON) scripts/validate_openapi.py
|
||
|
||
test:
|
||
$(PYTHON) tests/smoke.py --base-url "$(BASE_URL)" $(TLS_ARGS)
|
||
|
||
load:
|
||
$(PYTHON) tests/load.py --base-url "$(BASE_URL)" $(TLS_ARGS)
|
||
|
||
test-persistence:
|
||
@test -n "$(ACTION_SCRIPT)" || (echo "Set ACTION_SCRIPT to your implemented executable restart hook"; exit 2)
|
||
$(PYTHON) tests/resilience.py --mode persistence --action-script "$(ACTION_SCRIPT)" --base-url "$(BASE_URL)" $(TLS_ARGS)
|
||
|
||
test-security:
|
||
$(PYTHON) tests/security.py --base-url "$(BASE_URL)" $(TLS_ARGS)
|
||
|
||
test-failover:
|
||
@test -n "$(ACTION_SCRIPT)" || (echo "Set ACTION_SCRIPT to your implemented executable stop-one hook"; exit 2)
|
||
$(PYTHON) tests/resilience.py --mode failover --action-script "$(ACTION_SCRIPT)" --base-url "$(BASE_URL)" $(TLS_ARGS)
|
||
|
||
# ---------- стенд ----------
|
||
|
||
secrets:
|
||
sh scripts/init-secrets.sh
|
||
|
||
# Полный первый запуск из чистого clone (оператор): секреты, CA и сертификаты, OpenBao init/unseal/bootstrap, стенд.
|
||
# Повторять безопасно: каждый шаг идемпотентен (init второй раз ничего не делает).
|
||
bootstrap: secrets
|
||
docker compose build api
|
||
$(MAKE) pki
|
||
docker compose up -d --wait openbao
|
||
$(MAKE) bao-init bao-unseal bao-bootstrap
|
||
$(MAKE) up
|
||
|
||
up:
|
||
docker compose up -d --build --wait
|
||
|
||
# Без -v: volumes с данными (в том числе baodata OpenBao) сохраняются. После up OpenBao снова sealed:
|
||
# make bao-unseal. Удаление данных — только осознанно: docker compose down -v (тогда и make bao-init заново).
|
||
down:
|
||
docker compose --profile ttl --profile tools down
|
||
|
||
# ID контейнера + состояние. ID реплики api = её X-Instance-Id.
|
||
ps:
|
||
docker compose ps -a --format "table {{.Service}}\t{{.ID}}\t{{.Status}}"
|
||
|
||
logs:
|
||
docker compose logs --tail 50 api worker broker lb s3 s3-init otlp-gw otel-collector openbao
|
||
|
||
# ---------- lab7: PKI и OpenBao (оператор) ----------
|
||
|
||
# Локальный CA и сертификаты всех identity в secrets/tls (идемпотентно: недостающие и истекающие).
|
||
pki:
|
||
$(TOOLS) pki init
|
||
|
||
pki-show:
|
||
$(TOOLS) pki show
|
||
|
||
pki-crl:
|
||
$(TOOLS) pki crl
|
||
|
||
# Ротация leaf-сертификата lb без пересборки образов и без остановки: новый сертификат на месте
|
||
# старого -> HAProxy перечитывает его (USR2, мягкий reload) -> старый серийный номер в CRL.
|
||
# Реплики API перечитывают CRL раз в TLS_CRL_CHECK_SECONDS: старый сертификат lb больше не пустят.
|
||
rotate-lb-cert:
|
||
$(TOOLS) pki issue lb
|
||
docker compose kill -s USR2 lb
|
||
sleep 5
|
||
$(TOOLS) pki revoke-previous lb
|
||
|
||
bao-status:
|
||
-$(TOOLS) ops status
|
||
|
||
bao-init:
|
||
$(TOOLS) ops init
|
||
|
||
bao-unseal:
|
||
$(TOOLS) ops unseal
|
||
|
||
bao-seal:
|
||
$(TOOLS) ops seal
|
||
|
||
bao-bootstrap:
|
||
$(TOOLS) ops bootstrap
|
||
|
||
bao-revoke-tokens:
|
||
$(TOOLS) ops revoke-tokens
|
||
|
||
# make bao-token-ttl ROLE=api TTL=30s (проверка истечения токена; вернуть: TTL=15m)
|
||
bao-token-ttl:
|
||
@test -n "$(ROLE)" -a -n "$(TTL)" || (echo "make bao-token-ttl ROLE=api|worker TTL=30s"; exit 2)
|
||
$(TOOLS) ops token-ttl $(ROLE) $(TTL)
|
||
|
||
# Ротация рабочего секрета: пароль роли БД messenger_api (ALTER ROLE + новая версия KV в OpenBao).
|
||
rotate-db-secret:
|
||
$(TOOLS) ops rotate-db
|
||
|
||
# ---------- lab7: проверки безопасности ----------
|
||
# tls-matrix, acl-matrix, limits-test запускают скрипты, которые пишет студент (см. инструкцию в REPORT.md).
|
||
|
||
tls-matrix:
|
||
@test -f student-tests/tls_matrix.py || (echo "student-tests/tls_matrix.py not found: write it first (REPORT.md, TODO)"; exit 2)
|
||
$(TOOLS) sectest student-tests/tls_matrix.py
|
||
|
||
acl-matrix:
|
||
@test -f student-tests/acl_matrix.py || (echo "student-tests/acl_matrix.py not found: write it first (REPORT.md, TODO)"; exit 2)
|
||
$(TOOLS) sectest student-tests/acl_matrix.py
|
||
|
||
limits-test:
|
||
@test -f student-tests/test_limits.py || (echo "student-tests/test_limits.py not found: write it first (REPORT.md, TODO)"; exit 2)
|
||
$(PYTHON) -m unittest discover -s student-tests -p "test_limits.py" -v
|
||
|
||
# Стоимость Argon2id для разных параметров внутри контейнера api (обоснование выбора, REPORT.md).
|
||
argon2-bench:
|
||
docker compose exec -T api python - < student-tests/argon2_bench.py
|
||
|
||
# Уязвимости зависимостей Python (OSV/PyPI): один раз python -m pip install pip-audit.
|
||
scan-deps:
|
||
$(PYTHON) -m pip_audit -r requirements.txt --no-deps --disable-pip --progress-spinner off
|
||
|
||
# Уязвимости образов: Trivy в одноразовом контейнере. В Git Bash путь к папке берётся в виде C:/... (pwd -W),
|
||
# а MSYS_NO_PATHCONV=1 не даёт Git Bash переписать аргумент -v; на Linux/macOS это ни на что не влияет. Docker socket ему НЕ даём: образ сначала
|
||
# сохраняется в tar (docker save), Trivy читает только этот файл. База уязвимостей — в volume trivycache.
|
||
SCAN_IMAGES = mtusi-messenger:lab7 haproxy:3.2.25-alpine postgres:17.10-bookworm valkey/valkey:8.1.9 \
|
||
chrislusf/seaweedfs:4.44 rabbitmq:4.2.9-alpine openbao/openbao:2.4.4
|
||
scan-images:
|
||
mkdir -p .scan
|
||
for image in $(SCAN_IMAGES); do \
|
||
name=$$(echo $$image | tr '/:' '__'); \
|
||
docker save $$image -o .scan/$$name.tar && \
|
||
echo "== $$image"; \
|
||
MSYS_NO_PATHCONV=1 docker run --rm -v "$$(pwd -W 2>/dev/null || pwd)/.scan:/scan:ro" -v trivycache:/root/.cache aquasec/trivy:0.69.3 \
|
||
image --quiet --scanners vuln --severity HIGH,CRITICAL --ignore-unfixed --input /scan/$$name.tar; \
|
||
rm -f .scan/$$name.tar; \
|
||
done
|
||
|
||
# Вернуть остановленные реплики (после make test-failover): запустить всё, что должно работать,
|
||
# и дождаться, пока HAProxy снова возьмёт в работу все реплики.
|
||
restore:
|
||
docker compose up -d --wait
|
||
$(PYTHON) student-tests/stand.py
|
||
|
||
# ---------- собственные проверки lab1–lab2 (теперь через балансировщик) ----------
|
||
|
||
student-test:
|
||
$(PYTHON) -m unittest discover -s student-tests -p "test_*.py" -v
|
||
|
||
race:
|
||
$(PYTHON) student-tests/race.py
|
||
|
||
# Поднимает API с TTL сессии 2 с (за балансировщиком, 127.0.0.1:8081), проверяет и убирает его.
|
||
expiry:
|
||
docker compose --profile ttl up -d --wait api-short-ttl
|
||
$(PYTHON) student-tests/expiry.py; status=$$?; docker compose --profile ttl rm -sf api-short-ttl >/dev/null 2>&1; exit $$status
|
||
|
||
failure-valkey:
|
||
$(PYTHON) student-tests/dependency_failure.py valkey
|
||
|
||
failure-postgres:
|
||
$(PYTHON) student-tests/dependency_failure.py postgres
|
||
|
||
# Valkey на паузе (данные в нём сохраняются), logout, снова в строю: токен должен остаться отозванным.
|
||
failure-valkey-pause:
|
||
$(PYTHON) student-tests/cache_revocation.py
|
||
|
||
db-test:
|
||
docker compose --profile tools run --rm db-test
|
||
|
||
explain:
|
||
docker compose exec -T postgres psql -X -q -U messenger -d messenger -v ON_ERROR_STOP=1 < infra/sql/explain_history.sql
|
||
|
||
demo:
|
||
$(PYTHON) student-tests/demo.py
|
||
|
||
# Роль Valkey: сколько ключей в кэше и сколько попаданий/промахов; права пользователя health.
|
||
VALKEY_HEALTH = docker compose exec -T valkey valkey-cli --tls --cacert /run/ca/ca.crt -h 127.0.0.1 --user health --pass none --no-auth-warning
|
||
cache-stats:
|
||
$(VALKEY_HEALTH) dbsize
|
||
$(VALKEY_HEALTH) info stats | grep -E "keyspace_(hits|misses)"
|
||
-$(VALKEY_HEALTH) get sess:anything
|
||
|
||
# ---------- собственные проверки lab3 ----------
|
||
|
||
# Реплики, общие сессии и кэш, X-Instance-Id (входит и в student-test).
|
||
balancing:
|
||
$(PYTHON) -m unittest discover -s student-tests -p "test_balancing.py" -v
|
||
|
||
# Idempotency-Key: повторы, конкурентные запросы через разные реплики (входит и в student-test).
|
||
idempotency:
|
||
$(PYTHON) -m unittest discover -s student-tests -p "test_idempotency.py" -v
|
||
|
||
# Публичный failover-тест для КАЖДОЙ реплики по очереди + какой контейнер реально остановлен.
|
||
failover:
|
||
$(PYTHON) student-tests/run_failover.py
|
||
|
||
# Публичный persistence-тест + время старта каждого контейнера до и после hook.
|
||
persistence:
|
||
$(PYTHON) student-tests/run_persistence.py
|
||
|
||
# Уровень 4: остановка (SIGTERM) и авария (SIGKILL) каждой реплики под нагрузкой: RPS, ошибки, восстановление.
|
||
failover-metrics:
|
||
$(PYTHON) student-tests/failover_metrics.py
|
||
|
||
# Уровень 4: поочерёдная замена реплик новой версией под нагрузкой.
|
||
rolling-update:
|
||
$(PYTHON) student-tests/rolling_update.py
|
||
|
||
# Профиль нагрузки: публичный tests/load.py (30 с, 4 потока) + CPU/RAM контейнеров во время нагрузки.
|
||
load-profile:
|
||
$(PYTHON) student-tests/load_profile.py
|
||
|
||
# Уровень 4: лимиты CPU/RAM, нет портов API в обход LB, нет container_name, сети, версии.
|
||
check-stack:
|
||
$(PYTHON) student-tests/check_stack.py
|
||
|
||
# Таблицы замеров из evidence/*.json -> REPORT.md (между метками measurements).
|
||
report-tables:
|
||
$(PYTHON) student-tests/report_tables.py
|
||
|
||
# ---------- собственные проверки lab4 ----------
|
||
|
||
# Вложения через API: лимиты, «бомба», битые файлы, подмена MIME, filename, чужое и из другого чата
|
||
# (входит и в student-test).
|
||
attachments:
|
||
$(PYTHON) -m unittest discover -s student-tests -p "test_attachments.py" -v
|
||
|
||
# Уровень 3: upload -> сразу остановка обслужившей реплики -> ready и download через другую (тот же SHA-256).
|
||
attachment-failover:
|
||
$(PYTHON) student-tests/attachment_failover.py
|
||
|
||
# Уровень 3: S3 недоступен -> реплики не готовы, балансировщик отвечает 503; после запуска файл цел.
|
||
failure-s3:
|
||
$(PYTHON) student-tests/failure_s3.py
|
||
|
||
# Уровень 4: приватный bucket вне API, минимальные права ключа API, консоль закрыта, bootstrap идемпотентен,
|
||
# (lab5) в сообщении брокера только ID.
|
||
s3-checks:
|
||
$(PYTHON) student-tests/s3_checks.py
|
||
|
||
# Уровень 4: >= 10 одновременных загрузок, пик памяти реплик -> evidence/upload-memory.json и REPORT.md.
|
||
upload-memory:
|
||
$(PYTHON) student-tests/upload_memory.py
|
||
|
||
# Уборщик объектов S3 вручную (обычно работает в worker): make cleanup ARGS=--dry-run (только показать).
|
||
cleanup:
|
||
docker compose exec -T worker python -m messenger.cleanup $(ARGS)
|
||
|
||
# Повторить настройку bucket (идемпотентно).
|
||
s3-bootstrap:
|
||
docker compose run --rm s3-init
|
||
|
||
# ---------- lab5: брокер, worker, outbox ----------
|
||
|
||
# Остановить / запустить worker (демонстрация из README: загрузки ждут в очереди, API работает).
|
||
worker-stop:
|
||
docker compose stop worker
|
||
|
||
worker-start:
|
||
docker compose start worker
|
||
|
||
# Уровень 3: worker остановлен -> 202 -> сообщение с вложением -> перезапуск API и брокера -> worker -> ready.
|
||
worker-outage:
|
||
$(PYTHON) student-tests/worker_outage.py
|
||
|
||
# Уровень 3: повторная доставка того же задания и сообщение не по схеме (в DLQ).
|
||
redelivery:
|
||
$(PYTHON) student-tests/redelivery.py
|
||
|
||
# Уровень 4: падение API/relay между COMMIT и publish и после publish — transactional outbox.
|
||
outbox-crash:
|
||
$(PYTHON) student-tests/outbox_crash.py
|
||
|
||
# Уровень 4: падение worker после записи объектов до ack и после COMMIT до ack.
|
||
worker-crash:
|
||
$(PYTHON) student-tests/worker_crash.py
|
||
|
||
# Уровень 4: повторы с backoff и jitter, исчерпание попыток, постоянная ошибка, DLQ, replay.
|
||
retry-replay:
|
||
$(PYTHON) student-tests/retry_replay.py
|
||
|
||
# Уровень 4: lease — долгая задача продлевает аренду, замороженный worker её теряет, fencing.
|
||
lease:
|
||
$(PYTHON) student-tests/lease_takeover.py
|
||
|
||
# Уровень 4: не больше WORKER_CONCURRENCY заданий и prefetch сообщений одновременно.
|
||
concurrency:
|
||
$(PYTHON) student-tests/concurrency.py
|
||
|
||
# Уровень 4: staging удаляется после COMMIT; уборка объектов без ссылок, retention для replay.
|
||
staging-cleanup:
|
||
$(PYTHON) student-tests/staging_cleanup.py
|
||
|
||
# Замечание к MR: уборщик не удаляет текущую работу — replay, загрузка и обработка во время уборки.
|
||
cleanup-race:
|
||
$(PYTHON) student-tests/cleanup_race.py
|
||
|
||
# Варианты картинок и лимиты worker — проверки внутри образа (там Pillow).
|
||
imaging-test:
|
||
docker compose --profile tools run --rm imaging-test
|
||
|
||
# Оператор: сколько заданий в каждом состоянии / реестр failed / одно задание / явный replay.
|
||
jobs:
|
||
docker compose exec -T api python -m messenger.jobs stats
|
||
|
||
failed:
|
||
docker compose exec -T api python -m messenger.jobs failed
|
||
|
||
job:
|
||
@test -n "$(ID)" || (echo "make job ID=<attachment_id>"; exit 2)
|
||
docker compose exec -T api python -m messenger.jobs show $(ID)
|
||
|
||
replay:
|
||
@test -n "$(ID)" || (echo "make replay ID=<attachment_id>"; exit 2)
|
||
docker compose exec -T worker python -m messenger.jobs replay $(ID) --actor $(or $(ACTOR),operator)
|
||
|
||
# Очереди брокера: готовые к выдаче и выданные без ack (основная очередь и DLQ).
|
||
queues:
|
||
docker compose exec -T broker rabbitmqctl -q list_queues -p messenger name messages_ready messages_unacknowledged
|
||
|
||
# ---------- lab6: наблюдаемость (с lab7 Grafana https://127.0.0.1:3000; Prometheus — только через Grafana) ----------
|
||
# Уровни 3–4: X-Request-Id -> лог в Loki -> trace в Tempo; upload -> publish -> consume -> retry -> S3/DB
|
||
# в одной трассе; метрики без ID в labels; нет паролей, токенов и текстов сообщений в телеметрии.
|
||
telemetry-check:
|
||
$(PYTHON) student-tests/check_telemetry.py
|
||
# Источники данных и dashboard импортированы из Git, каждый запрос панели работает, alert rules загружены.
|
||
dashboard-check:
|
||
$(PYTHON) student-tests/check_dashboard.py
|
||
# Уровень 4, инцидент 1: worker остановлен -> QueueLagHigh firing -> worker запущен -> resolved (~5 мин).
|
||
incident-worker:
|
||
$(PYTHON) student-tests/incident_worker.py
|
||
# Уровень 4, инцидент 2: медленный handler против медленной БД (LOCK TABLE) -> HighErrorRate firing/resolved (~6 мин).
|
||
incident-db:
|
||
$(PYTHON) student-tests/incident_db.py
|
||
# То же для недоступной БД (docker compose pause postgres): 5xx только на входе HAProxy (~5 мин).
|
||
incident-db-down:
|
||
$(PYTHON) student-tests/incident_db.py --down
|
||
# Уровень 4, сценарий 3: остановка Tempo и Loki (3 мин) и Collector (1 мин) под нагрузкой (~7 мин).
|
||
telemetry-outage:
|
||
$(PYTHON) student-tests/telemetry_outage.py
|
||
# История телеметрии в volumes: перезапуск Prometheus, Loki, Tempo, Grafana — старые данные на месте.
|
||
telemetry-persistence:
|
||
$(PYTHON) student-tests/telemetry_persistence.py
|
||
# Состояние alert rules (inactive / pending / firing) из Prometheus.
|
||
alerts:
|
||
$(PYTHON) student-tests/obs.py alerts
|
||
# Последние предупреждения и ошибки API и worker из Loki.
|
||
telemetry-logs:
|
||
$(PYTHON) student-tests/obs.py logs
|