Files
mtusi2026lab7/Makefile
T
2026-11-08 00:33:25 +03:00

392 lines
20 KiB
Makefile
Raw Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
PYTHON ?= python3
# 127.0.0.1, а не localhost: на части Windows-машин localhost резолвится очень медленно.
# С lab7 — HTTPS. Сертификат lb выдан на lb, localhost и 127.0.0.1, поэтому проверка имени проходит.
BASE_URL ?= https://127.0.0.1:8443
# API с SESSION_TTL_SECONDS=2 (сервис api-short-ttl, профиль ttl), тоже через балансировщик.
BASE_URL_TTL ?= https://127.0.0.1:8444
# Публичный CA стенда (make pki). Относительный путь: команды выполняются из корня репозитория.
CA_FILE ?= secrets/tls/ca/ca.crt
ACTION_SCRIPT ?=
TLS_ARGS = $(if $(CA_FILE),--ca-file "$(CA_FILE)",)
# Передаём адреса и CA собственным тестам через окружение (работает и в cmd, и в sh).
export BASE_URL
export BASE_URL_TTL
export CA_FILE
TOOLS = docker compose --profile tools run --rm
.PHONY: help check validate test load test-persistence test-failover \
secrets up down ps logs restore student-test race expiry failure-valkey failure-postgres \
failure-valkey-pause db-test explain demo cache-stats \
balancing idempotency failover persistence failover-metrics rolling-update load-profile check-stack report-tables \
attachments attachment-failover failure-s3 s3-checks upload-memory cleanup s3-bootstrap \
worker-stop worker-start worker-outage redelivery outbox-crash worker-crash retry-replay lease concurrency \
staging-cleanup cleanup-race imaging-test jobs failed job replay queues \
telemetry-check dashboard-check incident-worker incident-db incident-db-down telemetry-outage \
telemetry-persistence alerts telemetry-logs \
pki pki-show pki-crl rotate-lb-cert bootstrap bao-status bao-init bao-unseal bao-seal bao-bootstrap \
bao-revoke-tokens bao-token-ttl rotate-db-secret test-security tls-matrix acl-matrix limits-test \
scan-deps scan-images argon2-bench
help:
@echo "check: offline structure; validate: full OpenAPI (requirements-dev.txt); test: running API; load: synthetic writes"
@echo "secrets/up/down/ps/logs/restore: stand; student-test, race, expiry, failure-valkey, failure-postgres, failure-valkey-pause, db-test, explain, demo, cache-stats: own checks (lab2)"
@echo "balancing, idempotency, failover, persistence, failover-metrics, rolling-update, load-profile, check-stack, report-tables: own checks (lab3)"
@echo "attachments, attachment-failover, failure-s3, s3-checks, upload-memory, cleanup, s3-bootstrap: own checks (lab4)"
@echo "worker-stop, worker-start, worker-outage, redelivery, outbox-crash, worker-crash, retry-replay, lease, concurrency, staging-cleanup, cleanup-race, imaging-test: own checks (lab5)"
@echo "jobs, failed, job ID=..., replay ID=..., queues: operator commands (lab5)"
@echo "telemetry-check, dashboard-check, incident-worker, incident-db, incident-db-down, telemetry-outage, telemetry-persistence, alerts, telemetry-logs: observability (lab6)"
@echo "bootstrap, pki, pki-show, pki-crl, rotate-lb-cert, bao-status/init/unseal/seal/bootstrap/revoke-tokens/token-ttl, rotate-db-secret: security operations (lab7)"
@echo "test-security, check-stack, tls-matrix, acl-matrix, limits-test, scan-deps, scan-images: security checks (lab7)"
check:
$(PYTHON) scripts/check_contract.py
validate:
$(PYTHON) scripts/validate_openapi.py
test:
$(PYTHON) tests/smoke.py --base-url "$(BASE_URL)" $(TLS_ARGS)
load:
$(PYTHON) tests/load.py --base-url "$(BASE_URL)" $(TLS_ARGS)
test-persistence:
@test -n "$(ACTION_SCRIPT)" || (echo "Set ACTION_SCRIPT to your implemented executable restart hook"; exit 2)
$(PYTHON) tests/resilience.py --mode persistence --action-script "$(ACTION_SCRIPT)" --base-url "$(BASE_URL)" $(TLS_ARGS)
test-security:
$(PYTHON) tests/security.py --base-url "$(BASE_URL)" $(TLS_ARGS)
test-failover:
@test -n "$(ACTION_SCRIPT)" || (echo "Set ACTION_SCRIPT to your implemented executable stop-one hook"; exit 2)
$(PYTHON) tests/resilience.py --mode failover --action-script "$(ACTION_SCRIPT)" --base-url "$(BASE_URL)" $(TLS_ARGS)
# ---------- стенд ----------
secrets:
sh scripts/init-secrets.sh
# Полный первый запуск из чистого clone (оператор): секреты, CA и сертификаты, OpenBao init/unseal/bootstrap, стенд.
# Повторять безопасно: каждый шаг идемпотентен (init второй раз ничего не делает).
bootstrap: secrets
docker compose build api
$(MAKE) pki
docker compose up -d --wait openbao
$(MAKE) bao-init bao-unseal bao-bootstrap
$(MAKE) up
up:
docker compose up -d --build --wait
# Без -v: volumes с данными (в том числе baodata OpenBao) сохраняются. После up OpenBao снова sealed:
# make bao-unseal. Удаление данных — только осознанно: docker compose down -v (тогда и make bao-init заново).
down:
docker compose --profile ttl --profile tools down
# ID контейнера + состояние. ID реплики api = её X-Instance-Id.
ps:
docker compose ps -a --format "table {{.Service}}\t{{.ID}}\t{{.Status}}"
logs:
docker compose logs --tail 50 api worker broker lb s3 s3-init otlp-gw otel-collector openbao
# ---------- lab7: PKI и OpenBao (оператор) ----------
# Локальный CA и сертификаты всех identity в secrets/tls (идемпотентно: недостающие и истекающие).
pki:
$(TOOLS) pki init
pki-show:
$(TOOLS) pki show
pki-crl:
$(TOOLS) pki crl
# Ротация leaf-сертификата lb без пересборки образов и без остановки: новый сертификат на месте
# старого -> HAProxy перечитывает его (USR2, мягкий reload) -> старый серийный номер в CRL.
# Реплики API перечитывают CRL раз в TLS_CRL_CHECK_SECONDS: старый сертификат lb больше не пустят.
rotate-lb-cert:
$(TOOLS) pki issue lb
docker compose kill -s USR2 lb
sleep 5
$(TOOLS) pki revoke-previous lb
bao-status:
-$(TOOLS) ops status
bao-init:
$(TOOLS) ops init
bao-unseal:
$(TOOLS) ops unseal
bao-seal:
$(TOOLS) ops seal
bao-bootstrap:
$(TOOLS) ops bootstrap
bao-revoke-tokens:
$(TOOLS) ops revoke-tokens
# make bao-token-ttl ROLE=api TTL=30s (проверка истечения токена; вернуть: TTL=15m)
bao-token-ttl:
@test -n "$(ROLE)" -a -n "$(TTL)" || (echo "make bao-token-ttl ROLE=api|worker TTL=30s"; exit 2)
$(TOOLS) ops token-ttl $(ROLE) $(TTL)
# Ротация рабочего секрета: пароль роли БД messenger_api (ALTER ROLE + новая версия KV в OpenBao).
rotate-db-secret:
$(TOOLS) ops rotate-db
# ---------- lab7: проверки безопасности ----------
# tls-matrix, acl-matrix, limits-test запускают скрипты, которые пишет студент (см. инструкцию в REPORT.md).
tls-matrix:
@test -f student-tests/tls_matrix.py || (echo "student-tests/tls_matrix.py not found: write it first (REPORT.md, TODO)"; exit 2)
$(TOOLS) sectest student-tests/tls_matrix.py
acl-matrix:
@test -f student-tests/acl_matrix.py || (echo "student-tests/acl_matrix.py not found: write it first (REPORT.md, TODO)"; exit 2)
$(TOOLS) sectest student-tests/acl_matrix.py
limits-test:
@test -f student-tests/test_limits.py || (echo "student-tests/test_limits.py not found: write it first (REPORT.md, TODO)"; exit 2)
$(PYTHON) -m unittest discover -s student-tests -p "test_limits.py" -v
# Стоимость Argon2id для разных параметров внутри контейнера api (обоснование выбора, REPORT.md).
argon2-bench:
docker compose exec -T api python - < student-tests/argon2_bench.py
# Уязвимости зависимостей Python (OSV/PyPI): один раз python -m pip install pip-audit.
scan-deps:
$(PYTHON) -m pip_audit -r requirements.txt --no-deps --disable-pip --progress-spinner off
# Уязвимости образов: Trivy в одноразовом контейнере. В Git Bash путь к папке берётся в виде C:/... (pwd -W),
# а MSYS_NO_PATHCONV=1 не даёт Git Bash переписать аргумент -v; на Linux/macOS это ни на что не влияет. Docker socket ему НЕ даём: образ сначала
# сохраняется в tar (docker save), Trivy читает только этот файл. База уязвимостей — в volume trivycache.
SCAN_IMAGES = mtusi-messenger:lab7 haproxy:3.2.25-alpine postgres:17.10-bookworm valkey/valkey:8.1.9 \
chrislusf/seaweedfs:4.44 rabbitmq:4.2.9-alpine openbao/openbao:2.4.4
scan-images:
mkdir -p .scan
for image in $(SCAN_IMAGES); do \
name=$$(echo $$image | tr '/:' '__'); \
docker save $$image -o .scan/$$name.tar && \
echo "== $$image"; \
MSYS_NO_PATHCONV=1 docker run --rm -v "$$(pwd -W 2>/dev/null || pwd)/.scan:/scan:ro" -v trivycache:/root/.cache aquasec/trivy:0.69.3 \
image --quiet --scanners vuln --severity HIGH,CRITICAL --ignore-unfixed --input /scan/$$name.tar; \
rm -f .scan/$$name.tar; \
done
# Вернуть остановленные реплики (после make test-failover): запустить всё, что должно работать,
# и дождаться, пока HAProxy снова возьмёт в работу все реплики.
restore:
docker compose up -d --wait
$(PYTHON) student-tests/stand.py
# ---------- собственные проверки lab1–lab2 (теперь через балансировщик) ----------
student-test:
$(PYTHON) -m unittest discover -s student-tests -p "test_*.py" -v
race:
$(PYTHON) student-tests/race.py
# Поднимает API с TTL сессии 2 с (за балансировщиком, 127.0.0.1:8081), проверяет и убирает его.
expiry:
docker compose --profile ttl up -d --wait api-short-ttl
$(PYTHON) student-tests/expiry.py; status=$$?; docker compose --profile ttl rm -sf api-short-ttl >/dev/null 2>&1; exit $$status
failure-valkey:
$(PYTHON) student-tests/dependency_failure.py valkey
failure-postgres:
$(PYTHON) student-tests/dependency_failure.py postgres
# Valkey на паузе (данные в нём сохраняются), logout, снова в строю: токен должен остаться отозванным.
failure-valkey-pause:
$(PYTHON) student-tests/cache_revocation.py
db-test:
docker compose --profile tools run --rm db-test
explain:
docker compose exec -T postgres psql -X -q -U messenger -d messenger -v ON_ERROR_STOP=1 < infra/sql/explain_history.sql
demo:
$(PYTHON) student-tests/demo.py
# Роль Valkey: сколько ключей в кэше и сколько попаданий/промахов; права пользователя health.
VALKEY_HEALTH = docker compose exec -T valkey valkey-cli --tls --cacert /run/ca/ca.crt -h 127.0.0.1 --user health --pass none --no-auth-warning
cache-stats:
$(VALKEY_HEALTH) dbsize
$(VALKEY_HEALTH) info stats | grep -E "keyspace_(hits|misses)"
-$(VALKEY_HEALTH) get sess:anything
# ---------- собственные проверки lab3 ----------
# Реплики, общие сессии и кэш, X-Instance-Id (входит и в student-test).
balancing:
$(PYTHON) -m unittest discover -s student-tests -p "test_balancing.py" -v
# Idempotency-Key: повторы, конкурентные запросы через разные реплики (входит и в student-test).
idempotency:
$(PYTHON) -m unittest discover -s student-tests -p "test_idempotency.py" -v
# Публичный failover-тест для КАЖДОЙ реплики по очереди + какой контейнер реально остановлен.
failover:
$(PYTHON) student-tests/run_failover.py
# Публичный persistence-тест + время старта каждого контейнера до и после hook.
persistence:
$(PYTHON) student-tests/run_persistence.py
# Уровень 4: остановка (SIGTERM) и авария (SIGKILL) каждой реплики под нагрузкой: RPS, ошибки, восстановление.
failover-metrics:
$(PYTHON) student-tests/failover_metrics.py
# Уровень 4: поочерёдная замена реплик новой версией под нагрузкой.
rolling-update:
$(PYTHON) student-tests/rolling_update.py
# Профиль нагрузки: публичный tests/load.py (30 с, 4 потока) + CPU/RAM контейнеров во время нагрузки.
load-profile:
$(PYTHON) student-tests/load_profile.py
# Уровень 4: лимиты CPU/RAM, нет портов API в обход LB, нет container_name, сети, версии.
check-stack:
$(PYTHON) student-tests/check_stack.py
# Таблицы замеров из evidence/*.json -> REPORT.md (между метками measurements).
report-tables:
$(PYTHON) student-tests/report_tables.py
# ---------- собственные проверки lab4 ----------
# Вложения через API: лимиты, «бомба», битые файлы, подмена MIME, filename, чужое и из другого чата
# (входит и в student-test).
attachments:
$(PYTHON) -m unittest discover -s student-tests -p "test_attachments.py" -v
# Уровень 3: upload -> сразу остановка обслужившей реплики -> ready и download через другую (тот же SHA-256).
attachment-failover:
$(PYTHON) student-tests/attachment_failover.py
# Уровень 3: S3 недоступен -> реплики не готовы, балансировщик отвечает 503; после запуска файл цел.
failure-s3:
$(PYTHON) student-tests/failure_s3.py
# Уровень 4: приватный bucket вне API, минимальные права ключа API, консоль закрыта, bootstrap идемпотентен,
# (lab5) в сообщении брокера только ID.
s3-checks:
$(PYTHON) student-tests/s3_checks.py
# Уровень 4: >= 10 одновременных загрузок, пик памяти реплик -> evidence/upload-memory.json и REPORT.md.
upload-memory:
$(PYTHON) student-tests/upload_memory.py
# Уборщик объектов S3 вручную (обычно работает в worker): make cleanup ARGS=--dry-run (только показать).
cleanup:
docker compose exec -T worker python -m messenger.cleanup $(ARGS)
# Повторить настройку bucket (идемпотентно).
s3-bootstrap:
docker compose run --rm s3-init
# ---------- lab5: брокер, worker, outbox ----------
# Остановить / запустить worker (демонстрация из README: загрузки ждут в очереди, API работает).
worker-stop:
docker compose stop worker
worker-start:
docker compose start worker
# Уровень 3: worker остановлен -> 202 -> сообщение с вложением -> перезапуск API и брокера -> worker -> ready.
worker-outage:
$(PYTHON) student-tests/worker_outage.py
# Уровень 3: повторная доставка того же задания и сообщение не по схеме (в DLQ).
redelivery:
$(PYTHON) student-tests/redelivery.py
# Уровень 4: падение API/relay между COMMIT и publish и после publish — transactional outbox.
outbox-crash:
$(PYTHON) student-tests/outbox_crash.py
# Уровень 4: падение worker после записи объектов до ack и после COMMIT до ack.
worker-crash:
$(PYTHON) student-tests/worker_crash.py
# Уровень 4: повторы с backoff и jitter, исчерпание попыток, постоянная ошибка, DLQ, replay.
retry-replay:
$(PYTHON) student-tests/retry_replay.py
# Уровень 4: lease — долгая задача продлевает аренду, замороженный worker её теряет, fencing.
lease:
$(PYTHON) student-tests/lease_takeover.py
# Уровень 4: не больше WORKER_CONCURRENCY заданий и prefetch сообщений одновременно.
concurrency:
$(PYTHON) student-tests/concurrency.py
# Уровень 4: staging удаляется после COMMIT; уборка объектов без ссылок, retention для replay.
staging-cleanup:
$(PYTHON) student-tests/staging_cleanup.py
# Замечание к MR: уборщик не удаляет текущую работу — replay, загрузка и обработка во время уборки.
cleanup-race:
$(PYTHON) student-tests/cleanup_race.py
# Варианты картинок и лимиты worker — проверки внутри образа (там Pillow).
imaging-test:
docker compose --profile tools run --rm imaging-test
# Оператор: сколько заданий в каждом состоянии / реестр failed / одно задание / явный replay.
jobs:
docker compose exec -T api python -m messenger.jobs stats
failed:
docker compose exec -T api python -m messenger.jobs failed
job:
@test -n "$(ID)" || (echo "make job ID=<attachment_id>"; exit 2)
docker compose exec -T api python -m messenger.jobs show $(ID)
replay:
@test -n "$(ID)" || (echo "make replay ID=<attachment_id>"; exit 2)
docker compose exec -T worker python -m messenger.jobs replay $(ID) --actor $(or $(ACTOR),operator)
# Очереди брокера: готовые к выдаче и выданные без ack (основная очередь и DLQ).
queues:
docker compose exec -T broker rabbitmqctl -q list_queues -p messenger name messages_ready messages_unacknowledged
# ---------- lab6: наблюдаемость (с lab7 Grafana https://127.0.0.1:3000; Prometheus — только через Grafana) ----------
# Уровни 3–4: X-Request-Id -> лог в Loki -> trace в Tempo; upload -> publish -> consume -> retry -> S3/DB
# в одной трассе; метрики без ID в labels; нет паролей, токенов и текстов сообщений в телеметрии.
telemetry-check:
$(PYTHON) student-tests/check_telemetry.py
# Источники данных и dashboard импортированы из Git, каждый запрос панели работает, alert rules загружены.
dashboard-check:
$(PYTHON) student-tests/check_dashboard.py
# Уровень 4, инцидент 1: worker остановлен -> QueueLagHigh firing -> worker запущен -> resolved (~5 мин).
incident-worker:
$(PYTHON) student-tests/incident_worker.py
# Уровень 4, инцидент 2: медленный handler против медленной БД (LOCK TABLE) -> HighErrorRate firing/resolved (~6 мин).
incident-db:
$(PYTHON) student-tests/incident_db.py
# То же для недоступной БД (docker compose pause postgres): 5xx только на входе HAProxy (~5 мин).
incident-db-down:
$(PYTHON) student-tests/incident_db.py --down
# Уровень 4, сценарий 3: остановка Tempo и Loki (3 мин) и Collector (1 мин) под нагрузкой (~7 мин).
telemetry-outage:
$(PYTHON) student-tests/telemetry_outage.py
# История телеметрии в volumes: перезапуск Prometheus, Loki, Tempo, Grafana — старые данные на месте.
telemetry-persistence:
$(PYTHON) student-tests/telemetry_persistence.py
# Состояние alert rules (inactive / pending / firing) из Prometheus.
alerts:
$(PYTHON) student-tests/obs.py alerts
# Последние предупреждения и ошибки API и worker из Loki.
telemetry-logs:
$(PYTHON) student-tests/obs.py logs