forked from mtusi2026/mtusi2026lab5
252 lines
12 KiB
Makefile
252 lines
12 KiB
Makefile
PYTHON ?= python3
|
||
# 127.0.0.1, а не localhost: на части Windows-машин localhost резолвится очень медленно.
|
||
# С lab3 это адрес балансировщика HAProxy — единственной точки входа API.
|
||
BASE_URL ?= http://127.0.0.1:8080
|
||
# API с SESSION_TTL_SECONDS=2 (сервис api-short-ttl, профиль ttl), тоже через балансировщик.
|
||
BASE_URL_TTL ?= http://127.0.0.1:8081
|
||
CA_FILE ?=
|
||
ACTION_SCRIPT ?=
|
||
TLS_ARGS = $(if $(CA_FILE),--ca-file "$(CA_FILE)",)
|
||
# Передаём адреса собственным тестам через окружение (работает и в cmd, и в sh).
|
||
export BASE_URL
|
||
export BASE_URL_TTL
|
||
|
||
.PHONY: help check validate test load test-persistence test-failover \
|
||
secrets up down ps logs restore student-test race expiry failure-valkey failure-postgres \
|
||
failure-valkey-pause db-test explain demo cache-stats \
|
||
balancing idempotency failover persistence failover-metrics rolling-update load-profile check-stack report-tables \
|
||
attachments attachment-failover failure-s3 s3-checks upload-memory cleanup s3-bootstrap \
|
||
worker-stop worker-start worker-outage redelivery outbox-crash worker-crash retry-replay lease concurrency \
|
||
staging-cleanup cleanup-race imaging-test jobs failed job replay queues
|
||
|
||
help:
|
||
@echo "check: offline structure; validate: full OpenAPI (requirements-dev.txt); test: running API; load: synthetic writes"
|
||
@echo "secrets/up/down/ps/logs/restore: stand; student-test, race, expiry, failure-valkey, failure-postgres, failure-valkey-pause, db-test, explain, demo, cache-stats: own checks (lab2)"
|
||
@echo "balancing, idempotency, failover, persistence, failover-metrics, rolling-update, load-profile, check-stack, report-tables: own checks (lab3)"
|
||
@echo "attachments, attachment-failover, failure-s3, s3-checks, upload-memory, cleanup, s3-bootstrap: own checks (lab4)"
|
||
@echo "worker-stop, worker-start, worker-outage, redelivery, outbox-crash, worker-crash, retry-replay, lease, concurrency, staging-cleanup, cleanup-race, imaging-test: own checks (lab5)"
|
||
@echo "jobs, failed, job ID=..., replay ID=..., queues: operator commands (lab5)"
|
||
|
||
check:
|
||
$(PYTHON) scripts/check_contract.py
|
||
|
||
validate:
|
||
$(PYTHON) scripts/validate_openapi.py
|
||
|
||
test:
|
||
$(PYTHON) tests/smoke.py --base-url "$(BASE_URL)" $(TLS_ARGS)
|
||
|
||
load:
|
||
$(PYTHON) tests/load.py --base-url "$(BASE_URL)" $(TLS_ARGS)
|
||
|
||
test-persistence:
|
||
@test -n "$(ACTION_SCRIPT)" || (echo "Set ACTION_SCRIPT to your implemented executable restart hook"; exit 2)
|
||
$(PYTHON) tests/resilience.py --mode persistence --action-script "$(ACTION_SCRIPT)" --base-url "$(BASE_URL)" $(TLS_ARGS)
|
||
|
||
test-failover:
|
||
@test -n "$(ACTION_SCRIPT)" || (echo "Set ACTION_SCRIPT to your implemented executable stop-one hook"; exit 2)
|
||
$(PYTHON) tests/resilience.py --mode failover --action-script "$(ACTION_SCRIPT)" --base-url "$(BASE_URL)" $(TLS_ARGS)
|
||
|
||
# ---------- стенд ----------
|
||
|
||
secrets:
|
||
sh scripts/init-secrets.sh
|
||
|
||
up:
|
||
docker compose up -d --build --wait
|
||
|
||
# Без -v: volumes с данными сохраняются. Удаление данных — только осознанно: docker compose down -v
|
||
down:
|
||
docker compose --profile ttl --profile tools down
|
||
|
||
# ID контейнера + состояние. ID реплики api = её X-Instance-Id.
|
||
ps:
|
||
docker compose ps -a --format "table {{.Service}}\t{{.ID}}\t{{.Status}}"
|
||
|
||
logs:
|
||
docker compose logs --tail 50 api worker broker lb s3 s3-init
|
||
|
||
# Вернуть остановленные реплики (после make test-failover): запустить всё, что должно работать,
|
||
# и дождаться, пока HAProxy снова возьмёт в работу все реплики.
|
||
restore:
|
||
docker compose up -d --wait
|
||
$(PYTHON) student-tests/stand.py
|
||
|
||
# ---------- собственные проверки lab1–lab2 (теперь через балансировщик) ----------
|
||
|
||
student-test:
|
||
$(PYTHON) -m unittest discover -s student-tests -p "test_*.py" -v
|
||
|
||
race:
|
||
$(PYTHON) student-tests/race.py
|
||
|
||
# Поднимает API с TTL сессии 2 с (за балансировщиком, 127.0.0.1:8081), проверяет и убирает его.
|
||
expiry:
|
||
docker compose --profile ttl up -d --wait api-short-ttl
|
||
$(PYTHON) student-tests/expiry.py; status=$$?; docker compose --profile ttl rm -sf api-short-ttl >/dev/null 2>&1; exit $$status
|
||
|
||
failure-valkey:
|
||
$(PYTHON) student-tests/dependency_failure.py valkey
|
||
|
||
failure-postgres:
|
||
$(PYTHON) student-tests/dependency_failure.py postgres
|
||
|
||
# Valkey на паузе (данные в нём сохраняются), logout, снова в строю: токен должен остаться отозванным.
|
||
failure-valkey-pause:
|
||
$(PYTHON) student-tests/cache_revocation.py
|
||
|
||
db-test:
|
||
docker compose --profile tools run --rm db-test
|
||
|
||
explain:
|
||
docker compose exec -T postgres psql -X -q -U messenger -d messenger -v ON_ERROR_STOP=1 < infra/sql/explain_history.sql
|
||
|
||
demo:
|
||
$(PYTHON) student-tests/demo.py
|
||
|
||
# Роль Valkey: сколько ключей в кэше и сколько попаданий/промахов; права пользователя health.
|
||
VALKEY_HEALTH = docker compose exec -T valkey valkey-cli --user health --pass none --no-auth-warning
|
||
cache-stats:
|
||
$(VALKEY_HEALTH) dbsize
|
||
$(VALKEY_HEALTH) info stats | grep -E "keyspace_(hits|misses)"
|
||
-$(VALKEY_HEALTH) get sess:anything
|
||
|
||
# ---------- собственные проверки lab3 ----------
|
||
|
||
# Реплики, общие сессии и кэш, X-Instance-Id (входит и в student-test).
|
||
balancing:
|
||
$(PYTHON) -m unittest discover -s student-tests -p "test_balancing.py" -v
|
||
|
||
# Idempotency-Key: повторы, конкурентные запросы через разные реплики (входит и в student-test).
|
||
idempotency:
|
||
$(PYTHON) -m unittest discover -s student-tests -p "test_idempotency.py" -v
|
||
|
||
# Публичный failover-тест для КАЖДОЙ реплики по очереди + какой контейнер реально остановлен.
|
||
failover:
|
||
$(PYTHON) student-tests/run_failover.py
|
||
|
||
# Публичный persistence-тест + время старта каждого контейнера до и после hook.
|
||
persistence:
|
||
$(PYTHON) student-tests/run_persistence.py
|
||
|
||
# Уровень 4: остановка (SIGTERM) и авария (SIGKILL) каждой реплики под нагрузкой: RPS, ошибки, восстановление.
|
||
failover-metrics:
|
||
$(PYTHON) student-tests/failover_metrics.py
|
||
|
||
# Уровень 4: поочерёдная замена реплик новой версией под нагрузкой.
|
||
rolling-update:
|
||
$(PYTHON) student-tests/rolling_update.py
|
||
|
||
# Профиль нагрузки: публичный tests/load.py (30 с, 4 потока) + CPU/RAM контейнеров во время нагрузки.
|
||
load-profile:
|
||
$(PYTHON) student-tests/load_profile.py
|
||
|
||
# Уровень 4: лимиты CPU/RAM, нет портов API в обход LB, нет container_name, сети, версии.
|
||
check-stack:
|
||
$(PYTHON) student-tests/check_stack.py
|
||
|
||
# Таблицы замеров из evidence/*.json -> REPORT.md (между метками measurements).
|
||
report-tables:
|
||
$(PYTHON) student-tests/report_tables.py
|
||
|
||
# ---------- собственные проверки lab4 ----------
|
||
|
||
# Вложения через API: лимиты, «бомба», битые файлы, подмена MIME, filename, чужое и из другого чата
|
||
# (входит и в student-test).
|
||
attachments:
|
||
$(PYTHON) -m unittest discover -s student-tests -p "test_attachments.py" -v
|
||
|
||
# Уровень 3: upload -> сразу остановка обслужившей реплики -> ready и download через другую (тот же SHA-256).
|
||
attachment-failover:
|
||
$(PYTHON) student-tests/attachment_failover.py
|
||
|
||
# Уровень 3: S3 недоступен -> реплики не готовы, балансировщик отвечает 503; после запуска файл цел.
|
||
failure-s3:
|
||
$(PYTHON) student-tests/failure_s3.py
|
||
|
||
# Уровень 4: приватный bucket вне API, минимальные права ключа API, консоль закрыта, bootstrap идемпотентен,
|
||
# (lab5) в сообщении брокера только ID.
|
||
s3-checks:
|
||
$(PYTHON) student-tests/s3_checks.py
|
||
|
||
# Уровень 4: >= 10 одновременных загрузок, пик памяти реплик -> evidence/upload-memory.json и REPORT.md.
|
||
upload-memory:
|
||
$(PYTHON) student-tests/upload_memory.py
|
||
|
||
# Уборщик объектов S3 вручную (обычно работает в worker): make cleanup ARGS=--dry-run (только показать).
|
||
cleanup:
|
||
docker compose exec -T api python -m messenger.cleanup $(ARGS)
|
||
|
||
# Повторить настройку bucket (идемпотентно).
|
||
s3-bootstrap:
|
||
docker compose run --rm s3-init
|
||
|
||
# ---------- lab5: брокер, worker, outbox ----------
|
||
|
||
# Остановить / запустить worker (демонстрация из README: загрузки ждут в очереди, API работает).
|
||
worker-stop:
|
||
docker compose stop worker
|
||
|
||
worker-start:
|
||
docker compose start worker
|
||
|
||
# Уровень 3: worker остановлен -> 202 -> сообщение с вложением -> перезапуск API и брокера -> worker -> ready.
|
||
worker-outage:
|
||
$(PYTHON) student-tests/worker_outage.py
|
||
|
||
# Уровень 3: повторная доставка того же задания и сообщение не по схеме (в DLQ).
|
||
redelivery:
|
||
$(PYTHON) student-tests/redelivery.py
|
||
|
||
# Уровень 4: падение API/relay между COMMIT и publish и после publish — transactional outbox.
|
||
outbox-crash:
|
||
$(PYTHON) student-tests/outbox_crash.py
|
||
|
||
# Уровень 4: падение worker после записи объектов до ack и после COMMIT до ack.
|
||
worker-crash:
|
||
$(PYTHON) student-tests/worker_crash.py
|
||
|
||
# Уровень 4: повторы с backoff и jitter, исчерпание попыток, постоянная ошибка, DLQ, replay.
|
||
retry-replay:
|
||
$(PYTHON) student-tests/retry_replay.py
|
||
|
||
# Уровень 4: lease — долгая задача продлевает аренду, замороженный worker её теряет, fencing.
|
||
lease:
|
||
$(PYTHON) student-tests/lease_takeover.py
|
||
|
||
# Уровень 4: не больше WORKER_CONCURRENCY заданий и prefetch сообщений одновременно.
|
||
concurrency:
|
||
$(PYTHON) student-tests/concurrency.py
|
||
|
||
# Уровень 4: staging удаляется после COMMIT; уборка объектов без ссылок, retention для replay.
|
||
staging-cleanup:
|
||
$(PYTHON) student-tests/staging_cleanup.py
|
||
|
||
# Замечание к MR: уборщик не удаляет текущую работу — replay, загрузка и обработка во время уборки.
|
||
cleanup-race:
|
||
$(PYTHON) student-tests/cleanup_race.py
|
||
|
||
# Варианты картинок и лимиты worker — проверки внутри образа (там Pillow).
|
||
imaging-test:
|
||
docker compose --profile tools run --rm imaging-test
|
||
|
||
# Оператор: сколько заданий в каждом состоянии / реестр failed / одно задание / явный replay.
|
||
jobs:
|
||
docker compose exec -T api python -m messenger.jobs stats
|
||
|
||
failed:
|
||
docker compose exec -T api python -m messenger.jobs failed
|
||
|
||
job:
|
||
@test -n "$(ID)" || (echo "make job ID=<attachment_id>"; exit 2)
|
||
docker compose exec -T api python -m messenger.jobs show $(ID)
|
||
|
||
replay:
|
||
@test -n "$(ID)" || (echo "make replay ID=<attachment_id>"; exit 2)
|
||
docker compose exec -T api python -m messenger.jobs replay $(ID) --actor $(or $(ACTOR),operator)
|
||
|
||
# Очереди брокера: готовые к выдаче и выданные без ack (основная очередь и DLQ).
|
||
queues:
|
||
docker compose exec -T broker rabbitmqctl -q list_queues -p messenger name messages_ready messages_unacknowledged
|
||
|