361 lines
17 KiB
Makefile
361 lines
17 KiB
Makefile
PYTHON ?= python3
|
||
BASE_URL ?= http://localhost:8080
|
||
CA_FILE ?=
|
||
ACTION_SCRIPT ?=
|
||
TLS_ARGS = $(if $(CA_FILE),--ca-file "$(CA_FILE)",)
|
||
|
||
.PHONY: help check validate test load test-persistence test-failover
|
||
|
||
help:
|
||
@echo "check: offline structure; validate: full OpenAPI (requirements-dev.txt); test: running API; load: synthetic writes"
|
||
|
||
check:
|
||
$(PYTHON) scripts/check_contract.py
|
||
|
||
validate:
|
||
$(PYTHON) scripts/validate_openapi.py
|
||
|
||
test:
|
||
$(PYTHON) tests/smoke.py --base-url "$(BASE_URL)" $(TLS_ARGS)
|
||
|
||
load:
|
||
$(PYTHON) tests/load.py --base-url "$(BASE_URL)" $(TLS_ARGS)
|
||
|
||
test-persistence:
|
||
@test -n "$(ACTION_SCRIPT)" || (echo "Set ACTION_SCRIPT to your implemented executable restart hook"; exit 2)
|
||
$(PYTHON) tests/resilience.py --mode persistence --action-script "$(ACTION_SCRIPT)" --base-url "$(BASE_URL)" $(TLS_ARGS)
|
||
|
||
test-failover:
|
||
@test -n "$(ACTION_SCRIPT)" || (echo "Set ACTION_SCRIPT to your implemented executable stop-one hook"; exit 2)
|
||
$(PYTHON) tests/resilience.py --mode failover --action-script "$(ACTION_SCRIPT)" --base-url "$(BASE_URL)" $(TLS_ARGS)
|
||
|
||
|
||
# ===========================================================================
|
||
# Собственные цели решения. Цели skeleton выше (help, check, validate, test,
|
||
# load, test-persistence, test-failover) не менять: в следующей лабе
|
||
# Makefile придёт новый, свои цели переносятся в него слиянием.
|
||
# ===========================================================================
|
||
|
||
# .env: подстановки compose и окружение приложения на хосте. Без него —
|
||
# значения по умолчанию ниже (пароли и ключи пустые: сначала `make env`)
|
||
-include .env
|
||
|
||
IMAGE ?= mtusi-messenger-vladimirceva:lab4
|
||
# порт HAProxy на 127.0.0.1 — единственный порт API стенда на хосте
|
||
HOST_PORT ?= 8080
|
||
# порт сервиса на хосте (make run): другой, чем у стенда, — оба могут
|
||
# работать одновременно
|
||
RUN_PORT ?= 8081
|
||
POSTGRES_USER ?= messenger
|
||
POSTGRES_DB ?= messenger
|
||
POSTGRES_HOST_PORT ?= 5433
|
||
VALKEY_HOST_PORT ?= 6380
|
||
S3_HOST_PORT ?= 8334
|
||
SESSION_TTL_SECONDS ?= 3600
|
||
# реплик API за HAProxy; разово — `make replicas API_REPLICAS=3`
|
||
API_REPLICAS ?= 2
|
||
DC = docker compose
|
||
UV_EXPORT = uv export --frozen --no-dev --no-emit-project --no-header --format requirements.txt
|
||
# долгие замеры на macOS — под caffeinate: ноутбук не уснёт по простою
|
||
CAFFEINATE := $(shell command -v caffeinate >/dev/null 2>&1 && echo caffeinate -isu)
|
||
|
||
# --- приложение на хосте ----------------------------------------------------
|
||
|
||
.PHONY: install
|
||
install:
|
||
uv sync
|
||
|
||
# окружение сервиса и миграций на хосте: хранилища стенда на 127.0.0.1,
|
||
# пароли и ключи пользователя API в S3 из .env. .env читается в рецепте, а
|
||
# не при разборе Makefile: так первый запуск видит и файл, только что
|
||
# созданный `make env`. Рецепт без эха — секреты не печатаются
|
||
LOCAL_ENV = set -a; . ./.env; set +a; \
|
||
export DB_HOST=127.0.0.1 DB_PORT="$$POSTGRES_HOST_PORT" DB_NAME="$$POSTGRES_DB" \
|
||
DB_USER="$$POSTGRES_USER" DB_PASSWORD="$$POSTGRES_PASSWORD" CACHE_HOST=127.0.0.1 \
|
||
CACHE_PORT="$$VALKEY_HOST_PORT" CACHE_PASSWORD="$$VALKEY_PASSWORD" \
|
||
S3_ENDPOINT="http://127.0.0.1:$$S3_HOST_PORT" S3_ACCESS_KEY_ID="$$S3_API_ACCESS_KEY" \
|
||
S3_SECRET_ACCESS_KEY="$$S3_API_SECRET_KEY"
|
||
|
||
# PostgreSQL, Valkey и S3 из compose, миграции с хоста, затем один процесс
|
||
# сервиса на 127.0.0.1:RUN_PORT без LB, текстовые логи в stdout; стоп —
|
||
# Ctrl+C. Срок сессии — `make run SESSION_TTL_SECONDS=2`
|
||
.PHONY: run
|
||
run: migrate-local
|
||
@echo "uv run python -m src # 127.0.0.1:$(RUN_PORT), SESSION_TTL_SECONDS=$(SESSION_TTL_SECONDS)"
|
||
@$(LOCAL_ENV); APP_PORT=$(RUN_PORT) SESSION_TTL_SECONDS=$(SESSION_TTL_SECONDS) \
|
||
uv run python -m src
|
||
|
||
# миграции с хоста в PostgreSQL стенда (127.0.0.1:POSTGRES_HOST_PORT)
|
||
.PHONY: migrate-local
|
||
migrate-local: db-up
|
||
@echo "uv run alembic upgrade head # 127.0.0.1:$(POSTGRES_HOST_PORT)"
|
||
@$(LOCAL_ENV); uv run alembic upgrade head
|
||
|
||
.PHONY: lint
|
||
lint:
|
||
uv run ruff format --check .
|
||
uv run ruff check .
|
||
|
||
.PHONY: fmt
|
||
fmt:
|
||
uv run ruff format .
|
||
uv run ruff check --fix .
|
||
|
||
# собственные тесты против запущенного стенда (BASE_URL, по умолчанию
|
||
# HAProxy рабочего стенда); EXPECT_REPLICAS — сколько реплик за BASE_URL
|
||
# (против `make run` — 1: тесты реплик пропускаются с причиной).
|
||
# Проверки отказов (маркер fault) — make failure-checks
|
||
EXPECT_REPLICAS ?= $(API_REPLICAS)
|
||
.PHONY: student-test
|
||
student-test:
|
||
BASE_URL=$(BASE_URL) EXPECT_REPLICAS=$(EXPECT_REPLICAS) uv run pytest
|
||
|
||
# отдельный стенд из того же compose.yaml (свои PostgreSQL, Valkey, S3,
|
||
# volume, HAProxy и две реплики, свои пароли и ключи, без .env): сборка,
|
||
# миграции и bootstrap S3, make test и make student-test через его LB,
|
||
# test-failover, test-persistence, затем уборка при любом исходе. Рабочий
|
||
# стенд не трогается. $(PYTHON), а не uv run: uv повторно шлёт SIGINT, и
|
||
# Ctrl+C обрывал бы уборку
|
||
.PHONY: test-isolated
|
||
test-isolated:
|
||
$(PYTHON) student-tests/stand.py isolated
|
||
|
||
# проверки отказов (pytest -m fault) на таком же отдельном стенде: свои
|
||
# хранилища и S3, уборщик с grace 25 с, обычный, «тесный» и «узкий по
|
||
# загрузкам» API, hook student-tests/fault_hook.py. FAULT_ARGS — аргументы
|
||
# pytest
|
||
.PHONY: failure-checks
|
||
failure-checks:
|
||
$(PYTHON) student-tests/stand.py failures $(FAULT_ARGS)
|
||
|
||
# requirements.txt для образа — только из uv.lock, с хешами
|
||
.PHONY: requirements
|
||
requirements:
|
||
$(UV_EXPORT) --output-file requirements.txt
|
||
|
||
.PHONY: requirements-check
|
||
requirements-check:
|
||
$(UV_EXPORT) | diff -u requirements.txt - && echo "requirements.txt matches uv.lock"
|
||
|
||
# --- Docker и compose ---------------------------------------------------------
|
||
|
||
# .env из шаблона со случайными паролями PostgreSQL и Valkey и ключами S3:
|
||
# в шаблоне они пустые, общего пароля стенда в git нет. Существующий .env
|
||
# не перезаписывается — дописываются только переменные шаблона, которых в
|
||
# нём нет (секреты — случайными). Печатаются только имена
|
||
.PHONY: env
|
||
env:
|
||
@$(PYTHON) scripts/lab4.py env
|
||
|
||
.PHONY: docker-build
|
||
docker-build:
|
||
docker build -t $(IMAGE) .
|
||
|
||
# весь стенд: postgres, valkey, s3 -> migrate, s3-bootstrap -> api ×
|
||
# API_REPLICAS и cleaner -> haproxy; --wait ждёт healthy реплик и LB
|
||
# (миграции и bootstrap к этому моменту завершились с кодом 0). Реплики с
|
||
# изменённым образом пересоздаются все разом, с простоем; без простоя —
|
||
# make rolling-update
|
||
.PHONY: up
|
||
up: env
|
||
$(DC) up -d --build --wait api cleaner haproxy
|
||
|
||
# остановить контейнеры (SIGTERM); данные и контейнеры остаются. LB
|
||
# останавливается раньше реплик (depends_on); S3 — плавно, ~15 с
|
||
.PHONY: stop
|
||
stop:
|
||
$(DC) stop
|
||
|
||
# удалить контейнеры; volume pgdata и s3data с данными остаются
|
||
# (удаление — wipe)
|
||
.PHONY: down
|
||
down:
|
||
$(DC) down
|
||
|
||
# журнал всех реплик; префикс строки — имя контейнера реплики
|
||
.PHONY: logs
|
||
logs:
|
||
$(DC) logs -f api
|
||
|
||
# хранилища стенда с ожиданием healthcheck и bootstrap S3: для make run.
|
||
# --wait одноразовый сервис не ждёт — код bootstrap отдельно
|
||
.PHONY: db-up
|
||
db-up: env
|
||
$(DC) up -d --wait postgres valkey s3
|
||
$(DC) up --no-deps --exit-code-from s3-bootstrap s3-bootstrap
|
||
|
||
# удалить контейнеры и volume с данными стенда: только после ввода yes
|
||
.PHONY: wipe
|
||
wipe:
|
||
@read -p "Удалить все данные стенда (volume PostgreSQL pgdata и S3 s3data)? Введите yes: " answer; \
|
||
if [ "$$answer" = "yes" ]; then \
|
||
$(DC) down -v --remove-orphans; \
|
||
else \
|
||
echo "cancelled, nothing removed"; exit 1; \
|
||
fi
|
||
|
||
# --- Реплики за HAProxy (лаба 3) --------------------------------------------
|
||
|
||
# вернуть остановленные реплики (те же контейнеры и X-Instance-Id) и
|
||
# выставить их число API_REPLICAS; ждёт healthy
|
||
.PHONY: replicas
|
||
replicas:
|
||
$(DC) up -d --no-deps --no-recreate --wait --scale api=$(API_REPLICAS) api
|
||
|
||
# вход одним синтетическим пользователем и серия GET /users/me с одним
|
||
# токеном через LB: X-Instance-Id каждого ответа и итог по репликам
|
||
.PHONY: instances
|
||
instances:
|
||
$(PYTHON) scripts/lab4.py instances --base-url "$(BASE_URL)"
|
||
|
||
# слоты HAProxy: адрес, состояние проверки (DRAIN/MAINT при замене),
|
||
# запросы, ошибки соединения, повторы, перенаправления
|
||
.PHONY: lb-stats
|
||
lb-stats:
|
||
$(PYTHON) scripts/lab4.py lb-stats
|
||
|
||
# make test-failover для каждой реплики по очереди с возвратом
|
||
# предыдущей (make replicas): какой контейнер остановлен, строка
|
||
# STOP_ONE_LOG и итог теста. STOP_MODE=kill — без graceful
|
||
STOP_MODE ?= stop
|
||
.PHONY: failover-each
|
||
failover-each:
|
||
$(PYTHON) scripts/lab4.py failover-each --base-url "$(BASE_URL)" \
|
||
--replicas $(API_REPLICAS) --mode $(STOP_MODE)
|
||
|
||
# поочерёдная замена реплик на образ рабочего дерева без простоя:
|
||
# сборка, миграции один раз, по одной реплике через drain в LB
|
||
.PHONY: rolling-update
|
||
rolling-update:
|
||
API_REPLICAS=$(API_REPLICAS) scripts/rolling-update.sh
|
||
|
||
# --- S3 и вложения (лаба 4) ---------------------------------------------------
|
||
|
||
# вложение через LB → остановка реплики, принявшей загрузку (stop-one.sh по
|
||
# её X-Instance-Id) → скачивание через другую, тот же SHA-256 → 404
|
||
# постороннему → make replicas. STOP_MODE=kill — без graceful
|
||
.PHONY: attachment-failover
|
||
attachment-failover:
|
||
$(PYTHON) scripts/lab4.py attachment-failover --base-url "$(BASE_URL)" \
|
||
--replicas $(API_REPLICAS) --mode $(STOP_MODE)
|
||
|
||
# приватность bucket вне API: права ключей API и уборщика (bootstrap в
|
||
# режиме check), анонимные запросы с хоста и из сети стенда, порты
|
||
# контейнера S3; затем уборка проверочных объектов. Код 1 при нарушении
|
||
.PHONY: s3-check
|
||
s3-check:
|
||
$(PYTHON) scripts/lab4.py s3-check
|
||
|
||
# разовый проход уборщика незавершённых загрузок: 0 — проход дошёл до
|
||
# конца, 1 — прерван отказом, 2 — конфигурация
|
||
.PHONY: cleanup-once
|
||
cleanup-once:
|
||
$(DC) run --rm --no-deps cleaner --once
|
||
|
||
# разовая сверка bucket и БД (трек 2) в контейнере уборщика. По умолчанию
|
||
# dry-run; APPLY=1 — исправить безопасное; MAX_CHANGES, STRATEGY=head,
|
||
# DEEP=1 (SHA-256 содержимого), RATE (объектов S3/с, 0 — без предела).
|
||
# Коды: 0 — расхождений нет, 3 — остались, 1 — прервана, 2 — конфигурация
|
||
APPLY ?=
|
||
MAX_CHANGES ?=
|
||
STRATEGY ?=
|
||
DEEP ?=
|
||
RATE ?=
|
||
.PHONY: reconcile
|
||
reconcile:
|
||
$(DC) run --rm --no-deps cleaner reconcile $(if $(APPLY),--apply,) \
|
||
$(if $(MAX_CHANGES),--max-changes $(MAX_CHANGES),) \
|
||
$(if $(STRATEGY),--strategy $(STRATEGY),) $(if $(DEEP),--deep,) \
|
||
$(if $(RATE),--rate $(RATE),)
|
||
|
||
# --- Нагрузочный стенд (уровень «4» — отказ и замена под нагрузкой лабы 3,
|
||
# память одновременных загрузок; уровень «5» — трек 2, стоимость сверки) --
|
||
# Порядок работы — bench/RUNBOOK.md, правила — bench/AGENTS.md. Свой проект
|
||
# compose vlad-bench, рабочий стенд перед замером — make stop.
|
||
|
||
FAILOVER_LABEL ?= baseline
|
||
ROLLOUT_LABEL ?= baseline
|
||
UPLOADS_LABEL ?= baseline
|
||
RECONCILE_LABEL ?= baseline
|
||
# серия трека 1 лабы 3 (сохраняется): a, b, db, ab, quick
|
||
SERIES ?=
|
||
SCALING_LABEL ?=
|
||
LABELS ?=
|
||
PLOTS ?= scaling
|
||
BENCH = $(CAFFEINATE) uv run python bench/run.py
|
||
|
||
# уровень 4 лабы 3: две реплики под постоянной нагрузкой, каждая в режимах
|
||
# stop, kill, pause с возвратом; пишет evidence/failover/<метка>/
|
||
.PHONY: bench-failover
|
||
bench-failover:
|
||
$(BENCH) failover --label "$(FAILOVER_LABEL)"
|
||
|
||
# проверка стенда отказа (~2 мин); метка quick-failover-<UTC> в отчёт не идёт
|
||
.PHONY: bench-failover-quick
|
||
bench-failover-quick:
|
||
$(BENCH) failover-quick
|
||
|
||
# уровень 4 лабы 3: поочерёдная замена (scripts/rolling-update.sh) под той
|
||
# же нагрузкой, с новой expand-ревизией; пишет evidence/rollout/<метка>/
|
||
.PHONY: bench-rollout
|
||
bench-rollout:
|
||
$(BENCH) rollout --label "$(ROLLOUT_LABEL)"
|
||
|
||
.PHONY: bench-rollout-quick
|
||
bench-rollout-quick:
|
||
$(BENCH) rollout-quick
|
||
|
||
# уровень 4 лабы 4: память реплики при 1/10/20/40 одновременных загрузках
|
||
# по ~1 и ~10 MiB, варианты «с лимитом» (места по умолчанию) и «без
|
||
# лимита»; пишет evidence/uploads/<метка>/
|
||
.PHONY: bench-uploads
|
||
bench-uploads:
|
||
$(BENCH) uploads --label "$(UPLOADS_LABEL)"
|
||
|
||
# самопроверка профиля загрузок (~5 мин); метка quick-uploads-<UTC>
|
||
.PHONY: bench-uploads-quick
|
||
bench-uploads-quick:
|
||
$(BENCH) uploads-quick
|
||
|
||
# уровень 5, трек 2: стоимость сверки bucket и БД по размеру набора,
|
||
# стратегиям и под фоновой нагрузкой; пишет evidence/reconcile/<метка>/
|
||
.PHONY: bench-reconcile
|
||
bench-reconcile:
|
||
$(BENCH) reconcile --label "$(RECONCILE_LABEL)"
|
||
|
||
# самопроверка профиля сверки (~6 мин); метка quick-reconcile-<UTC>
|
||
.PHONY: bench-reconcile-quick
|
||
bench-reconcile-quick:
|
||
$(BENCH) reconcile-quick
|
||
|
||
# трек 1 лабы 3 (сохраняется для сравнения, в лабе 4 не обязателен):
|
||
# серия конфигураций, на каждую ячейку свежий стенд, открытая модель,
|
||
# поиск R*; пишет evidence/scaling/<метка>/. CONFIGS="4x1-pg0.5 4x1" —
|
||
# ячейки вместо профильных; RESUME=1 — продолжить прерванную метку
|
||
CONFIGS ?=
|
||
.PHONY: bench-scaling
|
||
bench-scaling:
|
||
@test -n "$(SERIES)" || (echo "usage: make bench-scaling SERIES=a|b|db|ab [SCALING_LABEL=...] [CONFIGS=...] [RESUME=1]"; exit 2)
|
||
$(BENCH) scaling --series "$(SERIES)" $(if $(SCALING_LABEL),--label "$(SCALING_LABEL)",) \
|
||
$(if $(CONFIGS),--configs "$(CONFIGS)",) $(if $(RESUME),--resume,)
|
||
|
||
# самопроверка серий (~5 мин): 1 × 1 и 2 × 1, короткие окна
|
||
.PHONY: bench-scaling-quick
|
||
bench-scaling-quick:
|
||
$(BENCH) scaling --series quick
|
||
|
||
# сравнение двух меток серий (по общим конфигурациям); AA — метка того же
|
||
# кода, что BEFORE: уровень шума
|
||
.PHONY: bench-compare
|
||
bench-compare:
|
||
@test -n "$(BEFORE)" -a -n "$(AFTER)" || \
|
||
(echo "usage: make bench-compare BEFORE=<label> AFTER=<label> [AA=<label>]"; exit 2)
|
||
uv run python bench/compare.py --before "$(BEFORE)" --after "$(AFTER)" \
|
||
$(if $(AA),--aa "$(AA)",)
|
||
|
||
# графики SVG и сводка серий трека 1: evidence/plots/<PLOTS>/
|
||
.PHONY: bench-plots
|
||
bench-plots:
|
||
@test -n "$(LABELS)" || (echo "usage: make bench-plots LABELS=\"scaling-a scaling-b\" [PLOTS=scaling]"; exit 2)
|
||
uv run python bench/plots.py --out "$(PLOTS)" $(LABELS)
|