292 lines
13 KiB
Makefile
292 lines
13 KiB
Makefile
PYTHON ?= python3
|
||
BASE_URL ?= http://localhost:8080
|
||
CA_FILE ?=
|
||
ACTION_SCRIPT ?=
|
||
TLS_ARGS = $(if $(CA_FILE),--ca-file "$(CA_FILE)",)
|
||
|
||
.PHONY: help check validate test load test-persistence test-failover
|
||
|
||
help:
|
||
@echo "check: offline structure; validate: full OpenAPI (requirements-dev.txt); test: running API; load: synthetic writes"
|
||
|
||
check:
|
||
$(PYTHON) scripts/check_contract.py
|
||
|
||
validate:
|
||
$(PYTHON) scripts/validate_openapi.py
|
||
|
||
test:
|
||
$(PYTHON) tests/smoke.py --base-url "$(BASE_URL)" $(TLS_ARGS)
|
||
|
||
load:
|
||
$(PYTHON) tests/load.py --base-url "$(BASE_URL)" $(TLS_ARGS)
|
||
|
||
test-persistence:
|
||
@test -n "$(ACTION_SCRIPT)" || (echo "Set ACTION_SCRIPT to your implemented executable restart hook"; exit 2)
|
||
$(PYTHON) tests/resilience.py --mode persistence --action-script "$(ACTION_SCRIPT)" --base-url "$(BASE_URL)" $(TLS_ARGS)
|
||
|
||
test-failover:
|
||
@test -n "$(ACTION_SCRIPT)" || (echo "Set ACTION_SCRIPT to your implemented executable stop-one hook"; exit 2)
|
||
$(PYTHON) tests/resilience.py --mode failover --action-script "$(ACTION_SCRIPT)" --base-url "$(BASE_URL)" $(TLS_ARGS)
|
||
|
||
|
||
# ===========================================================================
|
||
# Собственные цели решения. Цели skeleton выше (help, check, validate, test,
|
||
# load, test-persistence, test-failover) не менять: в следующей лабе
|
||
# Makefile придёт новый, свои цели переносятся в него слиянием.
|
||
# ===========================================================================
|
||
|
||
# .env: подстановки compose и окружение приложения на хосте. Без него —
|
||
# значения по умолчанию ниже (пароли пустые: сначала `make env`)
|
||
-include .env
|
||
|
||
IMAGE ?= mtusi-messenger-vladimirceva:lab3
|
||
# порт HAProxy на 127.0.0.1 — единственный порт API стенда на хосте
|
||
HOST_PORT ?= 8080
|
||
# порт сервиса на хосте (make run): другой, чем у стенда, — оба могут
|
||
# работать одновременно
|
||
RUN_PORT ?= 8081
|
||
POSTGRES_USER ?= messenger
|
||
POSTGRES_DB ?= messenger
|
||
POSTGRES_HOST_PORT ?= 5433
|
||
VALKEY_HOST_PORT ?= 6380
|
||
SESSION_TTL_SECONDS ?= 3600
|
||
# реплик API за HAProxy; разово — `make replicas API_REPLICAS=3`
|
||
API_REPLICAS ?= 2
|
||
DC = docker compose
|
||
UV_EXPORT = uv export --frozen --no-dev --no-emit-project --no-header --format requirements.txt
|
||
# долгие замеры на macOS — под caffeinate: ноутбук не уснёт по простою
|
||
CAFFEINATE := $(shell command -v caffeinate >/dev/null 2>&1 && echo caffeinate -isu)
|
||
|
||
# --- приложение на хосте ----------------------------------------------------
|
||
|
||
.PHONY: install
|
||
install:
|
||
uv sync
|
||
|
||
# окружение сервиса и миграций на хосте: хранилища стенда на 127.0.0.1,
|
||
# пароли из .env. .env читается в рецепте, а не при разборе Makefile: так
|
||
# первый запуск видит и файл, только что созданный `make env`. Рецепт без
|
||
# эха — пароли не печатаются
|
||
LOCAL_ENV = set -a; . ./.env; set +a; \
|
||
export DB_HOST=127.0.0.1 DB_PORT="$$POSTGRES_HOST_PORT" DB_NAME="$$POSTGRES_DB" \
|
||
DB_USER="$$POSTGRES_USER" DB_PASSWORD="$$POSTGRES_PASSWORD" CACHE_HOST=127.0.0.1 \
|
||
CACHE_PORT="$$VALKEY_HOST_PORT" CACHE_PASSWORD="$$VALKEY_PASSWORD"
|
||
|
||
# PostgreSQL и Valkey из compose, миграции с хоста, затем один процесс
|
||
# сервиса на 127.0.0.1:RUN_PORT без LB, текстовые логи в stdout; стоп —
|
||
# Ctrl+C. Срок сессии — `make run SESSION_TTL_SECONDS=2`
|
||
.PHONY: run
|
||
run: migrate-local
|
||
@echo "uv run python -m src # 127.0.0.1:$(RUN_PORT), SESSION_TTL_SECONDS=$(SESSION_TTL_SECONDS)"
|
||
@$(LOCAL_ENV); APP_PORT=$(RUN_PORT) SESSION_TTL_SECONDS=$(SESSION_TTL_SECONDS) \
|
||
uv run python -m src
|
||
|
||
# миграции с хоста в PostgreSQL стенда (127.0.0.1:POSTGRES_HOST_PORT)
|
||
.PHONY: migrate-local
|
||
migrate-local: db-up
|
||
@echo "uv run alembic upgrade head # 127.0.0.1:$(POSTGRES_HOST_PORT)"
|
||
@$(LOCAL_ENV); uv run alembic upgrade head
|
||
|
||
.PHONY: lint
|
||
lint:
|
||
uv run ruff format --check .
|
||
uv run ruff check .
|
||
|
||
.PHONY: fmt
|
||
fmt:
|
||
uv run ruff format .
|
||
uv run ruff check --fix .
|
||
|
||
# собственные тесты против запущенного стенда (BASE_URL, по умолчанию
|
||
# HAProxy рабочего стенда); EXPECT_REPLICAS — сколько реплик за BASE_URL
|
||
# (против `make run` — 1: тесты реплик пропускаются с причиной).
|
||
# Проверки отказов (маркер fault) — make failure-checks
|
||
EXPECT_REPLICAS ?= $(API_REPLICAS)
|
||
.PHONY: student-test
|
||
student-test:
|
||
BASE_URL=$(BASE_URL) EXPECT_REPLICAS=$(EXPECT_REPLICAS) uv run pytest
|
||
|
||
# отдельный стенд из того же compose.yaml (свои PostgreSQL, Valkey, volume,
|
||
# HAProxy и две реплики, свои пароли, без .env): сборка, миграции, make
|
||
# test и make student-test через его LB, затем уборка при любом исходе.
|
||
# Рабочий стенд не трогается. $(PYTHON), а не uv run: uv повторно шлёт
|
||
# SIGINT, и Ctrl+C обрывал бы уборку
|
||
.PHONY: test-isolated
|
||
test-isolated:
|
||
$(PYTHON) student-tests/stand.py isolated
|
||
|
||
# проверки отказов (pytest -m fault, ~1,5 мин) на таком же отдельном
|
||
# стенде: обычный и «тесный» API (сроки сессии и ключа 2 с, пул 1), hook
|
||
# student-tests/fault_hook.py. FAULT_ARGS — аргументы pytest
|
||
.PHONY: failure-checks
|
||
failure-checks:
|
||
$(PYTHON) student-tests/stand.py failures $(FAULT_ARGS)
|
||
|
||
# requirements.txt для образа — только из uv.lock, с хешами
|
||
.PHONY: requirements
|
||
requirements:
|
||
$(UV_EXPORT) --output-file requirements.txt
|
||
|
||
.PHONY: requirements-check
|
||
requirements-check:
|
||
$(UV_EXPORT) | diff -u requirements.txt - && echo "requirements.txt matches uv.lock"
|
||
|
||
# --- Docker и compose ---------------------------------------------------------
|
||
|
||
# .env из шаблона, если его ещё нет, со случайными паролями PostgreSQL и
|
||
# Valkey: в шаблоне они пустые, общего пароля стенда в git нет.
|
||
# Существующий .env не трогается
|
||
.PHONY: env
|
||
env:
|
||
@test -f .env || sed \
|
||
-e "s/^POSTGRES_PASSWORD=$$/POSTGRES_PASSWORD=$$(openssl rand -hex 16)/" \
|
||
-e "s/^VALKEY_PASSWORD=$$/VALKEY_PASSWORD=$$(openssl rand -hex 16)/" \
|
||
.env.example > .env
|
||
@echo ".env ready"
|
||
|
||
.PHONY: docker-build
|
||
docker-build:
|
||
docker build -t $(IMAGE) .
|
||
|
||
# весь стенд: postgres, valkey -> migrate -> api × API_REPLICAS -> haproxy;
|
||
# --wait ждёт healthy реплик и LB (миграции к этому моменту завершились с
|
||
# кодом 0). Реплики с изменённым образом пересоздаются все разом, с
|
||
# простоем; без простоя — make rolling-update
|
||
.PHONY: up
|
||
up: env
|
||
$(DC) up -d --build --wait api haproxy
|
||
|
||
# остановить контейнеры (SIGTERM); данные и контейнеры остаются. LB
|
||
# останавливается раньше реплик (depends_on)
|
||
.PHONY: stop
|
||
stop:
|
||
$(DC) stop
|
||
|
||
# удалить контейнеры; volume pgdata с данными остаётся (удаление — wipe)
|
||
.PHONY: down
|
||
down:
|
||
$(DC) down
|
||
|
||
# журнал всех реплик; префикс строки — имя контейнера реплики
|
||
.PHONY: logs
|
||
logs:
|
||
$(DC) logs -f api
|
||
|
||
# только хранилища стенда, с ожиданием healthcheck: для make run
|
||
.PHONY: db-up
|
||
db-up: env
|
||
$(DC) up -d --wait postgres valkey
|
||
|
||
# удалить контейнеры и volume с данными стенда: только после ввода yes
|
||
.PHONY: wipe
|
||
wipe:
|
||
@read -p "Удалить все данные стенда (volume PostgreSQL)? Введите yes: " answer; \
|
||
if [ "$$answer" = "yes" ]; then \
|
||
$(DC) down -v --remove-orphans; \
|
||
else \
|
||
echo "cancelled, nothing removed"; exit 1; \
|
||
fi
|
||
|
||
# --- Реплики за HAProxy (лаба 3) --------------------------------------------
|
||
|
||
# вернуть остановленные реплики (те же контейнеры и X-Instance-Id) и
|
||
# выставить их число API_REPLICAS; ждёт healthy
|
||
.PHONY: replicas
|
||
replicas:
|
||
$(DC) up -d --no-deps --no-recreate --wait --scale api=$(API_REPLICAS) api
|
||
|
||
# вход одним синтетическим пользователем и серия GET /users/me с одним
|
||
# токеном через LB: X-Instance-Id каждого ответа и итог по репликам
|
||
.PHONY: instances
|
||
instances:
|
||
$(PYTHON) scripts/lab3.py instances --base-url "$(BASE_URL)"
|
||
|
||
# слоты HAProxy: адрес, состояние проверки (DRAIN/MAINT при замене),
|
||
# запросы, ошибки соединения, повторы, перенаправления
|
||
.PHONY: lb-stats
|
||
lb-stats:
|
||
$(PYTHON) scripts/lab3.py lb-stats
|
||
|
||
# make test-failover для каждой реплики по очереди с возвратом
|
||
# предыдущей (make replicas): какой контейнер остановлен, строка
|
||
# STOP_ONE_LOG и итог теста. STOP_MODE=kill — без graceful
|
||
STOP_MODE ?= stop
|
||
.PHONY: failover-each
|
||
failover-each:
|
||
$(PYTHON) scripts/lab3.py failover-each --base-url "$(BASE_URL)" \
|
||
--replicas $(API_REPLICAS) --mode $(STOP_MODE)
|
||
|
||
# поочерёдная замена реплик на образ рабочего дерева без простоя:
|
||
# сборка, миграции один раз, по одной реплике через drain в LB
|
||
.PHONY: rolling-update
|
||
rolling-update:
|
||
API_REPLICAS=$(API_REPLICAS) scripts/rolling-update.sh
|
||
|
||
# --- Нагрузочный стенд (уровень «4» — отказ и замена под нагрузкой,
|
||
# уровень «5» — трек 1 «Цена масштабирования») ---------------------------
|
||
# Порядок работы — bench/RUNBOOK.md, правила — bench/AGENTS.md. Свой проект
|
||
# compose vlad-bench, рабочий стенд перед замером — make stop.
|
||
|
||
FAILOVER_LABEL ?= baseline
|
||
ROLLOUT_LABEL ?= baseline
|
||
# серия трека 1: a — бюджет 4 CPU на 1/2/4 реплики; b — 1…N реплик по
|
||
# 1 CPU; db — PostgreSQL 0,5 CPU при 1/2/4 репликах; ab — ячейки «до/после»
|
||
SERIES ?=
|
||
SCALING_LABEL ?=
|
||
LABELS ?=
|
||
PLOTS ?= scaling
|
||
BENCH = $(CAFFEINATE) uv run python bench/run.py
|
||
|
||
# уровень 4: две реплики под постоянной нагрузкой, каждая в режимах stop,
|
||
# kill, pause с возвратом; пишет evidence/failover/<метка>/
|
||
.PHONY: bench-failover
|
||
bench-failover:
|
||
$(BENCH) failover --label "$(FAILOVER_LABEL)"
|
||
|
||
# проверка стенда отказа (~2 мин); метка quick-failover-<UTC> в отчёт не идёт
|
||
.PHONY: bench-failover-quick
|
||
bench-failover-quick:
|
||
$(BENCH) failover-quick
|
||
|
||
# уровень 4: поочерёдная замена (scripts/rolling-update.sh) под той же
|
||
# нагрузкой, с новой expand-ревизией; пишет evidence/rollout/<метка>/
|
||
.PHONY: bench-rollout
|
||
bench-rollout:
|
||
$(BENCH) rollout --label "$(ROLLOUT_LABEL)"
|
||
|
||
.PHONY: bench-rollout-quick
|
||
bench-rollout-quick:
|
||
$(BENCH) rollout-quick
|
||
|
||
# уровень 5, трек 1: серия конфигураций, на каждую ячейку свежий стенд,
|
||
# открытая модель, поиск R*; пишет evidence/scaling/<метка>/.
|
||
# CONFIGS="4x1-pg0.5 4x1" — ячейки вместо профильных (серия ab — всегда);
|
||
# RESUME=1 — продолжить прерванную метку
|
||
CONFIGS ?=
|
||
.PHONY: bench-scaling
|
||
bench-scaling:
|
||
@test -n "$(SERIES)" || (echo "usage: make bench-scaling SERIES=a|b|db|ab [SCALING_LABEL=...] [CONFIGS=...] [RESUME=1]"; exit 2)
|
||
$(BENCH) scaling --series "$(SERIES)" $(if $(SCALING_LABEL),--label "$(SCALING_LABEL)",) \
|
||
$(if $(CONFIGS),--configs "$(CONFIGS)",) $(if $(RESUME),--resume,)
|
||
|
||
# самопроверка серий (~5 мин): 1 × 1 и 2 × 1, короткие окна
|
||
.PHONY: bench-scaling-quick
|
||
bench-scaling-quick:
|
||
$(BENCH) scaling --series quick
|
||
|
||
# сравнение двух меток (серии — по общим конфигурациям); AA — метка того
|
||
# же кода, что BEFORE: уровень шума
|
||
.PHONY: bench-compare
|
||
bench-compare:
|
||
@test -n "$(BEFORE)" -a -n "$(AFTER)" || \
|
||
(echo "usage: make bench-compare BEFORE=<label> AFTER=<label> [AA=<label>]"; exit 2)
|
||
uv run python bench/compare.py --before "$(BEFORE)" --after "$(AFTER)" \
|
||
$(if $(AA),--aa "$(AA)",)
|
||
|
||
# графики SVG и сводка серий трека 1: evidence/plots/<PLOTS>/
|
||
.PHONY: bench-plots
|
||
bench-plots:
|
||
@test -n "$(LABELS)" || (echo "usage: make bench-plots LABELS=\"scaling-a scaling-b\" [PLOTS=scaling]"; exit 2)
|
||
uv run python bench/plots.py --out "$(PLOTS)" $(LABELS)
|