hang-key names its trigger per run, turns SIGTERM and SIGHUP into an interrupt so the trigger is always dropped and the replica unpaused, and prints the cleanup SQL if dropping fails. idle-conns reports who closed the idle connections and can read the pool of another LB container, so a variant LB config can be checked against the same replicas. bench_compare refuses a label measured without the load balancer. Stale numbers removed from the haproxy.cfg comment. Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
297 lines
13 KiB
Makefile
297 lines
13 KiB
Makefile
PYTHON ?= python3
|
||
BASE_URL ?= http://localhost:8080
|
||
CA_FILE ?=
|
||
ACTION_SCRIPT ?=
|
||
TLS_ARGS = $(if $(CA_FILE),--ca-file "$(CA_FILE)",)
|
||
|
||
.PHONY: help check validate test load test-persistence test-failover
|
||
|
||
help:
|
||
@echo "check: offline structure; validate: full OpenAPI (requirements-dev.txt); test: running API; load: synthetic writes"
|
||
|
||
check:
|
||
$(PYTHON) scripts/check_contract.py
|
||
|
||
validate:
|
||
$(PYTHON) scripts/validate_openapi.py
|
||
|
||
test:
|
||
$(PYTHON) tests/smoke.py --base-url "$(BASE_URL)" $(TLS_ARGS)
|
||
|
||
load:
|
||
$(PYTHON) tests/load.py --base-url "$(BASE_URL)" $(TLS_ARGS)
|
||
|
||
test-persistence:
|
||
@test -n "$(ACTION_SCRIPT)" || (echo "Set ACTION_SCRIPT to your implemented executable restart hook"; exit 2)
|
||
$(PYTHON) tests/resilience.py --mode persistence --action-script "$(ACTION_SCRIPT)" --base-url "$(BASE_URL)" $(TLS_ARGS)
|
||
|
||
test-failover:
|
||
@test -n "$(ACTION_SCRIPT)" || (echo "Set ACTION_SCRIPT to your implemented executable stop-one hook"; exit 2)
|
||
$(PYTHON) tests/resilience.py --mode failover --action-script "$(ACTION_SCRIPT)" --base-url "$(BASE_URL)" $(TLS_ARGS)
|
||
|
||
|
||
# -------------------------
|
||
# Приложение на хосте (свои цели; цели skeleton выше не менять)
|
||
# -------------------------
|
||
|
||
# Postgres из compose и миграции, Valkey из compose, затем сервис на
|
||
# хосте: 127.0.0.1:APP__PORT, reload по src/
|
||
.PHONY: run_dev
|
||
run_dev: upgrade start_cache
|
||
APP__RUN_MODE=console uv run python -m src
|
||
|
||
# шаблоны копируются только если файла ещё нет: локальные значения
|
||
# не затираются. В новый .env подставляются случайные пароли Postgres и
|
||
# Valkey: в шаблоне они пустые, общего пароля стенда в git нет
|
||
.PHONY: env_setup
|
||
env_setup:
|
||
@test -f .env || sed \
|
||
-e "s/^POSTGRES_PASSWORD=$$/POSTGRES_PASSWORD=$$(openssl rand -hex 16)/" \
|
||
-e "s/^VALKEY_PASSWORD=$$/VALKEY_PASSWORD=$$(openssl rand -hex 16)/" \
|
||
.env.example > .env
|
||
@test -f config.toml || cp config_example.toml config.toml
|
||
@echo "env ready: .env, config.toml"
|
||
|
||
|
||
# -------------------------
|
||
# Docker targets
|
||
# -------------------------
|
||
|
||
# порты — из того же .env, что читает compose; без .env — 8080
|
||
-include .env
|
||
APP__PORT ?= 8080
|
||
APP_OUT_PORT ?= 8080
|
||
# число реплик api за HAProxy — то же, что deploy.replicas в compose
|
||
API_REPLICAS ?= 2
|
||
# сколько реплик за BASE_URL ждут тесты реплик student-tests: против
|
||
# стенда с LB — API_REPLICAS, против одного процесса — 1 (их пропуск)
|
||
EXPECT_REPLICAS ?= $(API_REPLICAS)
|
||
DC=docker compose
|
||
|
||
# стенд: postgres, valkey -> migrate -> api × API_REPLICAS -> haproxy
|
||
# (единственный порт API на хосте — у haproxy). env_setup создаёт
|
||
# недостающие .env и config.toml из шаблонов: без config.toml compose не
|
||
# запустится (bind с create_host_path: false), без паролей — тоже
|
||
.PHONY: run_docker
|
||
run_docker: env_setup
|
||
DOCKER_BUILDKIT=1 $(DC) build
|
||
$(DC) up -d
|
||
|
||
.PHONY: stop
|
||
stop:
|
||
$(DC) stop
|
||
|
||
# контейнеры удаляются, volume с данными остаётся (удаление — wipe_data)
|
||
.PHONY: down
|
||
down:
|
||
$(DC) down
|
||
|
||
# журнал всех реплик api без префикса "api-1 |": каждая строка — JSON,
|
||
# реплику называет поле instance_id
|
||
.PHONY: logs
|
||
logs:
|
||
$(DC) logs -f --no-log-prefix api
|
||
|
||
|
||
# -------------------------
|
||
# PostgreSQL и миграции
|
||
# -------------------------
|
||
|
||
# Postgres стенда; --wait ждёт его healthcheck
|
||
.PHONY: start_db
|
||
start_db: env_setup
|
||
$(DC) up -d --wait postgres
|
||
|
||
.PHONY: stop_db
|
||
stop_db:
|
||
$(DC) stop postgres
|
||
|
||
# миграции с хоста: 127.0.0.1:POSTGRES_OUT_PORT из .env
|
||
.PHONY: upgrade
|
||
upgrade: start_db
|
||
uv run alembic upgrade head
|
||
|
||
# новая ревизия autogenerate; база сначала доводится до head, иначе
|
||
# autogenerate сравнит модели не с той схемой
|
||
.PHONY: revision
|
||
revision: upgrade
|
||
@read -p "Сообщение миграции (англ., прошедшее время): " msg; \
|
||
uv run alembic revision --autogenerate -m "$$msg"
|
||
|
||
# удалить контейнеры стенда и volume с данными: только после ввода yes
|
||
.PHONY: wipe_data
|
||
wipe_data:
|
||
@read -p "Удалить все данные стенда (volume Postgres)? Введите yes: " answer; \
|
||
if [ "$$answer" = "yes" ]; then \
|
||
$(DC) down -v --remove-orphans; \
|
||
else \
|
||
echo "cancelled, nothing removed"; exit 1; \
|
||
fi
|
||
|
||
|
||
# -------------------------
|
||
# Valkey (кэш карточек чатов)
|
||
# -------------------------
|
||
|
||
# Valkey стенда; --wait ждёт его healthcheck. Volume нет: кэш после
|
||
# рестарта пуст, данные — в PostgreSQL
|
||
.PHONY: start_cache
|
||
start_cache: env_setup
|
||
$(DC) up -d --wait valkey
|
||
|
||
.PHONY: stop_cache
|
||
stop_cache:
|
||
$(DC) stop valkey
|
||
|
||
|
||
# -------------------------
|
||
# Реплики за балансировщиком (HAProxy)
|
||
# -------------------------
|
||
|
||
# вернуть остановленные реплики (scripts/stop-one.sh) и выставить их
|
||
# число: остановленные контейнеры запускаются с теми же ID, недостающие
|
||
# создаются, лишние удаляются; ждёт healthcheck реплик. Разовая подмена —
|
||
# make replicas API_REPLICAS=3, следующий make run_docker вернёт число
|
||
# из .env
|
||
.PHONY: replicas
|
||
replicas:
|
||
$(DC) up -d --no-deps --no-recreate --wait --scale api=$(API_REPLICAS) api
|
||
|
||
# распределение запросов одной сессии через LB: вход одним синтетическим
|
||
# пользователем, серия GET /users/me с одним токеном, X-Instance-Id каждого
|
||
# ответа и число ответов каждой реплики
|
||
.PHONY: instances
|
||
instances:
|
||
$(PYTHON) .claude/skills/run-mtusi-messenger/driver.py --port $(APP_OUT_PORT) instances
|
||
|
||
# состояние реплик глазами HAProxy: занятые слоты, адрес, статус проверки,
|
||
# соединения, запросы, ошибки соединения, повторы и перенаправления. CSV
|
||
# статистики читается изнутри контейнера LB: порт 8404 наружу не
|
||
# опубликован, curl в образе нет, bash есть
|
||
LB_STATS_FIELDS = svname addr status check_status scur stot econ wretr wredis hrsp_5xx
|
||
.PHONY: lb_stats
|
||
lb_stats:
|
||
@$(DC) exec -T haproxy bash -c 'exec 3<>/dev/tcp/127.0.0.1/8404 && printf "GET /stats;csv HTTP/1.0\r\n\r\n" >&3 && cat <&3' \
|
||
| awk -F, -v fields="$(LB_STATS_FIELDS)" ' \
|
||
/^# pxname/ { sub(/^# /, ""); for (i = 1; i <= NF; i++) col[$$i] = i; \
|
||
n = split(fields, f, " "); for (j = 1; j <= n; j++) printf "%s\t", f[j]; print ""; next } \
|
||
$$1 != "api" { next } \
|
||
$$2 != "BACKEND" && $$(col["addr"]) == "" && $$(col["status"]) == "MAINT (resolution)" { free++; next } \
|
||
{ for (j = 1; j <= n; j++) { v = $$(col[f[j]]); printf "%s\t", (v == "" ? "-" : v) }; print "" } \
|
||
END { printf "free slots: %d\n", free }' \
|
||
| column -t -s "$$(printf '\t')"
|
||
|
||
|
||
# -------------------------
|
||
# Load benchmark
|
||
# -------------------------
|
||
|
||
BENCH_LABEL ?= baseline
|
||
# macOS не засыпает на время замера (сон ставит ВМ Docker на паузу посреди
|
||
# прогона): -u будит из DarkWake полностью, -i и -s не дают уснуть до
|
||
# конца; на других ОС caffeinate нет, и префикс пустой
|
||
KEEP_AWAKE := $(shell command -v caffeinate >/dev/null 2>&1 && echo caffeinate -isu)
|
||
|
||
# полная матрица на своём проекте compose mtusi-bench (API, PostgreSQL,
|
||
# Valkey, без портов хоста), с фоновыми чатами разного размера, вариантами
|
||
# плана и пробами записи, ~35 мин; метка не должна существовать;
|
||
# результаты и планы запроса истории — evidence/bench/$(BENCH_LABEL)/,
|
||
# ход — строки в терминале и progress.json
|
||
.PHONY: bench
|
||
bench:
|
||
$(KEEP_AWAKE) uv run python bench/run.py --profile full --label $(BENCH_LABEL)
|
||
|
||
# самопроверка стенда на малых размерах, ~3 мин; результат в git не идёт
|
||
.PHONY: bench_quick
|
||
bench_quick:
|
||
$(KEEP_AWAKE) uv run python bench/run.py --profile quick --label quick-$(shell date -u +%Y%m%dT%H%M%SZ)
|
||
|
||
RESTORE_LABEL ?= restore
|
||
|
||
# трек 2: backup под записью, восстановление в новое хранилище, сверка БД и
|
||
# через HTTP, кэш до и после FLUSHALL — на 10k / 100k / 500k с фоновыми
|
||
# чатами, без матрицы прогонов, ~20 мин; результат —
|
||
# evidence/bench/$(RESTORE_LABEL)/
|
||
.PHONY: bench_restore
|
||
bench_restore:
|
||
$(KEEP_AWAKE) uv run python bench/run.py --profile restore --label $(RESTORE_LABEL)
|
||
|
||
# то же на малых размерах (самопроверка, сценарий защиты), ~1,5 мин; в git
|
||
# не идёт
|
||
.PHONY: bench_restore_quick
|
||
bench_restore_quick:
|
||
$(KEEP_AWAKE) uv run python bench/run.py --profile restore_quick --label quick-restore-$(shell date -u +%Y%m%dT%H%M%SZ)
|
||
|
||
FAILOVER_LABEL ?= baseline
|
||
|
||
# уровень 4: отказ реплик под нагрузкой на стенде mtusi-bench (HAProxy, две
|
||
# реплики с лимитами рабочего стенда): 100 записей с ключом и 100 чтений в
|
||
# секунду, каждая реплика в режимах stop, kill и pause с возвратом,
|
||
# посекундная шкала, время обнаружения и восстановления, сверка записей;
|
||
# ~6 мин; результат — evidence/failover/$(FAILOVER_LABEL)/
|
||
.PHONY: bench_failover
|
||
bench_failover:
|
||
$(KEEP_AWAKE) uv run python bench/run.py --profile failover --label $(FAILOVER_LABEL)
|
||
|
||
# то же короче, режимы stop и kill (самопроверка), ~2 мин; в git не идёт
|
||
.PHONY: bench_failover_quick
|
||
bench_failover_quick:
|
||
$(KEEP_AWAKE) uv run python bench/run.py --profile failover_quick --label quick-failover-$(shell date -u +%Y%m%dT%H%M%SZ)
|
||
|
||
# дельта двух меток по ячейкам матрицы: BEFORE и AFTER обязательны, AA —
|
||
# метка того же кода, что BEFORE, для уровня шума; результат —
|
||
# evidence/compare/$(BEFORE)__$(AFTER).md
|
||
.PHONY: bench_compare
|
||
bench_compare:
|
||
uv run python bench/compare.py --before "$(BEFORE)" --after "$(AFTER)" --aa "$(AA)"
|
||
|
||
# «до» и «после» подряд в одной сессии, два прогона bench: bench для
|
||
# BEFORE, commit доказательств, git revert commit REAPPLY (возврат
|
||
# откаченного изменения), затем bench для AFTER. Сам делает два коммита;
|
||
# рабочее дерево должно быть чистым
|
||
.PHONY: bench_ab
|
||
bench_ab:
|
||
uv run python bench/ab.py --before "$(BEFORE)" --after "$(AFTER)" --reapply "$(REAPPLY)"
|
||
|
||
|
||
# -------------------------
|
||
# Common targets
|
||
# -------------------------
|
||
|
||
# собственные black-box тесты против запущенного сервера (BASE_URL).
|
||
# EXPECT_REPLICAS — сколько реплик за BASE_URL: по умолчанию API_REPLICAS
|
||
# (стенд с LB); против одного процесса — EXPECT_REPLICAS=1, и тесты
|
||
# реплик пропускаются с причиной
|
||
.PHONY: student_test
|
||
student_test:
|
||
BASE_URL=$(BASE_URL) EXPECT_REPLICAS=$(EXPECT_REPLICAS) uv run pytest
|
||
|
||
# образ на временной базе test_<POSTGRES_DB>: сборка, миграции, отдельный
|
||
# контейнер api на 127.0.0.1:TEST_APP_PORT, make test и make student_test,
|
||
# затем уборка при любом исходе. KEEP_TEST_DB=1 оставляет базу для разбора.
|
||
# Valkey общий с рабочим стендом: ключи кэша разделены именем базы.
|
||
# $(PYTHON), а не uv run: uv повторно шлёт SIGINT, и Ctrl+C обрывал уборку
|
||
.PHONY: test_isolated
|
||
test_isolated: env_setup start_db start_cache
|
||
$(PYTHON) student-tests/run_isolated.py $(if $(KEEP_TEST_DB),--keep-db,)
|
||
|
||
# проверки отказов (pytest -m fault) на отдельном стенде: свой проект
|
||
# compose <рабочий>-failures со своими Postgres и Valkey, обычный и
|
||
# «тесный» API, hook student-tests/fault_hook.py; стенд и его volume
|
||
# удаляются при любом исходе, рабочий стенд не затрагивается.
|
||
# FAULT_ARGS — дополнительные аргументы pytest, например -k "Valkey"
|
||
.PHONY: failure_checks
|
||
failure_checks: env_setup
|
||
$(PYTHON) student-tests/run_failures.py $(FAULT_ARGS)
|
||
|
||
.PHONY: lint
|
||
lint:
|
||
@ruff format .
|
||
@echo "code formatted"
|
||
@ruff check --fix .
|
||
@echo "code checked and fixed if needed"
|
||
@ruff format .
|
||
@echo "code formatted"
|
||
@ruff check --fix .
|
||
@echo "code checked and fixed if needed"
|