HAProxy 3.4 is the only published entry point; api runs as API_REPLICAS replicas without ports, found through Docker DNS and checked on /health/ready. Retries only on connection failure, LB errors in the contract error format, resource limits and per-service secrets. Adds scripts/stop-one.sh, LB-aware restart.sh, make replicas / instances / lb_stats and replica tests driven by EXPECT_REPLICAS. Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
281 lines
12 KiB
Makefile
281 lines
12 KiB
Makefile
PYTHON ?= python3
|
||
BASE_URL ?= http://localhost:8080
|
||
CA_FILE ?=
|
||
ACTION_SCRIPT ?=
|
||
TLS_ARGS = $(if $(CA_FILE),--ca-file "$(CA_FILE)",)
|
||
|
||
.PHONY: help check validate test load test-persistence test-failover
|
||
|
||
help:
|
||
@echo "check: offline structure; validate: full OpenAPI (requirements-dev.txt); test: running API; load: synthetic writes"
|
||
|
||
check:
|
||
$(PYTHON) scripts/check_contract.py
|
||
|
||
validate:
|
||
$(PYTHON) scripts/validate_openapi.py
|
||
|
||
test:
|
||
$(PYTHON) tests/smoke.py --base-url "$(BASE_URL)" $(TLS_ARGS)
|
||
|
||
load:
|
||
$(PYTHON) tests/load.py --base-url "$(BASE_URL)" $(TLS_ARGS)
|
||
|
||
test-persistence:
|
||
@test -n "$(ACTION_SCRIPT)" || (echo "Set ACTION_SCRIPT to your implemented executable restart hook"; exit 2)
|
||
$(PYTHON) tests/resilience.py --mode persistence --action-script "$(ACTION_SCRIPT)" --base-url "$(BASE_URL)" $(TLS_ARGS)
|
||
|
||
test-failover:
|
||
@test -n "$(ACTION_SCRIPT)" || (echo "Set ACTION_SCRIPT to your implemented executable stop-one hook"; exit 2)
|
||
$(PYTHON) tests/resilience.py --mode failover --action-script "$(ACTION_SCRIPT)" --base-url "$(BASE_URL)" $(TLS_ARGS)
|
||
|
||
|
||
# -------------------------
|
||
# Приложение на хосте (свои цели; цели skeleton выше не менять)
|
||
# -------------------------
|
||
|
||
# Postgres из compose и миграции, Valkey из compose, затем сервис на
|
||
# хосте: 127.0.0.1:APP__PORT, reload по src/
|
||
.PHONY: run_dev
|
||
run_dev: upgrade start_cache
|
||
APP__RUN_MODE=console uv run python -m src
|
||
|
||
# шаблоны копируются только если файла ещё нет: локальные значения
|
||
# не затираются. В новый .env подставляются случайные пароли Postgres и
|
||
# Valkey: в шаблоне они пустые, общего пароля стенда в git нет
|
||
.PHONY: env_setup
|
||
env_setup:
|
||
@test -f .env || sed \
|
||
-e "s/^POSTGRES_PASSWORD=$$/POSTGRES_PASSWORD=$$(openssl rand -hex 16)/" \
|
||
-e "s/^VALKEY_PASSWORD=$$/VALKEY_PASSWORD=$$(openssl rand -hex 16)/" \
|
||
.env.example > .env
|
||
@test -f config.toml || cp config_example.toml config.toml
|
||
@echo "env ready: .env, config.toml"
|
||
|
||
|
||
# -------------------------
|
||
# Docker targets
|
||
# -------------------------
|
||
|
||
# порты — из того же .env, что читает compose; без .env — 8080
|
||
-include .env
|
||
APP__PORT ?= 8080
|
||
APP_OUT_PORT ?= 8080
|
||
# число реплик api за HAProxy — то же, что deploy.replicas в compose
|
||
API_REPLICAS ?= 2
|
||
# сколько реплик за BASE_URL ждут тесты реплик student-tests: против
|
||
# стенда с LB — API_REPLICAS, против одного процесса — 1 (их пропуск)
|
||
EXPECT_REPLICAS ?= $(API_REPLICAS)
|
||
DC=docker compose
|
||
|
||
# стенд: postgres, valkey -> migrate -> api × API_REPLICAS -> haproxy
|
||
# (единственный порт API на хосте — у haproxy). env_setup создаёт
|
||
# недостающие .env и config.toml из шаблонов: без config.toml compose не
|
||
# запустится (bind с create_host_path: false), без паролей — тоже
|
||
.PHONY: run_docker
|
||
run_docker: env_setup
|
||
DOCKER_BUILDKIT=1 $(DC) build
|
||
$(DC) up -d
|
||
|
||
.PHONY: stop
|
||
stop:
|
||
$(DC) stop
|
||
|
||
# контейнеры удаляются, volume с данными остаётся (удаление — wipe_data)
|
||
.PHONY: down
|
||
down:
|
||
$(DC) down
|
||
|
||
# журнал всех реплик api без префикса "api-1 |": каждая строка — JSON,
|
||
# реплику называет поле instance_id
|
||
.PHONY: logs
|
||
logs:
|
||
$(DC) logs -f --no-log-prefix api
|
||
|
||
|
||
# -------------------------
|
||
# PostgreSQL и миграции
|
||
# -------------------------
|
||
|
||
# Postgres стенда; --wait ждёт его healthcheck
|
||
.PHONY: start_db
|
||
start_db: env_setup
|
||
$(DC) up -d --wait postgres
|
||
|
||
.PHONY: stop_db
|
||
stop_db:
|
||
$(DC) stop postgres
|
||
|
||
# миграции с хоста: 127.0.0.1:POSTGRES_OUT_PORT из .env
|
||
.PHONY: upgrade
|
||
upgrade: start_db
|
||
uv run alembic upgrade head
|
||
|
||
# новая ревизия autogenerate; база сначала доводится до head, иначе
|
||
# autogenerate сравнит модели не с той схемой
|
||
.PHONY: revision
|
||
revision: upgrade
|
||
@read -p "Сообщение миграции (англ., прошедшее время): " msg; \
|
||
uv run alembic revision --autogenerate -m "$$msg"
|
||
|
||
# удалить контейнеры стенда и volume с данными: только после ввода yes
|
||
.PHONY: wipe_data
|
||
wipe_data:
|
||
@read -p "Удалить все данные стенда (volume Postgres)? Введите yes: " answer; \
|
||
if [ "$$answer" = "yes" ]; then \
|
||
$(DC) down -v --remove-orphans; \
|
||
else \
|
||
echo "cancelled, nothing removed"; exit 1; \
|
||
fi
|
||
|
||
|
||
# -------------------------
|
||
# Valkey (кэш карточек чатов)
|
||
# -------------------------
|
||
|
||
# Valkey стенда; --wait ждёт его healthcheck. Volume нет: кэш после
|
||
# рестарта пуст, данные — в PostgreSQL
|
||
.PHONY: start_cache
|
||
start_cache: env_setup
|
||
$(DC) up -d --wait valkey
|
||
|
||
.PHONY: stop_cache
|
||
stop_cache:
|
||
$(DC) stop valkey
|
||
|
||
|
||
# -------------------------
|
||
# Реплики за балансировщиком (HAProxy)
|
||
# -------------------------
|
||
|
||
# вернуть остановленные реплики (scripts/stop-one.sh) и выставить их
|
||
# число: остановленные контейнеры запускаются с теми же ID, недостающие
|
||
# создаются, лишние удаляются; ждёт healthcheck реплик. Разовая подмена —
|
||
# make replicas API_REPLICAS=3, следующий make run_docker вернёт число
|
||
# из .env
|
||
.PHONY: replicas
|
||
replicas:
|
||
$(DC) up -d --no-deps --no-recreate --wait --scale api=$(API_REPLICAS) api
|
||
|
||
# распределение запросов одной сессии через LB: вход одним синтетическим
|
||
# пользователем, серия GET /users/me с одним токеном, X-Instance-Id каждого
|
||
# ответа и число ответов каждой реплики
|
||
.PHONY: instances
|
||
instances:
|
||
$(PYTHON) .claude/skills/run-mtusi-messenger/driver.py --port $(APP_OUT_PORT) instances
|
||
|
||
# состояние реплик глазами HAProxy: занятые слоты, адрес, статус проверки,
|
||
# соединения, запросы, ошибки соединения, повторы и перенаправления. CSV
|
||
# статистики читается изнутри контейнера LB: порт 8404 наружу не
|
||
# опубликован, curl в образе нет, bash есть
|
||
LB_STATS_FIELDS = svname addr status check_status scur stot econ wretr wredis hrsp_5xx
|
||
.PHONY: lb_stats
|
||
lb_stats:
|
||
@$(DC) exec -T haproxy bash -c 'exec 3<>/dev/tcp/127.0.0.1/8404 && printf "GET /stats;csv HTTP/1.0\r\n\r\n" >&3 && cat <&3' \
|
||
| awk -F, -v fields="$(LB_STATS_FIELDS)" ' \
|
||
/^# pxname/ { sub(/^# /, ""); for (i = 1; i <= NF; i++) col[$$i] = i; \
|
||
n = split(fields, f, " "); for (j = 1; j <= n; j++) printf "%s\t", f[j]; print ""; next } \
|
||
$$1 != "api" { next } \
|
||
$$2 != "BACKEND" && $$(col["addr"]) == "" && $$(col["status"]) == "MAINT (resolution)" { free++; next } \
|
||
{ for (j = 1; j <= n; j++) { v = $$(col[f[j]]); printf "%s\t", (v == "" ? "-" : v) }; print "" } \
|
||
END { printf "free slots: %d\n", free }' \
|
||
| column -t -s "$$(printf '\t')"
|
||
|
||
|
||
# -------------------------
|
||
# Load benchmark
|
||
# -------------------------
|
||
|
||
BENCH_LABEL ?= baseline
|
||
# macOS не засыпает на время замера (сон ставит ВМ Docker на паузу посреди
|
||
# прогона): -u будит из DarkWake полностью, -i и -s не дают уснуть до
|
||
# конца; на других ОС caffeinate нет, и префикс пустой
|
||
KEEP_AWAKE := $(shell command -v caffeinate >/dev/null 2>&1 && echo caffeinate -isu)
|
||
|
||
# полная матрица на своём проекте compose mtusi-bench (API, PostgreSQL,
|
||
# Valkey, без портов хоста), с фоновыми чатами разного размера, вариантами
|
||
# плана и пробами записи, ~35 мин; метка не должна существовать;
|
||
# результаты и планы запроса истории — evidence/bench/$(BENCH_LABEL)/,
|
||
# ход — строки в терминале и progress.json
|
||
.PHONY: bench
|
||
bench:
|
||
$(KEEP_AWAKE) uv run python bench/run.py --profile full --label $(BENCH_LABEL)
|
||
|
||
# самопроверка стенда на малых размерах, ~3 мин; результат в git не идёт
|
||
.PHONY: bench_quick
|
||
bench_quick:
|
||
$(KEEP_AWAKE) uv run python bench/run.py --profile quick --label quick-$(shell date -u +%Y%m%dT%H%M%SZ)
|
||
|
||
RESTORE_LABEL ?= restore
|
||
|
||
# трек 2: backup под записью, восстановление в новое хранилище, сверка БД и
|
||
# через HTTP, кэш до и после FLUSHALL — на 10k / 100k / 500k с фоновыми
|
||
# чатами, без матрицы прогонов, ~20 мин; результат —
|
||
# evidence/bench/$(RESTORE_LABEL)/
|
||
.PHONY: bench_restore
|
||
bench_restore:
|
||
$(KEEP_AWAKE) uv run python bench/run.py --profile restore --label $(RESTORE_LABEL)
|
||
|
||
# то же на малых размерах (самопроверка, сценарий защиты), ~1,5 мин; в git
|
||
# не идёт
|
||
.PHONY: bench_restore_quick
|
||
bench_restore_quick:
|
||
$(KEEP_AWAKE) uv run python bench/run.py --profile restore_quick --label quick-restore-$(shell date -u +%Y%m%dT%H%M%SZ)
|
||
|
||
# дельта двух меток по ячейкам матрицы: BEFORE и AFTER обязательны, AA —
|
||
# метка того же кода, что BEFORE, для уровня шума; результат —
|
||
# evidence/compare/$(BEFORE)__$(AFTER).md
|
||
.PHONY: bench_compare
|
||
bench_compare:
|
||
uv run python bench/compare.py --before "$(BEFORE)" --after "$(AFTER)" --aa "$(AA)"
|
||
|
||
# «до» и «после» подряд в одной сессии, два прогона bench: bench для
|
||
# BEFORE, commit доказательств, git revert commit REAPPLY (возврат
|
||
# откаченного изменения), затем bench для AFTER. Сам делает два коммита;
|
||
# рабочее дерево должно быть чистым
|
||
.PHONY: bench_ab
|
||
bench_ab:
|
||
uv run python bench/ab.py --before "$(BEFORE)" --after "$(AFTER)" --reapply "$(REAPPLY)"
|
||
|
||
|
||
# -------------------------
|
||
# Common targets
|
||
# -------------------------
|
||
|
||
# собственные black-box тесты против запущенного сервера (BASE_URL).
|
||
# EXPECT_REPLICAS — сколько реплик за BASE_URL: по умолчанию API_REPLICAS
|
||
# (стенд с LB); против одного процесса — EXPECT_REPLICAS=1, и тесты
|
||
# реплик пропускаются с причиной
|
||
.PHONY: student_test
|
||
student_test:
|
||
BASE_URL=$(BASE_URL) EXPECT_REPLICAS=$(EXPECT_REPLICAS) uv run pytest
|
||
|
||
# образ на временной базе test_<POSTGRES_DB>: сборка, миграции, отдельный
|
||
# контейнер api на 127.0.0.1:TEST_APP_PORT, make test и make student_test,
|
||
# затем уборка при любом исходе. KEEP_TEST_DB=1 оставляет базу для разбора.
|
||
# Valkey общий с рабочим стендом: ключи кэша разделены именем базы.
|
||
# $(PYTHON), а не uv run: uv повторно шлёт SIGINT, и Ctrl+C обрывал уборку
|
||
.PHONY: test_isolated
|
||
test_isolated: env_setup start_db start_cache
|
||
$(PYTHON) student-tests/run_isolated.py $(if $(KEEP_TEST_DB),--keep-db,)
|
||
|
||
# проверки отказов (pytest -m fault) на отдельном стенде: свой проект
|
||
# compose <рабочий>-failures со своими Postgres и Valkey, обычный и
|
||
# «тесный» API, hook student-tests/fault_hook.py; стенд и его volume
|
||
# удаляются при любом исходе, рабочий стенд не затрагивается.
|
||
# FAULT_ARGS — дополнительные аргументы pytest, например -k "Valkey"
|
||
.PHONY: failure_checks
|
||
failure_checks: env_setup
|
||
$(PYTHON) student-tests/run_failures.py $(FAULT_ARGS)
|
||
|
||
.PHONY: lint
|
||
lint:
|
||
@ruff format .
|
||
@echo "code formatted"
|
||
@ruff check --fix .
|
||
@echo "code checked and fixed if needed"
|
||
@ruff format .
|
||
@echo "code formatted"
|
||
@ruff check --fix .
|
||
@echo "code checked and fixed if needed"
|