PYTHON ?= python3 BASE_URL ?= http://localhost:8080 CA_FILE ?= ACTION_SCRIPT ?= TLS_ARGS = $(if $(CA_FILE),--ca-file "$(CA_FILE)",) .PHONY: help check validate test load test-persistence test-failover help: @echo "check: offline structure; validate: full OpenAPI (requirements-dev.txt); test: running API; load: synthetic writes" check: $(PYTHON) scripts/check_contract.py validate: $(PYTHON) scripts/validate_openapi.py test: $(PYTHON) tests/smoke.py --base-url "$(BASE_URL)" $(TLS_ARGS) load: $(PYTHON) tests/load.py --base-url "$(BASE_URL)" $(TLS_ARGS) test-persistence: @test -n "$(ACTION_SCRIPT)" || (echo "Set ACTION_SCRIPT to your implemented executable restart hook"; exit 2) $(PYTHON) tests/resilience.py --mode persistence --action-script "$(ACTION_SCRIPT)" --base-url "$(BASE_URL)" $(TLS_ARGS) test-failover: @test -n "$(ACTION_SCRIPT)" || (echo "Set ACTION_SCRIPT to your implemented executable stop-one hook"; exit 2) $(PYTHON) tests/resilience.py --mode failover --action-script "$(ACTION_SCRIPT)" --base-url "$(BASE_URL)" $(TLS_ARGS) # ------------------------- # Приложение на хосте (свои цели; цели skeleton выше не менять) # ------------------------- # Postgres из compose и миграции, Valkey и S3 с bootstrap из compose, # затем сервис на хосте: 127.0.0.1:APP__PORT, reload по src/ .PHONY: run_dev run_dev: upgrade start_cache start_s3 APP__RUN_MODE=console uv run python -m src # шаблоны копируются только если файла ещё нет: локальные значения # не затираются. В .env подставляются случайные пароли Postgres и # Valkey и секреты S3: в шаблоне они пустые, общего секрета стенда в git # нет. В существующий .env дописываются переменные шаблона, которых в нём # нет (секреты — случайными, остальные — значениями шаблона), прежние # строки не меняются (design change upload-consistency). Печатаются # только имена, значения — нет ENV_SECRETS = POSTGRES_PASSWORD VALKEY_PASSWORD S3_ROOT_ACCESS_KEY S3_ROOT_SECRET_KEY S3_JWT_SIGNING_KEY S3_API_ACCESS_KEY S3_API_SECRET_KEY S3_CLEANER_ACCESS_KEY S3_CLEANER_SECRET_KEY # шаблон с подставленными секретами — в поток, не в вывод команды ENV_FILLED = sed \ -e "s/^POSTGRES_PASSWORD=$$/POSTGRES_PASSWORD=$$(openssl rand -hex 16)/" \ -e "s/^VALKEY_PASSWORD=$$/VALKEY_PASSWORD=$$(openssl rand -hex 16)/" \ -e "s/^S3_ROOT_ACCESS_KEY=$$/S3_ROOT_ACCESS_KEY=$$(openssl rand -hex 10)/" \ -e "s/^S3_ROOT_SECRET_KEY=$$/S3_ROOT_SECRET_KEY=$$(openssl rand -hex 20)/" \ -e "s/^S3_JWT_SIGNING_KEY=$$/S3_JWT_SIGNING_KEY=$$(openssl rand -hex 32)/" \ -e "s/^S3_API_ACCESS_KEY=$$/S3_API_ACCESS_KEY=$$(openssl rand -hex 10)/" \ -e "s/^S3_API_SECRET_KEY=$$/S3_API_SECRET_KEY=$$(openssl rand -hex 20)/" \ -e "s/^S3_CLEANER_ACCESS_KEY=$$/S3_CLEANER_ACCESS_KEY=$$(openssl rand -hex 10)/" \ -e "s/^S3_CLEANER_SECRET_KEY=$$/S3_CLEANER_SECRET_KEY=$$(openssl rand -hex 20)/" \ .env.example # строки NAME=… шаблона, имени которых в .env нет, — в конец .env под # комментарием; в вывод — только имена ENV_APPEND_MISSING = awk -F= ' \ BEGIN { \ while ((getline line < ".env") > 0) \ if (line ~ /^[A-Za-z_][A-Za-z0-9_]*=/) { split(line, kv, "="); have[kv[1]] = 1 }; \ close(".env"); \ } \ /^[A-Za-z_][A-Za-z0-9_]*=/ && !($$1 in have) { \ if (!added++) printf "\n\# added by make env_setup from .env.example\n" >> ".env"; \ print >> ".env"; names = names " " $$1 \ } \ END { if (added) print "added to existing .env:" names }' .PHONY: env_setup env_setup: @if [ ! -f .env ]; then \ $(ENV_FILLED) > .env; \ echo "new .env with random $(ENV_SECRETS)"; \ else \ $(ENV_FILLED) | $(ENV_APPEND_MISSING); \ fi @test -f config.toml || cp config_example.toml config.toml @echo "env ready: .env, config.toml" # ------------------------- # Docker targets # ------------------------- # порты — из того же .env, что читает compose; без .env — 8080 -include .env APP__PORT ?= 8080 APP_OUT_PORT ?= 8080 # число реплик api за HAProxy — то же, что deploy.replicas в compose API_REPLICAS ?= 2 # сколько реплик за BASE_URL ждут тесты реплик student-tests: против # стенда с LB — API_REPLICAS, против одного процесса — 1 (их пропуск) EXPECT_REPLICAS ?= $(API_REPLICAS) DC=docker compose # стенд: postgres, valkey, s3 -> migrate, s3-bootstrap -> api × # API_REPLICAS -> haproxy # (единственный порт API на хосте — у haproxy). env_setup создаёт # недостающие .env и config.toml из шаблонов: без config.toml compose не # запустится (bind с create_host_path: false), без паролей — тоже. # Реплики, чей образ изменился, пересоздаются все разом (простой); новый # код без простоя — make rolling_update .PHONY: run_docker run_docker: env_setup DOCKER_BUILDKIT=1 $(DC) build $(DC) up -d .PHONY: stop stop: $(DC) stop # контейнеры удаляются, volume с данными остаётся (удаление — wipe_data) .PHONY: down down: $(DC) down # журнал всех реплик api без префикса "api-1 |": каждая строка — JSON, # реплику называет поле instance_id .PHONY: logs logs: $(DC) logs -f --no-log-prefix api # ------------------------- # PostgreSQL и миграции # ------------------------- # Postgres стенда; --wait ждёт его healthcheck .PHONY: start_db start_db: env_setup $(DC) up -d --wait postgres .PHONY: stop_db stop_db: $(DC) stop postgres # миграции с хоста: 127.0.0.1:POSTGRES_OUT_PORT из .env .PHONY: upgrade upgrade: start_db uv run alembic upgrade head # новая ревизия autogenerate; база сначала доводится до head, иначе # autogenerate сравнит модели не с той схемой .PHONY: revision revision: upgrade @read -p "Сообщение миграции (англ., прошедшее время): " msg; \ uv run alembic revision --autogenerate -m "$$msg" # удалить контейнеры стенда и volumes с данными: только после ввода yes .PHONY: wipe_data wipe_data: @project=$$($(DC) config | sed -n 's/^name: //p'); \ volumes=$$($(DC) config --volumes | sed "s/^/$${project}_/" | paste -sd ' ' -); \ read -p "Удалить все данные стенда (volumes Postgres и S3: $$volumes)? Введите yes: " answer; \ if [ "$$answer" = "yes" ]; then \ $(DC) down -v --remove-orphans; \ else \ echo "cancelled, nothing removed"; exit 1; \ fi # ------------------------- # Valkey (кэш карточек чатов) # ------------------------- # Valkey стенда; --wait ждёт его healthcheck. Volume нет: кэш после # рестарта пуст, данные — в PostgreSQL .PHONY: start_cache start_cache: env_setup $(DC) up -d --wait valkey .PHONY: stop_cache stop_cache: $(DC) stop valkey # ------------------------- # S3 (SeaweedFS, байты вложений) # ------------------------- # S3 стенда и его bootstrap: --wait ждёт healthcheck сервера, но # одноразовый сервис считает готовым уже запущенным, поэтому bootstrap — # отдельным up с его кодом выхода (как миграции в rolling-update.sh) .PHONY: start_s3 start_s3: env_setup $(DC) up -d --wait s3 $(DC) up --no-deps --exit-code-from s3-bootstrap s3-bootstrap # плавная остановка ~15 с (stop_grace_period 20 с) .PHONY: stop_s3 stop_s3: $(DC) stop s3 # проверка приватности bucket вне API на запущенном стенде: права ключа # API, чужой bucket и административные запросы (bootstrap в режиме check), # анонимные запросы с хоста и из сети стенда, порты контейнера S3 из сети; # таблица «проверка → ожидаемо → получено», проверочные объекты и bucket # удаляются. Код 1 — нарушение .PHONY: s3_check s3_check: $(PYTHON) .claude/skills/run-mtusi-messenger/driver.py s3-check # ------------------------- # Реплики за балансировщиком (HAProxy) # ------------------------- # вернуть остановленные реплики (scripts/stop-one.sh) и выставить их # число: остановленные контейнеры запускаются с теми же ID, недостающие # создаются, лишние удаляются; ждёт healthcheck реплик. Разовая подмена — # make replicas API_REPLICAS=3, следующий make run_docker вернёт число # из .env .PHONY: replicas replicas: $(DC) up -d --no-deps --no-recreate --wait --scale api=$(API_REPLICAS) api # поочерёдная замена реплик на новый образ без простоя # (scripts/rolling-update.sh): сборка, миграции один раз, затем по одной — # новая реплика UP в LB, старая выводится из LB (drain), дорабатывает # запросы, останавливается и удаляется. COMMIT= — образ из файлов # commit (git archive, рабочее дерево не трогается), MIGRATE=0 — без # миграций (откат на прежний образ: схема только расширялась). Нужен # штатный стенд: API_REPLICAS реплик, все UP (make replicas) COMMIT ?= MIGRATE ?= 1 .PHONY: rolling_update rolling_update: API_REPLICAS=$(API_REPLICAS) ROLLOUT_COMMIT="$(COMMIT)" ROLLOUT_MIGRATE=$(MIGRATE) scripts/rolling-update.sh # распределение запросов одной сессии через LB: вход одним синтетическим # пользователем, серия GET /users/me с одним токеном, X-Instance-Id каждого # ответа и число ответов каждой реплики .PHONY: instances instances: $(PYTHON) .claude/skills/run-mtusi-messenger/driver.py --port $(APP_OUT_PORT) instances # состояние реплик глазами HAProxy: занятые слоты, адрес, статус проверки, # соединения, запросы, ошибки соединения, повторы и перенаправления. CSV # статистики читается изнутри контейнера LB: порт 8404 наружу не # опубликован, curl в образе нет, bash есть LB_STATS_FIELDS = svname addr status check_status scur stot econ wretr wredis hrsp_5xx .PHONY: lb_stats lb_stats: @$(DC) exec -T haproxy bash -c 'exec 3<>/dev/tcp/127.0.0.1/8404 && printf "GET /stats;csv HTTP/1.0\r\n\r\n" >&3 && cat <&3' \ | awk -F, -v fields="$(LB_STATS_FIELDS)" ' \ /^# pxname/ { sub(/^# /, ""); for (i = 1; i <= NF; i++) col[$$i] = i; \ n = split(fields, f, " "); for (j = 1; j <= n; j++) printf "%s\t", f[j]; print ""; next } \ $$1 != "api" { next } \ $$2 != "BACKEND" && $$(col["addr"]) == "" && $$(col["status"]) == "MAINT (resolution)" { free++; next } \ { for (j = 1; j <= n; j++) { v = $$(col[f[j]]); printf "%s\t", (v == "" ? "-" : v) }; print "" } \ END { printf "free slots: %d\n", free }' \ | column -t -s "$$(printf '\t')" # ------------------------- # Load benchmark # ------------------------- BENCH_LABEL ?= baseline # macOS не засыпает на время замера (сон ставит ВМ Docker на паузу посреди # прогона): -u будит из DarkWake полностью, -i и -s не дают уснуть до # конца; на других ОС caffeinate нет, и префикс пустой KEEP_AWAKE := $(shell command -v caffeinate >/dev/null 2>&1 && echo caffeinate -isu) # полная матрица на своём проекте compose mtusi-bench (API, PostgreSQL, # Valkey, без портов хоста), с фоновыми чатами разного размера, вариантами # плана и пробами записи, ~35 мин; метка не должна существовать; # результаты и планы запроса истории — evidence/bench/$(BENCH_LABEL)/, # ход — строки в терминале и progress.json .PHONY: bench bench: $(KEEP_AWAKE) uv run python bench/run.py --profile full --label $(BENCH_LABEL) # самопроверка стенда на малых размерах, ~3 мин; результат в git не идёт .PHONY: bench_quick bench_quick: $(KEEP_AWAKE) uv run python bench/run.py --profile quick --label quick-$(shell date -u +%Y%m%dT%H%M%SZ) RESTORE_LABEL ?= restore # трек 2: backup под записью, восстановление в новое хранилище, сверка БД и # через HTTP, кэш до и после FLUSHALL — на 10k / 100k / 500k с фоновыми # чатами, без матрицы прогонов, ~20 мин; результат — # evidence/bench/$(RESTORE_LABEL)/ .PHONY: bench_restore bench_restore: $(KEEP_AWAKE) uv run python bench/run.py --profile restore --label $(RESTORE_LABEL) # то же на малых размерах (самопроверка, сценарий защиты), ~1,5 мин; в git # не идёт .PHONY: bench_restore_quick bench_restore_quick: $(KEEP_AWAKE) uv run python bench/run.py --profile restore_quick --label quick-restore-$(shell date -u +%Y%m%dT%H%M%SZ) FAILOVER_LABEL ?= baseline # уровень 4: отказ реплик под нагрузкой на стенде mtusi-bench (HAProxy, две # реплики с лимитами рабочего стенда): 100 записей с ключом и 100 чтений в # секунду, каждая реплика в режимах stop, kill и pause с возвратом, # посекундная шкала, время обнаружения и восстановления, сверка записей, # CPU и память по компонентам и окнам (сэмплер); ~6 мин; результат — # evidence/failover/$(FAILOVER_LABEL)/ .PHONY: bench_failover bench_failover: $(KEEP_AWAKE) uv run python bench/run.py --profile failover --label $(FAILOVER_LABEL) # то же короче, режимы stop и kill (самопроверка), с CPU и памятью по # компонентам и окнам (сэмплер), ~2 мин; в git не идёт .PHONY: bench_failover_quick bench_failover_quick: $(KEEP_AWAKE) uv run python bench/run.py --profile failover_quick --label quick-failover-$(shell date -u +%Y%m%dT%H%M%SZ) ROLLOUT_LABEL ?= baseline # уровень 4: поочерёдная замена реплик под нагрузкой на стенде mtusi-bench # (HAProxy, две реплики с лимитами рабочего стенда): реплики стартуют на # образе прежнего commit (Profile.rollout_from), посреди 100 записей с # ключом и 100 чтений в секунду scripts/rolling-update.sh меняет их на # образ текущего checkout; посекундная шкала, шаги по репликам, сверка # записей, CPU и память по компонентам и окнам (сэмплер); ~3 мин; # результат — evidence/rollout/$(ROLLOUT_LABEL)/ .PHONY: bench_rollout bench_rollout: $(KEEP_AWAKE) uv run python bench/run.py --profile rollout --label $(ROLLOUT_LABEL) # то же с короткими окнами (самопроверка), с CPU и памятью по компонентам и # окнам (сэмплер), ~2 мин; в git не идёт .PHONY: bench_rollout_quick bench_rollout_quick: $(KEEP_AWAKE) uv run python bench/run.py --profile rollout_quick --label quick-rollout-$(shell date -u +%Y%m%dT%H%M%SZ) SCALING_LABEL ?= scaling-$(SERIES) # уровень 5, трек 1 «Цена масштабирования»: серия на стенде mtusi-bench — # SERIES=a (бюджет 4 CPU: 1 × 4, 2 × 2, 4 × 1, ~50 мин), b (1…6 реплик по # 1 CPU, ~100 мин), pool (4 реплики при max_connections 100 и 50, ~35 мин), # ab (1 × 1 и 6 × 1 для «до/после» и A/A, ~35 мин), db (1, 2, 4 реплики при # узком лимите CPU PostgreSQL и контроль 4 × 1 при 2 CPU, ~50 мин), db4 # (из серии db только 4 × 1 при 0,5 и 2 CPU, ~25 мин), db_quick # (самопроверка серии db, ~5 мин, метка quick-*); каждая ячейка — свежий # стенд, открытая модель, поиск R* по SLO; результат — # evidence/bench/$(SCALING_LABEL)/. RESUME=1 — продолжить прерванную метку # на том же commit .PHONY: bench_scaling bench_scaling: @if [ -z "$(SERIES)" ]; then \ echo "SERIES is required: make bench_scaling SERIES=a|b|pool|ab|db|db4|quick|db_quick [SCALING_LABEL=...] [RESUME=1]"; \ exit 2; \ fi $(KEEP_AWAKE) uv run python bench/run.py --profile scaling_$(SERIES) --label $(SCALING_LABEL) $(if $(RESUME),--resume) # самопроверка серий: две ячейки (1 × 1 и 2 × 1 при max_connections 50), # короткие окна, ~5 мин; в git не идёт .PHONY: bench_scaling_quick bench_scaling_quick: $(KEEP_AWAKE) uv run python bench/run.py --profile scaling_quick --label quick-scaling-$(shell date -u +%Y%m%dT%H%M%SZ) PLOTS ?= scaling # графики и сводка серий трека 1 из меток LABELS (через пробел): # R* от числа реплик, p95 от интенсивности, CPU по компонентам, точка # насыщения; результат — evidence/plots/$(PLOTS)/, пересоздаётся .PHONY: bench_plots bench_plots: uv run python bench/plots.py --labels "$(LABELS)" --out "$(PLOTS)" # дельта двух меток по ячейкам матрицы или, у серий трека 1, по общим # конфигурациям: BEFORE и AFTER обязательны, AA — метка того же кода, что # BEFORE, для уровня шума; CHANGE — change, к которому относится сравнение # серий (шапка таблицы, по умолчанию scaling-bench); # результат — evidence/compare/$(BEFORE)__$(AFTER).md .PHONY: bench_compare bench_compare: uv run python bench/compare.py --before "$(BEFORE)" --after "$(AFTER)" --aa "$(AA)" $(if $(CHANGE),--change "$(CHANGE)") # «до» и «после» подряд в одной сессии, два прогона bench: bench для # BEFORE, commit доказательств, git revert commit REAPPLY (возврат # откаченного изменения), затем bench для AFTER. С SERIES=<серия> вместо # полной матрицы — серия трека 1 (make bench_scaling). Сам делает два # коммита; рабочее дерево должно быть чистым .PHONY: bench_ab bench_ab: $(KEEP_AWAKE) uv run python bench/ab.py --before "$(BEFORE)" --after "$(AFTER)" --reapply "$(REAPPLY)" $(if $(SERIES),--series "$(SERIES)") # ------------------------- # Common targets # ------------------------- # собственные black-box тесты против запущенного сервера (BASE_URL). # EXPECT_REPLICAS — сколько реплик за BASE_URL: по умолчанию API_REPLICAS # (стенд с LB); против одного процесса — EXPECT_REPLICAS=1, и тесты # реплик пропускаются с причиной .PHONY: student_test student_test: BASE_URL=$(BASE_URL) EXPECT_REPLICAS=$(EXPECT_REPLICAS) uv run pytest # образ на временной базе test_: сборка, миграции, отдельный # контейнер api на 127.0.0.1:TEST_APP_PORT, make test и make student_test, # затем уборка при любом исходе. KEEP_TEST_DB=1 оставляет базу и объекты # S3 для разбора. Valkey и S3 общие с рабочим стендом: ключи кэша и # объектов разделены именем базы, префикс test_/ удаляется при уборке. # $(PYTHON), а не uv run: uv повторно шлёт SIGINT, и Ctrl+C обрывал уборку .PHONY: test_isolated test_isolated: env_setup start_db start_cache start_s3 $(PYTHON) student-tests/run_isolated.py $(if $(KEEP_TEST_DB),--keep-db,) # проверки отказов (pytest -m fault) на отдельном стенде: свой проект # compose <рабочий>-failures со своими Postgres и Valkey, обычный и # «тесный» API, hook student-tests/fault_hook.py; стенд и его volume # удаляются при любом исходе, рабочий стенд не затрагивается. # FAULT_ARGS — дополнительные аргументы pytest, например -k "Valkey" .PHONY: failure_checks failure_checks: env_setup $(PYTHON) student-tests/run_failures.py $(FAULT_ARGS) .PHONY: lint lint: @ruff format . @echo "code formatted" @ruff check --fix . @echo "code checked and fixed if needed" @ruff format . @echo "code formatted" @ruff check --fix . @echo "code checked and fixed if needed"