Files
mtusi2026lab3/Makefile
T
ricoromaandClaude Opus 5.5 5403464cfb docs: add rolling-update compatibility and script failure evidence
Old image passes smoke and student tests on the new schema, rolling
update, rollback and roll forward under tests/load.py give zero failed
requests; the run_docker known issue is not reproduced and is closed.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
2026-10-11 01:01:33 +03:00

329 lines
15 KiB
Makefile
Raw Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
PYTHON ?= python3
BASE_URL ?= http://localhost:8080
CA_FILE ?=
ACTION_SCRIPT ?=
TLS_ARGS = $(if $(CA_FILE),--ca-file "$(CA_FILE)",)
.PHONY: help check validate test load test-persistence test-failover
help:
@echo "check: offline structure; validate: full OpenAPI (requirements-dev.txt); test: running API; load: synthetic writes"
check:
$(PYTHON) scripts/check_contract.py
validate:
$(PYTHON) scripts/validate_openapi.py
test:
$(PYTHON) tests/smoke.py --base-url "$(BASE_URL)" $(TLS_ARGS)
load:
$(PYTHON) tests/load.py --base-url "$(BASE_URL)" $(TLS_ARGS)
test-persistence:
@test -n "$(ACTION_SCRIPT)" || (echo "Set ACTION_SCRIPT to your implemented executable restart hook"; exit 2)
$(PYTHON) tests/resilience.py --mode persistence --action-script "$(ACTION_SCRIPT)" --base-url "$(BASE_URL)" $(TLS_ARGS)
test-failover:
@test -n "$(ACTION_SCRIPT)" || (echo "Set ACTION_SCRIPT to your implemented executable stop-one hook"; exit 2)
$(PYTHON) tests/resilience.py --mode failover --action-script "$(ACTION_SCRIPT)" --base-url "$(BASE_URL)" $(TLS_ARGS)
# -------------------------
# Приложение на хосте (свои цели; цели skeleton выше не менять)
# -------------------------
# Postgres из compose и миграции, Valkey из compose, затем сервис на
# хосте: 127.0.0.1:APP__PORT, reload по src/
.PHONY: run_dev
run_dev: upgrade start_cache
APP__RUN_MODE=console uv run python -m src
# шаблоны копируются только если файла ещё нет: локальные значения
# не затираются. В новый .env подставляются случайные пароли Postgres и
# Valkey: в шаблоне они пустые, общего пароля стенда в git нет
.PHONY: env_setup
env_setup:
@test -f .env || sed \
-e "s/^POSTGRES_PASSWORD=$$/POSTGRES_PASSWORD=$$(openssl rand -hex 16)/" \
-e "s/^VALKEY_PASSWORD=$$/VALKEY_PASSWORD=$$(openssl rand -hex 16)/" \
.env.example > .env
@test -f config.toml || cp config_example.toml config.toml
@echo "env ready: .env, config.toml"
# -------------------------
# Docker targets
# -------------------------
# порты — из того же .env, что читает compose; без .env — 8080
-include .env
APP__PORT ?= 8080
APP_OUT_PORT ?= 8080
# число реплик api за HAProxy — то же, что deploy.replicas в compose
API_REPLICAS ?= 2
# сколько реплик за BASE_URL ждут тесты реплик student-tests: против
# стенда с LB — API_REPLICAS, против одного процесса — 1 (их пропуск)
EXPECT_REPLICAS ?= $(API_REPLICAS)
DC=docker compose
# стенд: postgres, valkey -> migrate -> api × API_REPLICAS -> haproxy
# (единственный порт API на хосте — у haproxy). env_setup создаёт
# недостающие .env и config.toml из шаблонов: без config.toml compose не
# запустится (bind с create_host_path: false), без паролей — тоже.
# Реплики, чей образ изменился, пересоздаются все разом (простой); новый
# код без простоя — make rolling_update
.PHONY: run_docker
run_docker: env_setup
DOCKER_BUILDKIT=1 $(DC) build
$(DC) up -d
.PHONY: stop
stop:
$(DC) stop
# контейнеры удаляются, volume с данными остаётся (удаление — wipe_data)
.PHONY: down
down:
$(DC) down
# журнал всех реплик api без префикса "api-1 |": каждая строка — JSON,
# реплику называет поле instance_id
.PHONY: logs
logs:
$(DC) logs -f --no-log-prefix api
# -------------------------
# PostgreSQL и миграции
# -------------------------
# Postgres стенда; --wait ждёт его healthcheck
.PHONY: start_db
start_db: env_setup
$(DC) up -d --wait postgres
.PHONY: stop_db
stop_db:
$(DC) stop postgres
# миграции с хоста: 127.0.0.1:POSTGRES_OUT_PORT из .env
.PHONY: upgrade
upgrade: start_db
uv run alembic upgrade head
# новая ревизия autogenerate; база сначала доводится до head, иначе
# autogenerate сравнит модели не с той схемой
.PHONY: revision
revision: upgrade
@read -p "Сообщение миграции (англ., прошедшее время): " msg; \
uv run alembic revision --autogenerate -m "$$msg"
# удалить контейнеры стенда и volume с данными: только после ввода yes
.PHONY: wipe_data
wipe_data:
@read -p "Удалить все данные стенда (volume Postgres)? Введите yes: " answer; \
if [ "$$answer" = "yes" ]; then \
$(DC) down -v --remove-orphans; \
else \
echo "cancelled, nothing removed"; exit 1; \
fi
# -------------------------
# Valkey (кэш карточек чатов)
# -------------------------
# Valkey стенда; --wait ждёт его healthcheck. Volume нет: кэш после
# рестарта пуст, данные — в PostgreSQL
.PHONY: start_cache
start_cache: env_setup
$(DC) up -d --wait valkey
.PHONY: stop_cache
stop_cache:
$(DC) stop valkey
# -------------------------
# Реплики за балансировщиком (HAProxy)
# -------------------------
# вернуть остановленные реплики (scripts/stop-one.sh) и выставить их
# число: остановленные контейнеры запускаются с теми же ID, недостающие
# создаются, лишние удаляются; ждёт healthcheck реплик. Разовая подмена —
# make replicas API_REPLICAS=3, следующий make run_docker вернёт число
# из .env
.PHONY: replicas
replicas:
$(DC) up -d --no-deps --no-recreate --wait --scale api=$(API_REPLICAS) api
# поочерёдная замена реплик на новый образ без простоя
# (scripts/rolling-update.sh): сборка, миграции один раз, затем по одной —
# новая реплика UP в LB, старая выводится из LB (drain), дорабатывает
# запросы, останавливается и удаляется. COMMIT=<commit> — образ из файлов
# commit (git archive, рабочее дерево не трогается), MIGRATE=0 — без
# миграций (откат на прежний образ: схема только расширялась). Нужен
# штатный стенд: API_REPLICAS реплик, все UP (make replicas)
COMMIT ?=
MIGRATE ?= 1
.PHONY: rolling_update
rolling_update:
API_REPLICAS=$(API_REPLICAS) ROLLOUT_COMMIT="$(COMMIT)" ROLLOUT_MIGRATE=$(MIGRATE) scripts/rolling-update.sh
# распределение запросов одной сессии через LB: вход одним синтетическим
# пользователем, серия GET /users/me с одним токеном, X-Instance-Id каждого
# ответа и число ответов каждой реплики
.PHONY: instances
instances:
$(PYTHON) .claude/skills/run-mtusi-messenger/driver.py --port $(APP_OUT_PORT) instances
# состояние реплик глазами HAProxy: занятые слоты, адрес, статус проверки,
# соединения, запросы, ошибки соединения, повторы и перенаправления. CSV
# статистики читается изнутри контейнера LB: порт 8404 наружу не
# опубликован, curl в образе нет, bash есть
LB_STATS_FIELDS = svname addr status check_status scur stot econ wretr wredis hrsp_5xx
.PHONY: lb_stats
lb_stats:
@$(DC) exec -T haproxy bash -c 'exec 3<>/dev/tcp/127.0.0.1/8404 && printf "GET /stats;csv HTTP/1.0\r\n\r\n" >&3 && cat <&3' \
| awk -F, -v fields="$(LB_STATS_FIELDS)" ' \
/^# pxname/ { sub(/^# /, ""); for (i = 1; i <= NF; i++) col[$$i] = i; \
n = split(fields, f, " "); for (j = 1; j <= n; j++) printf "%s\t", f[j]; print ""; next } \
$$1 != "api" { next } \
$$2 != "BACKEND" && $$(col["addr"]) == "" && $$(col["status"]) == "MAINT (resolution)" { free++; next } \
{ for (j = 1; j <= n; j++) { v = $$(col[f[j]]); printf "%s\t", (v == "" ? "-" : v) }; print "" } \
END { printf "free slots: %d\n", free }' \
| column -t -s "$$(printf '\t')"
# -------------------------
# Load benchmark
# -------------------------
BENCH_LABEL ?= baseline
# macOS не засыпает на время замера (сон ставит ВМ Docker на паузу посреди
# прогона): -u будит из DarkWake полностью, -i и -s не дают уснуть до
# конца; на других ОС caffeinate нет, и префикс пустой
KEEP_AWAKE := $(shell command -v caffeinate >/dev/null 2>&1 && echo caffeinate -isu)
# полная матрица на своём проекте compose mtusi-bench (API, PostgreSQL,
# Valkey, без портов хоста), с фоновыми чатами разного размера, вариантами
# плана и пробами записи, ~35 мин; метка не должна существовать;
# результаты и планы запроса истории — evidence/bench/$(BENCH_LABEL)/,
# ход — строки в терминале и progress.json
.PHONY: bench
bench:
$(KEEP_AWAKE) uv run python bench/run.py --profile full --label $(BENCH_LABEL)
# самопроверка стенда на малых размерах, ~3 мин; результат в git не идёт
.PHONY: bench_quick
bench_quick:
$(KEEP_AWAKE) uv run python bench/run.py --profile quick --label quick-$(shell date -u +%Y%m%dT%H%M%SZ)
RESTORE_LABEL ?= restore
# трек 2: backup под записью, восстановление в новое хранилище, сверка БД и
# через HTTP, кэш до и после FLUSHALL — на 10k / 100k / 500k с фоновыми
# чатами, без матрицы прогонов, ~20 мин; результат —
# evidence/bench/$(RESTORE_LABEL)/
.PHONY: bench_restore
bench_restore:
$(KEEP_AWAKE) uv run python bench/run.py --profile restore --label $(RESTORE_LABEL)
# то же на малых размерах (самопроверка, сценарий защиты), ~1,5 мин; в git
# не идёт
.PHONY: bench_restore_quick
bench_restore_quick:
$(KEEP_AWAKE) uv run python bench/run.py --profile restore_quick --label quick-restore-$(shell date -u +%Y%m%dT%H%M%SZ)
FAILOVER_LABEL ?= baseline
# уровень 4: отказ реплик под нагрузкой на стенде mtusi-bench (HAProxy, две
# реплики с лимитами рабочего стенда): 100 записей с ключом и 100 чтений в
# секунду, каждая реплика в режимах stop, kill и pause с возвратом,
# посекундная шкала, время обнаружения и восстановления, сверка записей;
# ~6 мин; результат — evidence/failover/$(FAILOVER_LABEL)/
.PHONY: bench_failover
bench_failover:
$(KEEP_AWAKE) uv run python bench/run.py --profile failover --label $(FAILOVER_LABEL)
# то же короче, режимы stop и kill (самопроверка), ~2 мин; в git не идёт
.PHONY: bench_failover_quick
bench_failover_quick:
$(KEEP_AWAKE) uv run python bench/run.py --profile failover_quick --label quick-failover-$(shell date -u +%Y%m%dT%H%M%SZ)
ROLLOUT_LABEL ?= baseline
# уровень 4: поочерёдная замена реплик под нагрузкой на стенде mtusi-bench
# (HAProxy, две реплики с лимитами рабочего стенда): реплики стартуют на
# образе прежнего commit (Profile.rollout_from), посреди 100 записей с
# ключом и 100 чтений в секунду scripts/rolling-update.sh меняет их на
# образ текущего checkout; посекундная шкала, шаги по репликам, сверка
# записей; ~3 мин; результат — evidence/rollout/$(ROLLOUT_LABEL)/
.PHONY: bench_rollout
bench_rollout:
$(KEEP_AWAKE) uv run python bench/run.py --profile rollout --label $(ROLLOUT_LABEL)
# то же с короткими окнами (самопроверка), ~2 мин; в git не идёт
.PHONY: bench_rollout_quick
bench_rollout_quick:
$(KEEP_AWAKE) uv run python bench/run.py --profile rollout_quick --label quick-rollout-$(shell date -u +%Y%m%dT%H%M%SZ)
# дельта двух меток по ячейкам матрицы: BEFORE и AFTER обязательны, AA —
# метка того же кода, что BEFORE, для уровня шума; результат —
# evidence/compare/$(BEFORE)__$(AFTER).md
.PHONY: bench_compare
bench_compare:
uv run python bench/compare.py --before "$(BEFORE)" --after "$(AFTER)" --aa "$(AA)"
# «до» и «после» подряд в одной сессии, два прогона bench: bench для
# BEFORE, commit доказательств, git revert commit REAPPLY (возврат
# откаченного изменения), затем bench для AFTER. Сам делает два коммита;
# рабочее дерево должно быть чистым
.PHONY: bench_ab
bench_ab:
uv run python bench/ab.py --before "$(BEFORE)" --after "$(AFTER)" --reapply "$(REAPPLY)"
# -------------------------
# Common targets
# -------------------------
# собственные black-box тесты против запущенного сервера (BASE_URL).
# EXPECT_REPLICAS — сколько реплик за BASE_URL: по умолчанию API_REPLICAS
# (стенд с LB); против одного процесса — EXPECT_REPLICAS=1, и тесты
# реплик пропускаются с причиной
.PHONY: student_test
student_test:
BASE_URL=$(BASE_URL) EXPECT_REPLICAS=$(EXPECT_REPLICAS) uv run pytest
# образ на временной базе test_<POSTGRES_DB>: сборка, миграции, отдельный
# контейнер api на 127.0.0.1:TEST_APP_PORT, make test и make student_test,
# затем уборка при любом исходе. KEEP_TEST_DB=1 оставляет базу для разбора.
# Valkey общий с рабочим стендом: ключи кэша разделены именем базы.
# $(PYTHON), а не uv run: uv повторно шлёт SIGINT, и Ctrl+C обрывал уборку
.PHONY: test_isolated
test_isolated: env_setup start_db start_cache
$(PYTHON) student-tests/run_isolated.py $(if $(KEEP_TEST_DB),--keep-db,)
# проверки отказов (pytest -m fault) на отдельном стенде: свой проект
# compose <рабочий>-failures со своими Postgres и Valkey, обычный и
# «тесный» API, hook student-tests/fault_hook.py; стенд и его volume
# удаляются при любом исходе, рабочий стенд не затрагивается.
# FAULT_ARGS — дополнительные аргументы pytest, например -k "Valkey"
.PHONY: failure_checks
failure_checks: env_setup
$(PYTHON) student-tests/run_failures.py $(FAULT_ARGS)
.PHONY: lint
lint:
@ruff format .
@echo "code formatted"
@ruff check --fix .
@echo "code checked and fixed if needed"
@ruff format .
@echo "code formatted"
@ruff check --fix .
@echo "code checked and fixed if needed"