Files
mtusi2026lab4/Makefile
T
ricoromaandClaude Opus 5.5 2e997f9b42 feat: add private S3 storage (SeaweedFS) with bootstrap and client
- s3 and s3-bootstrap services: SeaweedFS 4.48 pinned by digest,
  internals on loopback, signing key, private bucket, API user policy,
  privacy checks on every bootstrap
- [s3] settings and aiobotocore client in src/infra/s3: deadline per
  call, no retries, 503 on outage or rejected credentials
- make start_s3, stop_s3, s3_check; run_dev, test_isolated, wipe_data
  and restart hook include S3
- failure_checks with own S3 and readiness check without it; bench
  generates S3 secrets and filters them out of the passport
- rules, AGENTS.md, skill; sync health delta; KNOWN_ISSUES: rollout_from

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
2026-10-20 20:12:04 +03:00

412 lines
20 KiB
Makefile
Raw Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
PYTHON ?= python3
BASE_URL ?= http://localhost:8080
CA_FILE ?=
ACTION_SCRIPT ?=
TLS_ARGS = $(if $(CA_FILE),--ca-file "$(CA_FILE)",)
.PHONY: help check validate test load test-persistence test-failover
help:
@echo "check: offline structure; validate: full OpenAPI (requirements-dev.txt); test: running API; load: synthetic writes"
check:
$(PYTHON) scripts/check_contract.py
validate:
$(PYTHON) scripts/validate_openapi.py
test:
$(PYTHON) tests/smoke.py --base-url "$(BASE_URL)" $(TLS_ARGS)
load:
$(PYTHON) tests/load.py --base-url "$(BASE_URL)" $(TLS_ARGS)
test-persistence:
@test -n "$(ACTION_SCRIPT)" || (echo "Set ACTION_SCRIPT to your implemented executable restart hook"; exit 2)
$(PYTHON) tests/resilience.py --mode persistence --action-script "$(ACTION_SCRIPT)" --base-url "$(BASE_URL)" $(TLS_ARGS)
test-failover:
@test -n "$(ACTION_SCRIPT)" || (echo "Set ACTION_SCRIPT to your implemented executable stop-one hook"; exit 2)
$(PYTHON) tests/resilience.py --mode failover --action-script "$(ACTION_SCRIPT)" --base-url "$(BASE_URL)" $(TLS_ARGS)
# -------------------------
# Приложение на хосте (свои цели; цели skeleton выше не менять)
# -------------------------
# Postgres из compose и миграции, Valkey и S3 с bootstrap из compose,
# затем сервис на хосте: 127.0.0.1:APP__PORT, reload по src/
.PHONY: run_dev
run_dev: upgrade start_cache start_s3
APP__RUN_MODE=console uv run python -m src
# шаблоны копируются только если файла ещё нет: локальные значения
# не затираются. В новый .env подставляются случайные пароли Postgres и
# Valkey и секреты S3: в шаблоне они пустые, общего секрета стенда в git
# нет. Печатаются только имена, значения — нет
ENV_SECRETS = POSTGRES_PASSWORD VALKEY_PASSWORD S3_ROOT_ACCESS_KEY S3_ROOT_SECRET_KEY S3_JWT_SIGNING_KEY S3_API_ACCESS_KEY S3_API_SECRET_KEY
.PHONY: env_setup
env_setup:
@if [ ! -f .env ]; then \
sed \
-e "s/^POSTGRES_PASSWORD=$$/POSTGRES_PASSWORD=$$(openssl rand -hex 16)/" \
-e "s/^VALKEY_PASSWORD=$$/VALKEY_PASSWORD=$$(openssl rand -hex 16)/" \
-e "s/^S3_ROOT_ACCESS_KEY=$$/S3_ROOT_ACCESS_KEY=$$(openssl rand -hex 10)/" \
-e "s/^S3_ROOT_SECRET_KEY=$$/S3_ROOT_SECRET_KEY=$$(openssl rand -hex 20)/" \
-e "s/^S3_JWT_SIGNING_KEY=$$/S3_JWT_SIGNING_KEY=$$(openssl rand -hex 32)/" \
-e "s/^S3_API_ACCESS_KEY=$$/S3_API_ACCESS_KEY=$$(openssl rand -hex 10)/" \
-e "s/^S3_API_SECRET_KEY=$$/S3_API_SECRET_KEY=$$(openssl rand -hex 20)/" \
.env.example > .env; \
echo "new .env with random $(ENV_SECRETS)"; \
fi
@test -f config.toml || cp config_example.toml config.toml
@echo "env ready: .env, config.toml"
# -------------------------
# Docker targets
# -------------------------
# порты — из того же .env, что читает compose; без .env — 8080
-include .env
APP__PORT ?= 8080
APP_OUT_PORT ?= 8080
# число реплик api за HAProxy — то же, что deploy.replicas в compose
API_REPLICAS ?= 2
# сколько реплик за BASE_URL ждут тесты реплик student-tests: против
# стенда с LB — API_REPLICAS, против одного процесса — 1 (их пропуск)
EXPECT_REPLICAS ?= $(API_REPLICAS)
DC=docker compose
# стенд: postgres, valkey, s3 -> migrate, s3-bootstrap -> api ×
# API_REPLICAS -> haproxy
# (единственный порт API на хосте — у haproxy). env_setup создаёт
# недостающие .env и config.toml из шаблонов: без config.toml compose не
# запустится (bind с create_host_path: false), без паролей — тоже.
# Реплики, чей образ изменился, пересоздаются все разом (простой); новый
# код без простоя — make rolling_update
.PHONY: run_docker
run_docker: env_setup
DOCKER_BUILDKIT=1 $(DC) build
$(DC) up -d
.PHONY: stop
stop:
$(DC) stop
# контейнеры удаляются, volume с данными остаётся (удаление — wipe_data)
.PHONY: down
down:
$(DC) down
# журнал всех реплик api без префикса "api-1 |": каждая строка — JSON,
# реплику называет поле instance_id
.PHONY: logs
logs:
$(DC) logs -f --no-log-prefix api
# -------------------------
# PostgreSQL и миграции
# -------------------------
# Postgres стенда; --wait ждёт его healthcheck
.PHONY: start_db
start_db: env_setup
$(DC) up -d --wait postgres
.PHONY: stop_db
stop_db:
$(DC) stop postgres
# миграции с хоста: 127.0.0.1:POSTGRES_OUT_PORT из .env
.PHONY: upgrade
upgrade: start_db
uv run alembic upgrade head
# новая ревизия autogenerate; база сначала доводится до head, иначе
# autogenerate сравнит модели не с той схемой
.PHONY: revision
revision: upgrade
@read -p "Сообщение миграции (англ., прошедшее время): " msg; \
uv run alembic revision --autogenerate -m "$$msg"
# удалить контейнеры стенда и volumes с данными: только после ввода yes
.PHONY: wipe_data
wipe_data:
@project=$$($(DC) config | sed -n 's/^name: //p'); \
volumes=$$($(DC) config --volumes | sed "s/^/$${project}_/" | paste -sd ' ' -); \
read -p "Удалить все данные стенда (volumes Postgres и S3: $$volumes)? Введите yes: " answer; \
if [ "$$answer" = "yes" ]; then \
$(DC) down -v --remove-orphans; \
else \
echo "cancelled, nothing removed"; exit 1; \
fi
# -------------------------
# Valkey (кэш карточек чатов)
# -------------------------
# Valkey стенда; --wait ждёт его healthcheck. Volume нет: кэш после
# рестарта пуст, данные — в PostgreSQL
.PHONY: start_cache
start_cache: env_setup
$(DC) up -d --wait valkey
.PHONY: stop_cache
stop_cache:
$(DC) stop valkey
# -------------------------
# S3 (SeaweedFS, байты вложений)
# -------------------------
# S3 стенда и его bootstrap: --wait ждёт healthcheck сервера, но
# одноразовый сервис считает готовым уже запущенным, поэтому bootstrap —
# отдельным up с его кодом выхода (как миграции в rolling-update.sh)
.PHONY: start_s3
start_s3: env_setup
$(DC) up -d --wait s3
$(DC) up --no-deps --exit-code-from s3-bootstrap s3-bootstrap
# плавная остановка ~15 с (stop_grace_period 20 с)
.PHONY: stop_s3
stop_s3:
$(DC) stop s3
# проверка приватности bucket вне API на запущенном стенде: права ключа
# API, чужой bucket и административные запросы (bootstrap в режиме check),
# анонимные запросы с хоста и из сети стенда, порты контейнера S3 из сети;
# таблица «проверка → ожидаемо → получено», проверочные объекты и bucket
# удаляются. Код 1 — нарушение
.PHONY: s3_check
s3_check:
$(PYTHON) .claude/skills/run-mtusi-messenger/driver.py s3-check
# -------------------------
# Реплики за балансировщиком (HAProxy)
# -------------------------
# вернуть остановленные реплики (scripts/stop-one.sh) и выставить их
# число: остановленные контейнеры запускаются с теми же ID, недостающие
# создаются, лишние удаляются; ждёт healthcheck реплик. Разовая подмена —
# make replicas API_REPLICAS=3, следующий make run_docker вернёт число
# из .env
.PHONY: replicas
replicas:
$(DC) up -d --no-deps --no-recreate --wait --scale api=$(API_REPLICAS) api
# поочерёдная замена реплик на новый образ без простоя
# (scripts/rolling-update.sh): сборка, миграции один раз, затем по одной —
# новая реплика UP в LB, старая выводится из LB (drain), дорабатывает
# запросы, останавливается и удаляется. COMMIT=<commit> — образ из файлов
# commit (git archive, рабочее дерево не трогается), MIGRATE=0 — без
# миграций (откат на прежний образ: схема только расширялась). Нужен
# штатный стенд: API_REPLICAS реплик, все UP (make replicas)
COMMIT ?=
MIGRATE ?= 1
.PHONY: rolling_update
rolling_update:
API_REPLICAS=$(API_REPLICAS) ROLLOUT_COMMIT="$(COMMIT)" ROLLOUT_MIGRATE=$(MIGRATE) scripts/rolling-update.sh
# распределение запросов одной сессии через LB: вход одним синтетическим
# пользователем, серия GET /users/me с одним токеном, X-Instance-Id каждого
# ответа и число ответов каждой реплики
.PHONY: instances
instances:
$(PYTHON) .claude/skills/run-mtusi-messenger/driver.py --port $(APP_OUT_PORT) instances
# состояние реплик глазами HAProxy: занятые слоты, адрес, статус проверки,
# соединения, запросы, ошибки соединения, повторы и перенаправления. CSV
# статистики читается изнутри контейнера LB: порт 8404 наружу не
# опубликован, curl в образе нет, bash есть
LB_STATS_FIELDS = svname addr status check_status scur stot econ wretr wredis hrsp_5xx
.PHONY: lb_stats
lb_stats:
@$(DC) exec -T haproxy bash -c 'exec 3<>/dev/tcp/127.0.0.1/8404 && printf "GET /stats;csv HTTP/1.0\r\n\r\n" >&3 && cat <&3' \
| awk -F, -v fields="$(LB_STATS_FIELDS)" ' \
/^# pxname/ { sub(/^# /, ""); for (i = 1; i <= NF; i++) col[$$i] = i; \
n = split(fields, f, " "); for (j = 1; j <= n; j++) printf "%s\t", f[j]; print ""; next } \
$$1 != "api" { next } \
$$2 != "BACKEND" && $$(col["addr"]) == "" && $$(col["status"]) == "MAINT (resolution)" { free++; next } \
{ for (j = 1; j <= n; j++) { v = $$(col[f[j]]); printf "%s\t", (v == "" ? "-" : v) }; print "" } \
END { printf "free slots: %d\n", free }' \
| column -t -s "$$(printf '\t')"
# -------------------------
# Load benchmark
# -------------------------
BENCH_LABEL ?= baseline
# macOS не засыпает на время замера (сон ставит ВМ Docker на паузу посреди
# прогона): -u будит из DarkWake полностью, -i и -s не дают уснуть до
# конца; на других ОС caffeinate нет, и префикс пустой
KEEP_AWAKE := $(shell command -v caffeinate >/dev/null 2>&1 && echo caffeinate -isu)
# полная матрица на своём проекте compose mtusi-bench (API, PostgreSQL,
# Valkey, без портов хоста), с фоновыми чатами разного размера, вариантами
# плана и пробами записи, ~35 мин; метка не должна существовать;
# результаты и планы запроса истории — evidence/bench/$(BENCH_LABEL)/,
# ход — строки в терминале и progress.json
.PHONY: bench
bench:
$(KEEP_AWAKE) uv run python bench/run.py --profile full --label $(BENCH_LABEL)
# самопроверка стенда на малых размерах, ~3 мин; результат в git не идёт
.PHONY: bench_quick
bench_quick:
$(KEEP_AWAKE) uv run python bench/run.py --profile quick --label quick-$(shell date -u +%Y%m%dT%H%M%SZ)
RESTORE_LABEL ?= restore
# трек 2: backup под записью, восстановление в новое хранилище, сверка БД и
# через HTTP, кэш до и после FLUSHALL — на 10k / 100k / 500k с фоновыми
# чатами, без матрицы прогонов, ~20 мин; результат —
# evidence/bench/$(RESTORE_LABEL)/
.PHONY: bench_restore
bench_restore:
$(KEEP_AWAKE) uv run python bench/run.py --profile restore --label $(RESTORE_LABEL)
# то же на малых размерах (самопроверка, сценарий защиты), ~1,5 мин; в git
# не идёт
.PHONY: bench_restore_quick
bench_restore_quick:
$(KEEP_AWAKE) uv run python bench/run.py --profile restore_quick --label quick-restore-$(shell date -u +%Y%m%dT%H%M%SZ)
FAILOVER_LABEL ?= baseline
# уровень 4: отказ реплик под нагрузкой на стенде mtusi-bench (HAProxy, две
# реплики с лимитами рабочего стенда): 100 записей с ключом и 100 чтений в
# секунду, каждая реплика в режимах stop, kill и pause с возвратом,
# посекундная шкала, время обнаружения и восстановления, сверка записей,
# CPU и память по компонентам и окнам (сэмплер); ~6 мин; результат —
# evidence/failover/$(FAILOVER_LABEL)/
.PHONY: bench_failover
bench_failover:
$(KEEP_AWAKE) uv run python bench/run.py --profile failover --label $(FAILOVER_LABEL)
# то же короче, режимы stop и kill (самопроверка), с CPU и памятью по
# компонентам и окнам (сэмплер), ~2 мин; в git не идёт
.PHONY: bench_failover_quick
bench_failover_quick:
$(KEEP_AWAKE) uv run python bench/run.py --profile failover_quick --label quick-failover-$(shell date -u +%Y%m%dT%H%M%SZ)
ROLLOUT_LABEL ?= baseline
# уровень 4: поочерёдная замена реплик под нагрузкой на стенде mtusi-bench
# (HAProxy, две реплики с лимитами рабочего стенда): реплики стартуют на
# образе прежнего commit (Profile.rollout_from), посреди 100 записей с
# ключом и 100 чтений в секунду scripts/rolling-update.sh меняет их на
# образ текущего checkout; посекундная шкала, шаги по репликам, сверка
# записей, CPU и память по компонентам и окнам (сэмплер); ~3 мин;
# результат — evidence/rollout/$(ROLLOUT_LABEL)/
.PHONY: bench_rollout
bench_rollout:
$(KEEP_AWAKE) uv run python bench/run.py --profile rollout --label $(ROLLOUT_LABEL)
# то же с короткими окнами (самопроверка), с CPU и памятью по компонентам и
# окнам (сэмплер), ~2 мин; в git не идёт
.PHONY: bench_rollout_quick
bench_rollout_quick:
$(KEEP_AWAKE) uv run python bench/run.py --profile rollout_quick --label quick-rollout-$(shell date -u +%Y%m%dT%H%M%SZ)
SCALING_LABEL ?= scaling-$(SERIES)
# уровень 5, трек 1 «Цена масштабирования»: серия на стенде mtusi-bench —
# SERIES=a (бюджет 4 CPU: 1 × 4, 2 × 2, 4 × 1, ~50 мин), b (1…6 реплик по
# 1 CPU, ~100 мин), pool (4 реплики при max_connections 100 и 50, ~35 мин),
# ab (1 × 1 и 6 × 1 для «до/после» и A/A, ~35 мин), db (1, 2, 4 реплики при
# узком лимите CPU PostgreSQL и контроль 4 × 1 при 2 CPU, ~50 мин), db4
# (из серии db только 4 × 1 при 0,5 и 2 CPU, ~25 мин), db_quick
# (самопроверка серии db, ~5 мин, метка quick-*); каждая ячейка — свежий
# стенд, открытая модель, поиск R* по SLO; результат —
# evidence/bench/$(SCALING_LABEL)/. RESUME=1 — продолжить прерванную метку
# на том же commit
.PHONY: bench_scaling
bench_scaling:
@if [ -z "$(SERIES)" ]; then \
echo "SERIES is required: make bench_scaling SERIES=a|b|pool|ab|db|db4|quick|db_quick [SCALING_LABEL=...] [RESUME=1]"; \
exit 2; \
fi
$(KEEP_AWAKE) uv run python bench/run.py --profile scaling_$(SERIES) --label $(SCALING_LABEL) $(if $(RESUME),--resume)
# самопроверка серий: две ячейки (1 × 1 и 2 × 1 при max_connections 50),
# короткие окна, ~5 мин; в git не идёт
.PHONY: bench_scaling_quick
bench_scaling_quick:
$(KEEP_AWAKE) uv run python bench/run.py --profile scaling_quick --label quick-scaling-$(shell date -u +%Y%m%dT%H%M%SZ)
PLOTS ?= scaling
# графики и сводка серий трека 1 из меток LABELS (через пробел):
# R* от числа реплик, p95 от интенсивности, CPU по компонентам, точка
# насыщения; результат — evidence/plots/$(PLOTS)/, пересоздаётся
.PHONY: bench_plots
bench_plots:
uv run python bench/plots.py --labels "$(LABELS)" --out "$(PLOTS)"
# дельта двух меток по ячейкам матрицы или, у серий трека 1, по общим
# конфигурациям: BEFORE и AFTER обязательны, AA — метка того же кода, что
# BEFORE, для уровня шума; CHANGE — change, к которому относится сравнение
# серий (шапка таблицы, по умолчанию scaling-bench);
# результат — evidence/compare/$(BEFORE)__$(AFTER).md
.PHONY: bench_compare
bench_compare:
uv run python bench/compare.py --before "$(BEFORE)" --after "$(AFTER)" --aa "$(AA)" $(if $(CHANGE),--change "$(CHANGE)")
# «до» и «после» подряд в одной сессии, два прогона bench: bench для
# BEFORE, commit доказательств, git revert commit REAPPLY (возврат
# откаченного изменения), затем bench для AFTER. С SERIES=<серия> вместо
# полной матрицы — серия трека 1 (make bench_scaling). Сам делает два
# коммита; рабочее дерево должно быть чистым
.PHONY: bench_ab
bench_ab:
$(KEEP_AWAKE) uv run python bench/ab.py --before "$(BEFORE)" --after "$(AFTER)" --reapply "$(REAPPLY)" $(if $(SERIES),--series "$(SERIES)")
# -------------------------
# Common targets
# -------------------------
# собственные black-box тесты против запущенного сервера (BASE_URL).
# EXPECT_REPLICAS — сколько реплик за BASE_URL: по умолчанию API_REPLICAS
# (стенд с LB); против одного процесса — EXPECT_REPLICAS=1, и тесты
# реплик пропускаются с причиной
.PHONY: student_test
student_test:
BASE_URL=$(BASE_URL) EXPECT_REPLICAS=$(EXPECT_REPLICAS) uv run pytest
# образ на временной базе test_<POSTGRES_DB>: сборка, миграции, отдельный
# контейнер api на 127.0.0.1:TEST_APP_PORT, make test и make student_test,
# затем уборка при любом исходе. KEEP_TEST_DB=1 оставляет базу и объекты
# S3 для разбора. Valkey и S3 общие с рабочим стендом: ключи кэша и
# объектов разделены именем базы, префикс test_<db>/ удаляется при уборке.
# $(PYTHON), а не uv run: uv повторно шлёт SIGINT, и Ctrl+C обрывал уборку
.PHONY: test_isolated
test_isolated: env_setup start_db start_cache start_s3
$(PYTHON) student-tests/run_isolated.py $(if $(KEEP_TEST_DB),--keep-db,)
# проверки отказов (pytest -m fault) на отдельном стенде: свой проект
# compose <рабочий>-failures со своими Postgres и Valkey, обычный и
# «тесный» API, hook student-tests/fault_hook.py; стенд и его volume
# удаляются при любом исходе, рабочий стенд не затрагивается.
# FAULT_ARGS — дополнительные аргументы pytest, например -k "Valkey"
.PHONY: failure_checks
failure_checks: env_setup
$(PYTHON) student-tests/run_failures.py $(FAULT_ARGS)
.PHONY: lint
lint:
@ruff format .
@echo "code formatted"
@ruff check --fix .
@echo "code checked and fixed if needed"
@ruff format .
@echo "code formatted"
@ruff check --fix .
@echo "code checked and fixed if needed"