Files
mtusi2026lab4/Makefile
T

361 lines
17 KiB
Makefile
Raw Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
PYTHON ?= python3
BASE_URL ?= http://localhost:8080
CA_FILE ?=
ACTION_SCRIPT ?=
TLS_ARGS = $(if $(CA_FILE),--ca-file "$(CA_FILE)",)
.PHONY: help check validate test load test-persistence test-failover
help:
@echo "check: offline structure; validate: full OpenAPI (requirements-dev.txt); test: running API; load: synthetic writes"
check:
$(PYTHON) scripts/check_contract.py
validate:
$(PYTHON) scripts/validate_openapi.py
test:
$(PYTHON) tests/smoke.py --base-url "$(BASE_URL)" $(TLS_ARGS)
load:
$(PYTHON) tests/load.py --base-url "$(BASE_URL)" $(TLS_ARGS)
test-persistence:
@test -n "$(ACTION_SCRIPT)" || (echo "Set ACTION_SCRIPT to your implemented executable restart hook"; exit 2)
$(PYTHON) tests/resilience.py --mode persistence --action-script "$(ACTION_SCRIPT)" --base-url "$(BASE_URL)" $(TLS_ARGS)
test-failover:
@test -n "$(ACTION_SCRIPT)" || (echo "Set ACTION_SCRIPT to your implemented executable stop-one hook"; exit 2)
$(PYTHON) tests/resilience.py --mode failover --action-script "$(ACTION_SCRIPT)" --base-url "$(BASE_URL)" $(TLS_ARGS)
# ===========================================================================
# Собственные цели решения. Цели skeleton выше (help, check, validate, test,
# load, test-persistence, test-failover) не менять: в следующей лабе
# Makefile придёт новый, свои цели переносятся в него слиянием.
# ===========================================================================
# .env: подстановки compose и окружение приложения на хосте. Без него —
# значения по умолчанию ниже (пароли и ключи пустые: сначала `make env`)
-include .env
IMAGE ?= mtusi-messenger-vladimirceva:lab4
# порт HAProxy на 127.0.0.1 — единственный порт API стенда на хосте
HOST_PORT ?= 8080
# порт сервиса на хосте (make run): другой, чем у стенда, — оба могут
# работать одновременно
RUN_PORT ?= 8081
POSTGRES_USER ?= messenger
POSTGRES_DB ?= messenger
POSTGRES_HOST_PORT ?= 5433
VALKEY_HOST_PORT ?= 6380
S3_HOST_PORT ?= 8334
SESSION_TTL_SECONDS ?= 3600
# реплик API за HAProxy; разово — `make replicas API_REPLICAS=3`
API_REPLICAS ?= 2
DC = docker compose
UV_EXPORT = uv export --frozen --no-dev --no-emit-project --no-header --format requirements.txt
# долгие замеры на macOS — под caffeinate: ноутбук не уснёт по простою
CAFFEINATE := $(shell command -v caffeinate >/dev/null 2>&1 && echo caffeinate -isu)
# --- приложение на хосте ----------------------------------------------------
.PHONY: install
install:
uv sync
# окружение сервиса и миграций на хосте: хранилища стенда на 127.0.0.1,
# пароли и ключи пользователя API в S3 из .env. .env читается в рецепте, а
# не при разборе Makefile: так первый запуск видит и файл, только что
# созданный `make env`. Рецепт без эха — секреты не печатаются
LOCAL_ENV = set -a; . ./.env; set +a; \
export DB_HOST=127.0.0.1 DB_PORT="$$POSTGRES_HOST_PORT" DB_NAME="$$POSTGRES_DB" \
DB_USER="$$POSTGRES_USER" DB_PASSWORD="$$POSTGRES_PASSWORD" CACHE_HOST=127.0.0.1 \
CACHE_PORT="$$VALKEY_HOST_PORT" CACHE_PASSWORD="$$VALKEY_PASSWORD" \
S3_ENDPOINT="http://127.0.0.1:$$S3_HOST_PORT" S3_ACCESS_KEY_ID="$$S3_API_ACCESS_KEY" \
S3_SECRET_ACCESS_KEY="$$S3_API_SECRET_KEY"
# PostgreSQL, Valkey и S3 из compose, миграции с хоста, затем один процесс
# сервиса на 127.0.0.1:RUN_PORT без LB, текстовые логи в stdout; стоп —
# Ctrl+C. Срок сессии — `make run SESSION_TTL_SECONDS=2`
.PHONY: run
run: migrate-local
@echo "uv run python -m src # 127.0.0.1:$(RUN_PORT), SESSION_TTL_SECONDS=$(SESSION_TTL_SECONDS)"
@$(LOCAL_ENV); APP_PORT=$(RUN_PORT) SESSION_TTL_SECONDS=$(SESSION_TTL_SECONDS) \
uv run python -m src
# миграции с хоста в PostgreSQL стенда (127.0.0.1:POSTGRES_HOST_PORT)
.PHONY: migrate-local
migrate-local: db-up
@echo "uv run alembic upgrade head # 127.0.0.1:$(POSTGRES_HOST_PORT)"
@$(LOCAL_ENV); uv run alembic upgrade head
.PHONY: lint
lint:
uv run ruff format --check .
uv run ruff check .
.PHONY: fmt
fmt:
uv run ruff format .
uv run ruff check --fix .
# собственные тесты против запущенного стенда (BASE_URL, по умолчанию
# HAProxy рабочего стенда); EXPECT_REPLICAS — сколько реплик за BASE_URL
# (против `make run` — 1: тесты реплик пропускаются с причиной).
# Проверки отказов (маркер fault) — make failure-checks
EXPECT_REPLICAS ?= $(API_REPLICAS)
.PHONY: student-test
student-test:
BASE_URL=$(BASE_URL) EXPECT_REPLICAS=$(EXPECT_REPLICAS) uv run pytest
# отдельный стенд из того же compose.yaml (свои PostgreSQL, Valkey, S3,
# volume, HAProxy и две реплики, свои пароли и ключи, без .env): сборка,
# миграции и bootstrap S3, make test и make student-test через его LB,
# test-failover, test-persistence, затем уборка при любом исходе. Рабочий
# стенд не трогается. $(PYTHON), а не uv run: uv повторно шлёт SIGINT, и
# Ctrl+C обрывал бы уборку
.PHONY: test-isolated
test-isolated:
$(PYTHON) student-tests/stand.py isolated
# проверки отказов (pytest -m fault) на таком же отдельном стенде: свои
# хранилища и S3, уборщик с grace 25 с, обычный, «тесный» и «узкий по
# загрузкам» API, hook student-tests/fault_hook.py. FAULT_ARGS — аргументы
# pytest
.PHONY: failure-checks
failure-checks:
$(PYTHON) student-tests/stand.py failures $(FAULT_ARGS)
# requirements.txt для образа — только из uv.lock, с хешами
.PHONY: requirements
requirements:
$(UV_EXPORT) --output-file requirements.txt
.PHONY: requirements-check
requirements-check:
$(UV_EXPORT) | diff -u requirements.txt - && echo "requirements.txt matches uv.lock"
# --- Docker и compose ---------------------------------------------------------
# .env из шаблона со случайными паролями PostgreSQL и Valkey и ключами S3:
# в шаблоне они пустые, общего пароля стенда в git нет. Существующий .env
# не перезаписывается — дописываются только переменные шаблона, которых в
# нём нет (секреты — случайными). Печатаются только имена
.PHONY: env
env:
@$(PYTHON) scripts/lab4.py env
.PHONY: docker-build
docker-build:
docker build -t $(IMAGE) .
# весь стенд: postgres, valkey, s3 -> migrate, s3-bootstrap -> api ×
# API_REPLICAS и cleaner -> haproxy; --wait ждёт healthy реплик и LB
# (миграции и bootstrap к этому моменту завершились с кодом 0). Реплики с
# изменённым образом пересоздаются все разом, с простоем; без простоя —
# make rolling-update
.PHONY: up
up: env
$(DC) up -d --build --wait api cleaner haproxy
# остановить контейнеры (SIGTERM); данные и контейнеры остаются. LB
# останавливается раньше реплик (depends_on); S3 — плавно, ~15 с
.PHONY: stop
stop:
$(DC) stop
# удалить контейнеры; volume pgdata и s3data с данными остаются
# (удаление — wipe)
.PHONY: down
down:
$(DC) down
# журнал всех реплик; префикс строки — имя контейнера реплики
.PHONY: logs
logs:
$(DC) logs -f api
# хранилища стенда с ожиданием healthcheck и bootstrap S3: для make run.
# --wait одноразовый сервис не ждёт — код bootstrap отдельно
.PHONY: db-up
db-up: env
$(DC) up -d --wait postgres valkey s3
$(DC) up --no-deps --exit-code-from s3-bootstrap s3-bootstrap
# удалить контейнеры и volume с данными стенда: только после ввода yes
.PHONY: wipe
wipe:
@read -p "Удалить все данные стенда (volume PostgreSQL pgdata и S3 s3data)? Введите yes: " answer; \
if [ "$$answer" = "yes" ]; then \
$(DC) down -v --remove-orphans; \
else \
echo "cancelled, nothing removed"; exit 1; \
fi
# --- Реплики за HAProxy (лаба 3) --------------------------------------------
# вернуть остановленные реплики (те же контейнеры и X-Instance-Id) и
# выставить их число API_REPLICAS; ждёт healthy
.PHONY: replicas
replicas:
$(DC) up -d --no-deps --no-recreate --wait --scale api=$(API_REPLICAS) api
# вход одним синтетическим пользователем и серия GET /users/me с одним
# токеном через LB: X-Instance-Id каждого ответа и итог по репликам
.PHONY: instances
instances:
$(PYTHON) scripts/lab4.py instances --base-url "$(BASE_URL)"
# слоты HAProxy: адрес, состояние проверки (DRAIN/MAINT при замене),
# запросы, ошибки соединения, повторы, перенаправления
.PHONY: lb-stats
lb-stats:
$(PYTHON) scripts/lab4.py lb-stats
# make test-failover для каждой реплики по очереди с возвратом
# предыдущей (make replicas): какой контейнер остановлен, строка
# STOP_ONE_LOG и итог теста. STOP_MODE=kill — без graceful
STOP_MODE ?= stop
.PHONY: failover-each
failover-each:
$(PYTHON) scripts/lab4.py failover-each --base-url "$(BASE_URL)" \
--replicas $(API_REPLICAS) --mode $(STOP_MODE)
# поочерёдная замена реплик на образ рабочего дерева без простоя:
# сборка, миграции один раз, по одной реплике через drain в LB
.PHONY: rolling-update
rolling-update:
API_REPLICAS=$(API_REPLICAS) scripts/rolling-update.sh
# --- S3 и вложения (лаба 4) ---------------------------------------------------
# вложение через LB → остановка реплики, принявшей загрузку (stop-one.sh по
# её X-Instance-Id) → скачивание через другую, тот же SHA-256 → 404
# постороннему → make replicas. STOP_MODE=kill — без graceful
.PHONY: attachment-failover
attachment-failover:
$(PYTHON) scripts/lab4.py attachment-failover --base-url "$(BASE_URL)" \
--replicas $(API_REPLICAS) --mode $(STOP_MODE)
# приватность bucket вне API: права ключей API и уборщика (bootstrap в
# режиме check), анонимные запросы с хоста и из сети стенда, порты
# контейнера S3; затем уборка проверочных объектов. Код 1 при нарушении
.PHONY: s3-check
s3-check:
$(PYTHON) scripts/lab4.py s3-check
# разовый проход уборщика незавершённых загрузок: 0 — проход дошёл до
# конца, 1 — прерван отказом, 2 — конфигурация
.PHONY: cleanup-once
cleanup-once:
$(DC) run --rm --no-deps cleaner --once
# разовая сверка bucket и БД (трек 2) в контейнере уборщика. По умолчанию
# dry-run; APPLY=1 — исправить безопасное; MAX_CHANGES, STRATEGY=head,
# DEEP=1 (SHA-256 содержимого), RATE (объектов S3/с, 0 — без предела).
# Коды: 0 — расхождений нет, 3 — остались, 1 — прервана, 2 — конфигурация
APPLY ?=
MAX_CHANGES ?=
STRATEGY ?=
DEEP ?=
RATE ?=
.PHONY: reconcile
reconcile:
$(DC) run --rm --no-deps cleaner reconcile $(if $(APPLY),--apply,) \
$(if $(MAX_CHANGES),--max-changes $(MAX_CHANGES),) \
$(if $(STRATEGY),--strategy $(STRATEGY),) $(if $(DEEP),--deep,) \
$(if $(RATE),--rate $(RATE),)
# --- Нагрузочный стенд (уровень «4» — отказ и замена под нагрузкой лабы 3,
# память одновременных загрузок; уровень «5» — трек 2, стоимость сверки) --
# Порядок работы — bench/RUNBOOK.md, правила — bench/AGENTS.md. Свой проект
# compose vlad-bench, рабочий стенд перед замером — make stop.
FAILOVER_LABEL ?= baseline
ROLLOUT_LABEL ?= baseline
UPLOADS_LABEL ?= baseline
RECONCILE_LABEL ?= baseline
# серия трека 1 лабы 3 (сохраняется): a, b, db, ab, quick
SERIES ?=
SCALING_LABEL ?=
LABELS ?=
PLOTS ?= scaling
BENCH = $(CAFFEINATE) uv run python bench/run.py
# уровень 4 лабы 3: две реплики под постоянной нагрузкой, каждая в режимах
# stop, kill, pause с возвратом; пишет evidence/failover/<метка>/
.PHONY: bench-failover
bench-failover:
$(BENCH) failover --label "$(FAILOVER_LABEL)"
# проверка стенда отказа (~2 мин); метка quick-failover-<UTC> в отчёт не идёт
.PHONY: bench-failover-quick
bench-failover-quick:
$(BENCH) failover-quick
# уровень 4 лабы 3: поочерёдная замена (scripts/rolling-update.sh) под той
# же нагрузкой, с новой expand-ревизией; пишет evidence/rollout/<метка>/
.PHONY: bench-rollout
bench-rollout:
$(BENCH) rollout --label "$(ROLLOUT_LABEL)"
.PHONY: bench-rollout-quick
bench-rollout-quick:
$(BENCH) rollout-quick
# уровень 4 лабы 4: память реплики при 1/10/20/40 одновременных загрузках
# по ~1 и ~10 MiB, варианты «с лимитом» (места по умолчанию) и «без
# лимита»; пишет evidence/uploads/<метка>/
.PHONY: bench-uploads
bench-uploads:
$(BENCH) uploads --label "$(UPLOADS_LABEL)"
# самопроверка профиля загрузок (~5 мин); метка quick-uploads-<UTC>
.PHONY: bench-uploads-quick
bench-uploads-quick:
$(BENCH) uploads-quick
# уровень 5, трек 2: стоимость сверки bucket и БД по размеру набора,
# стратегиям и под фоновой нагрузкой; пишет evidence/reconcile/<метка>/
.PHONY: bench-reconcile
bench-reconcile:
$(BENCH) reconcile --label "$(RECONCILE_LABEL)"
# самопроверка профиля сверки (~6 мин); метка quick-reconcile-<UTC>
.PHONY: bench-reconcile-quick
bench-reconcile-quick:
$(BENCH) reconcile-quick
# трек 1 лабы 3 (сохраняется для сравнения, в лабе 4 не обязателен):
# серия конфигураций, на каждую ячейку свежий стенд, открытая модель,
# поиск R*; пишет evidence/scaling/<метка>/. CONFIGS="4x1-pg0.5 4x1" —
# ячейки вместо профильных; RESUME=1 — продолжить прерванную метку
CONFIGS ?=
.PHONY: bench-scaling
bench-scaling:
@test -n "$(SERIES)" || (echo "usage: make bench-scaling SERIES=a|b|db|ab [SCALING_LABEL=...] [CONFIGS=...] [RESUME=1]"; exit 2)
$(BENCH) scaling --series "$(SERIES)" $(if $(SCALING_LABEL),--label "$(SCALING_LABEL)",) \
$(if $(CONFIGS),--configs "$(CONFIGS)",) $(if $(RESUME),--resume,)
# самопроверка серий (~5 мин): 1 × 1 и 2 × 1, короткие окна
.PHONY: bench-scaling-quick
bench-scaling-quick:
$(BENCH) scaling --series quick
# сравнение двух меток серий (по общим конфигурациям); AA — метка того же
# кода, что BEFORE: уровень шума
.PHONY: bench-compare
bench-compare:
@test -n "$(BEFORE)" -a -n "$(AFTER)" || \
(echo "usage: make bench-compare BEFORE=<label> AFTER=<label> [AA=<label>]"; exit 2)
uv run python bench/compare.py --before "$(BEFORE)" --after "$(AFTER)" \
$(if $(AA),--aa "$(AA)",)
# графики SVG и сводка серий трека 1: evidence/plots/<PLOTS>/
.PHONY: bench-plots
bench-plots:
@test -n "$(LABELS)" || (echo "usage: make bench-plots LABELS=\"scaling-a scaling-b\" [PLOTS=scaling]"; exit 2)
uv run python bench/plots.py --out "$(PLOTS)" $(LABELS)