Files
mtusi2026lab6/Makefile
T

518 lines
24 KiB
Makefile
Raw Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
PYTHON ?= python3
BASE_URL ?= http://localhost:8080
CA_FILE ?=
ACTION_SCRIPT ?=
TLS_ARGS = $(if $(CA_FILE),--ca-file "$(CA_FILE)",)
.PHONY: help check validate test load test-persistence test-failover
help:
@echo "check: offline structure; validate: full OpenAPI (requirements-dev.txt); test: running API; load: synthetic writes"
check:
$(PYTHON) scripts/check_contract.py
validate:
$(PYTHON) scripts/validate_openapi.py
test:
$(PYTHON) tests/smoke.py --base-url "$(BASE_URL)" $(TLS_ARGS)
load:
$(PYTHON) tests/load.py --base-url "$(BASE_URL)" $(TLS_ARGS)
test-persistence:
@test -n "$(ACTION_SCRIPT)" || (echo "Set ACTION_SCRIPT to your implemented executable restart hook"; exit 2)
$(PYTHON) tests/resilience.py --mode persistence --action-script "$(ACTION_SCRIPT)" --base-url "$(BASE_URL)" $(TLS_ARGS)
test-failover:
@test -n "$(ACTION_SCRIPT)" || (echo "Set ACTION_SCRIPT to your implemented executable stop-one hook"; exit 2)
$(PYTHON) tests/resilience.py --mode failover --action-script "$(ACTION_SCRIPT)" --base-url "$(BASE_URL)" $(TLS_ARGS)
# ===========================================================================
# Собственные цели решения. Цели skeleton выше (help, check, validate, test,
# load, test-persistence, test-failover) не менять: в следующей лабе
# Makefile придёт новый, свои цели переносятся в него слиянием.
# ===========================================================================
# .env: подстановки compose и окружение приложения на хосте. Без него —
# значения по умолчанию ниже (пароли и ключи пустые: сначала `make env`)
-include .env
IMAGE ?= mtusi-messenger-vladimirceva:lab6
# порт HAProxy на 127.0.0.1 — единственный порт API стенда на хосте
HOST_PORT ?= 8080
# цели skeleton (test, load, test-persistence, ...) по умолчанию ходят на
# 8080; если BASE_URL не задан в команде или окружении — на LB своего
# стенда (HOST_PORT из .env), чтобы не попасть в чужой стенд на 8080
ifeq ($(origin BASE_URL),file)
BASE_URL = http://localhost:$(HOST_PORT)
endif
# лаба 6: Grafana стенда на 127.0.0.1
GRAFANA_HOST_PORT ?= 3180
# порт сервиса на хосте (make run): другой, чем у стенда, — оба могут
# работать одновременно
RUN_PORT ?= 8081
POSTGRES_USER ?= messenger
POSTGRES_DB ?= messenger
POSTGRES_HOST_PORT ?= 5433
VALKEY_HOST_PORT ?= 6380
S3_HOST_PORT ?= 8334
BROKER_HOST_PORT ?= 5673
SESSION_TTL_SECONDS ?= 3600
# реплик API за HAProxy; разово — `make replicas API_REPLICAS=3`
API_REPLICAS ?= 2
DC = docker compose
UV_EXPORT = uv export --frozen --no-dev --no-emit-project --no-header --format requirements.txt
# долгие замеры на macOS — под caffeinate: ноутбук не уснёт по простою
CAFFEINATE := $(shell command -v caffeinate >/dev/null 2>&1 && echo caffeinate -isu)
# --- приложение на хосте ----------------------------------------------------
.PHONY: install
install:
uv sync
# окружение сервиса и миграций на хосте: хранилища стенда на 127.0.0.1,
# пароли и ключи пользователя API в S3 из .env. .env читается в рецепте, а
# не при разборе Makefile: так первый запуск видит и файл, только что
# созданный `make env`. Рецепт без эха — секреты не печатаются
LOCAL_ENV = set -a; . ./.env; set +a; \
export DB_HOST=127.0.0.1 DB_PORT="$$POSTGRES_HOST_PORT" DB_NAME="$$POSTGRES_DB" \
DB_USER="$$POSTGRES_USER" DB_PASSWORD="$$POSTGRES_PASSWORD" CACHE_HOST=127.0.0.1 \
CACHE_PORT="$$VALKEY_HOST_PORT" CACHE_PASSWORD="$$VALKEY_PASSWORD" \
S3_ENDPOINT="http://127.0.0.1:$$S3_HOST_PORT" S3_ACCESS_KEY_ID="$$S3_API_ACCESS_KEY" \
S3_SECRET_ACCESS_KEY="$$S3_API_SECRET_KEY" BROKER_HOST=127.0.0.1 \
BROKER_PORT="$$BROKER_HOST_PORT" BROKER_PASSWORD="$$BROKER_PASSWORD" \
OTEL_SDK_DISABLED=true
# ↑ лаба 6: процессы на хосте без телеметрии — OTLP Collector наружу не
# опубликован
# worker на хосте — ключи своего пользователя S3, а не API
WORKER_ENV = $(LOCAL_ENV); export S3_ACCESS_KEY_ID="$$S3_WORKER_ACCESS_KEY" \
S3_SECRET_ACCESS_KEY="$$S3_WORKER_SECRET_KEY"
# PostgreSQL, Valkey и S3 из compose, миграции с хоста, затем один процесс
# сервиса на 127.0.0.1:RUN_PORT без LB, текстовые логи в stdout; стоп —
# Ctrl+C. Срок сессии — `make run SESSION_TTL_SECONDS=2`
.PHONY: run
run: migrate-local
@echo "uv run python -m src # 127.0.0.1:$(RUN_PORT), SESSION_TTL_SECONDS=$(SESSION_TTL_SECONDS)"
@$(LOCAL_ENV); APP_PORT=$(RUN_PORT) SESSION_TTL_SECONDS=$(SESSION_TTL_SECONDS) \
uv run python -m src
# relay и worker на хосте рядом с `make run` (брокер и хранилища — из
# compose); стоп — Ctrl+C. Сервисы compose relay и worker при этом лучше
# остановить: make stop-worker, docker compose stop relay
.PHONY: run-relay run-worker
run-relay: migrate-local
@$(LOCAL_ENV); uv run python -m src.relay
run-worker: migrate-local
@$(WORKER_ENV); uv run python -m src.worker
# миграции с хоста в PostgreSQL стенда (127.0.0.1:POSTGRES_HOST_PORT)
.PHONY: migrate-local
migrate-local: db-up
@echo "uv run alembic upgrade head # 127.0.0.1:$(POSTGRES_HOST_PORT)"
@$(LOCAL_ENV); uv run alembic upgrade head
.PHONY: lint
lint:
uv run ruff format --check .
uv run ruff check .
.PHONY: fmt
fmt:
uv run ruff format .
uv run ruff check --fix .
# собственные тесты против запущенного стенда (BASE_URL, по умолчанию
# HAProxy рабочего стенда); EXPECT_REPLICAS — сколько реплик за BASE_URL
# (против `make run` — 1: тесты реплик пропускаются с причиной).
# Тесты с маркером fault сюда не входят, для них есть make failure-checks
EXPECT_REPLICAS ?= $(API_REPLICAS)
.PHONY: student-test
student-test:
BASE_URL=$(BASE_URL) EXPECT_REPLICAS=$(EXPECT_REPLICAS) uv run pytest
# отдельный стенд из того же compose.yaml (свои PostgreSQL, Valkey, S3,
# volume, HAProxy и две реплики, свои пароли и ключи, без .env): сборка,
# миграции и bootstrap S3, make test и make student-test через его LB,
# test-failover, test-persistence, затем уборка при любом исходе. Рабочий
# стенд не трогается. $(PYTHON), а не uv run: uv повторно шлёт SIGINT, и
# Ctrl+C обрывал бы уборку
.PHONY: test-isolated
test-isolated:
$(PYTHON) student-tests/stand.py isolated
# pytest -m fault на ещё одном одноразовом стенде: собственные хранилища и
# S3, уборщик с grace 25 с, несколько API с разными настройками (обычный,
# «тесный», «узкий по загрузкам») и hook student-tests/fault_hook.py.
# Дополнительные аргументы pytest — через FAULT_ARGS
.PHONY: failure-checks
failure-checks:
$(PYTHON) student-tests/stand.py failures $(FAULT_ARGS)
# лаба 6: юнит-тесты модулей src (телеметрия) без стенда — секунды
.PHONY: unit-test
unit-test:
uv run pytest -m unit student-tests/unit
# requirements.txt для образа — только из uv.lock, с хешами
.PHONY: requirements
requirements:
$(UV_EXPORT) --output-file requirements.txt
.PHONY: requirements-check
requirements-check:
$(UV_EXPORT) | diff -u requirements.txt - && echo "requirements.txt matches uv.lock"
# --- Docker и compose ---------------------------------------------------------
# .env из шаблона со случайными паролями PostgreSQL и Valkey и ключами S3:
# в шаблоне они пустые, общего пароля стенда в git нет. Существующий .env
# не перезаписывается — дописываются только переменные шаблона, которых в
# нём нет (секреты — случайными). Печатаются только имена
.PHONY: env
env:
@$(PYTHON) scripts/lab6.py env
.PHONY: docker-build
docker-build:
docker build -t $(IMAGE) .
# весь стенд: сначала телеметрия (Collector, Prometheus, Loki, Tempo,
# Grafana — первые записи процессов уже есть куда отправить), затем
# хранилища и брокер -> migrate, s3-bootstrap -> api × API_REPLICAS,
# relay, worker, cleaner -> haproxy; --wait ждёт healthy. Если образ
# поменялся, compose пересоздаст все реплики сразу и API на это время
# пропадёт; плавная замена — через make rolling-update
TELEMETRY_SERVICES = otel-collector prometheus loki tempo grafana
.PHONY: up
up: env
$(DC) up -d --wait $(TELEMETRY_SERVICES)
$(DC) up -d --build --wait api relay worker cleaner haproxy
# остановить контейнеры (SIGTERM); данные и контейнеры остаются. LB
# останавливается раньше реплик (depends_on); S3 — плавно, ~15 с
.PHONY: stop
stop:
$(DC) stop
# удалить контейнеры; volume pgdata и s3data с данными остаются
# (удаление — wipe)
.PHONY: down
down:
$(DC) down
# журнал всех реплик; префикс строки — имя контейнера реплики
.PHONY: logs
logs:
$(DC) logs -f api
# журнал фона: relay и worker
.PHONY: logs-pipeline
logs-pipeline:
$(DC) logs -f relay worker
# хранилища стенда с ожиданием healthcheck и bootstrap S3: для make run.
# --wait одноразовый сервис не ждёт — код bootstrap отдельно
.PHONY: db-up
db-up: env
$(DC) up -d --wait postgres valkey s3 rabbitmq
$(DC) up --no-deps --exit-code-from s3-bootstrap s3-bootstrap
# снести стенд вместе с volume (данные пропадут); спрашивает подтверждение yes
.PHONY: wipe
wipe:
@read -p "Удалить все данные стенда (volume pgdata, s3data, rmqdata, promdata, lokidata, tempodata)? Введите yes: " answer; \
if [ "$$answer" = "yes" ]; then \
$(DC) down -v --remove-orphans; \
else \
echo "cancelled, nothing removed"; exit 1; \
fi
# --- Реплики за HAProxy (лаба 3) --------------------------------------------
# вернуть остановленные реплики (те же контейнеры и X-Instance-Id) и
# выставить их число API_REPLICAS; ждёт healthy
.PHONY: replicas
replicas:
$(DC) up -d --no-deps --no-recreate --wait --scale api=$(API_REPLICAS) api
# вход одним синтетическим пользователем и серия GET /users/me с одним
# токеном через LB: X-Instance-Id каждого ответа и итог по репликам
.PHONY: instances
instances:
$(PYTHON) scripts/lab6.py instances --base-url "$(BASE_URL)"
# таблица слотов backend api: IP реплики, статус (во время замены бывает
# DRAIN/MAINT) и счётчики запросов, сбоев соединения, retry и redispatch
.PHONY: lb-stats
lb-stats:
$(PYTHON) scripts/lab6.py lb-stats
# make test-failover для каждой реплики по очереди с возвратом
# предыдущей (make replicas): какой контейнер остановлен, строка
# STOP_ONE_LOG и итог теста. STOP_MODE=kill — без graceful
STOP_MODE ?= stop
.PHONY: failover-each
failover-each:
$(PYTHON) scripts/lab6.py failover-each --base-url "$(BASE_URL)" \
--replicas $(API_REPLICAS) --mode $(STOP_MODE)
# выкатить текущий код без простоя: собрать образ, один раз прогнать
# миграции и менять реплики по одной, выводя старую через drain в LB
.PHONY: rolling-update
rolling-update:
API_REPLICAS=$(API_REPLICAS) scripts/rolling-update.sh
# --- S3 и вложения (с лабы 4) -------------------------------------------------
# вложение через LB → остановка реплики, принявшей загрузку (stop-one.sh по
# её X-Instance-Id) → скачивание через другую, тот же SHA-256 → 404
# постороннему → make replicas. STOP_MODE=kill — без graceful
.PHONY: attachment-failover
attachment-failover:
$(PYTHON) scripts/lab6.py attachment-failover --base-url "$(BASE_URL)" \
--replicas $(API_REPLICAS) --mode $(STOP_MODE)
# приватность bucket вне API: права ключей API, worker и уборщика (bootstrap в
# режиме check), анонимные запросы с хоста и из сети стенда, порты
# контейнера S3; затем уборка проверочных объектов. Код 1 при нарушении
.PHONY: s3-check
s3-check:
$(PYTHON) scripts/lab6.py s3-check
# разовый проход уборщика незавершённых загрузок: 0 — проход дошёл до
# конца, 1 — прерван отказом, 2 — конфигурация
.PHONY: cleanup-once
cleanup-once:
$(DC) run --rm --no-deps cleaner --once
# разовая сверка bucket и БД (трек 2) в контейнере уборщика. По умолчанию
# dry-run; APPLY=1 — исправить безопасное; MAX_CHANGES, STRATEGY=head,
# DEEP=1 (SHA-256 содержимого), RATE (объектов S3/с, 0 — без предела).
# Выход 0 — всё сошлось, 3 — есть неисправленные расхождения, 1 — проход
# не дошёл до конца, 2 — ошибка в настройках
APPLY ?=
MAX_CHANGES ?=
STRATEGY ?=
DEEP ?=
RATE ?=
.PHONY: reconcile
reconcile:
$(DC) run --rm --no-deps cleaner reconcile $(if $(APPLY),--apply,) \
$(if $(MAX_CHANGES),--max-changes $(MAX_CHANGES),) \
$(if $(STRATEGY),--strategy $(STRATEGY),) $(if $(DEEP),--deep,) \
$(if $(RATE),--rate $(RATE),)
# --- Брокер, relay, worker (лаба 5) -------------------------------------------
# worker стенда: остановить (шаг 2 сценария защиты) / снова запустить
.PHONY: stop-worker start-worker
stop-worker:
$(DC) stop worker
start-worker:
$(DC) up -d --no-deps worker
# сценарий защиты, шаги 2–3, одной командой: worker стоит → 202 → сообщение
# → 409 → scripts/restart.sh → worker → ready и thumbnail 256×160
.PHONY: defense
defense:
$(PYTHON) scripts/lab6.py defense --base-url "$(BASE_URL)"
# задания по состояниям и очередь брокера
.PHONY: pipeline-state
pipeline-state:
@$(PYTHON) scripts/lab6.py pipeline
# реестр failed и replay в контейнере relay. Без APPLY=1 — только показ;
# с APPLY=1 нужен выбор (ATTACHMENT=<id> или ERROR_CODE=...) и OPERATOR,
# REASON. Коды: 0 — готово, 3 — часть отказана, 1 — PostgreSQL, 2 — аргументы
ATTACHMENT ?=
ERROR_CODE ?=
LIMIT ?= 20
OPERATOR ?=
REASON ?=
.PHONY: replay
replay:
$(DC) run --rm --no-deps relay replay $(if $(ATTACHMENT),--attachment $(ATTACHMENT),) \
$(if $(ERROR_CODE),--error-code $(ERROR_CODE),) --limit $(LIMIT) \
$(if $(APPLY),--apply --operator "$(OPERATOR)" --reason "$(REASON)",)
# --- Наблюдаемость (лаба 6) ---------------------------------------------------
# адрес Grafana стенда; пароль admin — GRAFANA_ADMIN_PASSWORD в .env
.PHONY: grafana
grafana:
@echo "http://127.0.0.1:$(GRAFANA_HOST_PORT)/d/messenger-lab6 (user admin, password: GRAFANA_ADMIN_PASSWORD in .env)"
# журнал сервисов телеметрии
.PHONY: logs-telemetry
logs-telemetry:
$(DC) logs -f $(TELEMETRY_SERVICES)
# связь сигналов на рабочем стенде (~1–2 мин): запрос со своим X-Request-Id
# → трасса в Tempo и запись в Loki с её trace_id; загрузка → трасса worker
# и запись «attachment processed»; метрики API и worker в Prometheus без
# запрещённых меток; пароля, токена, текста и имени файла нет ни в Loki, ни
# в трассах. Хранилища — через прокси источников Grafana. Код 1 при FAIL
.PHONY: telemetry-check
telemetry-check:
$(PYTHON) scripts/lab6.py telemetry-check --base-url "$(BASE_URL)"
# уровень 4. Сквозная трасса одной загрузки с повтором (~1 мин): попытка 1
# падает при остановленном S3, ready — со второй; в Tempo одна трасса
# API → relay (producer) → worker (consumer) → S3/PostgreSQL
.PHONY: trace-chain
trace-chain:
$(PYTHON) scripts/lab6.py trace-chain --base-url "$(BASE_URL)"
PROMETHEUS_IMAGE = prom/prometheus:v3.15.1@sha256:fa3302279710be2f21a8301ec17a8b4f2301fd829bd113839b3b6b02b6f191a2
# юнит-тесты alert и recording rules без стенда: promtool из того же образа
.PHONY: alerts-test
alerts-test:
docker run --rm -v "$(CURDIR)/infra/otel/prometheus:/rules:ro" -w /rules \
--entrypoint promtool $(PROMETHEUS_IMAGE) check rules rules.yml
docker run --rm -v "$(CURDIR)/infra/otel/prometheus:/rules:ro" -w /rules \
--entrypoint promtool $(PROMETHEUS_IMAGE) test rules rules.test.yml
# alerts на рабочем стенде искусственным отказом (~8–10 мин): worker
# остановлен → queue lag firing → resolved; таблица sessions под
# блокировкой → error rate firing → resolved
.PHONY: alerts-check
alerts-check:
$(PYTHON) scripts/lab6.py alerts-check --base-url "$(BASE_URL)"
# Tempo остановлен под нагрузкой на OUTAGE_SECONDS (~3–4 мин): API и
# загрузки работают, память Collector ограничена, потери посчитаны
OUTAGE_SECONDS ?= 120
.PHONY: telemetry-outage
telemetry-outage:
$(PYTHON) scripts/lab6.py telemetry-outage --base-url "$(BASE_URL)" \
--seconds $(OUTAGE_SECONDS)
# --- Нагрузочный стенд (лаба 6, трек 1 — цена наблюдаемости; профили лаб
# 3–5 сохранены: отказ и замена под нагрузкой, память загрузок, стоимость
# сверки, очередь под перегрузкой) --
# Порядок работы — bench/RUNBOOK.md, правила — bench/AGENTS.md. Свой проект
# compose vlad-bench, рабочий стенд перед замером — make stop.
TELEMETRY_LABEL ?= baseline
QUEUE_LABEL ?= baseline
FAILOVER_LABEL ?= baseline
ROLLOUT_LABEL ?= baseline
UPLOADS_LABEL ?= baseline
RECONCILE_LABEL ?= baseline
# серия трека 1 лабы 3 (сохраняется): a, b, db, ab, quick
SERIES ?=
SCALING_LABEL ?=
LABELS ?=
PLOTS ?= scaling
BENCH = $(CAFFEINATE) uv run python bench/run.py
# лаба 6, трек 1: варианты телеметрии off, full, head, tail, balanced × 3
# повтора при одной открытой нагрузке с редкими событиями (~50 мин); пишет
# evidence/telemetry-cost/<метка>/
.PHONY: bench-telemetry
bench-telemetry:
$(BENCH) telemetry --label "$(TELEMETRY_LABEL)"
# самопроверка профиля (~7 мин): все пять вариантов, один повтор, окна
# 5 + 20 + 12 с; метка quick-telemetry-<UTC> в отчёт не идёт
.PHONY: bench-telemetry-quick
bench-telemetry-quick:
$(BENCH) telemetry-quick
# лаба 5, трек 1: настройки concurrency/prefetch worker × классы изображений;
# ёмкость, ровная нагрузка, перегрузка при пределе незавершённых и
# восстановление; пишет evidence/queue/<метка>/
.PHONY: bench-queue
bench-queue:
$(BENCH) queue --label "$(QUEUE_LABEL)"
# самопроверка профиля очереди (~9 мин): c1p1 и c4p4 × классы s и x, один
# повтор, короткие окна; метка quick-queue-<UTC> в отчёт не идёт
.PHONY: bench-queue-quick
bench-queue-quick:
$(BENCH) queue-quick
# уровень 4 лабы 3: две реплики под постоянной нагрузкой, каждая в режимах
# stop, kill, pause с возвратом; пишет evidence/failover/<метка>/
.PHONY: bench-failover
bench-failover:
$(BENCH) failover --label "$(FAILOVER_LABEL)"
# проверка стенда отказа (~2 мин); метка quick-failover-<UTC> в отчёт не идёт
.PHONY: bench-failover-quick
bench-failover-quick:
$(BENCH) failover-quick
# уровень 4 лабы 3: поочерёдная замена (scripts/rolling-update.sh) под той
# же нагрузкой, с новой expand-ревизией; пишет evidence/rollout/<метка>/
.PHONY: bench-rollout
bench-rollout:
$(BENCH) rollout --label "$(ROLLOUT_LABEL)"
.PHONY: bench-rollout-quick
bench-rollout-quick:
$(BENCH) rollout-quick
# лаба 4, уровень 4: сколько памяти занимает реплика, когда параллельно
# грузят 1, 10, 20 или 40 клиентов тела ~1 и ~10 MiB; сравниваются места
# по умолчанию и режим без лимита. Результат — evidence/uploads/<метка>/
.PHONY: bench-uploads
bench-uploads:
$(BENCH) uploads --label "$(UPLOADS_LABEL)"
# самопроверка профиля загрузок (~5 мин); метка quick-uploads-<UTC>
.PHONY: bench-uploads-quick
bench-uploads-quick:
$(BENCH) uploads-quick
# уровень 5, трек 2: стоимость сверки bucket и БД по размеру набора,
# стратегиям и под фоновой нагрузкой; пишет evidence/reconcile/<метка>/
.PHONY: bench-reconcile
bench-reconcile:
$(BENCH) reconcile --label "$(RECONCILE_LABEL)"
# самопроверка профиля сверки (~6 мин); метка quick-reconcile-<UTC>
.PHONY: bench-reconcile-quick
bench-reconcile-quick:
$(BENCH) reconcile-quick
# трек 1 лабы 3 (сохраняется для сравнения, в лабе 4 не обязателен):
# серия конфигураций, на каждую ячейку свежий стенд, открытая модель,
# поиск R*; пишет evidence/scaling/<метка>/. CONFIGS="4x1-pg0.5 4x1" —
# ячейки вместо профильных; RESUME=1 — продолжить прерванную метку
CONFIGS ?=
.PHONY: bench-scaling
bench-scaling:
@test -n "$(SERIES)" || (echo "usage: make bench-scaling SERIES=a|b|db|ab [SCALING_LABEL=...] [CONFIGS=...] [RESUME=1]"; exit 2)
$(BENCH) scaling --series "$(SERIES)" $(if $(SCALING_LABEL),--label "$(SCALING_LABEL)",) \
$(if $(CONFIGS),--configs "$(CONFIGS)",) $(if $(RESUME),--resume,)
# самопроверка серий (~5 мин): 1 × 1 и 2 × 1, короткие окна
.PHONY: bench-scaling-quick
bench-scaling-quick:
$(BENCH) scaling --series quick
# сравнение двух меток серий (по общим конфигурациям); AA — метка того же
# кода, что BEFORE: уровень шума
.PHONY: bench-compare
bench-compare:
@test -n "$(BEFORE)" -a -n "$(AFTER)" || \
(echo "usage: make bench-compare BEFORE=<label> AFTER=<label> [AA=<label>]"; exit 2)
uv run python bench/compare.py --before "$(BEFORE)" --after "$(AFTER)" \
$(if $(AA),--aa "$(AA)",)
# графики SVG и сводка серий трека 1: evidence/plots/<PLOTS>/
.PHONY: bench-plots
bench-plots:
@test -n "$(LABELS)" || (echo "usage: make bench-plots LABELS=\"scaling-a scaling-b\" [PLOTS=scaling]"; exit 2)
uv run python bench/plots.py --out "$(PLOTS)" $(LABELS)