518 lines
24 KiB
Makefile
518 lines
24 KiB
Makefile
PYTHON ?= python3
|
||
BASE_URL ?= http://localhost:8080
|
||
CA_FILE ?=
|
||
ACTION_SCRIPT ?=
|
||
TLS_ARGS = $(if $(CA_FILE),--ca-file "$(CA_FILE)",)
|
||
|
||
.PHONY: help check validate test load test-persistence test-failover
|
||
|
||
help:
|
||
@echo "check: offline structure; validate: full OpenAPI (requirements-dev.txt); test: running API; load: synthetic writes"
|
||
|
||
check:
|
||
$(PYTHON) scripts/check_contract.py
|
||
|
||
validate:
|
||
$(PYTHON) scripts/validate_openapi.py
|
||
|
||
test:
|
||
$(PYTHON) tests/smoke.py --base-url "$(BASE_URL)" $(TLS_ARGS)
|
||
|
||
load:
|
||
$(PYTHON) tests/load.py --base-url "$(BASE_URL)" $(TLS_ARGS)
|
||
|
||
test-persistence:
|
||
@test -n "$(ACTION_SCRIPT)" || (echo "Set ACTION_SCRIPT to your implemented executable restart hook"; exit 2)
|
||
$(PYTHON) tests/resilience.py --mode persistence --action-script "$(ACTION_SCRIPT)" --base-url "$(BASE_URL)" $(TLS_ARGS)
|
||
|
||
test-failover:
|
||
@test -n "$(ACTION_SCRIPT)" || (echo "Set ACTION_SCRIPT to your implemented executable stop-one hook"; exit 2)
|
||
$(PYTHON) tests/resilience.py --mode failover --action-script "$(ACTION_SCRIPT)" --base-url "$(BASE_URL)" $(TLS_ARGS)
|
||
|
||
|
||
# ===========================================================================
|
||
# Собственные цели решения. Цели skeleton выше (help, check, validate, test,
|
||
# load, test-persistence, test-failover) не менять: в следующей лабе
|
||
# Makefile придёт новый, свои цели переносятся в него слиянием.
|
||
# ===========================================================================
|
||
|
||
# .env: подстановки compose и окружение приложения на хосте. Без него —
|
||
# значения по умолчанию ниже (пароли и ключи пустые: сначала `make env`)
|
||
-include .env
|
||
|
||
IMAGE ?= mtusi-messenger-vladimirceva:lab6
|
||
# порт HAProxy на 127.0.0.1 — единственный порт API стенда на хосте
|
||
HOST_PORT ?= 8080
|
||
# цели skeleton (test, load, test-persistence, ...) по умолчанию ходят на
|
||
# 8080; если BASE_URL не задан в команде или окружении — на LB своего
|
||
# стенда (HOST_PORT из .env), чтобы не попасть в чужой стенд на 8080
|
||
ifeq ($(origin BASE_URL),file)
|
||
BASE_URL = http://localhost:$(HOST_PORT)
|
||
endif
|
||
# лаба 6: Grafana стенда на 127.0.0.1
|
||
GRAFANA_HOST_PORT ?= 3180
|
||
# порт сервиса на хосте (make run): другой, чем у стенда, — оба могут
|
||
# работать одновременно
|
||
RUN_PORT ?= 8081
|
||
POSTGRES_USER ?= messenger
|
||
POSTGRES_DB ?= messenger
|
||
POSTGRES_HOST_PORT ?= 5433
|
||
VALKEY_HOST_PORT ?= 6380
|
||
S3_HOST_PORT ?= 8334
|
||
BROKER_HOST_PORT ?= 5673
|
||
SESSION_TTL_SECONDS ?= 3600
|
||
# реплик API за HAProxy; разово — `make replicas API_REPLICAS=3`
|
||
API_REPLICAS ?= 2
|
||
DC = docker compose
|
||
UV_EXPORT = uv export --frozen --no-dev --no-emit-project --no-header --format requirements.txt
|
||
# долгие замеры на macOS — под caffeinate: ноутбук не уснёт по простою
|
||
CAFFEINATE := $(shell command -v caffeinate >/dev/null 2>&1 && echo caffeinate -isu)
|
||
|
||
# --- приложение на хосте ----------------------------------------------------
|
||
|
||
.PHONY: install
|
||
install:
|
||
uv sync
|
||
|
||
# окружение сервиса и миграций на хосте: хранилища стенда на 127.0.0.1,
|
||
# пароли и ключи пользователя API в S3 из .env. .env читается в рецепте, а
|
||
# не при разборе Makefile: так первый запуск видит и файл, только что
|
||
# созданный `make env`. Рецепт без эха — секреты не печатаются
|
||
LOCAL_ENV = set -a; . ./.env; set +a; \
|
||
export DB_HOST=127.0.0.1 DB_PORT="$$POSTGRES_HOST_PORT" DB_NAME="$$POSTGRES_DB" \
|
||
DB_USER="$$POSTGRES_USER" DB_PASSWORD="$$POSTGRES_PASSWORD" CACHE_HOST=127.0.0.1 \
|
||
CACHE_PORT="$$VALKEY_HOST_PORT" CACHE_PASSWORD="$$VALKEY_PASSWORD" \
|
||
S3_ENDPOINT="http://127.0.0.1:$$S3_HOST_PORT" S3_ACCESS_KEY_ID="$$S3_API_ACCESS_KEY" \
|
||
S3_SECRET_ACCESS_KEY="$$S3_API_SECRET_KEY" BROKER_HOST=127.0.0.1 \
|
||
BROKER_PORT="$$BROKER_HOST_PORT" BROKER_PASSWORD="$$BROKER_PASSWORD" \
|
||
OTEL_SDK_DISABLED=true
|
||
# ↑ лаба 6: процессы на хосте без телеметрии — OTLP Collector наружу не
|
||
# опубликован
|
||
# worker на хосте — ключи своего пользователя S3, а не API
|
||
WORKER_ENV = $(LOCAL_ENV); export S3_ACCESS_KEY_ID="$$S3_WORKER_ACCESS_KEY" \
|
||
S3_SECRET_ACCESS_KEY="$$S3_WORKER_SECRET_KEY"
|
||
|
||
# PostgreSQL, Valkey и S3 из compose, миграции с хоста, затем один процесс
|
||
# сервиса на 127.0.0.1:RUN_PORT без LB, текстовые логи в stdout; стоп —
|
||
# Ctrl+C. Срок сессии — `make run SESSION_TTL_SECONDS=2`
|
||
.PHONY: run
|
||
run: migrate-local
|
||
@echo "uv run python -m src # 127.0.0.1:$(RUN_PORT), SESSION_TTL_SECONDS=$(SESSION_TTL_SECONDS)"
|
||
@$(LOCAL_ENV); APP_PORT=$(RUN_PORT) SESSION_TTL_SECONDS=$(SESSION_TTL_SECONDS) \
|
||
uv run python -m src
|
||
|
||
# relay и worker на хосте рядом с `make run` (брокер и хранилища — из
|
||
# compose); стоп — Ctrl+C. Сервисы compose relay и worker при этом лучше
|
||
# остановить: make stop-worker, docker compose stop relay
|
||
.PHONY: run-relay run-worker
|
||
run-relay: migrate-local
|
||
@$(LOCAL_ENV); uv run python -m src.relay
|
||
|
||
run-worker: migrate-local
|
||
@$(WORKER_ENV); uv run python -m src.worker
|
||
|
||
# миграции с хоста в PostgreSQL стенда (127.0.0.1:POSTGRES_HOST_PORT)
|
||
.PHONY: migrate-local
|
||
migrate-local: db-up
|
||
@echo "uv run alembic upgrade head # 127.0.0.1:$(POSTGRES_HOST_PORT)"
|
||
@$(LOCAL_ENV); uv run alembic upgrade head
|
||
|
||
.PHONY: lint
|
||
lint:
|
||
uv run ruff format --check .
|
||
uv run ruff check .
|
||
|
||
.PHONY: fmt
|
||
fmt:
|
||
uv run ruff format .
|
||
uv run ruff check --fix .
|
||
|
||
# собственные тесты против запущенного стенда (BASE_URL, по умолчанию
|
||
# HAProxy рабочего стенда); EXPECT_REPLICAS — сколько реплик за BASE_URL
|
||
# (против `make run` — 1: тесты реплик пропускаются с причиной).
|
||
# Тесты с маркером fault сюда не входят, для них есть make failure-checks
|
||
EXPECT_REPLICAS ?= $(API_REPLICAS)
|
||
.PHONY: student-test
|
||
student-test:
|
||
BASE_URL=$(BASE_URL) EXPECT_REPLICAS=$(EXPECT_REPLICAS) uv run pytest
|
||
|
||
# отдельный стенд из того же compose.yaml (свои PostgreSQL, Valkey, S3,
|
||
# volume, HAProxy и две реплики, свои пароли и ключи, без .env): сборка,
|
||
# миграции и bootstrap S3, make test и make student-test через его LB,
|
||
# test-failover, test-persistence, затем уборка при любом исходе. Рабочий
|
||
# стенд не трогается. $(PYTHON), а не uv run: uv повторно шлёт SIGINT, и
|
||
# Ctrl+C обрывал бы уборку
|
||
.PHONY: test-isolated
|
||
test-isolated:
|
||
$(PYTHON) student-tests/stand.py isolated
|
||
|
||
# pytest -m fault на ещё одном одноразовом стенде: собственные хранилища и
|
||
# S3, уборщик с grace 25 с, несколько API с разными настройками (обычный,
|
||
# «тесный», «узкий по загрузкам») и hook student-tests/fault_hook.py.
|
||
# Дополнительные аргументы pytest — через FAULT_ARGS
|
||
.PHONY: failure-checks
|
||
failure-checks:
|
||
$(PYTHON) student-tests/stand.py failures $(FAULT_ARGS)
|
||
|
||
# лаба 6: юнит-тесты модулей src (телеметрия) без стенда — секунды
|
||
.PHONY: unit-test
|
||
unit-test:
|
||
uv run pytest -m unit student-tests/unit
|
||
|
||
# requirements.txt для образа — только из uv.lock, с хешами
|
||
.PHONY: requirements
|
||
requirements:
|
||
$(UV_EXPORT) --output-file requirements.txt
|
||
|
||
.PHONY: requirements-check
|
||
requirements-check:
|
||
$(UV_EXPORT) | diff -u requirements.txt - && echo "requirements.txt matches uv.lock"
|
||
|
||
# --- Docker и compose ---------------------------------------------------------
|
||
|
||
# .env из шаблона со случайными паролями PostgreSQL и Valkey и ключами S3:
|
||
# в шаблоне они пустые, общего пароля стенда в git нет. Существующий .env
|
||
# не перезаписывается — дописываются только переменные шаблона, которых в
|
||
# нём нет (секреты — случайными). Печатаются только имена
|
||
.PHONY: env
|
||
env:
|
||
@$(PYTHON) scripts/lab6.py env
|
||
|
||
.PHONY: docker-build
|
||
docker-build:
|
||
docker build -t $(IMAGE) .
|
||
|
||
# весь стенд: сначала телеметрия (Collector, Prometheus, Loki, Tempo,
|
||
# Grafana — первые записи процессов уже есть куда отправить), затем
|
||
# хранилища и брокер -> migrate, s3-bootstrap -> api × API_REPLICAS,
|
||
# relay, worker, cleaner -> haproxy; --wait ждёт healthy. Если образ
|
||
# поменялся, compose пересоздаст все реплики сразу и API на это время
|
||
# пропадёт; плавная замена — через make rolling-update
|
||
TELEMETRY_SERVICES = otel-collector prometheus loki tempo grafana
|
||
.PHONY: up
|
||
up: env
|
||
$(DC) up -d --wait $(TELEMETRY_SERVICES)
|
||
$(DC) up -d --build --wait api relay worker cleaner haproxy
|
||
|
||
# остановить контейнеры (SIGTERM); данные и контейнеры остаются. LB
|
||
# останавливается раньше реплик (depends_on); S3 — плавно, ~15 с
|
||
.PHONY: stop
|
||
stop:
|
||
$(DC) stop
|
||
|
||
# удалить контейнеры; volume pgdata и s3data с данными остаются
|
||
# (удаление — wipe)
|
||
.PHONY: down
|
||
down:
|
||
$(DC) down
|
||
|
||
# журнал всех реплик; префикс строки — имя контейнера реплики
|
||
.PHONY: logs
|
||
logs:
|
||
$(DC) logs -f api
|
||
|
||
# журнал фона: relay и worker
|
||
.PHONY: logs-pipeline
|
||
logs-pipeline:
|
||
$(DC) logs -f relay worker
|
||
|
||
# хранилища стенда с ожиданием healthcheck и bootstrap S3: для make run.
|
||
# --wait одноразовый сервис не ждёт — код bootstrap отдельно
|
||
.PHONY: db-up
|
||
db-up: env
|
||
$(DC) up -d --wait postgres valkey s3 rabbitmq
|
||
$(DC) up --no-deps --exit-code-from s3-bootstrap s3-bootstrap
|
||
|
||
# снести стенд вместе с volume (данные пропадут); спрашивает подтверждение yes
|
||
.PHONY: wipe
|
||
wipe:
|
||
@read -p "Удалить все данные стенда (volume pgdata, s3data, rmqdata, promdata, lokidata, tempodata)? Введите yes: " answer; \
|
||
if [ "$$answer" = "yes" ]; then \
|
||
$(DC) down -v --remove-orphans; \
|
||
else \
|
||
echo "cancelled, nothing removed"; exit 1; \
|
||
fi
|
||
|
||
# --- Реплики за HAProxy (лаба 3) --------------------------------------------
|
||
|
||
# вернуть остановленные реплики (те же контейнеры и X-Instance-Id) и
|
||
# выставить их число API_REPLICAS; ждёт healthy
|
||
.PHONY: replicas
|
||
replicas:
|
||
$(DC) up -d --no-deps --no-recreate --wait --scale api=$(API_REPLICAS) api
|
||
|
||
# вход одним синтетическим пользователем и серия GET /users/me с одним
|
||
# токеном через LB: X-Instance-Id каждого ответа и итог по репликам
|
||
.PHONY: instances
|
||
instances:
|
||
$(PYTHON) scripts/lab6.py instances --base-url "$(BASE_URL)"
|
||
|
||
# таблица слотов backend api: IP реплики, статус (во время замены бывает
|
||
# DRAIN/MAINT) и счётчики запросов, сбоев соединения, retry и redispatch
|
||
.PHONY: lb-stats
|
||
lb-stats:
|
||
$(PYTHON) scripts/lab6.py lb-stats
|
||
|
||
# make test-failover для каждой реплики по очереди с возвратом
|
||
# предыдущей (make replicas): какой контейнер остановлен, строка
|
||
# STOP_ONE_LOG и итог теста. STOP_MODE=kill — без graceful
|
||
STOP_MODE ?= stop
|
||
.PHONY: failover-each
|
||
failover-each:
|
||
$(PYTHON) scripts/lab6.py failover-each --base-url "$(BASE_URL)" \
|
||
--replicas $(API_REPLICAS) --mode $(STOP_MODE)
|
||
|
||
# выкатить текущий код без простоя: собрать образ, один раз прогнать
|
||
# миграции и менять реплики по одной, выводя старую через drain в LB
|
||
.PHONY: rolling-update
|
||
rolling-update:
|
||
API_REPLICAS=$(API_REPLICAS) scripts/rolling-update.sh
|
||
|
||
# --- S3 и вложения (с лабы 4) -------------------------------------------------
|
||
|
||
# вложение через LB → остановка реплики, принявшей загрузку (stop-one.sh по
|
||
# её X-Instance-Id) → скачивание через другую, тот же SHA-256 → 404
|
||
# постороннему → make replicas. STOP_MODE=kill — без graceful
|
||
.PHONY: attachment-failover
|
||
attachment-failover:
|
||
$(PYTHON) scripts/lab6.py attachment-failover --base-url "$(BASE_URL)" \
|
||
--replicas $(API_REPLICAS) --mode $(STOP_MODE)
|
||
|
||
# приватность bucket вне API: права ключей API, worker и уборщика (bootstrap в
|
||
# режиме check), анонимные запросы с хоста и из сети стенда, порты
|
||
# контейнера S3; затем уборка проверочных объектов. Код 1 при нарушении
|
||
.PHONY: s3-check
|
||
s3-check:
|
||
$(PYTHON) scripts/lab6.py s3-check
|
||
|
||
# разовый проход уборщика незавершённых загрузок: 0 — проход дошёл до
|
||
# конца, 1 — прерван отказом, 2 — конфигурация
|
||
.PHONY: cleanup-once
|
||
cleanup-once:
|
||
$(DC) run --rm --no-deps cleaner --once
|
||
|
||
# разовая сверка bucket и БД (трек 2) в контейнере уборщика. По умолчанию
|
||
# dry-run; APPLY=1 — исправить безопасное; MAX_CHANGES, STRATEGY=head,
|
||
# DEEP=1 (SHA-256 содержимого), RATE (объектов S3/с, 0 — без предела).
|
||
# Выход 0 — всё сошлось, 3 — есть неисправленные расхождения, 1 — проход
|
||
# не дошёл до конца, 2 — ошибка в настройках
|
||
APPLY ?=
|
||
MAX_CHANGES ?=
|
||
STRATEGY ?=
|
||
DEEP ?=
|
||
RATE ?=
|
||
.PHONY: reconcile
|
||
reconcile:
|
||
$(DC) run --rm --no-deps cleaner reconcile $(if $(APPLY),--apply,) \
|
||
$(if $(MAX_CHANGES),--max-changes $(MAX_CHANGES),) \
|
||
$(if $(STRATEGY),--strategy $(STRATEGY),) $(if $(DEEP),--deep,) \
|
||
$(if $(RATE),--rate $(RATE),)
|
||
|
||
# --- Брокер, relay, worker (лаба 5) -------------------------------------------
|
||
|
||
# worker стенда: остановить (шаг 2 сценария защиты) / снова запустить
|
||
.PHONY: stop-worker start-worker
|
||
stop-worker:
|
||
$(DC) stop worker
|
||
|
||
start-worker:
|
||
$(DC) up -d --no-deps worker
|
||
|
||
# сценарий защиты, шаги 2–3, одной командой: worker стоит → 202 → сообщение
|
||
# → 409 → scripts/restart.sh → worker → ready и thumbnail 256×160
|
||
.PHONY: defense
|
||
defense:
|
||
$(PYTHON) scripts/lab6.py defense --base-url "$(BASE_URL)"
|
||
|
||
# задания по состояниям и очередь брокера
|
||
.PHONY: pipeline-state
|
||
pipeline-state:
|
||
@$(PYTHON) scripts/lab6.py pipeline
|
||
|
||
# реестр failed и replay в контейнере relay. Без APPLY=1 — только показ;
|
||
# с APPLY=1 нужен выбор (ATTACHMENT=<id> или ERROR_CODE=...) и OPERATOR,
|
||
# REASON. Коды: 0 — готово, 3 — часть отказана, 1 — PostgreSQL, 2 — аргументы
|
||
ATTACHMENT ?=
|
||
ERROR_CODE ?=
|
||
LIMIT ?= 20
|
||
OPERATOR ?=
|
||
REASON ?=
|
||
.PHONY: replay
|
||
replay:
|
||
$(DC) run --rm --no-deps relay replay $(if $(ATTACHMENT),--attachment $(ATTACHMENT),) \
|
||
$(if $(ERROR_CODE),--error-code $(ERROR_CODE),) --limit $(LIMIT) \
|
||
$(if $(APPLY),--apply --operator "$(OPERATOR)" --reason "$(REASON)",)
|
||
|
||
# --- Наблюдаемость (лаба 6) ---------------------------------------------------
|
||
|
||
# адрес Grafana стенда; пароль admin — GRAFANA_ADMIN_PASSWORD в .env
|
||
.PHONY: grafana
|
||
grafana:
|
||
@echo "http://127.0.0.1:$(GRAFANA_HOST_PORT)/d/messenger-lab6 (user admin, password: GRAFANA_ADMIN_PASSWORD in .env)"
|
||
|
||
# журнал сервисов телеметрии
|
||
.PHONY: logs-telemetry
|
||
logs-telemetry:
|
||
$(DC) logs -f $(TELEMETRY_SERVICES)
|
||
|
||
# связь сигналов на рабочем стенде (~1–2 мин): запрос со своим X-Request-Id
|
||
# → трасса в Tempo и запись в Loki с её trace_id; загрузка → трасса worker
|
||
# и запись «attachment processed»; метрики API и worker в Prometheus без
|
||
# запрещённых меток; пароля, токена, текста и имени файла нет ни в Loki, ни
|
||
# в трассах. Хранилища — через прокси источников Grafana. Код 1 при FAIL
|
||
.PHONY: telemetry-check
|
||
telemetry-check:
|
||
$(PYTHON) scripts/lab6.py telemetry-check --base-url "$(BASE_URL)"
|
||
|
||
# уровень 4. Сквозная трасса одной загрузки с повтором (~1 мин): попытка 1
|
||
# падает при остановленном S3, ready — со второй; в Tempo одна трасса
|
||
# API → relay (producer) → worker (consumer) → S3/PostgreSQL
|
||
.PHONY: trace-chain
|
||
trace-chain:
|
||
$(PYTHON) scripts/lab6.py trace-chain --base-url "$(BASE_URL)"
|
||
|
||
PROMETHEUS_IMAGE = prom/prometheus:v3.15.1@sha256:fa3302279710be2f21a8301ec17a8b4f2301fd829bd113839b3b6b02b6f191a2
|
||
|
||
# юнит-тесты alert и recording rules без стенда: promtool из того же образа
|
||
.PHONY: alerts-test
|
||
alerts-test:
|
||
docker run --rm -v "$(CURDIR)/infra/otel/prometheus:/rules:ro" -w /rules \
|
||
--entrypoint promtool $(PROMETHEUS_IMAGE) check rules rules.yml
|
||
docker run --rm -v "$(CURDIR)/infra/otel/prometheus:/rules:ro" -w /rules \
|
||
--entrypoint promtool $(PROMETHEUS_IMAGE) test rules rules.test.yml
|
||
|
||
# alerts на рабочем стенде искусственным отказом (~8–10 мин): worker
|
||
# остановлен → queue lag firing → resolved; таблица sessions под
|
||
# блокировкой → error rate firing → resolved
|
||
.PHONY: alerts-check
|
||
alerts-check:
|
||
$(PYTHON) scripts/lab6.py alerts-check --base-url "$(BASE_URL)"
|
||
|
||
# Tempo остановлен под нагрузкой на OUTAGE_SECONDS (~3–4 мин): API и
|
||
# загрузки работают, память Collector ограничена, потери посчитаны
|
||
OUTAGE_SECONDS ?= 120
|
||
.PHONY: telemetry-outage
|
||
telemetry-outage:
|
||
$(PYTHON) scripts/lab6.py telemetry-outage --base-url "$(BASE_URL)" \
|
||
--seconds $(OUTAGE_SECONDS)
|
||
|
||
# --- Нагрузочный стенд (лаба 6, трек 1 — цена наблюдаемости; профили лаб
|
||
# 3–5 сохранены: отказ и замена под нагрузкой, память загрузок, стоимость
|
||
# сверки, очередь под перегрузкой) --
|
||
# Порядок работы — bench/RUNBOOK.md, правила — bench/AGENTS.md. Свой проект
|
||
# compose vlad-bench, рабочий стенд перед замером — make stop.
|
||
|
||
TELEMETRY_LABEL ?= baseline
|
||
QUEUE_LABEL ?= baseline
|
||
FAILOVER_LABEL ?= baseline
|
||
ROLLOUT_LABEL ?= baseline
|
||
UPLOADS_LABEL ?= baseline
|
||
RECONCILE_LABEL ?= baseline
|
||
# серия трека 1 лабы 3 (сохраняется): a, b, db, ab, quick
|
||
SERIES ?=
|
||
SCALING_LABEL ?=
|
||
LABELS ?=
|
||
PLOTS ?= scaling
|
||
BENCH = $(CAFFEINATE) uv run python bench/run.py
|
||
|
||
# лаба 6, трек 1: варианты телеметрии off, full, head, tail, balanced × 3
|
||
# повтора при одной открытой нагрузке с редкими событиями (~50 мин); пишет
|
||
# evidence/telemetry-cost/<метка>/
|
||
.PHONY: bench-telemetry
|
||
bench-telemetry:
|
||
$(BENCH) telemetry --label "$(TELEMETRY_LABEL)"
|
||
|
||
# самопроверка профиля (~7 мин): все пять вариантов, один повтор, окна
|
||
# 5 + 20 + 12 с; метка quick-telemetry-<UTC> в отчёт не идёт
|
||
.PHONY: bench-telemetry-quick
|
||
bench-telemetry-quick:
|
||
$(BENCH) telemetry-quick
|
||
|
||
# лаба 5, трек 1: настройки concurrency/prefetch worker × классы изображений;
|
||
# ёмкость, ровная нагрузка, перегрузка при пределе незавершённых и
|
||
# восстановление; пишет evidence/queue/<метка>/
|
||
.PHONY: bench-queue
|
||
bench-queue:
|
||
$(BENCH) queue --label "$(QUEUE_LABEL)"
|
||
|
||
# самопроверка профиля очереди (~9 мин): c1p1 и c4p4 × классы s и x, один
|
||
# повтор, короткие окна; метка quick-queue-<UTC> в отчёт не идёт
|
||
.PHONY: bench-queue-quick
|
||
bench-queue-quick:
|
||
$(BENCH) queue-quick
|
||
|
||
# уровень 4 лабы 3: две реплики под постоянной нагрузкой, каждая в режимах
|
||
# stop, kill, pause с возвратом; пишет evidence/failover/<метка>/
|
||
.PHONY: bench-failover
|
||
bench-failover:
|
||
$(BENCH) failover --label "$(FAILOVER_LABEL)"
|
||
|
||
# проверка стенда отказа (~2 мин); метка quick-failover-<UTC> в отчёт не идёт
|
||
.PHONY: bench-failover-quick
|
||
bench-failover-quick:
|
||
$(BENCH) failover-quick
|
||
|
||
# уровень 4 лабы 3: поочерёдная замена (scripts/rolling-update.sh) под той
|
||
# же нагрузкой, с новой expand-ревизией; пишет evidence/rollout/<метка>/
|
||
.PHONY: bench-rollout
|
||
bench-rollout:
|
||
$(BENCH) rollout --label "$(ROLLOUT_LABEL)"
|
||
|
||
.PHONY: bench-rollout-quick
|
||
bench-rollout-quick:
|
||
$(BENCH) rollout-quick
|
||
|
||
# лаба 4, уровень 4: сколько памяти занимает реплика, когда параллельно
|
||
# грузят 1, 10, 20 или 40 клиентов тела ~1 и ~10 MiB; сравниваются места
|
||
# по умолчанию и режим без лимита. Результат — evidence/uploads/<метка>/
|
||
.PHONY: bench-uploads
|
||
bench-uploads:
|
||
$(BENCH) uploads --label "$(UPLOADS_LABEL)"
|
||
|
||
# самопроверка профиля загрузок (~5 мин); метка quick-uploads-<UTC>
|
||
.PHONY: bench-uploads-quick
|
||
bench-uploads-quick:
|
||
$(BENCH) uploads-quick
|
||
|
||
# уровень 5, трек 2: стоимость сверки bucket и БД по размеру набора,
|
||
# стратегиям и под фоновой нагрузкой; пишет evidence/reconcile/<метка>/
|
||
.PHONY: bench-reconcile
|
||
bench-reconcile:
|
||
$(BENCH) reconcile --label "$(RECONCILE_LABEL)"
|
||
|
||
# самопроверка профиля сверки (~6 мин); метка quick-reconcile-<UTC>
|
||
.PHONY: bench-reconcile-quick
|
||
bench-reconcile-quick:
|
||
$(BENCH) reconcile-quick
|
||
|
||
# трек 1 лабы 3 (сохраняется для сравнения, в лабе 4 не обязателен):
|
||
# серия конфигураций, на каждую ячейку свежий стенд, открытая модель,
|
||
# поиск R*; пишет evidence/scaling/<метка>/. CONFIGS="4x1-pg0.5 4x1" —
|
||
# ячейки вместо профильных; RESUME=1 — продолжить прерванную метку
|
||
CONFIGS ?=
|
||
.PHONY: bench-scaling
|
||
bench-scaling:
|
||
@test -n "$(SERIES)" || (echo "usage: make bench-scaling SERIES=a|b|db|ab [SCALING_LABEL=...] [CONFIGS=...] [RESUME=1]"; exit 2)
|
||
$(BENCH) scaling --series "$(SERIES)" $(if $(SCALING_LABEL),--label "$(SCALING_LABEL)",) \
|
||
$(if $(CONFIGS),--configs "$(CONFIGS)",) $(if $(RESUME),--resume,)
|
||
|
||
# самопроверка серий (~5 мин): 1 × 1 и 2 × 1, короткие окна
|
||
.PHONY: bench-scaling-quick
|
||
bench-scaling-quick:
|
||
$(BENCH) scaling --series quick
|
||
|
||
# сравнение двух меток серий (по общим конфигурациям); AA — метка того же
|
||
# кода, что BEFORE: уровень шума
|
||
.PHONY: bench-compare
|
||
bench-compare:
|
||
@test -n "$(BEFORE)" -a -n "$(AFTER)" || \
|
||
(echo "usage: make bench-compare BEFORE=<label> AFTER=<label> [AA=<label>]"; exit 2)
|
||
uv run python bench/compare.py --before "$(BEFORE)" --after "$(AFTER)" \
|
||
$(if $(AA),--aa "$(AA)",)
|
||
|
||
# графики SVG и сводка серий трека 1: evidence/plots/<PLOTS>/
|
||
.PHONY: bench-plots
|
||
bench-plots:
|
||
@test -n "$(LABELS)" || (echo "usage: make bench-plots LABELS=\"scaling-a scaling-b\" [PLOTS=scaling]"; exit 2)
|
||
uv run python bench/plots.py --out "$(PLOTS)" $(LABELS)
|