Files
mtusi2026lab3/Makefile
T
ilya.tyunin b7cf7b2d3f Дополнить доказательства трека 1 по замечаниям ревью
Измерения (raw-файлы, сводки, отчёт):
- контрольный A/B на бюджете по умолчанию (`abdiag`, 3+3 повтора): A упирается в
  250 req/s и отдаёт 503 `unavailable` (4/894/2813 на 300/350/400), B держит
  398.7 req/s без единого 5xx;
- блок «почему» на одном темпе (900 и 1500 req/s, 2 повтора x 5 конфигураций):
  перераспределение того же бюджета не меняет потолок (820–854 req/s), разделение
  бюджета между репликами поднимает время горячего оператора с 1.56 до 17.3–17.9 ms,
  ожидания `LWLock:WALWrite`/`Lock:transactionid` общие для всех реплик;
- колено текущей сборки (900–2200 req/s, N=1 и N=4): ≈1200 req/s против ≈700 у
  серии A, за коленом одна реплика с полным бюджетом не хуже четырёх;
- пара прогонов HAProxy 0.25 против 1.0 CPU на 1500 req/s: результат одинаков,
  при квоте 1.0 балансировщик использует те же 25 % ядра.

Харнесс `scripts/lab3/lab3.py`:
- `--loadgen-memory` для подкоманды `run` (прогон колена падал на разборе аргументов);
- суффикс вывода A/B для контрольной серии (`summary-ab-abdiag.md`, `ab-verdict-abdiag.json`);
- исправлено затенение `header()` локальной переменной в `cmd_check`, из-за которого
  падала проверка `check spread`;
- сэмплер: классы ответов LB (`hrsp_*`), ожидания сессий PostgreSQL (`wait_event`),
  операторы `idempotency_keys` в дельтах `pg_stat_statements`.

Доказательства и документы: пересняты `evidence/level3/{smoke,persistence}` и
`evidence/level4/{dependency-faults,spread,idempotency-concurrency}`, обновлены
сводки и графики `evidence/track1/*`, `evidence/README.md` (метки и состав сводок),
`REPORT.md` (разбор отказов стороны A, бюджет серии, оговорки о валидности данных,
точные команды воспроизведения, «почему» закрыто измерением).
2026-10-16 03:01:14 +03:00

102 lines
3.4 KiB
Makefile

PYTHON ?= python3
BASE_URL ?= http://localhost:8080
CA_FILE ?=
ACTION_SCRIPT ?=
TLS_ARGS = $(if $(CA_FILE),--ca-file "$(CA_FILE)",)
COMPOSE_ENV_FILE ?= .env
COMPOSE = docker compose --env-file $(COMPOSE_ENV_FILE)
LAB3 = $(PYTHON) scripts/lab3/lab3.py
FAILOVER_RUNS ?= 3
RATE ?= 200
TRACK1_ARGS ?=
.PHONY: help check validate test load test-persistence test-failover test-dependencies lab3-before-image \
stand-up stand-down stand-status stand-replica wait-ready quiesce-up quiesce-down \
test-e2e test-failover-all rolling-update track1 evidence
help:
@echo "check: offline structure; validate: full OpenAPI (requirements-dev.txt); test: running API; load: synthetic writes; test-dependencies: stops/restarts Redis and PostgreSQL"
@echo "stand-up/stand-down/stand-status: HAProxy + API x API_REPLICAS over shared PostgreSQL and Redis"
@echo "stand-replica: restore one missing API replica; wait-ready: wait for /health/ready"
@echo "quiesce-up/quiesce-down: stop and restore unrelated background containers of the host"
@echo "test-e2e: app black-box suite against the stand; test-failover-all: failover for every replica in turn"
@echo "rolling-update: replace replicas one by one under load; track1: full scaling-price series; evidence: rebuild aggregates and graphs"
check:
$(PYTHON) scripts/check_contract.py
validate:
$(PYTHON) scripts/validate_openapi.py
test:
$(PYTHON) tests/smoke.py --base-url "$(BASE_URL)" $(TLS_ARGS)
load:
$(PYTHON) tests/load.py --base-url "$(BASE_URL)" $(TLS_ARGS)
test-persistence:
@test -n "$(ACTION_SCRIPT)" || (echo "Set ACTION_SCRIPT to your implemented executable restart hook"; exit 2)
$(PYTHON) tests/resilience.py --mode persistence --action-script "$(ACTION_SCRIPT)" --base-url "$(BASE_URL)" $(TLS_ARGS)
test-failover:
@test -n "$(ACTION_SCRIPT)" || (echo "Set ACTION_SCRIPT to your implemented executable stop-one hook"; exit 2)
$(PYTHON) tests/resilience.py --mode failover --action-script "$(ACTION_SCRIPT)" --base-url "$(BASE_URL)" $(TLS_ARGS)
test-dependencies:
cd app && E2E_COMPOSE_DIR="$(CURDIR)" E2E_COMPOSE_ENV_FILE="$(COMPOSE_ENV_FILE)" npm run test:dependencies
stand-up:
$(COMPOSE) up -d --build --wait
stand-down:
$(COMPOSE) down
stand-status:
$(COMPOSE) ps
stand-replica:
scripts/start-replica.sh
wait-ready:
@for attempt in $$(seq 1 60); do \
if curl -fsS "$(BASE_URL)/health/ready" >/dev/null 2>&1; then \
echo "stand is ready ($(BASE_URL))"; exit 0; \
fi; \
sleep 1; \
done; \
echo "stand did not become ready within 60s" >&2; exit 1
quiesce-up:
scripts/quiesce.sh up
quiesce-down:
scripts/quiesce.sh down
test-e2e:
scripts/app-e2e.sh
test-failover-all:
@for run in $$(seq 1 $(FAILOVER_RUNS)); do \
echo "=== failover run $$run of $(FAILOVER_RUNS)"; \
$(MAKE) test-failover ACTION_SCRIPT=scripts/stop-one.sh || exit 1; \
scripts/start-replica.sh; \
$(MAKE) wait-ready; \
done
rolling-update:
$(LAB3) rolling-update --under-load --rate $(RATE)
track1:
$(LAB3) track1 $(TRACK1_ARGS)
# Образ «до» для A/B: дерево коммита C1 (путь записи из 8 обращений) с тем же
# Dockerfile. После сборки: $(LAB3) ab --before mtusi-messenger:lab3-before --after <образ C2>
C1_COMMIT ?= e9cd28d
lab3-before-image:
rm -rf /tmp/lab3-before && mkdir -p /tmp/lab3-before
git archive $(C1_COMMIT) | tar -x -C /tmp/lab3-before
docker build --build-arg BUILD_ID=before -t mtusi-messenger:lab3-before /tmp/lab3-before
evidence:
$(LAB3) analyze