Измерения (raw-файлы, сводки, отчёт):
- контрольный A/B на бюджете по умолчанию (`abdiag`, 3+3 повтора): A упирается в
250 req/s и отдаёт 503 `unavailable` (4/894/2813 на 300/350/400), B держит
398.7 req/s без единого 5xx;
- блок «почему» на одном темпе (900 и 1500 req/s, 2 повтора x 5 конфигураций):
перераспределение того же бюджета не меняет потолок (820–854 req/s), разделение
бюджета между репликами поднимает время горячего оператора с 1.56 до 17.3–17.9 ms,
ожидания `LWLock:WALWrite`/`Lock:transactionid` общие для всех реплик;
- колено текущей сборки (900–2200 req/s, N=1 и N=4): ≈1200 req/s против ≈700 у
серии A, за коленом одна реплика с полным бюджетом не хуже четырёх;
- пара прогонов HAProxy 0.25 против 1.0 CPU на 1500 req/s: результат одинаков,
при квоте 1.0 балансировщик использует те же 25 % ядра.
Харнесс `scripts/lab3/lab3.py`:
- `--loadgen-memory` для подкоманды `run` (прогон колена падал на разборе аргументов);
- суффикс вывода A/B для контрольной серии (`summary-ab-abdiag.md`, `ab-verdict-abdiag.json`);
- исправлено затенение `header()` локальной переменной в `cmd_check`, из-за которого
падала проверка `check spread`;
- сэмплер: классы ответов LB (`hrsp_*`), ожидания сессий PostgreSQL (`wait_event`),
операторы `idempotency_keys` в дельтах `pg_stat_statements`.
Доказательства и документы: пересняты `evidence/level3/{smoke,persistence}` и
`evidence/level4/{dependency-faults,spread,idempotency-concurrency}`, обновлены
сводки и графики `evidence/track1/*`, `evidence/README.md` (метки и состав сводок),
`REPORT.md` (разбор отказов стороны A, бюджет серии, оговорки о валидности данных,
точные команды воспроизведения, «почему» закрыто измерением).
102 lines
3.4 KiB
Makefile
102 lines
3.4 KiB
Makefile
PYTHON ?= python3
|
|
BASE_URL ?= http://localhost:8080
|
|
CA_FILE ?=
|
|
ACTION_SCRIPT ?=
|
|
TLS_ARGS = $(if $(CA_FILE),--ca-file "$(CA_FILE)",)
|
|
COMPOSE_ENV_FILE ?= .env
|
|
COMPOSE = docker compose --env-file $(COMPOSE_ENV_FILE)
|
|
LAB3 = $(PYTHON) scripts/lab3/lab3.py
|
|
FAILOVER_RUNS ?= 3
|
|
RATE ?= 200
|
|
TRACK1_ARGS ?=
|
|
|
|
.PHONY: help check validate test load test-persistence test-failover test-dependencies lab3-before-image \
|
|
stand-up stand-down stand-status stand-replica wait-ready quiesce-up quiesce-down \
|
|
test-e2e test-failover-all rolling-update track1 evidence
|
|
|
|
help:
|
|
@echo "check: offline structure; validate: full OpenAPI (requirements-dev.txt); test: running API; load: synthetic writes; test-dependencies: stops/restarts Redis and PostgreSQL"
|
|
@echo "stand-up/stand-down/stand-status: HAProxy + API x API_REPLICAS over shared PostgreSQL and Redis"
|
|
@echo "stand-replica: restore one missing API replica; wait-ready: wait for /health/ready"
|
|
@echo "quiesce-up/quiesce-down: stop and restore unrelated background containers of the host"
|
|
@echo "test-e2e: app black-box suite against the stand; test-failover-all: failover for every replica in turn"
|
|
@echo "rolling-update: replace replicas one by one under load; track1: full scaling-price series; evidence: rebuild aggregates and graphs"
|
|
|
|
check:
|
|
$(PYTHON) scripts/check_contract.py
|
|
|
|
validate:
|
|
$(PYTHON) scripts/validate_openapi.py
|
|
|
|
test:
|
|
$(PYTHON) tests/smoke.py --base-url "$(BASE_URL)" $(TLS_ARGS)
|
|
|
|
load:
|
|
$(PYTHON) tests/load.py --base-url "$(BASE_URL)" $(TLS_ARGS)
|
|
|
|
test-persistence:
|
|
@test -n "$(ACTION_SCRIPT)" || (echo "Set ACTION_SCRIPT to your implemented executable restart hook"; exit 2)
|
|
$(PYTHON) tests/resilience.py --mode persistence --action-script "$(ACTION_SCRIPT)" --base-url "$(BASE_URL)" $(TLS_ARGS)
|
|
|
|
test-failover:
|
|
@test -n "$(ACTION_SCRIPT)" || (echo "Set ACTION_SCRIPT to your implemented executable stop-one hook"; exit 2)
|
|
$(PYTHON) tests/resilience.py --mode failover --action-script "$(ACTION_SCRIPT)" --base-url "$(BASE_URL)" $(TLS_ARGS)
|
|
|
|
test-dependencies:
|
|
cd app && E2E_COMPOSE_DIR="$(CURDIR)" E2E_COMPOSE_ENV_FILE="$(COMPOSE_ENV_FILE)" npm run test:dependencies
|
|
|
|
stand-up:
|
|
$(COMPOSE) up -d --build --wait
|
|
|
|
stand-down:
|
|
$(COMPOSE) down
|
|
|
|
stand-status:
|
|
$(COMPOSE) ps
|
|
|
|
stand-replica:
|
|
scripts/start-replica.sh
|
|
|
|
wait-ready:
|
|
@for attempt in $$(seq 1 60); do \
|
|
if curl -fsS "$(BASE_URL)/health/ready" >/dev/null 2>&1; then \
|
|
echo "stand is ready ($(BASE_URL))"; exit 0; \
|
|
fi; \
|
|
sleep 1; \
|
|
done; \
|
|
echo "stand did not become ready within 60s" >&2; exit 1
|
|
|
|
quiesce-up:
|
|
scripts/quiesce.sh up
|
|
|
|
quiesce-down:
|
|
scripts/quiesce.sh down
|
|
|
|
test-e2e:
|
|
scripts/app-e2e.sh
|
|
|
|
test-failover-all:
|
|
@for run in $$(seq 1 $(FAILOVER_RUNS)); do \
|
|
echo "=== failover run $$run of $(FAILOVER_RUNS)"; \
|
|
$(MAKE) test-failover ACTION_SCRIPT=scripts/stop-one.sh || exit 1; \
|
|
scripts/start-replica.sh; \
|
|
$(MAKE) wait-ready; \
|
|
done
|
|
|
|
rolling-update:
|
|
$(LAB3) rolling-update --under-load --rate $(RATE)
|
|
|
|
track1:
|
|
$(LAB3) track1 $(TRACK1_ARGS)
|
|
|
|
# Образ «до» для A/B: дерево коммита C1 (путь записи из 8 обращений) с тем же
|
|
# Dockerfile. После сборки: $(LAB3) ab --before mtusi-messenger:lab3-before --after <образ C2>
|
|
C1_COMMIT ?= e9cd28d
|
|
lab3-before-image:
|
|
rm -rf /tmp/lab3-before && mkdir -p /tmp/lab3-before
|
|
git archive $(C1_COMMIT) | tar -x -C /tmp/lab3-before
|
|
docker build --build-arg BUILD_ID=before -t mtusi-messenger:lab3-before /tmp/lab3-before
|
|
|
|
evidence:
|
|
$(LAB3) analyze
|