Реализовать lab3: HAProxy, API×N, идемпотентность и трек 1.

Горизонтальное масштабирование за LB с общими сессиями Redis, X-Instance-Id,
обязательным Idempotency-Key в PostgreSQL, сценариями failover/persistence и
измерением цены масштабирования при фиксированном CPU/RAM бюджете.
This commit is contained in:
Mlvn
2026-11-06 21:07:00 +03:00
parent 0ab3a341aa
commit b1972bcfd8
56 changed files with 3893 additions and 28 deletions
+7
View File
@@ -0,0 +1,7 @@
#!/bin/sh
# Перезапуск API (всех реплик), LB и обоих хранилищ без удаления volumes.
# Важно: именно restart, а не up -d — иначе PID/StartedAt у живых контейнеров не меняются.
set -eu
ROOT=$(CDPATH= cd -- "$(dirname "$0")/.." && pwd)
cd "$ROOT"
docker compose --env-file .env restart postgres redis api lb
+42
View File
@@ -0,0 +1,42 @@
#!/bin/sh
# Поднимает недостающие / остановленные API-реплики до API_REPLICAS после stop-one.
# Не трогает volumes и не делает down -v. Миграции уже применены — не пересоздаём migrate.
set -eu
ROOT=$(CDPATH= cd -- "$(dirname "$0")/.." && pwd)
cd "$ROOT"
API_REPLICAS=$(grep -E '^API_REPLICAS=' .env 2>/dev/null | cut -d= -f2- || true)
API_REPLICAS=${API_REPLICAS:-2}
# Стартуем остановленные контейнеры сервиса api и добираем scale при нехватке.
docker compose --env-file .env start api 2>/dev/null || true
docker compose --env-file .env up -d --no-deps --scale "api=${API_REPLICAS}" api
deadline=$(( $(date +%s) + 90 ))
while :; do
if curl -fsS "http://127.0.0.1:8080/health/ready" >/dev/null 2>&1; then
# Ждём, пока LB реально видит ≥2 instance id (не только один backend).
ids=$(
python3 - <<'PY'
import urllib.request
ids=set()
for _ in range(24):
try:
with urllib.request.urlopen('http://127.0.0.1:8080/health/live', timeout=1) as r:
i=r.headers.get('X-Instance-Id')
if i: ids.add(i)
except Exception:
pass
print(len(ids))
PY
)
if [ "$ids" -ge 2 ] || [ "$API_REPLICAS" -lt 2 ]; then
exit 0
fi
fi
if [ "$(date +%s)" -ge "$deadline" ]; then
echo "restore timeout (replicas visible via LB: ${ids:-0})" >&2
docker compose --env-file .env ps >&2 || true
exit 1
fi
sleep 1
done
+81
View File
@@ -0,0 +1,81 @@
#!/bin/sh
# Трек 1 lab3: цена масштабирования при фиксированном суммарном CPU/RAM.
#
# Гипотеза: при фиксированном бюджете (2.0 CPU / 1024 MiB на все API) рост числа
# реплик 1→2 помогает за счёт параллелизма, а 2→4 упирается в PostgreSQL/пул/
# HAProxy и перестаёт давать прирост successful RPS.
#
# Методика: для N=1,2,4 выставляем API_CPUS=2.0/N и API_MEMORY=$((1024/N))M,
# поднимаем стенд, ждём стабильный ready, гоняем tests/load.py 30с concurrency=8.
# Затем серия с ростом ресурсов (N=2 при 0.5→1.0→1.5 CPU на реплику).
set -eu
ROOT=$(CDPATH= cd -- "$(dirname "$0")/.." && pwd)
cd "$ROOT"
OUT=evidence/track1
mkdir -p "$OUT"
python3 -m pip install -q -r requirements-dev.txt >/dev/null 2>&1 || true
run_one() {
n="$1"
cpus="$2"
mem="$3"
label="$4"
echo "=== track1 $label replicas=$n cpus_each=$cpus mem_each=$mem ==="
cp .env.example .env
tmp=$(mktemp)
sed -e "s/^API_REPLICAS=.*/API_REPLICAS=$n/" \
-e "s/^API_CPUS=.*/API_CPUS=$cpus/" \
-e "s/^API_MEMORY=.*/API_MEMORY=$mem/" \
-e "s/^DB_MAX_CONNS=.*/DB_MAX_CONNS=5/" \
.env > "$tmp"
mv "$tmp" .env
# Только compose down текущего проекта. НЕ docker rm -f по имени — это убивает
# параллельные прогоны и сам же стенд во время warmup.
docker compose --env-file .env down --remove-orphans >/dev/null 2>&1 || true
bash scripts/up.sh
# Стабильный ready: несколько успешных проб подряд.
ok=0
tries=0
while [ "$ok" -lt 10 ]; do
tries=$((tries+1))
if [ "$tries" -gt 120 ]; then
echo "warmup timeout for $label" >&2
docker compose --env-file .env ps >&2 || true
docker compose --env-file .env logs --tail 40 >&2 || true
exit 1
fi
if curl -fsS "http://127.0.0.1:8080/health/ready" >/dev/null 2>&1; then
ok=$((ok+1))
else
ok=0
fi
sleep 0.5
done
out="$OUT/${label}.json"
python3 tests/load.py --base-url http://127.0.0.1:8080 --duration 30 --concurrency 8 --output "$out"
docker stats --no-stream --format '{{.Name}} {{.CPUPerc}} {{.MemUsage}}' > "$OUT/${label}.stats.txt" || true
docker compose --env-file .env ps > "$OUT/${label}.ps.txt" || true
echo "saved $out"
}
# Фиксированный суммарный бюджет 2.0 CPU / 1024 MiB.
run_one 1 2.00 1024M fixed_budget_n1
run_one 2 1.00 512M fixed_budget_n2
run_one 4 0.50 256M fixed_budget_n4
# Рост ресурсов при N=2.
run_one 2 0.50 256M grow_n2_small
run_one 2 1.00 512M grow_n2_medium
run_one 2 1.50 768M grow_n2_large
python3 scripts/summarize_track1.py
# Вернуть учебный стенд по умолчанию.
cp .env.example .env
bash scripts/up.sh >/dev/null
echo "track1 done → $OUT; stand restored to API_REPLICAS=2"
+44
View File
@@ -0,0 +1,44 @@
#!/bin/sh
# Останавливает РОВНО одну API-реплику, чей X-Instance-Id = TARGET_INSTANCE_ID.
# Реплика остаётся остановленной; восстановление — scripts/restore-one.sh или compose up.
# Не трогает postgres/redis/lb/volumes. Должен завершиться за <10 с.
set -eu
: "${TARGET_INSTANCE_ID:?test provides target API instance alias}"
ROOT=$(CDPATH= cd -- "$(dirname "$0")/.." && pwd)
cd "$ROOT"
ids=$(docker compose --env-file .env ps -q api)
if [ -z "$ids" ]; then
echo "no api containers" >&2
exit 1
fi
found=0
for id in $ids; do
# Совпадает с config.InstanceID: hostname контейнера, если INSTANCE_ID не задан.
hostname=$(docker inspect -f '{{.Config.Hostname}}' "$id")
env_id=$(docker inspect -f '{{range .Config.Env}}{{println .}}{{end}}' "$id" | sed -n 's/^INSTANCE_ID=//p' | head -n1)
match=$hostname
if [ -n "$env_id" ]; then
match=$env_id
fi
if [ "$match" = "$TARGET_INSTANCE_ID" ]; then
# Явный stop контейнера; restart: "no" у api гарантирует, что он не вернётся сам.
docker stop -t 8 "$id" >/dev/null
# Подтверждаем, что контейнер действительно не running — иначе failover-тест врёт.
state=$(docker inspect -f '{{.State.Running}}' "$id")
if [ "$state" = "true" ]; then
echo "container still running after stop" >&2
exit 1
fi
found=1
break
fi
done
if [ "$found" -ne 1 ]; then
echo "TARGET_INSTANCE_ID not found among api replicas" >&2
exit 1
fi
exit 0
+66
View File
@@ -0,0 +1,66 @@
#!/usr/bin/env python3
"""Сводка JSON-прогонов трека 1 в evidence/track1/summary.md и summary.json."""
from __future__ import annotations
import json
from pathlib import Path
ROOT = Path(__file__).resolve().parents[1]
OUT = ROOT / "evidence" / "track1"
ORDER = [
"fixed_budget_n1",
"fixed_budget_n2",
"fixed_budget_n4",
"grow_n2_small",
"grow_n2_medium",
"grow_n2_large",
]
def main() -> None:
rows = []
for name in ORDER:
path = OUT / f"{name}.json"
if not path.exists():
continue
data = json.loads(path.read_text())
rows.append(
{
"label": name,
"successful_rps": data.get("successful_rps"),
"error_ratio": data.get("error_ratio"),
"p50_ms": (data.get("successful_latency_ms") or {}).get("p50"),
"p95_ms": (data.get("successful_latency_ms") or {}).get("p95"),
"p99_ms": (data.get("successful_latency_ms") or {}).get("p99"),
"successful_requests": data.get("successful_requests"),
"failed_requests": data.get("failed_requests"),
"concurrency": data.get("concurrency"),
"elapsed_seconds": data.get("elapsed_seconds"),
}
)
summary = {"runs": rows}
OUT.mkdir(parents=True, exist_ok=True)
(OUT / "summary.json").write_text(json.dumps(summary, ensure_ascii=False, indent=2) + "\n")
lines = [
"# Track 1 summary",
"",
"Closed-loop `tests/load.py` (duration=30, concurrency=8). RPS — только успешные HTTP 201.",
"",
"| label | RPS | err_ratio | p50 ms | p95 ms | p99 ms | ok | fail |",
"| --- | ---: | ---: | ---: | ---: | ---: | ---: | ---: |",
]
for r in rows:
lines.append(
"| {label} | {successful_rps} | {error_ratio} | {p50_ms} | {p95_ms} | {p99_ms} | {successful_requests} | {failed_requests} |".format(
**r
)
)
lines.append("")
(OUT / "summary.md").write_text("\n".join(lines) + "\n")
print((OUT / "summary.md").read_text())
if __name__ == "__main__":
main()
Executable
+37
View File
@@ -0,0 +1,37 @@
#!/bin/sh
# Единая последовательность запуска стенда lab3.
# 1) postgres+redis 2) однократные миграции 3) API×N 4) HAProxy
set -eu
ROOT=$(CDPATH= cd -- "$(dirname "$0")/.." && pwd)
cd "$ROOT"
if [ ! -f .env ]; then
cp .env.example .env
echo "created .env from .env.example" >&2
fi
API_REPLICAS=$(grep -E '^API_REPLICAS=' .env | cut -d= -f2- || true)
API_REPLICAS=${API_REPLICAS:-2}
docker compose --env-file .env config --quiet
docker compose --env-file .env up -d --build postgres redis
docker compose --env-file .env run --rm --build migrate
docker compose --env-file .env up -d --build --scale "api=${API_REPLICAS}" --no-deps api
docker compose --env-file .env up -d --no-deps lb
echo "waiting for http://127.0.0.1:8080/health/ready via LB..."
deadline=$(( $(date +%s) + 120 ))
while :; do
if curl -fsS "http://127.0.0.1:8080/health/ready" >/dev/null 2>&1; then
echo "ready"
docker compose --env-file .env ps
exit 0
fi
if [ "$(date +%s)" -ge "$deadline" ]; then
echo "timeout waiting for readiness" >&2
docker compose --env-file .env ps >&2 || true
docker compose --env-file .env logs --tail=80 api lb >&2 || true
exit 1
fi
sleep 1
done