Реализовать lab3: HAProxy, API×N, идемпотентность и трек 1.
Горизонтальное масштабирование за LB с общими сессиями Redis, X-Instance-Id, обязательным Idempotency-Key в PostgreSQL, сценариями failover/persistence и измерением цены масштабирования при фиксированном CPU/RAM бюджете.
This commit is contained in:
Executable
+7
@@ -0,0 +1,7 @@
|
||||
#!/bin/sh
|
||||
# Перезапуск API (всех реплик), LB и обоих хранилищ без удаления volumes.
|
||||
# Важно: именно restart, а не up -d — иначе PID/StartedAt у живых контейнеров не меняются.
|
||||
set -eu
|
||||
ROOT=$(CDPATH= cd -- "$(dirname "$0")/.." && pwd)
|
||||
cd "$ROOT"
|
||||
docker compose --env-file .env restart postgres redis api lb
|
||||
Executable
+42
@@ -0,0 +1,42 @@
|
||||
#!/bin/sh
|
||||
# Поднимает недостающие / остановленные API-реплики до API_REPLICAS после stop-one.
|
||||
# Не трогает volumes и не делает down -v. Миграции уже применены — не пересоздаём migrate.
|
||||
set -eu
|
||||
ROOT=$(CDPATH= cd -- "$(dirname "$0")/.." && pwd)
|
||||
cd "$ROOT"
|
||||
API_REPLICAS=$(grep -E '^API_REPLICAS=' .env 2>/dev/null | cut -d= -f2- || true)
|
||||
API_REPLICAS=${API_REPLICAS:-2}
|
||||
|
||||
# Стартуем остановленные контейнеры сервиса api и добираем scale при нехватке.
|
||||
docker compose --env-file .env start api 2>/dev/null || true
|
||||
docker compose --env-file .env up -d --no-deps --scale "api=${API_REPLICAS}" api
|
||||
|
||||
deadline=$(( $(date +%s) + 90 ))
|
||||
while :; do
|
||||
if curl -fsS "http://127.0.0.1:8080/health/ready" >/dev/null 2>&1; then
|
||||
# Ждём, пока LB реально видит ≥2 instance id (не только один backend).
|
||||
ids=$(
|
||||
python3 - <<'PY'
|
||||
import urllib.request
|
||||
ids=set()
|
||||
for _ in range(24):
|
||||
try:
|
||||
with urllib.request.urlopen('http://127.0.0.1:8080/health/live', timeout=1) as r:
|
||||
i=r.headers.get('X-Instance-Id')
|
||||
if i: ids.add(i)
|
||||
except Exception:
|
||||
pass
|
||||
print(len(ids))
|
||||
PY
|
||||
)
|
||||
if [ "$ids" -ge 2 ] || [ "$API_REPLICAS" -lt 2 ]; then
|
||||
exit 0
|
||||
fi
|
||||
fi
|
||||
if [ "$(date +%s)" -ge "$deadline" ]; then
|
||||
echo "restore timeout (replicas visible via LB: ${ids:-0})" >&2
|
||||
docker compose --env-file .env ps >&2 || true
|
||||
exit 1
|
||||
fi
|
||||
sleep 1
|
||||
done
|
||||
Executable
+81
@@ -0,0 +1,81 @@
|
||||
#!/bin/sh
|
||||
# Трек 1 lab3: цена масштабирования при фиксированном суммарном CPU/RAM.
|
||||
#
|
||||
# Гипотеза: при фиксированном бюджете (2.0 CPU / 1024 MiB на все API) рост числа
|
||||
# реплик 1→2 помогает за счёт параллелизма, а 2→4 упирается в PostgreSQL/пул/
|
||||
# HAProxy и перестаёт давать прирост successful RPS.
|
||||
#
|
||||
# Методика: для N=1,2,4 выставляем API_CPUS=2.0/N и API_MEMORY=$((1024/N))M,
|
||||
# поднимаем стенд, ждём стабильный ready, гоняем tests/load.py 30с concurrency=8.
|
||||
# Затем серия с ростом ресурсов (N=2 при 0.5→1.0→1.5 CPU на реплику).
|
||||
set -eu
|
||||
ROOT=$(CDPATH= cd -- "$(dirname "$0")/.." && pwd)
|
||||
cd "$ROOT"
|
||||
|
||||
OUT=evidence/track1
|
||||
mkdir -p "$OUT"
|
||||
python3 -m pip install -q -r requirements-dev.txt >/dev/null 2>&1 || true
|
||||
|
||||
run_one() {
|
||||
n="$1"
|
||||
cpus="$2"
|
||||
mem="$3"
|
||||
label="$4"
|
||||
echo "=== track1 $label replicas=$n cpus_each=$cpus mem_each=$mem ==="
|
||||
|
||||
cp .env.example .env
|
||||
tmp=$(mktemp)
|
||||
sed -e "s/^API_REPLICAS=.*/API_REPLICAS=$n/" \
|
||||
-e "s/^API_CPUS=.*/API_CPUS=$cpus/" \
|
||||
-e "s/^API_MEMORY=.*/API_MEMORY=$mem/" \
|
||||
-e "s/^DB_MAX_CONNS=.*/DB_MAX_CONNS=5/" \
|
||||
.env > "$tmp"
|
||||
mv "$tmp" .env
|
||||
|
||||
# Только compose down текущего проекта. НЕ docker rm -f по имени — это убивает
|
||||
# параллельные прогоны и сам же стенд во время warmup.
|
||||
docker compose --env-file .env down --remove-orphans >/dev/null 2>&1 || true
|
||||
bash scripts/up.sh
|
||||
|
||||
# Стабильный ready: несколько успешных проб подряд.
|
||||
ok=0
|
||||
tries=0
|
||||
while [ "$ok" -lt 10 ]; do
|
||||
tries=$((tries+1))
|
||||
if [ "$tries" -gt 120 ]; then
|
||||
echo "warmup timeout for $label" >&2
|
||||
docker compose --env-file .env ps >&2 || true
|
||||
docker compose --env-file .env logs --tail 40 >&2 || true
|
||||
exit 1
|
||||
fi
|
||||
if curl -fsS "http://127.0.0.1:8080/health/ready" >/dev/null 2>&1; then
|
||||
ok=$((ok+1))
|
||||
else
|
||||
ok=0
|
||||
fi
|
||||
sleep 0.5
|
||||
done
|
||||
|
||||
out="$OUT/${label}.json"
|
||||
python3 tests/load.py --base-url http://127.0.0.1:8080 --duration 30 --concurrency 8 --output "$out"
|
||||
docker stats --no-stream --format '{{.Name}} {{.CPUPerc}} {{.MemUsage}}' > "$OUT/${label}.stats.txt" || true
|
||||
docker compose --env-file .env ps > "$OUT/${label}.ps.txt" || true
|
||||
echo "saved $out"
|
||||
}
|
||||
|
||||
# Фиксированный суммарный бюджет 2.0 CPU / 1024 MiB.
|
||||
run_one 1 2.00 1024M fixed_budget_n1
|
||||
run_one 2 1.00 512M fixed_budget_n2
|
||||
run_one 4 0.50 256M fixed_budget_n4
|
||||
|
||||
# Рост ресурсов при N=2.
|
||||
run_one 2 0.50 256M grow_n2_small
|
||||
run_one 2 1.00 512M grow_n2_medium
|
||||
run_one 2 1.50 768M grow_n2_large
|
||||
|
||||
python3 scripts/summarize_track1.py
|
||||
|
||||
# Вернуть учебный стенд по умолчанию.
|
||||
cp .env.example .env
|
||||
bash scripts/up.sh >/dev/null
|
||||
echo "track1 done → $OUT; stand restored to API_REPLICAS=2"
|
||||
Executable
+44
@@ -0,0 +1,44 @@
|
||||
#!/bin/sh
|
||||
# Останавливает РОВНО одну API-реплику, чей X-Instance-Id = TARGET_INSTANCE_ID.
|
||||
# Реплика остаётся остановленной; восстановление — scripts/restore-one.sh или compose up.
|
||||
# Не трогает postgres/redis/lb/volumes. Должен завершиться за <10 с.
|
||||
set -eu
|
||||
: "${TARGET_INSTANCE_ID:?test provides target API instance alias}"
|
||||
|
||||
ROOT=$(CDPATH= cd -- "$(dirname "$0")/.." && pwd)
|
||||
cd "$ROOT"
|
||||
|
||||
ids=$(docker compose --env-file .env ps -q api)
|
||||
if [ -z "$ids" ]; then
|
||||
echo "no api containers" >&2
|
||||
exit 1
|
||||
fi
|
||||
|
||||
found=0
|
||||
for id in $ids; do
|
||||
# Совпадает с config.InstanceID: hostname контейнера, если INSTANCE_ID не задан.
|
||||
hostname=$(docker inspect -f '{{.Config.Hostname}}' "$id")
|
||||
env_id=$(docker inspect -f '{{range .Config.Env}}{{println .}}{{end}}' "$id" | sed -n 's/^INSTANCE_ID=//p' | head -n1)
|
||||
match=$hostname
|
||||
if [ -n "$env_id" ]; then
|
||||
match=$env_id
|
||||
fi
|
||||
if [ "$match" = "$TARGET_INSTANCE_ID" ]; then
|
||||
# Явный stop контейнера; restart: "no" у api гарантирует, что он не вернётся сам.
|
||||
docker stop -t 8 "$id" >/dev/null
|
||||
# Подтверждаем, что контейнер действительно не running — иначе failover-тест врёт.
|
||||
state=$(docker inspect -f '{{.State.Running}}' "$id")
|
||||
if [ "$state" = "true" ]; then
|
||||
echo "container still running after stop" >&2
|
||||
exit 1
|
||||
fi
|
||||
found=1
|
||||
break
|
||||
fi
|
||||
done
|
||||
|
||||
if [ "$found" -ne 1 ]; then
|
||||
echo "TARGET_INSTANCE_ID not found among api replicas" >&2
|
||||
exit 1
|
||||
fi
|
||||
exit 0
|
||||
Executable
+66
@@ -0,0 +1,66 @@
|
||||
#!/usr/bin/env python3
|
||||
"""Сводка JSON-прогонов трека 1 в evidence/track1/summary.md и summary.json."""
|
||||
from __future__ import annotations
|
||||
|
||||
import json
|
||||
from pathlib import Path
|
||||
|
||||
ROOT = Path(__file__).resolve().parents[1]
|
||||
OUT = ROOT / "evidence" / "track1"
|
||||
|
||||
ORDER = [
|
||||
"fixed_budget_n1",
|
||||
"fixed_budget_n2",
|
||||
"fixed_budget_n4",
|
||||
"grow_n2_small",
|
||||
"grow_n2_medium",
|
||||
"grow_n2_large",
|
||||
]
|
||||
|
||||
|
||||
def main() -> None:
|
||||
rows = []
|
||||
for name in ORDER:
|
||||
path = OUT / f"{name}.json"
|
||||
if not path.exists():
|
||||
continue
|
||||
data = json.loads(path.read_text())
|
||||
rows.append(
|
||||
{
|
||||
"label": name,
|
||||
"successful_rps": data.get("successful_rps"),
|
||||
"error_ratio": data.get("error_ratio"),
|
||||
"p50_ms": (data.get("successful_latency_ms") or {}).get("p50"),
|
||||
"p95_ms": (data.get("successful_latency_ms") or {}).get("p95"),
|
||||
"p99_ms": (data.get("successful_latency_ms") or {}).get("p99"),
|
||||
"successful_requests": data.get("successful_requests"),
|
||||
"failed_requests": data.get("failed_requests"),
|
||||
"concurrency": data.get("concurrency"),
|
||||
"elapsed_seconds": data.get("elapsed_seconds"),
|
||||
}
|
||||
)
|
||||
summary = {"runs": rows}
|
||||
OUT.mkdir(parents=True, exist_ok=True)
|
||||
(OUT / "summary.json").write_text(json.dumps(summary, ensure_ascii=False, indent=2) + "\n")
|
||||
|
||||
lines = [
|
||||
"# Track 1 summary",
|
||||
"",
|
||||
"Closed-loop `tests/load.py` (duration=30, concurrency=8). RPS — только успешные HTTP 201.",
|
||||
"",
|
||||
"| label | RPS | err_ratio | p50 ms | p95 ms | p99 ms | ok | fail |",
|
||||
"| --- | ---: | ---: | ---: | ---: | ---: | ---: | ---: |",
|
||||
]
|
||||
for r in rows:
|
||||
lines.append(
|
||||
"| {label} | {successful_rps} | {error_ratio} | {p50_ms} | {p95_ms} | {p99_ms} | {successful_requests} | {failed_requests} |".format(
|
||||
**r
|
||||
)
|
||||
)
|
||||
lines.append("")
|
||||
(OUT / "summary.md").write_text("\n".join(lines) + "\n")
|
||||
print((OUT / "summary.md").read_text())
|
||||
|
||||
|
||||
if __name__ == "__main__":
|
||||
main()
|
||||
Executable
+37
@@ -0,0 +1,37 @@
|
||||
#!/bin/sh
|
||||
# Единая последовательность запуска стенда lab3.
|
||||
# 1) postgres+redis 2) однократные миграции 3) API×N 4) HAProxy
|
||||
set -eu
|
||||
ROOT=$(CDPATH= cd -- "$(dirname "$0")/.." && pwd)
|
||||
cd "$ROOT"
|
||||
|
||||
if [ ! -f .env ]; then
|
||||
cp .env.example .env
|
||||
echo "created .env from .env.example" >&2
|
||||
fi
|
||||
|
||||
API_REPLICAS=$(grep -E '^API_REPLICAS=' .env | cut -d= -f2- || true)
|
||||
API_REPLICAS=${API_REPLICAS:-2}
|
||||
|
||||
docker compose --env-file .env config --quiet
|
||||
docker compose --env-file .env up -d --build postgres redis
|
||||
docker compose --env-file .env run --rm --build migrate
|
||||
docker compose --env-file .env up -d --build --scale "api=${API_REPLICAS}" --no-deps api
|
||||
docker compose --env-file .env up -d --no-deps lb
|
||||
|
||||
echo "waiting for http://127.0.0.1:8080/health/ready via LB..."
|
||||
deadline=$(( $(date +%s) + 120 ))
|
||||
while :; do
|
||||
if curl -fsS "http://127.0.0.1:8080/health/ready" >/dev/null 2>&1; then
|
||||
echo "ready"
|
||||
docker compose --env-file .env ps
|
||||
exit 0
|
||||
fi
|
||||
if [ "$(date +%s)" -ge "$deadline" ]; then
|
||||
echo "timeout waiting for readiness" >&2
|
||||
docker compose --env-file .env ps >&2 || true
|
||||
docker compose --env-file .env logs --tail=80 api lb >&2 || true
|
||||
exit 1
|
||||
fi
|
||||
sleep 1
|
||||
done
|
||||
Reference in New Issue
Block a user