forked from mtusi2026/mtusi2026lab3
Исправила маршрутизацию на неготовую реплику
This commit is contained in:
@@ -32,6 +32,7 @@ ACTION_SCRIPT=./scripts/stop-one.sh make test-failover
|
||||
./scripts/start-api.sh
|
||||
python3 student-tests/verify_idempotency.py
|
||||
python3 student-tests/failover_experiment.py
|
||||
python3 student-tests/verify_unready_backend.py
|
||||
python3 student-tests/rolling_update_experiment.py
|
||||
python3 student-tests/verify_grade4.py
|
||||
python3 student-tests/verify_expiry.py
|
||||
@@ -67,7 +68,7 @@ flowchart LR
|
||||
|
||||
Обе API-реплики собраны из одного образа, не имеют локального бизнес-состояния и используют общие PostgreSQL и Redis. PostgreSQL хранит пользователей, чаты, сообщения и идемпотентность. Redis хранит общие Bearer-сессии как `SHA-256(token) → user UUID` с TTL и AOF. Поэтому запросы одной сессии обслуживаются обеими репликами без sticky sessions.
|
||||
|
||||
Nginx выполняет round-robin. Docker healthcheck API запускается каждые 3 секунды; запуск Nginx ждёт обе готовые реплики. Во время работы Nginx использует пассивное исключение backend: одна ошибка соединения исключает адрес на 2 секунды, connect timeout равен 500 ms, запрос повторяется на второй backend. Если отказавший backend выбран для запроса, недоступность соединения обнаруживается максимум за 500 ms; пока запросов нет, активного обнаружения отказа у Nginx нет. Ответ `503` живого API не заменяется ответом Nginx. Docker DNS перечитывается с периодом 2 секунды. `X-Instance-Id` равен стабильным alias `api-1` или `api-2`.
|
||||
Nginx выполняет round-robin между готовыми репликами. В его контейнере `health-aware.sh` опрашивает `/health/ready` каждой API-реплики по frontend-сети с паузой 1 секунду между циклами и при изменении набора готовых реплик обновляет upstream и перезагружает конфигурацию Nginx. Если обе реплики неготовы, он оставляет обе в upstream: API может вернуть обычные JSON-ответы `401` и `503` вместо ошибки Nginx «no live upstreams». Пока обновление upstream ещё не произошло, Nginx повторяет идемпотентный GET на второй реплике при `503`, сетевой ошибке или таймауте. Автоматический повтор POST после отправки запроса не включён; после обнаружения отказа POST идёт только на готовую реплику. Docker healthcheck API запускается каждые 3 секунды и используется для начального запуска и наблюдения. Connect timeout равен 500 ms, Docker DNS перечитывается с периодом 2 секунды. `X-Instance-Id` равен стабильным alias `api-1` или `api-2`.
|
||||
|
||||
API обрабатывает SIGTERM через `http.Server.Shutdown` с бюджетом 8 секунд; Compose даёт 10 секунд до принудительной остановки. Таймауты HTTP: header 5 s, read/write 10 s, idle 30 s. SQL получает `DB_TIMEOUT_MS=3000`; каждая реплика имеет пул максимум из 10 соединений.
|
||||
|
||||
@@ -99,9 +100,10 @@ PostgreSQL и Redis находятся только во внутренней ba
|
||||
| Две реплики через LB | шесть `GET /health/live` | `api-2`, `api-1` по очереди | `evidence/lab3-results.md` |
|
||||
| Persistence | `ACTION_SCRIPT=... make test-persistence` | прежний токен и сообщение доступны после restart всех процессов и хранилищ | `evidence/lab3-results.md` |
|
||||
| Отказ любой реплики | официальный failover и последовательный эксперимент | остановлены реальные `api1` и `api2`; подтверждённые сообщения сохранились | `evidence/lab3-results.md` |
|
||||
| Метрики двух отказов | `failover_experiment.py` | 643.321 и 681.546 successful RPS; 0 ошибок; 0.220/0.237 s до подтверждения survivor | `evidence/failover-grade4.json` |
|
||||
| Метрики двух отказов | `failover_experiment.py` | 642.783 и 569.984 successful RPS; 0 ошибок; 0.600/0.610 s до подтверждения survivor | `evidence/failover-grade4.json` |
|
||||
| Неготовая реплика с работающим HTTP | `verify_unready_backend.py` | после отключения backend-сети `api1` и состояния `unhealthy`: 40 GET и 10 POST через LB обслужила `api2` | `evidence/lab3-results.md` |
|
||||
| Общая идемпотентность | `verify_idempotency.py` | 12 параллельных запросов через обе реплики, один message ID; другой body — 409 | `evidence/idempotency.json` |
|
||||
| Rolling update | `rolling_update_experiment.py` | поочерёдно пересозданы обе реплики; 24 198 успехов, 0 ошибок | `evidence/rolling-update.json` |
|
||||
| Rolling update | `rolling_update_experiment.py` | поочерёдно пересозданы обе реплики; 25 388 успехов, 0 ошибок | `evidence/rolling-update.json` |
|
||||
| Отказ Redis/PostgreSQL | `verify_dependencies.py` | осмысленные 503, после возврата сервисов состояние восстановлено | `evidence/lab3-results.md` |
|
||||
| Индекс истории | `explain_history.sh` | `Index Scan using messages_chat_history_idx` на 10 000 сообщений | `evidence/explain-history.txt` |
|
||||
| Возможности lab2 | `verify_grade4.py`, `verify_expiry.py`, `go test ./...` | гонка username, rollback, logout, TTL и password KDF прошли | `evidence/lab3-results.md` |
|
||||
@@ -112,16 +114,16 @@ PostgreSQL и Redis находятся только во внутренней ba
|
||||
|
||||
| Воздействие | Успехи / ошибки | Наблюдаемое переключение | Потеря подтверждённых данных |
|
||||
| --- | ---: | ---: | --- |
|
||||
| Stop `api-1` | 5147 / 0 за 8.001 s | 0.220 s | нет |
|
||||
| Stop `api-2` | 5453 / 0 за 8.001 s | 0.237 s | нет |
|
||||
| Rolling replace `api-1`, затем `api-2` | 24198 / 0 за 15.391 s | обе реплики наблюдались | нет |
|
||||
| Stop `api-1` | 5143 / 0 за 8.001 s | 0.600 s | нет |
|
||||
| Stop `api-2` | 4560 / 0 за 8.000 s | 0.610 s | нет |
|
||||
| Rolling replace `api-1`, затем `api-2` | 25388 / 0 за 16.832 s | обе реплики наблюдались | нет |
|
||||
|
||||
Rolling update: 1572.196 successful RPS, p50 2.246 ms, p95 4.140 ms, p99 6.926 ms. Это локальное наблюдение, а не универсальная оценка производительности. Closed-loop профиль имеет coordinated omission и не моделирует фиксированный внешний arrival rate.
|
||||
Rolling update: 1508.329 successful RPS, p50 2.221 ms, p95 3.998 ms, p99 6.040 ms. Это локальное наблюдение, а не универсальная оценка производительности. Closed-loop профиль имеет coordinated omission и не моделирует фиксированный внешний arrival rate.
|
||||
|
||||
## Ограничения и следующие шаги
|
||||
|
||||
Стенд выдерживает остановку одного API-процесса. Все компоненты работают на одном Docker-host, поэтому потеря host останавливает систему. Nginx, PostgreSQL и Redis представлены по одному и остаются single points of failure. Остановка PostgreSQL или Redis корректно даёт 503, но бизнес-функции временно недоступны.
|
||||
|
||||
Nginx использует пассивные runtime-проверки backend; Docker healthcheck отвечает за запуск и наблюдаемость. Rolling update проверяет последовательную замену процессов одной совместимой версией на одном host. Автоматического rollback образа, репликации БД, отдельного backup/restore и multi-host orchestration в lab3 нет.
|
||||
Nginx исключает неготовую реплику по HTTP-проверке `/health/ready`; между отказом и очередной проверкой возможна краткая ошибка POST. Docker healthcheck отвечает за запуск и наблюдаемость. Rolling update проверяет последовательную замену процессов одной совместимой версией на одном host. Автоматического rollback образа, репликации БД, отдельного backup/restore и multi-host orchestration в lab3 нет.
|
||||
|
||||
Просроченная запись ключа удаляется при повторном использовании того же ключа. Для длительной эксплуатации нужна периодическая очистка остальных записей. Приведённые RPS и latency нельзя переносить на другой компьютер без повторения опыта с теми же ресурсами и набором данных.
|
||||
|
||||
@@ -128,8 +128,10 @@ services:
|
||||
|
||||
nginx:
|
||||
image: nginx:1.29.1-alpine3.22
|
||||
command: ["/bin/sh", "/health-aware.sh"]
|
||||
volumes:
|
||||
- ./infra/nginx.conf:/etc/nginx/nginx.conf:ro
|
||||
- ./infra/health-aware.sh:/health-aware.sh:ro
|
||||
networks:
|
||||
- frontend
|
||||
depends_on:
|
||||
|
||||
@@ -4,18 +4,18 @@
|
||||
{
|
||||
"stopped_instance": "api-1",
|
||||
"duration_seconds": 8.001,
|
||||
"successful_requests": 5147,
|
||||
"successful_requests": 5143,
|
||||
"failed_requests": 0,
|
||||
"successful_rps": 643.321,
|
||||
"first_survivor_success_seconds": 0.22
|
||||
"successful_rps": 642.783,
|
||||
"first_survivor_success_seconds": 0.6
|
||||
},
|
||||
{
|
||||
"stopped_instance": "api-2",
|
||||
"duration_seconds": 8.001,
|
||||
"successful_requests": 5453,
|
||||
"duration_seconds": 8.0,
|
||||
"successful_requests": 4560,
|
||||
"failed_requests": 0,
|
||||
"successful_rps": 681.546,
|
||||
"first_survivor_success_seconds": 0.237
|
||||
"successful_rps": 569.984,
|
||||
"first_survivor_success_seconds": 0.61
|
||||
}
|
||||
]
|
||||
}
|
||||
|
||||
@@ -27,7 +27,7 @@ $ ACTION_SCRIPT=./scripts/restart.sh make test-persistence
|
||||
PASS: persistence preserved confirmed data and existing session.
|
||||
```
|
||||
|
||||
Официальный failover после исправлений: две реплики наблюдались до отказа, 130 записей успешны, ошибок 0, first recovery 0.734 s. После этого `failover_experiment.py` последовательно остановил `api1` и `api2`, каждый раз восстанавливая предыдущую реплику. `docker compose ps -a` в прежней проверке подтвердил `Exited (0)` у выбранной реплики.
|
||||
Официальный failover после изменения Nginx: две реплики наблюдались до отказа, 126 записей успешны, ошибок 0, first recovery 0.834 s. После этого `failover_experiment.py` последовательно остановил `api1` и `api2`, каждый раз восстанавливая предыдущую реплику.
|
||||
|
||||
## Собственные проверки уровня 4
|
||||
|
||||
@@ -36,12 +36,15 @@ $ python3 student-tests/verify_idempotency.py
|
||||
PASS: 12 parallel requests; instances api-1/api-2; one unique message; conflict=409
|
||||
|
||||
$ python3 student-tests/failover_experiment.py
|
||||
PASS: api-1 5147/0, 643.321 RPS, 0.220 s
|
||||
PASS: api-2 5453/0, 681.546 RPS, 0.237 s
|
||||
PASS: api-1 5143/0, 642.783 RPS, 0.600 s
|
||||
PASS: api-2 4560/0, 569.984 RPS, 0.610 s
|
||||
|
||||
$ python3 student-tests/verify_unready_backend.py
|
||||
PASS: api1 unhealthy with frontend connection; 40 GETs and 10 POSTs served by api2
|
||||
|
||||
$ python3 student-tests/rolling_update_experiment.py
|
||||
PASS: 24198 successful, 0 failed, 1572.196 RPS
|
||||
p50=2.246 ms p95=4.140 ms p99=6.926 ms
|
||||
PASS: 25388 successful, 0 failed, 1508.329 RPS
|
||||
p50=2.221 ms p95=3.998 ms p99=6.040 ms
|
||||
instances=api-1,api-2
|
||||
```
|
||||
|
||||
|
||||
@@ -1,13 +1,13 @@
|
||||
{
|
||||
"workload": "four-client closed-loop POST messages",
|
||||
"elapsed_seconds": 15.391,
|
||||
"successful_requests": 24198,
|
||||
"elapsed_seconds": 16.832,
|
||||
"successful_requests": 25388,
|
||||
"failed_requests": 0,
|
||||
"successful_rps": 1572.196,
|
||||
"successful_rps": 1508.329,
|
||||
"latency_ms_successes": {
|
||||
"p50": 2.246,
|
||||
"p95": 4.14,
|
||||
"p99": 6.926
|
||||
"p50": 2.221,
|
||||
"p95": 3.998,
|
||||
"p99": 6.04
|
||||
},
|
||||
"instances": [
|
||||
"api-1",
|
||||
|
||||
@@ -0,0 +1,43 @@
|
||||
#!/bin/sh
|
||||
set -eu
|
||||
|
||||
upstream=/run/nginx-upstream.conf
|
||||
|
||||
write_servers() {
|
||||
if [ "$1" = 1 ]; then
|
||||
printf '%s\n' 'server api1:8080 resolve max_fails=0;'
|
||||
fi
|
||||
if [ "$2" = 1 ]; then
|
||||
printf '%s\n' 'server api2:8080 resolve max_fails=0;'
|
||||
fi
|
||||
}
|
||||
|
||||
# With no healthy replica, keep both reachable so API can return its normal
|
||||
# 401/503 JSON responses instead of Nginx reporting "no live upstreams".
|
||||
write_servers 1 1 > "$upstream"
|
||||
|
||||
monitor() {
|
||||
sleep 2
|
||||
while :; do
|
||||
ready1=0
|
||||
ready2=0
|
||||
wget -q -T 2 -O /dev/null http://api1:8080/health/ready && ready1=1 || true
|
||||
wget -q -T 2 -O /dev/null http://api2:8080/health/ready && ready2=1 || true
|
||||
if [ "$ready1" = 0 ] && [ "$ready2" = 0 ]; then
|
||||
ready1=1
|
||||
ready2=1
|
||||
fi
|
||||
next=$(mktemp /run/nginx-upstream.XXXXXX)
|
||||
write_servers "$ready1" "$ready2" > "$next"
|
||||
if cmp -s "$next" "$upstream"; then
|
||||
rm -f "$next"
|
||||
else
|
||||
mv "$next" "$upstream"
|
||||
nginx -t >/dev/null 2>&1 && nginx -s reload
|
||||
fi
|
||||
sleep 1
|
||||
done
|
||||
}
|
||||
|
||||
monitor &
|
||||
exec nginx -g 'daemon off;'
|
||||
+2
-3
@@ -8,8 +8,7 @@ http {
|
||||
|
||||
upstream messenger_api {
|
||||
zone messenger_api 64k;
|
||||
server api1:8080 resolve max_fails=1 fail_timeout=2s;
|
||||
server api2:8080 resolve max_fails=1 fail_timeout=2s;
|
||||
include /run/nginx-upstream.conf;
|
||||
keepalive 16;
|
||||
}
|
||||
|
||||
@@ -25,7 +24,7 @@ http {
|
||||
proxy_connect_timeout 500ms;
|
||||
proxy_send_timeout 12s;
|
||||
proxy_read_timeout 12s;
|
||||
proxy_next_upstream error timeout http_502 http_504;
|
||||
proxy_next_upstream error timeout http_502 http_503 http_504;
|
||||
proxy_next_upstream_tries 2;
|
||||
}
|
||||
}
|
||||
|
||||
@@ -0,0 +1,71 @@
|
||||
"""Check LB failover when api1 still runs but cannot reach its stores."""
|
||||
import json
|
||||
import subprocess
|
||||
import sys
|
||||
import time
|
||||
from pathlib import Path
|
||||
|
||||
ROOT = Path(__file__).resolve().parents[1]
|
||||
sys.path.insert(0, str(ROOT / "tests"))
|
||||
from client import Client, Failure, check, run # noqa: E402
|
||||
|
||||
|
||||
def docker(*args):
|
||||
return subprocess.run(["docker", *args], cwd=ROOT, check=True,
|
||||
capture_output=True, text=True).stdout.strip()
|
||||
|
||||
|
||||
def compose(*args):
|
||||
return docker("compose", "--env-file", ".env", *args)
|
||||
|
||||
|
||||
def details(container):
|
||||
return json.loads(docker("inspect", container))[0]
|
||||
|
||||
|
||||
def wait_health(container, expected, timeout=90):
|
||||
deadline = time.monotonic() + timeout
|
||||
while time.monotonic() < deadline:
|
||||
if details(container)["State"]["Health"]["Status"] == expected:
|
||||
return
|
||||
time.sleep(1)
|
||||
raise Failure("api1 did not become " + expected)
|
||||
|
||||
|
||||
def main():
|
||||
client = Client(timeout=8)
|
||||
seen = set()
|
||||
for _ in range(20):
|
||||
seen.add(client.call("GET", "/health/ready", schema="Health")
|
||||
["headers"]["X-Instance-Id"])
|
||||
check(seen == {"api-1", "api-2"}, "both instances must be ready initially")
|
||||
actor, _, _, chat = client.bootstrap()
|
||||
container = compose("ps", "-q", "api1")
|
||||
check(bool(container), "api1 container is missing")
|
||||
network = next((name for name in details(container)["NetworkSettings"]["Networks"]
|
||||
if name.endswith("_backend")), None)
|
||||
check(network is not None, "api1 backend network is missing")
|
||||
disconnected = False
|
||||
try:
|
||||
docker("network", "disconnect", network, container)
|
||||
disconnected = True
|
||||
wait_health(container, "unhealthy")
|
||||
for _ in range(20):
|
||||
for path, schema in (("/api/v1/users/me", "User"),
|
||||
("/health/ready", "Health")):
|
||||
response = client.call("GET", path, actor=actor, schema=schema)
|
||||
check(response["headers"]["X-Instance-Id"] == "api-2",
|
||||
path + " was not served by healthy api2")
|
||||
for number in range(10):
|
||||
response = client.message(actor, chat, "unready check " + str(number))
|
||||
check(response["headers"]["X-Instance-Id"] == "api-2",
|
||||
"message was not accepted by healthy api2")
|
||||
print("PASS: api1 unhealthy with frontend connection; 40 GETs and 10 POSTs served by api2")
|
||||
finally:
|
||||
if disconnected:
|
||||
docker("network", "connect", "--alias", "api1", network, container)
|
||||
wait_health(container, "healthy")
|
||||
|
||||
|
||||
if __name__ == "__main__":
|
||||
run(main)
|
||||
Reference in New Issue
Block a user