diff --git a/REPORT.md b/REPORT.md index 9fedc28..7fe535c 100644 --- a/REPORT.md +++ b/REPORT.md @@ -32,6 +32,7 @@ ACTION_SCRIPT=./scripts/stop-one.sh make test-failover ./scripts/start-api.sh python3 student-tests/verify_idempotency.py python3 student-tests/failover_experiment.py +python3 student-tests/verify_unready_backend.py python3 student-tests/rolling_update_experiment.py python3 student-tests/verify_grade4.py python3 student-tests/verify_expiry.py @@ -67,7 +68,7 @@ flowchart LR Обе API-реплики собраны из одного образа, не имеют локального бизнес-состояния и используют общие PostgreSQL и Redis. PostgreSQL хранит пользователей, чаты, сообщения и идемпотентность. Redis хранит общие Bearer-сессии как `SHA-256(token) → user UUID` с TTL и AOF. Поэтому запросы одной сессии обслуживаются обеими репликами без sticky sessions. -Nginx выполняет round-robin. Docker healthcheck API запускается каждые 3 секунды; запуск Nginx ждёт обе готовые реплики. Во время работы Nginx использует пассивное исключение backend: одна ошибка соединения исключает адрес на 2 секунды, connect timeout равен 500 ms, запрос повторяется на второй backend. Если отказавший backend выбран для запроса, недоступность соединения обнаруживается максимум за 500 ms; пока запросов нет, активного обнаружения отказа у Nginx нет. Ответ `503` живого API не заменяется ответом Nginx. Docker DNS перечитывается с периодом 2 секунды. `X-Instance-Id` равен стабильным alias `api-1` или `api-2`. +Nginx выполняет round-robin между готовыми репликами. В его контейнере `health-aware.sh` опрашивает `/health/ready` каждой API-реплики по frontend-сети с паузой 1 секунду между циклами и при изменении набора готовых реплик обновляет upstream и перезагружает конфигурацию Nginx. Если обе реплики неготовы, он оставляет обе в upstream: API может вернуть обычные JSON-ответы `401` и `503` вместо ошибки Nginx «no live upstreams». Пока обновление upstream ещё не произошло, Nginx повторяет идемпотентный GET на второй реплике при `503`, сетевой ошибке или таймауте. Автоматический повтор POST после отправки запроса не включён; после обнаружения отказа POST идёт только на готовую реплику. Docker healthcheck API запускается каждые 3 секунды и используется для начального запуска и наблюдения. Connect timeout равен 500 ms, Docker DNS перечитывается с периодом 2 секунды. `X-Instance-Id` равен стабильным alias `api-1` или `api-2`. API обрабатывает SIGTERM через `http.Server.Shutdown` с бюджетом 8 секунд; Compose даёт 10 секунд до принудительной остановки. Таймауты HTTP: header 5 s, read/write 10 s, idle 30 s. SQL получает `DB_TIMEOUT_MS=3000`; каждая реплика имеет пул максимум из 10 соединений. @@ -99,9 +100,10 @@ PostgreSQL и Redis находятся только во внутренней ba | Две реплики через LB | шесть `GET /health/live` | `api-2`, `api-1` по очереди | `evidence/lab3-results.md` | | Persistence | `ACTION_SCRIPT=... make test-persistence` | прежний токен и сообщение доступны после restart всех процессов и хранилищ | `evidence/lab3-results.md` | | Отказ любой реплики | официальный failover и последовательный эксперимент | остановлены реальные `api1` и `api2`; подтверждённые сообщения сохранились | `evidence/lab3-results.md` | -| Метрики двух отказов | `failover_experiment.py` | 643.321 и 681.546 successful RPS; 0 ошибок; 0.220/0.237 s до подтверждения survivor | `evidence/failover-grade4.json` | +| Метрики двух отказов | `failover_experiment.py` | 642.783 и 569.984 successful RPS; 0 ошибок; 0.600/0.610 s до подтверждения survivor | `evidence/failover-grade4.json` | +| Неготовая реплика с работающим HTTP | `verify_unready_backend.py` | после отключения backend-сети `api1` и состояния `unhealthy`: 40 GET и 10 POST через LB обслужила `api2` | `evidence/lab3-results.md` | | Общая идемпотентность | `verify_idempotency.py` | 12 параллельных запросов через обе реплики, один message ID; другой body — 409 | `evidence/idempotency.json` | -| Rolling update | `rolling_update_experiment.py` | поочерёдно пересозданы обе реплики; 24 198 успехов, 0 ошибок | `evidence/rolling-update.json` | +| Rolling update | `rolling_update_experiment.py` | поочерёдно пересозданы обе реплики; 25 388 успехов, 0 ошибок | `evidence/rolling-update.json` | | Отказ Redis/PostgreSQL | `verify_dependencies.py` | осмысленные 503, после возврата сервисов состояние восстановлено | `evidence/lab3-results.md` | | Индекс истории | `explain_history.sh` | `Index Scan using messages_chat_history_idx` на 10 000 сообщений | `evidence/explain-history.txt` | | Возможности lab2 | `verify_grade4.py`, `verify_expiry.py`, `go test ./...` | гонка username, rollback, logout, TTL и password KDF прошли | `evidence/lab3-results.md` | @@ -112,16 +114,16 @@ PostgreSQL и Redis находятся только во внутренней ba | Воздействие | Успехи / ошибки | Наблюдаемое переключение | Потеря подтверждённых данных | | --- | ---: | ---: | --- | -| Stop `api-1` | 5147 / 0 за 8.001 s | 0.220 s | нет | -| Stop `api-2` | 5453 / 0 за 8.001 s | 0.237 s | нет | -| Rolling replace `api-1`, затем `api-2` | 24198 / 0 за 15.391 s | обе реплики наблюдались | нет | +| Stop `api-1` | 5143 / 0 за 8.001 s | 0.600 s | нет | +| Stop `api-2` | 4560 / 0 за 8.000 s | 0.610 s | нет | +| Rolling replace `api-1`, затем `api-2` | 25388 / 0 за 16.832 s | обе реплики наблюдались | нет | -Rolling update: 1572.196 successful RPS, p50 2.246 ms, p95 4.140 ms, p99 6.926 ms. Это локальное наблюдение, а не универсальная оценка производительности. Closed-loop профиль имеет coordinated omission и не моделирует фиксированный внешний arrival rate. +Rolling update: 1508.329 successful RPS, p50 2.221 ms, p95 3.998 ms, p99 6.040 ms. Это локальное наблюдение, а не универсальная оценка производительности. Closed-loop профиль имеет coordinated omission и не моделирует фиксированный внешний arrival rate. ## Ограничения и следующие шаги Стенд выдерживает остановку одного API-процесса. Все компоненты работают на одном Docker-host, поэтому потеря host останавливает систему. Nginx, PostgreSQL и Redis представлены по одному и остаются single points of failure. Остановка PostgreSQL или Redis корректно даёт 503, но бизнес-функции временно недоступны. -Nginx использует пассивные runtime-проверки backend; Docker healthcheck отвечает за запуск и наблюдаемость. Rolling update проверяет последовательную замену процессов одной совместимой версией на одном host. Автоматического rollback образа, репликации БД, отдельного backup/restore и multi-host orchestration в lab3 нет. +Nginx исключает неготовую реплику по HTTP-проверке `/health/ready`; между отказом и очередной проверкой возможна краткая ошибка POST. Docker healthcheck отвечает за запуск и наблюдаемость. Rolling update проверяет последовательную замену процессов одной совместимой версией на одном host. Автоматического rollback образа, репликации БД, отдельного backup/restore и multi-host orchestration в lab3 нет. Просроченная запись ключа удаляется при повторном использовании того же ключа. Для длительной эксплуатации нужна периодическая очистка остальных записей. Приведённые RPS и latency нельзя переносить на другой компьютер без повторения опыта с теми же ресурсами и набором данных. diff --git a/compose.yaml b/compose.yaml index 60374f5..f6ba163 100644 --- a/compose.yaml +++ b/compose.yaml @@ -128,8 +128,10 @@ services: nginx: image: nginx:1.29.1-alpine3.22 + command: ["/bin/sh", "/health-aware.sh"] volumes: - ./infra/nginx.conf:/etc/nginx/nginx.conf:ro + - ./infra/health-aware.sh:/health-aware.sh:ro networks: - frontend depends_on: diff --git a/evidence/failover-grade4.json b/evidence/failover-grade4.json index 98b3f89..f9e5e1d 100644 --- a/evidence/failover-grade4.json +++ b/evidence/failover-grade4.json @@ -4,18 +4,18 @@ { "stopped_instance": "api-1", "duration_seconds": 8.001, - "successful_requests": 5147, + "successful_requests": 5143, "failed_requests": 0, - "successful_rps": 643.321, - "first_survivor_success_seconds": 0.22 + "successful_rps": 642.783, + "first_survivor_success_seconds": 0.6 }, { "stopped_instance": "api-2", - "duration_seconds": 8.001, - "successful_requests": 5453, + "duration_seconds": 8.0, + "successful_requests": 4560, "failed_requests": 0, - "successful_rps": 681.546, - "first_survivor_success_seconds": 0.237 + "successful_rps": 569.984, + "first_survivor_success_seconds": 0.61 } ] } diff --git a/evidence/lab3-results.md b/evidence/lab3-results.md index 7170c27..6e3ce82 100644 --- a/evidence/lab3-results.md +++ b/evidence/lab3-results.md @@ -27,7 +27,7 @@ $ ACTION_SCRIPT=./scripts/restart.sh make test-persistence PASS: persistence preserved confirmed data and existing session. ``` -Официальный failover после исправлений: две реплики наблюдались до отказа, 130 записей успешны, ошибок 0, first recovery 0.734 s. После этого `failover_experiment.py` последовательно остановил `api1` и `api2`, каждый раз восстанавливая предыдущую реплику. `docker compose ps -a` в прежней проверке подтвердил `Exited (0)` у выбранной реплики. +Официальный failover после изменения Nginx: две реплики наблюдались до отказа, 126 записей успешны, ошибок 0, first recovery 0.834 s. После этого `failover_experiment.py` последовательно остановил `api1` и `api2`, каждый раз восстанавливая предыдущую реплику. ## Собственные проверки уровня 4 @@ -36,12 +36,15 @@ $ python3 student-tests/verify_idempotency.py PASS: 12 parallel requests; instances api-1/api-2; one unique message; conflict=409 $ python3 student-tests/failover_experiment.py -PASS: api-1 5147/0, 643.321 RPS, 0.220 s -PASS: api-2 5453/0, 681.546 RPS, 0.237 s +PASS: api-1 5143/0, 642.783 RPS, 0.600 s +PASS: api-2 4560/0, 569.984 RPS, 0.610 s + +$ python3 student-tests/verify_unready_backend.py +PASS: api1 unhealthy with frontend connection; 40 GETs and 10 POSTs served by api2 $ python3 student-tests/rolling_update_experiment.py -PASS: 24198 successful, 0 failed, 1572.196 RPS -p50=2.246 ms p95=4.140 ms p99=6.926 ms +PASS: 25388 successful, 0 failed, 1508.329 RPS +p50=2.221 ms p95=3.998 ms p99=6.040 ms instances=api-1,api-2 ``` diff --git a/evidence/rolling-update.json b/evidence/rolling-update.json index 11d218e..1aaa10c 100644 --- a/evidence/rolling-update.json +++ b/evidence/rolling-update.json @@ -1,13 +1,13 @@ { "workload": "four-client closed-loop POST messages", - "elapsed_seconds": 15.391, - "successful_requests": 24198, + "elapsed_seconds": 16.832, + "successful_requests": 25388, "failed_requests": 0, - "successful_rps": 1572.196, + "successful_rps": 1508.329, "latency_ms_successes": { - "p50": 2.246, - "p95": 4.14, - "p99": 6.926 + "p50": 2.221, + "p95": 3.998, + "p99": 6.04 }, "instances": [ "api-1", diff --git a/infra/health-aware.sh b/infra/health-aware.sh new file mode 100644 index 0000000..4ce2da8 --- /dev/null +++ b/infra/health-aware.sh @@ -0,0 +1,43 @@ +#!/bin/sh +set -eu + +upstream=/run/nginx-upstream.conf + +write_servers() { + if [ "$1" = 1 ]; then + printf '%s\n' 'server api1:8080 resolve max_fails=0;' + fi + if [ "$2" = 1 ]; then + printf '%s\n' 'server api2:8080 resolve max_fails=0;' + fi +} + +# With no healthy replica, keep both reachable so API can return its normal +# 401/503 JSON responses instead of Nginx reporting "no live upstreams". +write_servers 1 1 > "$upstream" + +monitor() { + sleep 2 + while :; do + ready1=0 + ready2=0 + wget -q -T 2 -O /dev/null http://api1:8080/health/ready && ready1=1 || true + wget -q -T 2 -O /dev/null http://api2:8080/health/ready && ready2=1 || true + if [ "$ready1" = 0 ] && [ "$ready2" = 0 ]; then + ready1=1 + ready2=1 + fi + next=$(mktemp /run/nginx-upstream.XXXXXX) + write_servers "$ready1" "$ready2" > "$next" + if cmp -s "$next" "$upstream"; then + rm -f "$next" + else + mv "$next" "$upstream" + nginx -t >/dev/null 2>&1 && nginx -s reload + fi + sleep 1 + done +} + +monitor & +exec nginx -g 'daemon off;' diff --git a/infra/nginx.conf b/infra/nginx.conf index 8110004..f4c4134 100644 --- a/infra/nginx.conf +++ b/infra/nginx.conf @@ -8,8 +8,7 @@ http { upstream messenger_api { zone messenger_api 64k; - server api1:8080 resolve max_fails=1 fail_timeout=2s; - server api2:8080 resolve max_fails=1 fail_timeout=2s; + include /run/nginx-upstream.conf; keepalive 16; } @@ -25,7 +24,7 @@ http { proxy_connect_timeout 500ms; proxy_send_timeout 12s; proxy_read_timeout 12s; - proxy_next_upstream error timeout http_502 http_504; + proxy_next_upstream error timeout http_502 http_503 http_504; proxy_next_upstream_tries 2; } } diff --git a/student-tests/verify_unready_backend.py b/student-tests/verify_unready_backend.py new file mode 100644 index 0000000..0bae510 --- /dev/null +++ b/student-tests/verify_unready_backend.py @@ -0,0 +1,71 @@ +"""Check LB failover when api1 still runs but cannot reach its stores.""" +import json +import subprocess +import sys +import time +from pathlib import Path + +ROOT = Path(__file__).resolve().parents[1] +sys.path.insert(0, str(ROOT / "tests")) +from client import Client, Failure, check, run # noqa: E402 + + +def docker(*args): + return subprocess.run(["docker", *args], cwd=ROOT, check=True, + capture_output=True, text=True).stdout.strip() + + +def compose(*args): + return docker("compose", "--env-file", ".env", *args) + + +def details(container): + return json.loads(docker("inspect", container))[0] + + +def wait_health(container, expected, timeout=90): + deadline = time.monotonic() + timeout + while time.monotonic() < deadline: + if details(container)["State"]["Health"]["Status"] == expected: + return + time.sleep(1) + raise Failure("api1 did not become " + expected) + + +def main(): + client = Client(timeout=8) + seen = set() + for _ in range(20): + seen.add(client.call("GET", "/health/ready", schema="Health") + ["headers"]["X-Instance-Id"]) + check(seen == {"api-1", "api-2"}, "both instances must be ready initially") + actor, _, _, chat = client.bootstrap() + container = compose("ps", "-q", "api1") + check(bool(container), "api1 container is missing") + network = next((name for name in details(container)["NetworkSettings"]["Networks"] + if name.endswith("_backend")), None) + check(network is not None, "api1 backend network is missing") + disconnected = False + try: + docker("network", "disconnect", network, container) + disconnected = True + wait_health(container, "unhealthy") + for _ in range(20): + for path, schema in (("/api/v1/users/me", "User"), + ("/health/ready", "Health")): + response = client.call("GET", path, actor=actor, schema=schema) + check(response["headers"]["X-Instance-Id"] == "api-2", + path + " was not served by healthy api2") + for number in range(10): + response = client.message(actor, chat, "unready check " + str(number)) + check(response["headers"]["X-Instance-Id"] == "api-2", + "message was not accepted by healthy api2") + print("PASS: api1 unhealthy with frontend connection; 40 GETs and 10 POSTs served by api2") + finally: + if disconnected: + docker("network", "connect", "--alias", "api1", network, container) + wait_health(container, "healthy") + + +if __name__ == "__main__": + run(main)