From 3a3302c5b4b7e52600a3193a1a3bc73894026f0b Mon Sep 17 00:00:00 2001 From: "yurtaev.va" Date: Fri, 23 Oct 2026 19:03:42 +0300 Subject: [PATCH] lab3: tiny fix --- Makefile | 1 + REPORT.md | 96 +++++++++++++++++++++++------- evidence/node_failover.json | 20 +++++++ evidence/swarm_load.json | 17 ++++++ evidence/swarm_rolling_load.json | 17 ++++++ evidence/swarm_rolling_stdout.txt | 17 ++++++ evidence/swarm_rolling_update.txt | 90 ++++++++++++++++++++++++++++ evidence/swarm_stats.txt | 3 + infra/swarm-app.yaml | 2 + scripts/lint.py | 2 +- scripts/swarm-lab.sh | 78 ++++++++++++++++++++++++ tests/node_failover.py | 99 +++++++++++++++++++++++++++++++ 12 files changed, 418 insertions(+), 24 deletions(-) create mode 100644 evidence/node_failover.json create mode 100644 evidence/swarm_load.json create mode 100644 evidence/swarm_rolling_load.json create mode 100644 evidence/swarm_rolling_stdout.txt create mode 100644 evidence/swarm_rolling_update.txt create mode 100644 evidence/swarm_stats.txt create mode 100755 scripts/swarm-lab.sh create mode 100644 tests/node_failover.py diff --git a/Makefile b/Makefile index f671ce5e..e81b368a 100644 --- a/Makefile +++ b/Makefile @@ -17,6 +17,7 @@ validate: lint: $(PYTHON) scripts/lint.py + sh -n scripts/restart.sh scripts/stop-one.sh scripts/swarm-lab.sh test: $(PYTHON) tests/smoke.py --base-url "$(BASE_URL)" $(TLS_ARGS) diff --git a/REPORT.md b/REPORT.md index c2679005..e165a8ef 100644 --- a/REPORT.md +++ b/REPORT.md @@ -1,37 +1,87 @@ # Отчёт — лабораторная 3 -- Автор, группа: TODO -- Целевая оценка; выбранный трек 5, если нужен: TODO -- Commit/PR: TODO после публикации -- Использованные источники, библиотеки и помощь ИИ: TODO +Автор: Юртаев (группа не указана). Цель: **5, трек 2 — отказ узла**. Commit/PR не создавались. Код API перенесён из лабораторной 2 и доработан с помощью Codex. Python 3.12.10, FastAPI 0.115.12, psycopg 3.2.6, Redis 5.2.1, PostgreSQL 16.8, Nginx 1.27.5, Docker 29.3.0 (вложенные daemon 29.3.1). Изучены README, контракт и публичные тесты этого репозитория, исходники lab2, Docker Compose и Swarm CLI. -## Запуск из чистого clone +## Запуск Compose из чистого clone -TODO: версии runtime/образов, prerequisites, команды создания локальных secrets/.env, build, миграций, запуска, ожидания готовности, тестов и остановки. Указать необходимые действия оператора. Не вставлять секреты. Отдельно указать безопасную остановку и команду намеренного удаления учебных данных. +Проверено 23.10.2026 на Apple M4, 16 GiB RAM; Docker Desktop выделял 7.653 GiB. Достаточно Docker Engine с Compose, Python 3.9+ и свободного порта 8080. Тестовые данные синтетические, HTTP слушает только `127.0.0.1`. -## Архитектура и решения +```sh +cp .env.example .env +# Заменить POSTGRES_PASSWORD в .env на локальный случайный пароль. +docker compose --env-file .env config --quiet +docker compose --env-file .env up -d --build --wait +make lint check test +make test-persistence ACTION_SCRIPT=scripts/restart.sh +make test-failover ACTION_SCRIPT=scripts/stop-one.sh +docker compose --env-file .env start api # восстановить остановленную реплику +``` -TODO: схема процессов/хранилищ, источник истины, транзакционные границы, ограничения. Что перенесено из lab2, что изменено в этой работе. Соответствие переменных из .env.example реальной конфигурации. +`migrate` — отдельный одноразовый сервис: он завершается до старта API. Миграции повторно запускаются без дублирования таблиц; транзакционная advisory lock защищает от случайного параллельного оператора. Для остановки без удаления данных: `docker compose --env-file .env down`. Намеренный сброс синтетических данных: `docker compose --env-file .env down -v`. `.env` и volumes исключены из Git. -## Доказательства критериев +## Архитектура и корректность -| Критерий README | Команда/сценарий | Наблюдаемый результат | Файл доказательства | -| --- | --- | --- | --- | -| Публичный smoke | make test | TODO | TODO | -| Остальные пункты уровня 3 | TODO | TODO | TODO | -| Все пункты уровня 4, если заявлен | TODO | TODO | TODO | -| Выбранный трек 5, если заявлен | TODO | TODO | TODO | +```text +localhost:8080 → Nginx → API × 2 → PostgreSQL (истина: users, sessions, chats, messages, idempotency) + ↘ Redis (только необязательный кэш истории) +``` -TODO: добавить отдельную строку для каждого заявленного критерия. PASS без команды и наблюдения не является доказательством. Проверка инфраструктурного hook требует подтверждения, какие реальные процессы/хранилища перезапущены. +API не публикует порт на хост и не хранит сессии локально. Nginx использует Docker DNS с TTL 1 с, без sticky session; процесс обозначается `X-Instance-Id` (Docker hostname/container ID). API и Redis имеют лимиты 0.75 CPU/256 MiB и 0.5 CPU/192 MiB; PostgreSQL — 1 CPU/512 MiB; LB — 0.5 CPU/128 MiB. `front` доступен LB и API, `data` — API, PostgreSQL и Redis. Пароль учебной БД задаётся в локальном `.env`; в Swarm передаётся Docker secret. Секрет не включён в образ или отчёт. -## Эксперименты и отказы +Сессии, сообщения и версия истории находятся в PostgreSQL. Redis хранит только страницы с TTL 30 с. Версия чата повышается в той же транзакции, что вставляет сообщение; после COMMIT следующая реплика читает новую версию и не отдаёт старую страницу. При отказе Redis чтение идёт из PostgreSQL. `/health/live` проверяет процесс; `/health/ready` делает SQL `SELECT 1`, потому что PostgreSQL обязателен для сессий и синхронного API. PostgreSQL недоступен — 503, Redis недоступен — API остаётся готовым. -TODO: гипотеза, hardware/лимиты, версии, объём данных, профиль нагрузки, concurrency/arrival rate, длительность/прогрев, повторы, успешные RPS, ошибки, p50/p95/p99, CPU/RAM. Сохранить raw summary без tokens и объяснить ограничения измерения. +Для сообщений обязателен `Idempotency-Key`. Первичный ключ `(user_id, chat_id, key)` в PostgreSQL сериализует параллельные запросы всех реплик. В одной транзакции фиксируются резервирование ключа, сообщение, ссылка на него и новая версия истории. Повтор с тем же текстом в течение 24 часов получает исходные `201` и Message; другой текст — 409. Истёкшую запись удаляют при следующем применении этого ключа. Проверка сессии и членства выполняется до повторного ответа. Неподтверждённый POST можно повторить с тем же ключом. Отсутствие отдельного фонового удаления истёкших ключей означает рост таблицы при большом числе одноразовых ключей; эксплуатационная очистка — следующий шаг. -| Воздействие | Что ожидаем | Что наблюдали | Время восстановления / потеря данных | -| --- | --- | --- | --- | -| TODO | TODO | TODO | TODO | +API healthcheck: каждые 2 с, timeout 3 с, 2 неудачи. Nginx connect timeout 1 с, read/send timeout 5 с, DNS cache 1 с, один повтор upstream при сетевой ошибке или 502/503. Uvicorn обрабатывает SIGTERM и получает 15 с на завершение запросов; readiness сбрасывается при shutdown. Для остановленного процесса наблюдавшееся восстановление новых записей — 1.70–1.95 с. Верхняя граница при сетевом зависании зависит от таймаута запроса и Docker DNS; активной проверки каждого backend в Nginx нет. -## Ограничения и следующие шаги +Миграция 002 добавляет таблицу и индекс, не меняя старые поля: её можно выполнить при работающей версии lab2. Однако в период смешанных lab2/lab3 API старый процесс не обеспечивает идемпотентность, поэтому клиентов с новым контрактом переключают только после завершения обновления. Swarm `update_config` заменяет по одной реплике (`start-first`, 3 с пауза), с rollback при неудаче. Проверка обновления ниже принудительно пересоздавала тот же образ; переход между разными версиями приложения не измерялся. -TODO: какие отказы выдерживаются и какие нет; что не реализовано; где учебное упрощение; какое улучшение подтверждено, а какое пока гипотеза. +## Публичные проверки уровней 3–4 + +| Критерий | Команда | Наблюдение | +| --- | --- | --- | +| Контракт и линт | `make lint check` | PASS | +| Smoke через LB | `make test` | PASS: оба `X-Instance-Id`, Basic/Bearer, доступ, пагинация, ключ | +| Полный рестарт без удаления volume | `make test-persistence ACTION_SCRIPT=scripts/restart.sh` | PASS: старый токен и сообщение после рестарта API, PostgreSQL, Redis, LB | +| Отказ API-2 | `make test-failover ACTION_SCRIPT=scripts/stop-one.sh` | 2 реплики до отказа; 122 записи/15 с ≈8.13 RPS, 0 ошибок, первая запись через 1.946 с | +| Отказ API-1 после восстановления API-2 | та же команда | 122 записи/15 с ≈8.13 RPS, 0 ошибок, первая запись через 1.704 с; остановлен `api-1` | +| Конкурентный ключ | `python3 tests/node_failover.py` | 16 одновременных POST через LB вернули одно Message | +| Rolling update под нагрузкой | `scripts/swarm-lab.sh rolling-update` одновременно с `tests/load.py` | 10 791 подтверждённая запись/30.041 с, 359.214 RPS, 0 ошибок; p50/p95/p99 = 8.830/22.727/64.266 мс | + +Скрипт `stop-one.sh` сопоставляет `TARGET_INSTANCE_ID` с Docker container ID и проверяет label сервиса `api`; он останавливает именно выбранный тестом процесс. После сценария `docker compose ps -a api` показывает остановленную реплику. При первом прогоне остановилась `api-2`, затем она была восстановлена; при втором — `api-1` (ID `0c6d23164d9a`). `restart.sh` перезапускает все используемые сервисы без `down -v`. + +## Трек 2: отказ узла + +**Гипотеза:** если на двух worker работают взаимозаменяемые API, потеря одного Docker-узла оставит доступ к подтверждённым данным через оставшийся API, а Swarm разместит новую задачу API на живом worker. PostgreSQL и LB намеренно закреплены на manager: их отказ этот стенд не переживает. + +Воспроизводимый локальный эксперимент использует три независимых Docker daemon в привилегированных контейнерах Docker-in-Docker, соединённых одной сетью. Это **логические узлы на одном физическом Mac**, поэтому не доказывает устойчивость к потере самого Mac или Docker Desktop. Swarm manager хранит PostgreSQL volume и запускает LB/Redis; два worker первоначально держат по одному API. Образ `lab3-api:local` загружается в каждый daemon; в реальных отдельных машинах нужен общий registry с закреплённым digest и защищённые сетевые каналы. Внешняя точка входа вложенного стенда — `127.0.0.1:18080`. + +```sh +scripts/swarm-lab.sh up +# Дождаться ответа /health/ready; затем: +make test BASE_URL=http://127.0.0.1:18080 +python3 tests/node_failover.py --worker lab3-worker1 --output evidence/node_failover.json +scripts/swarm-lab.sh status +scripts/swarm-lab.sh recover-node lab3-worker1 +# Остановка и удаление временного синтетического кластера: +scripts/swarm-lab.sh down +``` + +`node_failover.py` сначала создаёт чат и сессию, проверяет два разных instance ID, отправляет 16 конкурентных повторов одного ключа, затем выполняет `docker stop` worker1. До появления двух API-задач на оставшемся worker он непрерывно отправляет POST с новым ключом и после каждого успеха выполняет GET истории другим участником; неопределённый POST повторялся бы с тем же ключом. В конце проверяются все подтверждённые сообщения и отсутствие дубля. Один запуск дал: + +| Показатель | Значение | +| --- | ---: | +| Размещение до / после | worker1 + worker2 / worker2 + worker2 | +| Время появления новой задачи API | 20.054 с | +| Успешные записи / ошибки | 96 / 0 | +| Первая запись после остановки worker | 0.020 с | +| p50 / p95 записи | 14.586 / 22.945 мс | +| Сохранность подтверждённых данных | подтверждена чтением через оставшийся узел | + +Сырые агрегаты: [отказ узла](evidence/node_failover.json), [rolling update](evidence/swarm_rolling_load.json), [отдельная нагрузка](evidence/swarm_load.json), [снимок ресурсов во время отдельной нагрузки](evidence/swarm_stats.txt). Во время отдельного 15-секундного прогона было 4513 успехов, 0 ошибок, 300.358 RPS. Однократный `docker stats` показал: manager 61.49% CPU / 272.4 MiB, worker1 70.05% / 132.1 MiB, worker2 85.95% / 166.9 MiB. Это расход целых вложенных узлов, включая daemon, а не только приложения. + +Защищённая зависимость здесь — **API worker**: его задача реально исчезла с остановленного daemon и была создана на worker2; сессия и сообщения остались доступны из PostgreSQL на manager. Redis — необязательный кэш, его данные не требуются для сохранности. Единичные PostgreSQL, локальный volume manager, единственный LB и сам manager остаются SPOF. Утрата manager/его volume не выдерживается и не заявляется как защищённый сценарий. Для устойчивости к ним потребуются внешний/реплицированный PostgreSQL с проверенным failover, репликация хранения и несколько LB с переключаемой внешней точкой входа. + +## Ограничения измерений + +Все результаты получены на одном ноутбуке и при synthetic closed-loop нагрузке. Клиент ограничивает RPS и имеет coordinated omission; p50/p95/p99 охватывают только успешные запросы. Срез CPU/RAM один и не отражает пики. Во время отказа узла сервис продолжал отвечать за счёт второй реплики, хотя восстановление полного числа задач заняло 20 с. В Swarm не проверялись физическое отключение машины, потеря manager, отказ PostgreSQL/диска и обновление между версиями. Локальный DinD использует привилегированные контейнеры только для учебного эксперимента. diff --git a/evidence/node_failover.json b/evidence/node_failover.json new file mode 100644 index 00000000..ff60926b --- /dev/null +++ b/evidence/node_failover.json @@ -0,0 +1,20 @@ +{ + "before_nodes": [ + "lab3-worker1", + "lab3-worker2" + ], + "after_nodes": [ + "lab3-worker2", + "lab3-worker2" + ], + "before_instance_count": 2, + "concurrent_replays": 16, + "concurrent_message_count": 1, + "successful_writes": 96, + "failed_attempts": 0, + "first_success_seconds": 0.02, + "replacement_running_seconds": 20.054, + "confirmed_messages_preserved": true, + "latency_p50_ms": 14.586, + "latency_p95_ms": 22.945 +} diff --git a/evidence/swarm_load.json b/evidence/swarm_load.json new file mode 100644 index 00000000..d01b6311 --- /dev/null +++ b/evidence/swarm_load.json @@ -0,0 +1,17 @@ +{ + "lab": 3, + "workload": "closed-loop POST messages; no automatic retries", + "requested_duration_seconds": 15.0, + "elapsed_seconds": 15.025, + "concurrency": 4, + "successful_requests": 4513, + "failed_requests": 0, + "error_ratio": 0.0, + "successful_rps": 300.358, + "successful_latency_ms": { + "p50": 9.415, + "p95": 35.526, + "p99": 77.236 + }, + "note": "Latency percentiles cover successes only. Timeouts/errors are counted separately; closed-loop has coordinated omission and client overhead." +} diff --git a/evidence/swarm_rolling_load.json b/evidence/swarm_rolling_load.json new file mode 100644 index 00000000..1f40fc10 --- /dev/null +++ b/evidence/swarm_rolling_load.json @@ -0,0 +1,17 @@ +{ + "lab": 3, + "workload": "closed-loop POST messages; no automatic retries", + "requested_duration_seconds": 30.0, + "elapsed_seconds": 30.041, + "concurrency": 4, + "successful_requests": 10791, + "failed_requests": 0, + "error_ratio": 0.0, + "successful_rps": 359.214, + "successful_latency_ms": { + "p50": 8.83, + "p95": 22.727, + "p99": 64.266 + }, + "note": "Latency percentiles cover successes only. Timeouts/errors are counted separately; closed-loop has coordinated omission and client overhead." +} diff --git a/evidence/swarm_rolling_stdout.txt b/evidence/swarm_rolling_stdout.txt new file mode 100644 index 00000000..1f40fc10 --- /dev/null +++ b/evidence/swarm_rolling_stdout.txt @@ -0,0 +1,17 @@ +{ + "lab": 3, + "workload": "closed-loop POST messages; no automatic retries", + "requested_duration_seconds": 30.0, + "elapsed_seconds": 30.041, + "concurrency": 4, + "successful_requests": 10791, + "failed_requests": 0, + "error_ratio": 0.0, + "successful_rps": 359.214, + "successful_latency_ms": { + "p50": 8.83, + "p95": 22.727, + "p99": 64.266 + }, + "note": "Latency percentiles cover successes only. Timeouts/errors are counted separately; closed-loop has coordinated omission and client overhead." +} diff --git a/evidence/swarm_rolling_update.txt b/evidence/swarm_rolling_update.txt new file mode 100644 index 00000000..76beb7e2 --- /dev/null +++ b/evidence/swarm_rolling_update.txt @@ -0,0 +1,90 @@ +lab3app_api +overall progress: 0 out of 2 tasks +1/2: +2/2: +overall progress: 0 out of 2 tasks +overall progress: 0 out of 2 tasks +overall progress: 0 out of 2 tasks +overall progress: 0 out of 2 tasks +overall progress: 0 out of 2 tasks +overall progress: 0 out of 2 tasks +overall progress: 0 out of 2 tasks +overall progress: 0 out of 2 tasks +overall progress: 0 out of 2 tasks +overall progress: 0 out of 2 tasks +overall progress: 0 out of 2 tasks +overall progress: 0 out of 2 tasks +overall progress: 0 out of 2 tasks +overall progress: 0 out of 2 tasks +overall progress: 0 out of 2 tasks +overall progress: 0 out of 2 tasks +overall progress: 0 out of 2 tasks +overall progress: 0 out of 2 tasks +overall progress: 0 out of 2 tasks +overall progress: 0 out of 2 tasks +overall progress: 0 out of 2 tasks +overall progress: 1 out of 2 tasks +overall progress: 1 out of 2 tasks +overall progress: 1 out of 2 tasks +overall progress: 1 out of 2 tasks +overall progress: 1 out of 2 tasks +overall progress: 1 out of 2 tasks +overall progress: 1 out of 2 tasks +overall progress: 1 out of 2 tasks +overall progress: 1 out of 2 tasks +overall progress: 1 out of 2 tasks +overall progress: 1 out of 2 tasks +overall progress: 1 out of 2 tasks +overall progress: 1 out of 2 tasks +overall progress: 1 out of 2 tasks +overall progress: 1 out of 2 tasks +overall progress: 1 out of 2 tasks +overall progress: 1 out of 2 tasks +overall progress: 1 out of 2 tasks +overall progress: 1 out of 2 tasks +overall progress: 1 out of 2 tasks +overall progress: 1 out of 2 tasks +overall progress: 1 out of 2 tasks +overall progress: 1 out of 2 tasks +overall progress: 1 out of 2 tasks +overall progress: 1 out of 2 tasks +overall progress: 1 out of 2 tasks +overall progress: 1 out of 2 tasks +overall progress: 1 out of 2 tasks +overall progress: 1 out of 2 tasks +overall progress: 1 out of 2 tasks +overall progress: 1 out of 2 tasks +overall progress: 1 out of 2 tasks +overall progress: 1 out of 2 tasks +overall progress: 1 out of 2 tasks +overall progress: 1 out of 2 tasks +overall progress: 1 out of 2 tasks +overall progress: 1 out of 2 tasks +overall progress: 1 out of 2 tasks +overall progress: 2 out of 2 tasks +verify: Waiting 5 seconds to verify that tasks are stable... +verify: Waiting 5 seconds to verify that tasks are stable... +verify: Waiting 5 seconds to verify that tasks are stable... +verify: Waiting 5 seconds to verify that tasks are stable... +verify: Waiting 5 seconds to verify that tasks are stable... +verify: Waiting 4 seconds to verify that tasks are stable... +verify: Waiting 4 seconds to verify that tasks are stable... +verify: Waiting 4 seconds to verify that tasks are stable... +verify: Waiting 4 seconds to verify that tasks are stable... +verify: Waiting 4 seconds to verify that tasks are stable... +verify: Waiting 3 seconds to verify that tasks are stable... +verify: Waiting 3 seconds to verify that tasks are stable... +verify: Waiting 3 seconds to verify that tasks are stable... +verify: Waiting 3 seconds to verify that tasks are stable... +verify: Waiting 3 seconds to verify that tasks are stable... +verify: Waiting 2 seconds to verify that tasks are stable... +verify: Waiting 2 seconds to verify that tasks are stable... +verify: Waiting 2 seconds to verify that tasks are stable... +verify: Waiting 2 seconds to verify that tasks are stable... +verify: Waiting 2 seconds to verify that tasks are stable... +verify: Waiting 1 seconds to verify that tasks are stable... +verify: Waiting 1 seconds to verify that tasks are stable... +verify: Waiting 1 seconds to verify that tasks are stable... +verify: Waiting 1 seconds to verify that tasks are stable... +verify: Waiting 1 seconds to verify that tasks are stable... +verify: Service lab3app_api converged diff --git a/evidence/swarm_stats.txt b/evidence/swarm_stats.txt new file mode 100644 index 00000000..a603b211 --- /dev/null +++ b/evidence/swarm_stats.txt @@ -0,0 +1,3 @@ +lab3-manager 61.49% 272.4MiB / 7.653GiB +lab3-worker1 70.05% 132.1MiB / 7.653GiB +lab3-worker2 85.95% 166.9MiB / 7.653GiB diff --git a/infra/swarm-app.yaml b/infra/swarm-app.yaml index 4149471c..62d54d88 100644 --- a/infra/swarm-app.yaml +++ b/infra/swarm-app.yaml @@ -21,6 +21,8 @@ services: replicas: 2 placement: constraints: [node.labels.lab3_compute == true] + preferences: + - spread: node.hostname update_config: parallelism: 1 delay: 3s diff --git a/scripts/lint.py b/scripts/lint.py index 89935e33..42c7f894 100644 --- a/scripts/lint.py +++ b/scripts/lint.py @@ -7,7 +7,7 @@ import sys ROOT = Path(__file__).resolve().parents[1] -FILES = [ROOT / "app/main.py", ROOT / "scripts/migrate.py", ROOT / "scripts/lint.py"] +FILES = [ROOT / "app/main.py", ROOT / "scripts/migrate.py", ROOT / "scripts/lint.py", ROOT / "tests/node_failover.py"] def check(path): diff --git a/scripts/swarm-lab.sh b/scripts/swarm-lab.sh new file mode 100755 index 00000000..f814b2e0 --- /dev/null +++ b/scripts/swarm-lab.sh @@ -0,0 +1,78 @@ +#!/bin/sh +# Local three-daemon Swarm for the node-loss experiment. All data are synthetic. +set -eu +cd "$(dirname "$0")/.." + +manager() { docker exec lab3-manager docker "$@"; } + +case "${1:-}" in + up) + test -f .env || { echo "Create .env first" >&2; exit 2; } + docker network create lab3-nodes >/dev/null + docker run -d --privileged --network lab3-nodes --name lab3-manager --hostname lab3-manager -p 127.0.0.1:18080:8080 docker:29.3-dind --host=unix:///var/run/docker.sock >/dev/null + for node in lab3-worker1 lab3-worker2; do + docker run -d --privileged --network lab3-nodes --name "$node" --hostname "$node" docker:29.3-dind --host=unix:///var/run/docker.sock >/dev/null + done + for node in lab3-manager lab3-worker1 lab3-worker2; do + count=0 + until docker exec "$node" docker info >/dev/null 2>&1; do + count=$((count + 1)) + test "$count" -lt 60 || { echo "$node daemon unavailable" >&2; exit 1; } + sleep 1 + done + done + manager_ip=$(docker inspect -f '{{range .NetworkSettings.Networks}}{{.IPAddress}}{{end}}' lab3-manager) + manager swarm init --advertise-addr "$manager_ip" >/dev/null + join_token=$(manager swarm join-token -q worker) + for node in lab3-worker1 lab3-worker2; do + docker exec "$node" docker swarm join --token "$join_token" "$manager_ip:2377" >/dev/null + manager node update --label-add lab3_compute=true "$node" >/dev/null + done + manager node update --label-add lab3_storage=true lab3-manager >/dev/null + docker build -q -t lab3-api:local . >/dev/null + for node in lab3-manager lab3-worker1 lab3-worker2; do + docker save lab3-api:local | docker exec -i "$node" docker load >/dev/null + done + python3 -c 'from pathlib import Path; import sys; lines=Path(".env").read_text().splitlines(); values=[line.split("=",1)[1] for line in lines if line.startswith("POSTGRES_PASSWORD=")]; sys.stdout.write(values[-1])' | docker exec -i lab3-manager docker secret create lab3_db_password - >/dev/null + docker exec -i lab3-manager docker config create lab3_nginx_conf - < infra/nginx.conf >/dev/null + docker exec -i lab3-manager docker stack deploy --resolve-image never -c - lab3data < infra/swarm-data.yaml + count=0 + until manager service ls --format '{{.Name}} {{.Replicas}}' | grep -q '^lab3data_postgres 1/1$'; do + count=$((count + 1)) + test "$count" -lt 120 || { manager service ps lab3data_postgres; exit 1; } + sleep 1 + done + manager service create --detach=true --name lab3-migrate --network lab3data_data --secret lab3_db_password --env DATABASE_HOST=lab3data_postgres --env DATABASE_NAME=messenger --env DATABASE_USER=messenger --env DATABASE_PASSWORD_FILE=/run/secrets/lab3_db_password --restart-condition on-failure --restart-max-attempts 10 lab3-api:local python -m scripts.migrate >/dev/null + count=0 + until manager service ps --format '{{.CurrentState}}' lab3-migrate | head -1 | grep -q '^Complete'; do + count=$((count + 1)) + test "$count" -lt 90 || { manager service ps lab3-migrate; exit 1; } + sleep 1 + done + docker exec -i lab3-manager docker stack deploy --resolve-image never -c - lab3app < infra/swarm-app.yaml + echo "Swarm endpoint: http://127.0.0.1:18080 (wait for /health/ready)" + ;; + status) + manager node ls + manager service ls + manager service ps lab3app_api + ;; + fail-node) + case "${2:-}" in lab3-worker1|lab3-worker2) docker stop -t 1 "$2" >/dev/null ;; *) echo "Choose lab3-worker1 or lab3-worker2" >&2; exit 2 ;; esac + ;; + recover-node) + case "${2:-}" in lab3-worker1|lab3-worker2) docker start "$2" >/dev/null ;; *) echo "Choose lab3-worker1 or lab3-worker2" >&2; exit 2 ;; esac + ;; + rolling-update) + manager service update --force --update-parallelism 1 --update-order start-first lab3app_api + ;; + down) + echo "Removing the ephemeral synthetic Swarm cluster and its data." + docker rm -f lab3-manager lab3-worker1 lab3-worker2 >/dev/null + docker network rm lab3-nodes >/dev/null + ;; + *) + echo "Usage: $0 up|status|fail-node WORKER|recover-node WORKER|rolling-update|down" >&2 + exit 2 + ;; +esac diff --git a/tests/node_failover.py b/tests/node_failover.py new file mode 100644 index 00000000..8bb50657 --- /dev/null +++ b/tests/node_failover.py @@ -0,0 +1,99 @@ +#!/usr/bin/env python3 +"""Exercise a real Swarm worker loss while reading and writing through the LB.""" + +import argparse +from concurrent.futures import ThreadPoolExecutor +import json +from pathlib import Path +import statistics +import subprocess +import time +import uuid + +from client import Client, Failure + + +def tasks(): + result = subprocess.check_output([ + "docker", "exec", "lab3-manager", "docker", "service", "ps", + "--filter", "desired-state=running", "--format", "{{.Node}} {{.CurrentState}}", + "lab3app_api", + ], text=True) + return [line.split()[0] for line in result.splitlines() if "Running" in line] + + +def main(): + parser = argparse.ArgumentParser() + parser.add_argument("--base-url", default="http://127.0.0.1:18080") + parser.add_argument("--worker", choices=["lab3-worker1", "lab3-worker2"], default="lab3-worker1") + parser.add_argument("--output", default="evidence/node_failover.json") + args = parser.parse_args() + client = Client(args.base_url, timeout=2) + alice, bob, _, chat = client.bootstrap() + before = tasks() + assert len(before) == 2 and args.worker in before, before + instances = { + client.call("GET", "/api/v1/users/me", actor=alice, schema="User")["headers"]["X-Instance-Id"] + for _ in range(40) + } + assert len(instances) == 2, instances + + key = uuid.uuid4().hex + body = "concurrent " + key + with ThreadPoolExecutor(max_workers=16) as executor: + results = list(executor.map(lambda _: client.message(alice, chat, body, key=key)["json"], range(16))) + assert all(item == results[0] for item in results) + + subprocess.run(["docker", "stop", "-t", "1", args.worker], check=True, stdout=subprocess.DEVNULL) + start = time.monotonic() + successes = [] + errors = 0 + latencies = [] + moved_at = None + first_success = None + pending_key = uuid.uuid4().hex + pending_text = "node-fail " + pending_key + while time.monotonic() - start < 75: + try: + response = client.message(alice, chat, pending_text, key=pending_key) + successes.append(response["json"]) + latencies.append(response["elapsed"] * 1000) + if first_success is None: + first_success = time.monotonic() - start + client.call("GET", "/api/v1/chats/" + chat["id"] + "/messages?limit=1", actor=bob, schema="MessagePage") + pending_key = uuid.uuid4().hex + pending_text = "node-fail " + pending_key + except Failure: + errors += 1 + current = tasks() + if len(current) == 2 and args.worker not in current and moved_at is None: + moved_at = time.monotonic() - start + if moved_at is not None and time.monotonic() - start > moved_at + 5: + break + time.sleep(0.15) + assert moved_at is not None, tasks() + assert successes, "no writes during node failure" + page = client.call("GET", "/api/v1/chats/" + chat["id"] + "/messages?limit=100", actor=bob, schema="MessagePage")["json"] + seen = {item["id"] for item in page["items"]} + assert results[0]["id"] in seen and all(item["id"] in seen for item in successes) + assert sum(item["text"] == body for item in page["items"]) == 1 + report = { + "before_nodes": before, + "after_nodes": tasks(), + "before_instance_count": len(instances), + "concurrent_replays": len(results), + "concurrent_message_count": 1, + "successful_writes": len(successes), + "failed_attempts": errors, + "first_success_seconds": round(first_success, 3), + "replacement_running_seconds": round(moved_at, 3), + "confirmed_messages_preserved": True, + "latency_p50_ms": round(statistics.median(latencies), 3), + "latency_p95_ms": round(sorted(latencies)[int(0.95 * (len(latencies) - 1))], 3), + } + Path(args.output).write_text(json.dumps(report, indent=2) + "\n") + print(json.dumps(report, indent=2)) + + +if __name__ == "__main__": + main()