lab3: tiny fix

This commit is contained in:
yurtaev.va
2026-10-23 19:03:42 +03:00
parent 2e23dbe095
commit 3a3302c5b4
12 changed files with 418 additions and 24 deletions
+1
View File
@@ -17,6 +17,7 @@ validate:
lint:
$(PYTHON) scripts/lint.py
sh -n scripts/restart.sh scripts/stop-one.sh scripts/swarm-lab.sh
test:
$(PYTHON) tests/smoke.py --base-url "$(BASE_URL)" $(TLS_ARGS)
+73 -23
View File
@@ -1,37 +1,87 @@
# Отчёт — лабораторная 3
- Автор, группа: TODO
- Целевая оценка; выбранный трек 5, если нужен: TODO
- Commit/PR: TODO после публикации
- Использованные источники, библиотеки и помощь ИИ: TODO
Автор: Юртаев (группа не указана). Цель: **5, трек 2 — отказ узла**. Commit/PR не создавались. Код API перенесён из лабораторной 2 и доработан с помощью Codex. Python 3.12.10, FastAPI 0.115.12, psycopg 3.2.6, Redis 5.2.1, PostgreSQL 16.8, Nginx 1.27.5, Docker 29.3.0 (вложенные daemon 29.3.1). Изучены README, контракт и публичные тесты этого репозитория, исходники lab2, Docker Compose и Swarm CLI.
## Запуск из чистого clone
## Запуск Compose из чистого clone
TODO: версии runtime/образов, prerequisites, команды создания локальных secrets/.env, build, миграций, запуска, ожидания готовности, тестов и остановки. Указать необходимые действия оператора. Не вставлять секреты. Отдельно указать безопасную остановку и команду намеренного удаления учебных данных.
Проверено 23.10.2026 на Apple M4, 16 GiB RAM; Docker Desktop выделял 7.653 GiB. Достаточно Docker Engine с Compose, Python 3.9+ и свободного порта 8080. Тестовые данные синтетические, HTTP слушает только `127.0.0.1`.
## Архитектура и решения
```sh
cp .env.example .env
# Заменить POSTGRES_PASSWORD в .env на локальный случайный пароль.
docker compose --env-file .env config --quiet
docker compose --env-file .env up -d --build --wait
make lint check test
make test-persistence ACTION_SCRIPT=scripts/restart.sh
make test-failover ACTION_SCRIPT=scripts/stop-one.sh
docker compose --env-file .env start api # восстановить остановленную реплику
```
TODO: схема процессов/хранилищ, источник истины, транзакционные границы, ограничения. Что перенесено из lab2, что изменено в этой работе. Соответствие переменных из .env.example реальной конфигурации.
`migrate` — отдельный одноразовый сервис: он завершается до старта API. Миграции повторно запускаются без дублирования таблиц; транзакционная advisory lock защищает от случайного параллельного оператора. Для остановки без удаления данных: `docker compose --env-file .env down`. Намеренный сброс синтетических данных: `docker compose --env-file .env down -v`. `.env` и volumes исключены из Git.
## Доказательства критериев
## Архитектура и корректность
| Критерий README | Команда/сценарий | Наблюдаемый результат | Файл доказательства |
| --- | --- | --- | --- |
| Публичный smoke | make test | TODO | TODO |
| Остальные пункты уровня 3 | TODO | TODO | TODO |
| Все пункты уровня 4, если заявлен | TODO | TODO | TODO |
| Выбранный трек 5, если заявлен | TODO | TODO | TODO |
```text
localhost:8080 → Nginx → API × 2 → PostgreSQL (истина: users, sessions, chats, messages, idempotency)
↘ Redis (только необязательный кэш истории)
```
TODO: добавить отдельную строку для каждого заявленного критерия. PASS без команды и наблюдения не является доказательством. Проверка инфраструктурного hook требует подтверждения, какие реальные процессы/хранилища перезапущены.
API не публикует порт на хост и не хранит сессии локально. Nginx использует Docker DNS с TTL 1 с, без sticky session; процесс обозначается `X-Instance-Id` (Docker hostname/container ID). API и Redis имеют лимиты 0.75 CPU/256 MiB и 0.5 CPU/192 MiB; PostgreSQL — 1 CPU/512 MiB; LB — 0.5 CPU/128 MiB. `front` доступен LB и API, `data` — API, PostgreSQL и Redis. Пароль учебной БД задаётся в локальном `.env`; в Swarm передаётся Docker secret. Секрет не включён в образ или отчёт.
## Эксперименты и отказы
Сессии, сообщения и версия истории находятся в PostgreSQL. Redis хранит только страницы с TTL 30 с. Версия чата повышается в той же транзакции, что вставляет сообщение; после COMMIT следующая реплика читает новую версию и не отдаёт старую страницу. При отказе Redis чтение идёт из PostgreSQL. `/health/live` проверяет процесс; `/health/ready` делает SQL `SELECT 1`, потому что PostgreSQL обязателен для сессий и синхронного API. PostgreSQL недоступен — 503, Redis недоступен — API остаётся готовым.
TODO: гипотеза, hardware/лимиты, версии, объём данных, профиль нагрузки, concurrency/arrival rate, длительность/прогрев, повторы, успешные RPS, ошибки, p50/p95/p99, CPU/RAM. Сохранить raw summary без tokens и объяснить ограничения измерения.
Для сообщений обязателен `Idempotency-Key`. Первичный ключ `(user_id, chat_id, key)` в PostgreSQL сериализует параллельные запросы всех реплик. В одной транзакции фиксируются резервирование ключа, сообщение, ссылка на него и новая версия истории. Повтор с тем же текстом в течение 24 часов получает исходные `201` и Message; другой текст — 409. Истёкшую запись удаляют при следующем применении этого ключа. Проверка сессии и членства выполняется до повторного ответа. Неподтверждённый POST можно повторить с тем же ключом. Отсутствие отдельного фонового удаления истёкших ключей означает рост таблицы при большом числе одноразовых ключей; эксплуатационная очистка — следующий шаг.
| Воздействие | Что ожидаем | Что наблюдали | Время восстановления / потеря данных |
| --- | --- | --- | --- |
| TODO | TODO | TODO | TODO |
API healthcheck: каждые 2 с, timeout 3 с, 2 неудачи. Nginx connect timeout 1 с, read/send timeout 5 с, DNS cache 1 с, один повтор upstream при сетевой ошибке или 502/503. Uvicorn обрабатывает SIGTERM и получает 15 с на завершение запросов; readiness сбрасывается при shutdown. Для остановленного процесса наблюдавшееся восстановление новых записей — 1.70–1.95 с. Верхняя граница при сетевом зависании зависит от таймаута запроса и Docker DNS; активной проверки каждого backend в Nginx нет.
## Ограничения и следующие шаги
Миграция 002 добавляет таблицу и индекс, не меняя старые поля: её можно выполнить при работающей версии lab2. Однако в период смешанных lab2/lab3 API старый процесс не обеспечивает идемпотентность, поэтому клиентов с новым контрактом переключают только после завершения обновления. Swarm `update_config` заменяет по одной реплике (`start-first`, 3 с пауза), с rollback при неудаче. Проверка обновления ниже принудительно пересоздавала тот же образ; переход между разными версиями приложения не измерялся.
TODO: какие отказы выдерживаются и какие нет; что не реализовано; где учебное упрощение; какое улучшение подтверждено, а какое пока гипотеза.
## Публичные проверки уровней 3–4
| Критерий | Команда | Наблюдение |
| --- | --- | --- |
| Контракт и линт | `make lint check` | PASS |
| Smoke через LB | `make test` | PASS: оба `X-Instance-Id`, Basic/Bearer, доступ, пагинация, ключ |
| Полный рестарт без удаления volume | `make test-persistence ACTION_SCRIPT=scripts/restart.sh` | PASS: старый токен и сообщение после рестарта API, PostgreSQL, Redis, LB |
| Отказ API-2 | `make test-failover ACTION_SCRIPT=scripts/stop-one.sh` | 2 реплики до отказа; 122 записи/15 с ≈8.13 RPS, 0 ошибок, первая запись через 1.946 с |
| Отказ API-1 после восстановления API-2 | та же команда | 122 записи/15 с ≈8.13 RPS, 0 ошибок, первая запись через 1.704 с; остановлен `api-1` |
| Конкурентный ключ | `python3 tests/node_failover.py` | 16 одновременных POST через LB вернули одно Message |
| Rolling update под нагрузкой | `scripts/swarm-lab.sh rolling-update` одновременно с `tests/load.py` | 10 791 подтверждённая запись/30.041 с, 359.214 RPS, 0 ошибок; p50/p95/p99 = 8.830/22.727/64.266 мс |
Скрипт `stop-one.sh` сопоставляет `TARGET_INSTANCE_ID` с Docker container ID и проверяет label сервиса `api`; он останавливает именно выбранный тестом процесс. После сценария `docker compose ps -a api` показывает остановленную реплику. При первом прогоне остановилась `api-2`, затем она была восстановлена; при втором — `api-1` (ID `0c6d23164d9a`). `restart.sh` перезапускает все используемые сервисы без `down -v`.
## Трек 2: отказ узла
**Гипотеза:** если на двух worker работают взаимозаменяемые API, потеря одного Docker-узла оставит доступ к подтверждённым данным через оставшийся API, а Swarm разместит новую задачу API на живом worker. PostgreSQL и LB намеренно закреплены на manager: их отказ этот стенд не переживает.
Воспроизводимый локальный эксперимент использует три независимых Docker daemon в привилегированных контейнерах Docker-in-Docker, соединённых одной сетью. Это **логические узлы на одном физическом Mac**, поэтому не доказывает устойчивость к потере самого Mac или Docker Desktop. Swarm manager хранит PostgreSQL volume и запускает LB/Redis; два worker первоначально держат по одному API. Образ `lab3-api:local` загружается в каждый daemon; в реальных отдельных машинах нужен общий registry с закреплённым digest и защищённые сетевые каналы. Внешняя точка входа вложенного стенда — `127.0.0.1:18080`.
```sh
scripts/swarm-lab.sh up
# Дождаться ответа /health/ready; затем:
make test BASE_URL=http://127.0.0.1:18080
python3 tests/node_failover.py --worker lab3-worker1 --output evidence/node_failover.json
scripts/swarm-lab.sh status
scripts/swarm-lab.sh recover-node lab3-worker1
# Остановка и удаление временного синтетического кластера:
scripts/swarm-lab.sh down
```
`node_failover.py` сначала создаёт чат и сессию, проверяет два разных instance ID, отправляет 16 конкурентных повторов одного ключа, затем выполняет `docker stop` worker1. До появления двух API-задач на оставшемся worker он непрерывно отправляет POST с новым ключом и после каждого успеха выполняет GET истории другим участником; неопределённый POST повторялся бы с тем же ключом. В конце проверяются все подтверждённые сообщения и отсутствие дубля. Один запуск дал:
| Показатель | Значение |
| --- | ---: |
| Размещение до / после | worker1 + worker2 / worker2 + worker2 |
| Время появления новой задачи API | 20.054 с |
| Успешные записи / ошибки | 96 / 0 |
| Первая запись после остановки worker | 0.020 с |
| p50 / p95 записи | 14.586 / 22.945 мс |
| Сохранность подтверждённых данных | подтверждена чтением через оставшийся узел |
Сырые агрегаты: [отказ узла](evidence/node_failover.json), [rolling update](evidence/swarm_rolling_load.json), [отдельная нагрузка](evidence/swarm_load.json), [снимок ресурсов во время отдельной нагрузки](evidence/swarm_stats.txt). Во время отдельного 15-секундного прогона было 4513 успехов, 0 ошибок, 300.358 RPS. Однократный `docker stats` показал: manager 61.49% CPU / 272.4 MiB, worker1 70.05% / 132.1 MiB, worker2 85.95% / 166.9 MiB. Это расход целых вложенных узлов, включая daemon, а не только приложения.
Защищённая зависимость здесь — **API worker**: его задача реально исчезла с остановленного daemon и была создана на worker2; сессия и сообщения остались доступны из PostgreSQL на manager. Redis — необязательный кэш, его данные не требуются для сохранности. Единичные PostgreSQL, локальный volume manager, единственный LB и сам manager остаются SPOF. Утрата manager/его volume не выдерживается и не заявляется как защищённый сценарий. Для устойчивости к ним потребуются внешний/реплицированный PostgreSQL с проверенным failover, репликация хранения и несколько LB с переключаемой внешней точкой входа.
## Ограничения измерений
Все результаты получены на одном ноутбуке и при synthetic closed-loop нагрузке. Клиент ограничивает RPS и имеет coordinated omission; p50/p95/p99 охватывают только успешные запросы. Срез CPU/RAM один и не отражает пики. Во время отказа узла сервис продолжал отвечать за счёт второй реплики, хотя восстановление полного числа задач заняло 20 с. В Swarm не проверялись физическое отключение машины, потеря manager, отказ PostgreSQL/диска и обновление между версиями. Локальный DinD использует привилегированные контейнеры только для учебного эксперимента.
+20
View File
@@ -0,0 +1,20 @@
{
"before_nodes": [
"lab3-worker1",
"lab3-worker2"
],
"after_nodes": [
"lab3-worker2",
"lab3-worker2"
],
"before_instance_count": 2,
"concurrent_replays": 16,
"concurrent_message_count": 1,
"successful_writes": 96,
"failed_attempts": 0,
"first_success_seconds": 0.02,
"replacement_running_seconds": 20.054,
"confirmed_messages_preserved": true,
"latency_p50_ms": 14.586,
"latency_p95_ms": 22.945
}
+17
View File
@@ -0,0 +1,17 @@
{
"lab": 3,
"workload": "closed-loop POST messages; no automatic retries",
"requested_duration_seconds": 15.0,
"elapsed_seconds": 15.025,
"concurrency": 4,
"successful_requests": 4513,
"failed_requests": 0,
"error_ratio": 0.0,
"successful_rps": 300.358,
"successful_latency_ms": {
"p50": 9.415,
"p95": 35.526,
"p99": 77.236
},
"note": "Latency percentiles cover successes only. Timeouts/errors are counted separately; closed-loop has coordinated omission and client overhead."
}
+17
View File
@@ -0,0 +1,17 @@
{
"lab": 3,
"workload": "closed-loop POST messages; no automatic retries",
"requested_duration_seconds": 30.0,
"elapsed_seconds": 30.041,
"concurrency": 4,
"successful_requests": 10791,
"failed_requests": 0,
"error_ratio": 0.0,
"successful_rps": 359.214,
"successful_latency_ms": {
"p50": 8.83,
"p95": 22.727,
"p99": 64.266
},
"note": "Latency percentiles cover successes only. Timeouts/errors are counted separately; closed-loop has coordinated omission and client overhead."
}
+17
View File
@@ -0,0 +1,17 @@
{
"lab": 3,
"workload": "closed-loop POST messages; no automatic retries",
"requested_duration_seconds": 30.0,
"elapsed_seconds": 30.041,
"concurrency": 4,
"successful_requests": 10791,
"failed_requests": 0,
"error_ratio": 0.0,
"successful_rps": 359.214,
"successful_latency_ms": {
"p50": 8.83,
"p95": 22.727,
"p99": 64.266
},
"note": "Latency percentiles cover successes only. Timeouts/errors are counted separately; closed-loop has coordinated omission and client overhead."
}
+90
View File
@@ -0,0 +1,90 @@
lab3app_api
overall progress: 0 out of 2 tasks
1/2:
2/2:
overall progress: 0 out of 2 tasks
overall progress: 0 out of 2 tasks
overall progress: 0 out of 2 tasks
overall progress: 0 out of 2 tasks
overall progress: 0 out of 2 tasks
overall progress: 0 out of 2 tasks
overall progress: 0 out of 2 tasks
overall progress: 0 out of 2 tasks
overall progress: 0 out of 2 tasks
overall progress: 0 out of 2 tasks
overall progress: 0 out of 2 tasks
overall progress: 0 out of 2 tasks
overall progress: 0 out of 2 tasks
overall progress: 0 out of 2 tasks
overall progress: 0 out of 2 tasks
overall progress: 0 out of 2 tasks
overall progress: 0 out of 2 tasks
overall progress: 0 out of 2 tasks
overall progress: 0 out of 2 tasks
overall progress: 0 out of 2 tasks
overall progress: 0 out of 2 tasks
overall progress: 1 out of 2 tasks
overall progress: 1 out of 2 tasks
overall progress: 1 out of 2 tasks
overall progress: 1 out of 2 tasks
overall progress: 1 out of 2 tasks
overall progress: 1 out of 2 tasks
overall progress: 1 out of 2 tasks
overall progress: 1 out of 2 tasks
overall progress: 1 out of 2 tasks
overall progress: 1 out of 2 tasks
overall progress: 1 out of 2 tasks
overall progress: 1 out of 2 tasks
overall progress: 1 out of 2 tasks
overall progress: 1 out of 2 tasks
overall progress: 1 out of 2 tasks
overall progress: 1 out of 2 tasks
overall progress: 1 out of 2 tasks
overall progress: 1 out of 2 tasks
overall progress: 1 out of 2 tasks
overall progress: 1 out of 2 tasks
overall progress: 1 out of 2 tasks
overall progress: 1 out of 2 tasks
overall progress: 1 out of 2 tasks
overall progress: 1 out of 2 tasks
overall progress: 1 out of 2 tasks
overall progress: 1 out of 2 tasks
overall progress: 1 out of 2 tasks
overall progress: 1 out of 2 tasks
overall progress: 1 out of 2 tasks
overall progress: 1 out of 2 tasks
overall progress: 1 out of 2 tasks
overall progress: 1 out of 2 tasks
overall progress: 1 out of 2 tasks
overall progress: 1 out of 2 tasks
overall progress: 1 out of 2 tasks
overall progress: 1 out of 2 tasks
overall progress: 1 out of 2 tasks
overall progress: 1 out of 2 tasks
overall progress: 2 out of 2 tasks
verify: Waiting 5 seconds to verify that tasks are stable...
verify: Waiting 5 seconds to verify that tasks are stable...
verify: Waiting 5 seconds to verify that tasks are stable...
verify: Waiting 5 seconds to verify that tasks are stable...
verify: Waiting 5 seconds to verify that tasks are stable...
verify: Waiting 4 seconds to verify that tasks are stable...
verify: Waiting 4 seconds to verify that tasks are stable...
verify: Waiting 4 seconds to verify that tasks are stable...
verify: Waiting 4 seconds to verify that tasks are stable...
verify: Waiting 4 seconds to verify that tasks are stable...
verify: Waiting 3 seconds to verify that tasks are stable...
verify: Waiting 3 seconds to verify that tasks are stable...
verify: Waiting 3 seconds to verify that tasks are stable...
verify: Waiting 3 seconds to verify that tasks are stable...
verify: Waiting 3 seconds to verify that tasks are stable...
verify: Waiting 2 seconds to verify that tasks are stable...
verify: Waiting 2 seconds to verify that tasks are stable...
verify: Waiting 2 seconds to verify that tasks are stable...
verify: Waiting 2 seconds to verify that tasks are stable...
verify: Waiting 2 seconds to verify that tasks are stable...
verify: Waiting 1 seconds to verify that tasks are stable...
verify: Waiting 1 seconds to verify that tasks are stable...
verify: Waiting 1 seconds to verify that tasks are stable...
verify: Waiting 1 seconds to verify that tasks are stable...
verify: Waiting 1 seconds to verify that tasks are stable...
verify: Service lab3app_api converged
+3
View File
@@ -0,0 +1,3 @@
lab3-manager 61.49% 272.4MiB / 7.653GiB
lab3-worker1 70.05% 132.1MiB / 7.653GiB
lab3-worker2 85.95% 166.9MiB / 7.653GiB
+2
View File
@@ -21,6 +21,8 @@ services:
replicas: 2
placement:
constraints: [node.labels.lab3_compute == true]
preferences:
- spread: node.hostname
update_config:
parallelism: 1
delay: 3s
+1 -1
View File
@@ -7,7 +7,7 @@ import sys
ROOT = Path(__file__).resolve().parents[1]
FILES = [ROOT / "app/main.py", ROOT / "scripts/migrate.py", ROOT / "scripts/lint.py"]
FILES = [ROOT / "app/main.py", ROOT / "scripts/migrate.py", ROOT / "scripts/lint.py", ROOT / "tests/node_failover.py"]
def check(path):
+78
View File
@@ -0,0 +1,78 @@
#!/bin/sh
# Local three-daemon Swarm for the node-loss experiment. All data are synthetic.
set -eu
cd "$(dirname "$0")/.."
manager() { docker exec lab3-manager docker "$@"; }
case "${1:-}" in
up)
test -f .env || { echo "Create .env first" >&2; exit 2; }
docker network create lab3-nodes >/dev/null
docker run -d --privileged --network lab3-nodes --name lab3-manager --hostname lab3-manager -p 127.0.0.1:18080:8080 docker:29.3-dind --host=unix:///var/run/docker.sock >/dev/null
for node in lab3-worker1 lab3-worker2; do
docker run -d --privileged --network lab3-nodes --name "$node" --hostname "$node" docker:29.3-dind --host=unix:///var/run/docker.sock >/dev/null
done
for node in lab3-manager lab3-worker1 lab3-worker2; do
count=0
until docker exec "$node" docker info >/dev/null 2>&1; do
count=$((count + 1))
test "$count" -lt 60 || { echo "$node daemon unavailable" >&2; exit 1; }
sleep 1
done
done
manager_ip=$(docker inspect -f '{{range .NetworkSettings.Networks}}{{.IPAddress}}{{end}}' lab3-manager)
manager swarm init --advertise-addr "$manager_ip" >/dev/null
join_token=$(manager swarm join-token -q worker)
for node in lab3-worker1 lab3-worker2; do
docker exec "$node" docker swarm join --token "$join_token" "$manager_ip:2377" >/dev/null
manager node update --label-add lab3_compute=true "$node" >/dev/null
done
manager node update --label-add lab3_storage=true lab3-manager >/dev/null
docker build -q -t lab3-api:local . >/dev/null
for node in lab3-manager lab3-worker1 lab3-worker2; do
docker save lab3-api:local | docker exec -i "$node" docker load >/dev/null
done
python3 -c 'from pathlib import Path; import sys; lines=Path(".env").read_text().splitlines(); values=[line.split("=",1)[1] for line in lines if line.startswith("POSTGRES_PASSWORD=")]; sys.stdout.write(values[-1])' | docker exec -i lab3-manager docker secret create lab3_db_password - >/dev/null
docker exec -i lab3-manager docker config create lab3_nginx_conf - < infra/nginx.conf >/dev/null
docker exec -i lab3-manager docker stack deploy --resolve-image never -c - lab3data < infra/swarm-data.yaml
count=0
until manager service ls --format '{{.Name}} {{.Replicas}}' | grep -q '^lab3data_postgres 1/1$'; do
count=$((count + 1))
test "$count" -lt 120 || { manager service ps lab3data_postgres; exit 1; }
sleep 1
done
manager service create --detach=true --name lab3-migrate --network lab3data_data --secret lab3_db_password --env DATABASE_HOST=lab3data_postgres --env DATABASE_NAME=messenger --env DATABASE_USER=messenger --env DATABASE_PASSWORD_FILE=/run/secrets/lab3_db_password --restart-condition on-failure --restart-max-attempts 10 lab3-api:local python -m scripts.migrate >/dev/null
count=0
until manager service ps --format '{{.CurrentState}}' lab3-migrate | head -1 | grep -q '^Complete'; do
count=$((count + 1))
test "$count" -lt 90 || { manager service ps lab3-migrate; exit 1; }
sleep 1
done
docker exec -i lab3-manager docker stack deploy --resolve-image never -c - lab3app < infra/swarm-app.yaml
echo "Swarm endpoint: http://127.0.0.1:18080 (wait for /health/ready)"
;;
status)
manager node ls
manager service ls
manager service ps lab3app_api
;;
fail-node)
case "${2:-}" in lab3-worker1|lab3-worker2) docker stop -t 1 "$2" >/dev/null ;; *) echo "Choose lab3-worker1 or lab3-worker2" >&2; exit 2 ;; esac
;;
recover-node)
case "${2:-}" in lab3-worker1|lab3-worker2) docker start "$2" >/dev/null ;; *) echo "Choose lab3-worker1 or lab3-worker2" >&2; exit 2 ;; esac
;;
rolling-update)
manager service update --force --update-parallelism 1 --update-order start-first lab3app_api
;;
down)
echo "Removing the ephemeral synthetic Swarm cluster and its data."
docker rm -f lab3-manager lab3-worker1 lab3-worker2 >/dev/null
docker network rm lab3-nodes >/dev/null
;;
*)
echo "Usage: $0 up|status|fail-node WORKER|recover-node WORKER|rolling-update|down" >&2
exit 2
;;
esac
+99
View File
@@ -0,0 +1,99 @@
#!/usr/bin/env python3
"""Exercise a real Swarm worker loss while reading and writing through the LB."""
import argparse
from concurrent.futures import ThreadPoolExecutor
import json
from pathlib import Path
import statistics
import subprocess
import time
import uuid
from client import Client, Failure
def tasks():
result = subprocess.check_output([
"docker", "exec", "lab3-manager", "docker", "service", "ps",
"--filter", "desired-state=running", "--format", "{{.Node}} {{.CurrentState}}",
"lab3app_api",
], text=True)
return [line.split()[0] for line in result.splitlines() if "Running" in line]
def main():
parser = argparse.ArgumentParser()
parser.add_argument("--base-url", default="http://127.0.0.1:18080")
parser.add_argument("--worker", choices=["lab3-worker1", "lab3-worker2"], default="lab3-worker1")
parser.add_argument("--output", default="evidence/node_failover.json")
args = parser.parse_args()
client = Client(args.base_url, timeout=2)
alice, bob, _, chat = client.bootstrap()
before = tasks()
assert len(before) == 2 and args.worker in before, before
instances = {
client.call("GET", "/api/v1/users/me", actor=alice, schema="User")["headers"]["X-Instance-Id"]
for _ in range(40)
}
assert len(instances) == 2, instances
key = uuid.uuid4().hex
body = "concurrent " + key
with ThreadPoolExecutor(max_workers=16) as executor:
results = list(executor.map(lambda _: client.message(alice, chat, body, key=key)["json"], range(16)))
assert all(item == results[0] for item in results)
subprocess.run(["docker", "stop", "-t", "1", args.worker], check=True, stdout=subprocess.DEVNULL)
start = time.monotonic()
successes = []
errors = 0
latencies = []
moved_at = None
first_success = None
pending_key = uuid.uuid4().hex
pending_text = "node-fail " + pending_key
while time.monotonic() - start < 75:
try:
response = client.message(alice, chat, pending_text, key=pending_key)
successes.append(response["json"])
latencies.append(response["elapsed"] * 1000)
if first_success is None:
first_success = time.monotonic() - start
client.call("GET", "/api/v1/chats/" + chat["id"] + "/messages?limit=1", actor=bob, schema="MessagePage")
pending_key = uuid.uuid4().hex
pending_text = "node-fail " + pending_key
except Failure:
errors += 1
current = tasks()
if len(current) == 2 and args.worker not in current and moved_at is None:
moved_at = time.monotonic() - start
if moved_at is not None and time.monotonic() - start > moved_at + 5:
break
time.sleep(0.15)
assert moved_at is not None, tasks()
assert successes, "no writes during node failure"
page = client.call("GET", "/api/v1/chats/" + chat["id"] + "/messages?limit=100", actor=bob, schema="MessagePage")["json"]
seen = {item["id"] for item in page["items"]}
assert results[0]["id"] in seen and all(item["id"] in seen for item in successes)
assert sum(item["text"] == body for item in page["items"]) == 1
report = {
"before_nodes": before,
"after_nodes": tasks(),
"before_instance_count": len(instances),
"concurrent_replays": len(results),
"concurrent_message_count": 1,
"successful_writes": len(successes),
"failed_attempts": errors,
"first_success_seconds": round(first_success, 3),
"replacement_running_seconds": round(moved_at, 3),
"confirmed_messages_preserved": True,
"latency_p50_ms": round(statistics.median(latencies), 3),
"latency_p95_ms": round(sorted(latencies)[int(0.95 * (len(latencies) - 1))], 3),
}
Path(args.output).write_text(json.dumps(report, indent=2) + "\n")
print(json.dumps(report, indent=2))
if __name__ == "__main__":
main()