lab3: tiny fix
This commit is contained in:
@@ -17,6 +17,7 @@ validate:
|
||||
|
||||
lint:
|
||||
$(PYTHON) scripts/lint.py
|
||||
sh -n scripts/restart.sh scripts/stop-one.sh scripts/swarm-lab.sh
|
||||
|
||||
test:
|
||||
$(PYTHON) tests/smoke.py --base-url "$(BASE_URL)" $(TLS_ARGS)
|
||||
|
||||
@@ -1,37 +1,87 @@
|
||||
# Отчёт — лабораторная 3
|
||||
|
||||
- Автор, группа: TODO
|
||||
- Целевая оценка; выбранный трек 5, если нужен: TODO
|
||||
- Commit/PR: TODO после публикации
|
||||
- Использованные источники, библиотеки и помощь ИИ: TODO
|
||||
Автор: Юртаев (группа не указана). Цель: **5, трек 2 — отказ узла**. Commit/PR не создавались. Код API перенесён из лабораторной 2 и доработан с помощью Codex. Python 3.12.10, FastAPI 0.115.12, psycopg 3.2.6, Redis 5.2.1, PostgreSQL 16.8, Nginx 1.27.5, Docker 29.3.0 (вложенные daemon 29.3.1). Изучены README, контракт и публичные тесты этого репозитория, исходники lab2, Docker Compose и Swarm CLI.
|
||||
|
||||
## Запуск из чистого clone
|
||||
## Запуск Compose из чистого clone
|
||||
|
||||
TODO: версии runtime/образов, prerequisites, команды создания локальных secrets/.env, build, миграций, запуска, ожидания готовности, тестов и остановки. Указать необходимые действия оператора. Не вставлять секреты. Отдельно указать безопасную остановку и команду намеренного удаления учебных данных.
|
||||
Проверено 23.10.2026 на Apple M4, 16 GiB RAM; Docker Desktop выделял 7.653 GiB. Достаточно Docker Engine с Compose, Python 3.9+ и свободного порта 8080. Тестовые данные синтетические, HTTP слушает только `127.0.0.1`.
|
||||
|
||||
## Архитектура и решения
|
||||
```sh
|
||||
cp .env.example .env
|
||||
# Заменить POSTGRES_PASSWORD в .env на локальный случайный пароль.
|
||||
docker compose --env-file .env config --quiet
|
||||
docker compose --env-file .env up -d --build --wait
|
||||
make lint check test
|
||||
make test-persistence ACTION_SCRIPT=scripts/restart.sh
|
||||
make test-failover ACTION_SCRIPT=scripts/stop-one.sh
|
||||
docker compose --env-file .env start api # восстановить остановленную реплику
|
||||
```
|
||||
|
||||
TODO: схема процессов/хранилищ, источник истины, транзакционные границы, ограничения. Что перенесено из lab2, что изменено в этой работе. Соответствие переменных из .env.example реальной конфигурации.
|
||||
`migrate` — отдельный одноразовый сервис: он завершается до старта API. Миграции повторно запускаются без дублирования таблиц; транзакционная advisory lock защищает от случайного параллельного оператора. Для остановки без удаления данных: `docker compose --env-file .env down`. Намеренный сброс синтетических данных: `docker compose --env-file .env down -v`. `.env` и volumes исключены из Git.
|
||||
|
||||
## Доказательства критериев
|
||||
## Архитектура и корректность
|
||||
|
||||
| Критерий README | Команда/сценарий | Наблюдаемый результат | Файл доказательства |
|
||||
| --- | --- | --- | --- |
|
||||
| Публичный smoke | make test | TODO | TODO |
|
||||
| Остальные пункты уровня 3 | TODO | TODO | TODO |
|
||||
| Все пункты уровня 4, если заявлен | TODO | TODO | TODO |
|
||||
| Выбранный трек 5, если заявлен | TODO | TODO | TODO |
|
||||
```text
|
||||
localhost:8080 → Nginx → API × 2 → PostgreSQL (истина: users, sessions, chats, messages, idempotency)
|
||||
↘ Redis (только необязательный кэш истории)
|
||||
```
|
||||
|
||||
TODO: добавить отдельную строку для каждого заявленного критерия. PASS без команды и наблюдения не является доказательством. Проверка инфраструктурного hook требует подтверждения, какие реальные процессы/хранилища перезапущены.
|
||||
API не публикует порт на хост и не хранит сессии локально. Nginx использует Docker DNS с TTL 1 с, без sticky session; процесс обозначается `X-Instance-Id` (Docker hostname/container ID). API и Redis имеют лимиты 0.75 CPU/256 MiB и 0.5 CPU/192 MiB; PostgreSQL — 1 CPU/512 MiB; LB — 0.5 CPU/128 MiB. `front` доступен LB и API, `data` — API, PostgreSQL и Redis. Пароль учебной БД задаётся в локальном `.env`; в Swarm передаётся Docker secret. Секрет не включён в образ или отчёт.
|
||||
|
||||
## Эксперименты и отказы
|
||||
Сессии, сообщения и версия истории находятся в PostgreSQL. Redis хранит только страницы с TTL 30 с. Версия чата повышается в той же транзакции, что вставляет сообщение; после COMMIT следующая реплика читает новую версию и не отдаёт старую страницу. При отказе Redis чтение идёт из PostgreSQL. `/health/live` проверяет процесс; `/health/ready` делает SQL `SELECT 1`, потому что PostgreSQL обязателен для сессий и синхронного API. PostgreSQL недоступен — 503, Redis недоступен — API остаётся готовым.
|
||||
|
||||
TODO: гипотеза, hardware/лимиты, версии, объём данных, профиль нагрузки, concurrency/arrival rate, длительность/прогрев, повторы, успешные RPS, ошибки, p50/p95/p99, CPU/RAM. Сохранить raw summary без tokens и объяснить ограничения измерения.
|
||||
Для сообщений обязателен `Idempotency-Key`. Первичный ключ `(user_id, chat_id, key)` в PostgreSQL сериализует параллельные запросы всех реплик. В одной транзакции фиксируются резервирование ключа, сообщение, ссылка на него и новая версия истории. Повтор с тем же текстом в течение 24 часов получает исходные `201` и Message; другой текст — 409. Истёкшую запись удаляют при следующем применении этого ключа. Проверка сессии и членства выполняется до повторного ответа. Неподтверждённый POST можно повторить с тем же ключом. Отсутствие отдельного фонового удаления истёкших ключей означает рост таблицы при большом числе одноразовых ключей; эксплуатационная очистка — следующий шаг.
|
||||
|
||||
| Воздействие | Что ожидаем | Что наблюдали | Время восстановления / потеря данных |
|
||||
| --- | --- | --- | --- |
|
||||
| TODO | TODO | TODO | TODO |
|
||||
API healthcheck: каждые 2 с, timeout 3 с, 2 неудачи. Nginx connect timeout 1 с, read/send timeout 5 с, DNS cache 1 с, один повтор upstream при сетевой ошибке или 502/503. Uvicorn обрабатывает SIGTERM и получает 15 с на завершение запросов; readiness сбрасывается при shutdown. Для остановленного процесса наблюдавшееся восстановление новых записей — 1.70–1.95 с. Верхняя граница при сетевом зависании зависит от таймаута запроса и Docker DNS; активной проверки каждого backend в Nginx нет.
|
||||
|
||||
## Ограничения и следующие шаги
|
||||
Миграция 002 добавляет таблицу и индекс, не меняя старые поля: её можно выполнить при работающей версии lab2. Однако в период смешанных lab2/lab3 API старый процесс не обеспечивает идемпотентность, поэтому клиентов с новым контрактом переключают только после завершения обновления. Swarm `update_config` заменяет по одной реплике (`start-first`, 3 с пауза), с rollback при неудаче. Проверка обновления ниже принудительно пересоздавала тот же образ; переход между разными версиями приложения не измерялся.
|
||||
|
||||
TODO: какие отказы выдерживаются и какие нет; что не реализовано; где учебное упрощение; какое улучшение подтверждено, а какое пока гипотеза.
|
||||
## Публичные проверки уровней 3–4
|
||||
|
||||
| Критерий | Команда | Наблюдение |
|
||||
| --- | --- | --- |
|
||||
| Контракт и линт | `make lint check` | PASS |
|
||||
| Smoke через LB | `make test` | PASS: оба `X-Instance-Id`, Basic/Bearer, доступ, пагинация, ключ |
|
||||
| Полный рестарт без удаления volume | `make test-persistence ACTION_SCRIPT=scripts/restart.sh` | PASS: старый токен и сообщение после рестарта API, PostgreSQL, Redis, LB |
|
||||
| Отказ API-2 | `make test-failover ACTION_SCRIPT=scripts/stop-one.sh` | 2 реплики до отказа; 122 записи/15 с ≈8.13 RPS, 0 ошибок, первая запись через 1.946 с |
|
||||
| Отказ API-1 после восстановления API-2 | та же команда | 122 записи/15 с ≈8.13 RPS, 0 ошибок, первая запись через 1.704 с; остановлен `api-1` |
|
||||
| Конкурентный ключ | `python3 tests/node_failover.py` | 16 одновременных POST через LB вернули одно Message |
|
||||
| Rolling update под нагрузкой | `scripts/swarm-lab.sh rolling-update` одновременно с `tests/load.py` | 10 791 подтверждённая запись/30.041 с, 359.214 RPS, 0 ошибок; p50/p95/p99 = 8.830/22.727/64.266 мс |
|
||||
|
||||
Скрипт `stop-one.sh` сопоставляет `TARGET_INSTANCE_ID` с Docker container ID и проверяет label сервиса `api`; он останавливает именно выбранный тестом процесс. После сценария `docker compose ps -a api` показывает остановленную реплику. При первом прогоне остановилась `api-2`, затем она была восстановлена; при втором — `api-1` (ID `0c6d23164d9a`). `restart.sh` перезапускает все используемые сервисы без `down -v`.
|
||||
|
||||
## Трек 2: отказ узла
|
||||
|
||||
**Гипотеза:** если на двух worker работают взаимозаменяемые API, потеря одного Docker-узла оставит доступ к подтверждённым данным через оставшийся API, а Swarm разместит новую задачу API на живом worker. PostgreSQL и LB намеренно закреплены на manager: их отказ этот стенд не переживает.
|
||||
|
||||
Воспроизводимый локальный эксперимент использует три независимых Docker daemon в привилегированных контейнерах Docker-in-Docker, соединённых одной сетью. Это **логические узлы на одном физическом Mac**, поэтому не доказывает устойчивость к потере самого Mac или Docker Desktop. Swarm manager хранит PostgreSQL volume и запускает LB/Redis; два worker первоначально держат по одному API. Образ `lab3-api:local` загружается в каждый daemon; в реальных отдельных машинах нужен общий registry с закреплённым digest и защищённые сетевые каналы. Внешняя точка входа вложенного стенда — `127.0.0.1:18080`.
|
||||
|
||||
```sh
|
||||
scripts/swarm-lab.sh up
|
||||
# Дождаться ответа /health/ready; затем:
|
||||
make test BASE_URL=http://127.0.0.1:18080
|
||||
python3 tests/node_failover.py --worker lab3-worker1 --output evidence/node_failover.json
|
||||
scripts/swarm-lab.sh status
|
||||
scripts/swarm-lab.sh recover-node lab3-worker1
|
||||
# Остановка и удаление временного синтетического кластера:
|
||||
scripts/swarm-lab.sh down
|
||||
```
|
||||
|
||||
`node_failover.py` сначала создаёт чат и сессию, проверяет два разных instance ID, отправляет 16 конкурентных повторов одного ключа, затем выполняет `docker stop` worker1. До появления двух API-задач на оставшемся worker он непрерывно отправляет POST с новым ключом и после каждого успеха выполняет GET истории другим участником; неопределённый POST повторялся бы с тем же ключом. В конце проверяются все подтверждённые сообщения и отсутствие дубля. Один запуск дал:
|
||||
|
||||
| Показатель | Значение |
|
||||
| --- | ---: |
|
||||
| Размещение до / после | worker1 + worker2 / worker2 + worker2 |
|
||||
| Время появления новой задачи API | 20.054 с |
|
||||
| Успешные записи / ошибки | 96 / 0 |
|
||||
| Первая запись после остановки worker | 0.020 с |
|
||||
| p50 / p95 записи | 14.586 / 22.945 мс |
|
||||
| Сохранность подтверждённых данных | подтверждена чтением через оставшийся узел |
|
||||
|
||||
Сырые агрегаты: [отказ узла](evidence/node_failover.json), [rolling update](evidence/swarm_rolling_load.json), [отдельная нагрузка](evidence/swarm_load.json), [снимок ресурсов во время отдельной нагрузки](evidence/swarm_stats.txt). Во время отдельного 15-секундного прогона было 4513 успехов, 0 ошибок, 300.358 RPS. Однократный `docker stats` показал: manager 61.49% CPU / 272.4 MiB, worker1 70.05% / 132.1 MiB, worker2 85.95% / 166.9 MiB. Это расход целых вложенных узлов, включая daemon, а не только приложения.
|
||||
|
||||
Защищённая зависимость здесь — **API worker**: его задача реально исчезла с остановленного daemon и была создана на worker2; сессия и сообщения остались доступны из PostgreSQL на manager. Redis — необязательный кэш, его данные не требуются для сохранности. Единичные PostgreSQL, локальный volume manager, единственный LB и сам manager остаются SPOF. Утрата manager/его volume не выдерживается и не заявляется как защищённый сценарий. Для устойчивости к ним потребуются внешний/реплицированный PostgreSQL с проверенным failover, репликация хранения и несколько LB с переключаемой внешней точкой входа.
|
||||
|
||||
## Ограничения измерений
|
||||
|
||||
Все результаты получены на одном ноутбуке и при synthetic closed-loop нагрузке. Клиент ограничивает RPS и имеет coordinated omission; p50/p95/p99 охватывают только успешные запросы. Срез CPU/RAM один и не отражает пики. Во время отказа узла сервис продолжал отвечать за счёт второй реплики, хотя восстановление полного числа задач заняло 20 с. В Swarm не проверялись физическое отключение машины, потеря manager, отказ PostgreSQL/диска и обновление между версиями. Локальный DinD использует привилегированные контейнеры только для учебного эксперимента.
|
||||
|
||||
@@ -0,0 +1,20 @@
|
||||
{
|
||||
"before_nodes": [
|
||||
"lab3-worker1",
|
||||
"lab3-worker2"
|
||||
],
|
||||
"after_nodes": [
|
||||
"lab3-worker2",
|
||||
"lab3-worker2"
|
||||
],
|
||||
"before_instance_count": 2,
|
||||
"concurrent_replays": 16,
|
||||
"concurrent_message_count": 1,
|
||||
"successful_writes": 96,
|
||||
"failed_attempts": 0,
|
||||
"first_success_seconds": 0.02,
|
||||
"replacement_running_seconds": 20.054,
|
||||
"confirmed_messages_preserved": true,
|
||||
"latency_p50_ms": 14.586,
|
||||
"latency_p95_ms": 22.945
|
||||
}
|
||||
@@ -0,0 +1,17 @@
|
||||
{
|
||||
"lab": 3,
|
||||
"workload": "closed-loop POST messages; no automatic retries",
|
||||
"requested_duration_seconds": 15.0,
|
||||
"elapsed_seconds": 15.025,
|
||||
"concurrency": 4,
|
||||
"successful_requests": 4513,
|
||||
"failed_requests": 0,
|
||||
"error_ratio": 0.0,
|
||||
"successful_rps": 300.358,
|
||||
"successful_latency_ms": {
|
||||
"p50": 9.415,
|
||||
"p95": 35.526,
|
||||
"p99": 77.236
|
||||
},
|
||||
"note": "Latency percentiles cover successes only. Timeouts/errors are counted separately; closed-loop has coordinated omission and client overhead."
|
||||
}
|
||||
@@ -0,0 +1,17 @@
|
||||
{
|
||||
"lab": 3,
|
||||
"workload": "closed-loop POST messages; no automatic retries",
|
||||
"requested_duration_seconds": 30.0,
|
||||
"elapsed_seconds": 30.041,
|
||||
"concurrency": 4,
|
||||
"successful_requests": 10791,
|
||||
"failed_requests": 0,
|
||||
"error_ratio": 0.0,
|
||||
"successful_rps": 359.214,
|
||||
"successful_latency_ms": {
|
||||
"p50": 8.83,
|
||||
"p95": 22.727,
|
||||
"p99": 64.266
|
||||
},
|
||||
"note": "Latency percentiles cover successes only. Timeouts/errors are counted separately; closed-loop has coordinated omission and client overhead."
|
||||
}
|
||||
@@ -0,0 +1,17 @@
|
||||
{
|
||||
"lab": 3,
|
||||
"workload": "closed-loop POST messages; no automatic retries",
|
||||
"requested_duration_seconds": 30.0,
|
||||
"elapsed_seconds": 30.041,
|
||||
"concurrency": 4,
|
||||
"successful_requests": 10791,
|
||||
"failed_requests": 0,
|
||||
"error_ratio": 0.0,
|
||||
"successful_rps": 359.214,
|
||||
"successful_latency_ms": {
|
||||
"p50": 8.83,
|
||||
"p95": 22.727,
|
||||
"p99": 64.266
|
||||
},
|
||||
"note": "Latency percentiles cover successes only. Timeouts/errors are counted separately; closed-loop has coordinated omission and client overhead."
|
||||
}
|
||||
@@ -0,0 +1,90 @@
|
||||
lab3app_api
|
||||
overall progress: 0 out of 2 tasks
|
||||
1/2:
|
||||
2/2:
|
||||
overall progress: 0 out of 2 tasks
|
||||
overall progress: 0 out of 2 tasks
|
||||
overall progress: 0 out of 2 tasks
|
||||
overall progress: 0 out of 2 tasks
|
||||
overall progress: 0 out of 2 tasks
|
||||
overall progress: 0 out of 2 tasks
|
||||
overall progress: 0 out of 2 tasks
|
||||
overall progress: 0 out of 2 tasks
|
||||
overall progress: 0 out of 2 tasks
|
||||
overall progress: 0 out of 2 tasks
|
||||
overall progress: 0 out of 2 tasks
|
||||
overall progress: 0 out of 2 tasks
|
||||
overall progress: 0 out of 2 tasks
|
||||
overall progress: 0 out of 2 tasks
|
||||
overall progress: 0 out of 2 tasks
|
||||
overall progress: 0 out of 2 tasks
|
||||
overall progress: 0 out of 2 tasks
|
||||
overall progress: 0 out of 2 tasks
|
||||
overall progress: 0 out of 2 tasks
|
||||
overall progress: 0 out of 2 tasks
|
||||
overall progress: 0 out of 2 tasks
|
||||
overall progress: 1 out of 2 tasks
|
||||
overall progress: 1 out of 2 tasks
|
||||
overall progress: 1 out of 2 tasks
|
||||
overall progress: 1 out of 2 tasks
|
||||
overall progress: 1 out of 2 tasks
|
||||
overall progress: 1 out of 2 tasks
|
||||
overall progress: 1 out of 2 tasks
|
||||
overall progress: 1 out of 2 tasks
|
||||
overall progress: 1 out of 2 tasks
|
||||
overall progress: 1 out of 2 tasks
|
||||
overall progress: 1 out of 2 tasks
|
||||
overall progress: 1 out of 2 tasks
|
||||
overall progress: 1 out of 2 tasks
|
||||
overall progress: 1 out of 2 tasks
|
||||
overall progress: 1 out of 2 tasks
|
||||
overall progress: 1 out of 2 tasks
|
||||
overall progress: 1 out of 2 tasks
|
||||
overall progress: 1 out of 2 tasks
|
||||
overall progress: 1 out of 2 tasks
|
||||
overall progress: 1 out of 2 tasks
|
||||
overall progress: 1 out of 2 tasks
|
||||
overall progress: 1 out of 2 tasks
|
||||
overall progress: 1 out of 2 tasks
|
||||
overall progress: 1 out of 2 tasks
|
||||
overall progress: 1 out of 2 tasks
|
||||
overall progress: 1 out of 2 tasks
|
||||
overall progress: 1 out of 2 tasks
|
||||
overall progress: 1 out of 2 tasks
|
||||
overall progress: 1 out of 2 tasks
|
||||
overall progress: 1 out of 2 tasks
|
||||
overall progress: 1 out of 2 tasks
|
||||
overall progress: 1 out of 2 tasks
|
||||
overall progress: 1 out of 2 tasks
|
||||
overall progress: 1 out of 2 tasks
|
||||
overall progress: 1 out of 2 tasks
|
||||
overall progress: 1 out of 2 tasks
|
||||
overall progress: 1 out of 2 tasks
|
||||
overall progress: 1 out of 2 tasks
|
||||
overall progress: 2 out of 2 tasks
|
||||
verify: Waiting 5 seconds to verify that tasks are stable...
|
||||
verify: Waiting 5 seconds to verify that tasks are stable...
|
||||
verify: Waiting 5 seconds to verify that tasks are stable...
|
||||
verify: Waiting 5 seconds to verify that tasks are stable...
|
||||
verify: Waiting 5 seconds to verify that tasks are stable...
|
||||
verify: Waiting 4 seconds to verify that tasks are stable...
|
||||
verify: Waiting 4 seconds to verify that tasks are stable...
|
||||
verify: Waiting 4 seconds to verify that tasks are stable...
|
||||
verify: Waiting 4 seconds to verify that tasks are stable...
|
||||
verify: Waiting 4 seconds to verify that tasks are stable...
|
||||
verify: Waiting 3 seconds to verify that tasks are stable...
|
||||
verify: Waiting 3 seconds to verify that tasks are stable...
|
||||
verify: Waiting 3 seconds to verify that tasks are stable...
|
||||
verify: Waiting 3 seconds to verify that tasks are stable...
|
||||
verify: Waiting 3 seconds to verify that tasks are stable...
|
||||
verify: Waiting 2 seconds to verify that tasks are stable...
|
||||
verify: Waiting 2 seconds to verify that tasks are stable...
|
||||
verify: Waiting 2 seconds to verify that tasks are stable...
|
||||
verify: Waiting 2 seconds to verify that tasks are stable...
|
||||
verify: Waiting 2 seconds to verify that tasks are stable...
|
||||
verify: Waiting 1 seconds to verify that tasks are stable...
|
||||
verify: Waiting 1 seconds to verify that tasks are stable...
|
||||
verify: Waiting 1 seconds to verify that tasks are stable...
|
||||
verify: Waiting 1 seconds to verify that tasks are stable...
|
||||
verify: Waiting 1 seconds to verify that tasks are stable...
|
||||
verify: Service lab3app_api converged
|
||||
@@ -0,0 +1,3 @@
|
||||
lab3-manager 61.49% 272.4MiB / 7.653GiB
|
||||
lab3-worker1 70.05% 132.1MiB / 7.653GiB
|
||||
lab3-worker2 85.95% 166.9MiB / 7.653GiB
|
||||
@@ -21,6 +21,8 @@ services:
|
||||
replicas: 2
|
||||
placement:
|
||||
constraints: [node.labels.lab3_compute == true]
|
||||
preferences:
|
||||
- spread: node.hostname
|
||||
update_config:
|
||||
parallelism: 1
|
||||
delay: 3s
|
||||
|
||||
+1
-1
@@ -7,7 +7,7 @@ import sys
|
||||
|
||||
|
||||
ROOT = Path(__file__).resolve().parents[1]
|
||||
FILES = [ROOT / "app/main.py", ROOT / "scripts/migrate.py", ROOT / "scripts/lint.py"]
|
||||
FILES = [ROOT / "app/main.py", ROOT / "scripts/migrate.py", ROOT / "scripts/lint.py", ROOT / "tests/node_failover.py"]
|
||||
|
||||
|
||||
def check(path):
|
||||
|
||||
Executable
+78
@@ -0,0 +1,78 @@
|
||||
#!/bin/sh
|
||||
# Local three-daemon Swarm for the node-loss experiment. All data are synthetic.
|
||||
set -eu
|
||||
cd "$(dirname "$0")/.."
|
||||
|
||||
manager() { docker exec lab3-manager docker "$@"; }
|
||||
|
||||
case "${1:-}" in
|
||||
up)
|
||||
test -f .env || { echo "Create .env first" >&2; exit 2; }
|
||||
docker network create lab3-nodes >/dev/null
|
||||
docker run -d --privileged --network lab3-nodes --name lab3-manager --hostname lab3-manager -p 127.0.0.1:18080:8080 docker:29.3-dind --host=unix:///var/run/docker.sock >/dev/null
|
||||
for node in lab3-worker1 lab3-worker2; do
|
||||
docker run -d --privileged --network lab3-nodes --name "$node" --hostname "$node" docker:29.3-dind --host=unix:///var/run/docker.sock >/dev/null
|
||||
done
|
||||
for node in lab3-manager lab3-worker1 lab3-worker2; do
|
||||
count=0
|
||||
until docker exec "$node" docker info >/dev/null 2>&1; do
|
||||
count=$((count + 1))
|
||||
test "$count" -lt 60 || { echo "$node daemon unavailable" >&2; exit 1; }
|
||||
sleep 1
|
||||
done
|
||||
done
|
||||
manager_ip=$(docker inspect -f '{{range .NetworkSettings.Networks}}{{.IPAddress}}{{end}}' lab3-manager)
|
||||
manager swarm init --advertise-addr "$manager_ip" >/dev/null
|
||||
join_token=$(manager swarm join-token -q worker)
|
||||
for node in lab3-worker1 lab3-worker2; do
|
||||
docker exec "$node" docker swarm join --token "$join_token" "$manager_ip:2377" >/dev/null
|
||||
manager node update --label-add lab3_compute=true "$node" >/dev/null
|
||||
done
|
||||
manager node update --label-add lab3_storage=true lab3-manager >/dev/null
|
||||
docker build -q -t lab3-api:local . >/dev/null
|
||||
for node in lab3-manager lab3-worker1 lab3-worker2; do
|
||||
docker save lab3-api:local | docker exec -i "$node" docker load >/dev/null
|
||||
done
|
||||
python3 -c 'from pathlib import Path; import sys; lines=Path(".env").read_text().splitlines(); values=[line.split("=",1)[1] for line in lines if line.startswith("POSTGRES_PASSWORD=")]; sys.stdout.write(values[-1])' | docker exec -i lab3-manager docker secret create lab3_db_password - >/dev/null
|
||||
docker exec -i lab3-manager docker config create lab3_nginx_conf - < infra/nginx.conf >/dev/null
|
||||
docker exec -i lab3-manager docker stack deploy --resolve-image never -c - lab3data < infra/swarm-data.yaml
|
||||
count=0
|
||||
until manager service ls --format '{{.Name}} {{.Replicas}}' | grep -q '^lab3data_postgres 1/1$'; do
|
||||
count=$((count + 1))
|
||||
test "$count" -lt 120 || { manager service ps lab3data_postgres; exit 1; }
|
||||
sleep 1
|
||||
done
|
||||
manager service create --detach=true --name lab3-migrate --network lab3data_data --secret lab3_db_password --env DATABASE_HOST=lab3data_postgres --env DATABASE_NAME=messenger --env DATABASE_USER=messenger --env DATABASE_PASSWORD_FILE=/run/secrets/lab3_db_password --restart-condition on-failure --restart-max-attempts 10 lab3-api:local python -m scripts.migrate >/dev/null
|
||||
count=0
|
||||
until manager service ps --format '{{.CurrentState}}' lab3-migrate | head -1 | grep -q '^Complete'; do
|
||||
count=$((count + 1))
|
||||
test "$count" -lt 90 || { manager service ps lab3-migrate; exit 1; }
|
||||
sleep 1
|
||||
done
|
||||
docker exec -i lab3-manager docker stack deploy --resolve-image never -c - lab3app < infra/swarm-app.yaml
|
||||
echo "Swarm endpoint: http://127.0.0.1:18080 (wait for /health/ready)"
|
||||
;;
|
||||
status)
|
||||
manager node ls
|
||||
manager service ls
|
||||
manager service ps lab3app_api
|
||||
;;
|
||||
fail-node)
|
||||
case "${2:-}" in lab3-worker1|lab3-worker2) docker stop -t 1 "$2" >/dev/null ;; *) echo "Choose lab3-worker1 or lab3-worker2" >&2; exit 2 ;; esac
|
||||
;;
|
||||
recover-node)
|
||||
case "${2:-}" in lab3-worker1|lab3-worker2) docker start "$2" >/dev/null ;; *) echo "Choose lab3-worker1 or lab3-worker2" >&2; exit 2 ;; esac
|
||||
;;
|
||||
rolling-update)
|
||||
manager service update --force --update-parallelism 1 --update-order start-first lab3app_api
|
||||
;;
|
||||
down)
|
||||
echo "Removing the ephemeral synthetic Swarm cluster and its data."
|
||||
docker rm -f lab3-manager lab3-worker1 lab3-worker2 >/dev/null
|
||||
docker network rm lab3-nodes >/dev/null
|
||||
;;
|
||||
*)
|
||||
echo "Usage: $0 up|status|fail-node WORKER|recover-node WORKER|rolling-update|down" >&2
|
||||
exit 2
|
||||
;;
|
||||
esac
|
||||
@@ -0,0 +1,99 @@
|
||||
#!/usr/bin/env python3
|
||||
"""Exercise a real Swarm worker loss while reading and writing through the LB."""
|
||||
|
||||
import argparse
|
||||
from concurrent.futures import ThreadPoolExecutor
|
||||
import json
|
||||
from pathlib import Path
|
||||
import statistics
|
||||
import subprocess
|
||||
import time
|
||||
import uuid
|
||||
|
||||
from client import Client, Failure
|
||||
|
||||
|
||||
def tasks():
|
||||
result = subprocess.check_output([
|
||||
"docker", "exec", "lab3-manager", "docker", "service", "ps",
|
||||
"--filter", "desired-state=running", "--format", "{{.Node}} {{.CurrentState}}",
|
||||
"lab3app_api",
|
||||
], text=True)
|
||||
return [line.split()[0] for line in result.splitlines() if "Running" in line]
|
||||
|
||||
|
||||
def main():
|
||||
parser = argparse.ArgumentParser()
|
||||
parser.add_argument("--base-url", default="http://127.0.0.1:18080")
|
||||
parser.add_argument("--worker", choices=["lab3-worker1", "lab3-worker2"], default="lab3-worker1")
|
||||
parser.add_argument("--output", default="evidence/node_failover.json")
|
||||
args = parser.parse_args()
|
||||
client = Client(args.base_url, timeout=2)
|
||||
alice, bob, _, chat = client.bootstrap()
|
||||
before = tasks()
|
||||
assert len(before) == 2 and args.worker in before, before
|
||||
instances = {
|
||||
client.call("GET", "/api/v1/users/me", actor=alice, schema="User")["headers"]["X-Instance-Id"]
|
||||
for _ in range(40)
|
||||
}
|
||||
assert len(instances) == 2, instances
|
||||
|
||||
key = uuid.uuid4().hex
|
||||
body = "concurrent " + key
|
||||
with ThreadPoolExecutor(max_workers=16) as executor:
|
||||
results = list(executor.map(lambda _: client.message(alice, chat, body, key=key)["json"], range(16)))
|
||||
assert all(item == results[0] for item in results)
|
||||
|
||||
subprocess.run(["docker", "stop", "-t", "1", args.worker], check=True, stdout=subprocess.DEVNULL)
|
||||
start = time.monotonic()
|
||||
successes = []
|
||||
errors = 0
|
||||
latencies = []
|
||||
moved_at = None
|
||||
first_success = None
|
||||
pending_key = uuid.uuid4().hex
|
||||
pending_text = "node-fail " + pending_key
|
||||
while time.monotonic() - start < 75:
|
||||
try:
|
||||
response = client.message(alice, chat, pending_text, key=pending_key)
|
||||
successes.append(response["json"])
|
||||
latencies.append(response["elapsed"] * 1000)
|
||||
if first_success is None:
|
||||
first_success = time.monotonic() - start
|
||||
client.call("GET", "/api/v1/chats/" + chat["id"] + "/messages?limit=1", actor=bob, schema="MessagePage")
|
||||
pending_key = uuid.uuid4().hex
|
||||
pending_text = "node-fail " + pending_key
|
||||
except Failure:
|
||||
errors += 1
|
||||
current = tasks()
|
||||
if len(current) == 2 and args.worker not in current and moved_at is None:
|
||||
moved_at = time.monotonic() - start
|
||||
if moved_at is not None and time.monotonic() - start > moved_at + 5:
|
||||
break
|
||||
time.sleep(0.15)
|
||||
assert moved_at is not None, tasks()
|
||||
assert successes, "no writes during node failure"
|
||||
page = client.call("GET", "/api/v1/chats/" + chat["id"] + "/messages?limit=100", actor=bob, schema="MessagePage")["json"]
|
||||
seen = {item["id"] for item in page["items"]}
|
||||
assert results[0]["id"] in seen and all(item["id"] in seen for item in successes)
|
||||
assert sum(item["text"] == body for item in page["items"]) == 1
|
||||
report = {
|
||||
"before_nodes": before,
|
||||
"after_nodes": tasks(),
|
||||
"before_instance_count": len(instances),
|
||||
"concurrent_replays": len(results),
|
||||
"concurrent_message_count": 1,
|
||||
"successful_writes": len(successes),
|
||||
"failed_attempts": errors,
|
||||
"first_success_seconds": round(first_success, 3),
|
||||
"replacement_running_seconds": round(moved_at, 3),
|
||||
"confirmed_messages_preserved": True,
|
||||
"latency_p50_ms": round(statistics.median(latencies), 3),
|
||||
"latency_p95_ms": round(sorted(latencies)[int(0.95 * (len(latencies) - 1))], 3),
|
||||
}
|
||||
Path(args.output).write_text(json.dumps(report, indent=2) + "\n")
|
||||
print(json.dumps(report, indent=2))
|
||||
|
||||
|
||||
if __name__ == "__main__":
|
||||
main()
|
||||
Reference in New Issue
Block a user