14 KiB
Отчёт — лабораторная 3
Автор: Юртаев (группа не указана). Цель: 5, трек 2 — отказ узла. Commit/PR не создавались. Код API перенесён из лабораторной 2 и доработан с помощью Codex. Python 3.12.10, FastAPI 0.115.12, psycopg 3.2.6, Redis 5.2.1, PostgreSQL 16.8, Nginx 1.27.5, Docker 29.3.0 (вложенные daemon 29.3.1). Изучены README, контракт и публичные тесты этого репозитория, исходники lab2, Docker Compose и Swarm CLI.
Запуск Compose из чистого clone
Проверено 23.10.2026 на Apple M4, 16 GiB RAM; Docker Desktop выделял 7.653 GiB. Достаточно Docker Engine с Compose, Python 3.9+ и свободного порта 8080. Тестовые данные синтетические, HTTP слушает только 127.0.0.1.
cp .env.example .env
# Заменить POSTGRES_PASSWORD в .env на локальный случайный пароль.
docker compose --env-file .env config --quiet
docker compose --env-file .env up -d --build --wait
make lint check test
make test-persistence ACTION_SCRIPT=scripts/restart.sh
make test-failover ACTION_SCRIPT=scripts/stop-one.sh
docker compose --env-file .env start api # восстановить остановленную реплику
migrate — отдельный одноразовый сервис: он завершается до старта API. Миграции повторно запускаются без дублирования таблиц; транзакционная advisory lock защищает от случайного параллельного оператора. Для остановки без удаления данных: docker compose --env-file .env down. Намеренный сброс синтетических данных: docker compose --env-file .env down -v. .env и volumes исключены из Git.
Архитектура и корректность
localhost:8080 → Nginx → API × 2 → PostgreSQL (истина: users, sessions, chats, messages, idempotency)
↘ Redis (только необязательный кэш истории)
API не публикует порт на хост и не хранит сессии локально. Nginx использует Docker DNS с TTL 1 с, без sticky session; процесс обозначается X-Instance-Id (Docker hostname/container ID). API и Redis имеют лимиты 0.75 CPU/256 MiB и 0.5 CPU/192 MiB; PostgreSQL — 1 CPU/512 MiB; LB — 0.5 CPU/128 MiB. front доступен LB и API, data — API, PostgreSQL и Redis. Пароль учебной БД задаётся в локальном .env; в Swarm передаётся Docker secret. Секрет не включён в образ или отчёт.
Сессии, сообщения и версия истории находятся в PostgreSQL. Redis хранит только страницы с TTL 30 с. Версия чата повышается в той же транзакции, что вставляет сообщение; после COMMIT следующая реплика читает новую версию и не отдаёт старую страницу. При отказе Redis чтение идёт из PostgreSQL. /health/live проверяет процесс; /health/ready делает SQL SELECT 1, потому что PostgreSQL обязателен для сессий и синхронного API. PostgreSQL недоступен — 503, Redis недоступен — API остаётся готовым.
Для сообщений обязателен Idempotency-Key. Первичный ключ (user_id, chat_id, key) в PostgreSQL сериализует параллельные запросы всех реплик. В одной транзакции фиксируются резервирование ключа, сообщение, ссылка на него и новая версия истории. Повтор с тем же текстом в течение 24 часов получает исходные 201 и Message; другой текст — 409. Истёкшую запись удаляют при следующем применении этого ключа. Проверка сессии и членства выполняется до повторного ответа. Неподтверждённый POST можно повторить с тем же ключом. Отсутствие отдельного фонового удаления истёкших ключей означает рост таблицы при большом числе одноразовых ключей; эксплуатационная очистка — следующий шаг.
API healthcheck: каждые 2 с, timeout 3 с, 2 неудачи. Nginx connect timeout 1 с, read/send timeout 5 с, DNS cache 1 с, один повтор upstream при сетевой ошибке или 502/503. Uvicorn обрабатывает SIGTERM и получает 15 с на завершение запросов; readiness сбрасывается при shutdown. Для остановленного процесса наблюдавшееся восстановление новых записей — 1.70–1.95 с. Верхняя граница при сетевом зависании зависит от таймаута запроса и Docker DNS; активной проверки каждого backend в Nginx нет.
Миграция 002 добавляет таблицу и индекс, не меняя старые поля: её можно выполнить при работающей версии lab2. Однако в период смешанных lab2/lab3 API старый процесс не обеспечивает идемпотентность, поэтому клиентов с новым контрактом переключают только после завершения обновления. Swarm update_config заменяет по одной реплике (start-first, 3 с пауза), с rollback при неудаче. Проверка обновления ниже принудительно пересоздавала тот же образ; переход между разными версиями приложения не измерялся.
Публичные проверки уровней 3–4
| Критерий | Команда | Наблюдение |
|---|---|---|
| Контракт и линт | make lint check |
PASS |
| Smoke через LB | make test |
PASS: оба X-Instance-Id, Basic/Bearer, доступ, пагинация, ключ |
| Полный рестарт без удаления volume | make test-persistence ACTION_SCRIPT=scripts/restart.sh |
PASS: старый токен и сообщение после рестарта API, PostgreSQL, Redis, LB |
| Отказ API-2 | make test-failover ACTION_SCRIPT=scripts/stop-one.sh |
2 реплики до отказа; 122 записи/15 с ≈8.13 RPS, 0 ошибок, первая запись через 1.946 с |
| Отказ API-1 после восстановления API-2 | та же команда | 122 записи/15 с ≈8.13 RPS, 0 ошибок, первая запись через 1.704 с; остановлен api-1 |
| Конкурентный ключ | python3 tests/node_failover.py |
16 одновременных POST через LB вернули одно Message |
| Rolling update под нагрузкой | scripts/swarm-lab.sh rolling-update одновременно с tests/load.py |
10 791 подтверждённая запись/30.041 с, 359.214 RPS, 0 ошибок; p50/p95/p99 = 8.830/22.727/64.266 мс |
Скрипт stop-one.sh сопоставляет TARGET_INSTANCE_ID с Docker container ID и проверяет label сервиса api; он останавливает именно выбранный тестом процесс. После сценария docker compose ps -a api показывает остановленную реплику. При первом прогоне остановилась api-2, затем она была восстановлена; при втором — api-1 (ID 0c6d23164d9a). restart.sh перезапускает все используемые сервисы без down -v.
Трек 2: отказ узла
Гипотеза: если на двух worker работают взаимозаменяемые API, потеря одного Docker-узла оставит доступ к подтверждённым данным через оставшийся API, а Swarm разместит новую задачу API на живом worker. PostgreSQL и LB намеренно закреплены на manager: их отказ этот стенд не переживает.
Воспроизводимый локальный эксперимент использует три независимых Docker daemon в привилегированных контейнерах Docker-in-Docker, соединённых одной сетью. Это логические узлы на одном физическом Mac, поэтому не доказывает устойчивость к потере самого Mac или Docker Desktop. Swarm manager хранит PostgreSQL volume и запускает LB/Redis; два worker первоначально держат по одному API. Образ lab3-api:local загружается в каждый daemon; в реальных отдельных машинах нужен общий registry с закреплённым digest и защищённые сетевые каналы. Внешняя точка входа вложенного стенда — 127.0.0.1:18080.
scripts/swarm-lab.sh up
# Дождаться ответа /health/ready; затем:
make test BASE_URL=http://127.0.0.1:18080
python3 tests/node_failover.py --worker lab3-worker1 --output evidence/node_failover.json
scripts/swarm-lab.sh status
scripts/swarm-lab.sh recover-node lab3-worker1
# Остановка и удаление временного синтетического кластера:
scripts/swarm-lab.sh down
node_failover.py сначала создаёт чат и сессию, проверяет два разных instance ID, отправляет 16 конкурентных повторов одного ключа, затем выполняет docker stop worker1. До появления двух API-задач на оставшемся worker он непрерывно отправляет POST с новым ключом и после каждого успеха выполняет GET истории другим участником; неопределённый POST повторялся бы с тем же ключом. В конце проверяются все подтверждённые сообщения и отсутствие дубля. Один запуск дал:
| Показатель | Значение |
|---|---|
| Размещение до / после | worker1 + worker2 / worker2 + worker2 |
| Время появления новой задачи API | 20.054 с |
| Успешные записи / ошибки | 96 / 0 |
| Первая запись после остановки worker | 0.020 с |
| p50 / p95 записи | 14.586 / 22.945 мс |
| Сохранность подтверждённых данных | подтверждена чтением через оставшийся узел |
Сырые агрегаты: отказ узла, rolling update, отдельная нагрузка, снимок ресурсов во время отдельной нагрузки. Во время отдельного 15-секундного прогона было 4513 успехов, 0 ошибок, 300.358 RPS. Однократный docker stats показал: manager 61.49% CPU / 272.4 MiB, worker1 70.05% / 132.1 MiB, worker2 85.95% / 166.9 MiB. Это расход целых вложенных узлов, включая daemon, а не только приложения.
Защищённая зависимость здесь — API worker: его задача реально исчезла с остановленного daemon и была создана на worker2; сессия и сообщения остались доступны из PostgreSQL на manager. Redis — необязательный кэш, его данные не требуются для сохранности. Единичные PostgreSQL, локальный volume manager, единственный LB и сам manager остаются SPOF. Утрата manager/его volume не выдерживается и не заявляется как защищённый сценарий. Для устойчивости к ним потребуются внешний/реплицированный PostgreSQL с проверенным failover, репликация хранения и несколько LB с переключаемой внешней точкой входа.
Ограничения измерений
Все результаты получены на одном ноутбуке и при synthetic closed-loop нагрузке. Клиент ограничивает RPS и имеет coordinated omission; p50/p95/p99 охватывают только успешные запросы. Срез CPU/RAM один и не отражает пики. Во время отказа узла сервис продолжал отвечать за счёт второй реплики, хотя восстановление полного числа задач заняло 20 с. В Swarm не проверялись физическое отключение машины, потеря manager, отказ PostgreSQL/диска и обновление между версиями. Локальный DinD использует привилегированные контейнеры только для учебного эксперимента.