Files
2026-10-23 19:29:40 +03:00

18 KiB
Raw Permalink Blame History

Отчёт — лабораторная 3

Автор: Юртаев (группа не указана). Цель: 5, трек 2 — отказ узла. Локальные commits 2e23dbe, 3a3302c; PR не создавался. Код API перенесён из лабораторной 2 и доработан с помощью Codex. Python 3.12.10, FastAPI 0.115.12, psycopg 3.2.6, Redis 5.2.1, PostgreSQL 16.8, HAProxy 3.2.6, Docker 29.3.0 (вложенные daemon 29.3.1). Изучены README, контракт и публичные тесты этого репозитория, исходники lab2, Docker Compose, Swarm CLI и документация HAProxy по DNS discovery.

Запуск Compose из чистого clone

Проверено 23.10.2026 на Apple M4, 16 GiB RAM; Docker Desktop выделял 7.653 GiB. Достаточно Docker Engine с Compose, Python 3.9+ и свободного порта 8080. Тестовые данные синтетические, HTTP слушает только 127.0.0.1.

cp .env.example .env
# Заменить POSTGRES_PASSWORD в .env на локальный случайный пароль.
docker compose --env-file .env config --quiet
docker compose --env-file .env up -d --build --wait
make lint check test
make test-persistence ACTION_SCRIPT=scripts/restart.sh
make test-failover ACTION_SCRIPT=scripts/stop-one.sh
docker compose --env-file .env start api  # восстановить остановленную реплику

migrate — отдельный одноразовый сервис: он завершается до старта API. Миграции повторно запускаются без дублирования таблиц; транзакционная advisory lock защищает от случайного параллельного оператора. Для остановки без удаления данных: docker compose --env-file .env down. Намеренный сброс синтетических данных: docker compose --env-file .env down -v. .env и volumes исключены из Git.

Архитектура и корректность

localhost:8080 → HAProxy → API × 2 → PostgreSQL (истина: users, sessions, chats, messages, idempotency)
                                ↘ Redis (только необязательный кэш истории)

API не публикует порт на хост и не хранит сессии локально. HAProxy получает адреса реплик через Docker DNS с TTL 1 с, проверяет /health/ready каждой и балансирует без sticky session; процесс обозначается X-Instance-Id (Docker hostname/container ID). В Compose DNS-имя api возвращает адреса контейнеров, в Swarm tasks.lab3app_api — адреса задач, минуя VIP. API и Redis имеют лимиты 0.75 CPU/256 MiB и 0.5 CPU/192 MiB; PostgreSQL — 1 CPU/512 MiB; LB — 0.5 CPU/128 MiB; одноразовая миграция — 0.5 CPU/256 MiB. front доступен LB и API, data — API, PostgreSQL и Redis. Пароль учебной БД задаётся в локальном .env; в Swarm передаётся Docker secret. Секрет не включён в образ или отчёт.

Сессии, сообщения и версия истории находятся в PostgreSQL. Redis хранит только страницы с TTL 30 с. Версия чата повышается в той же транзакции, что вставляет сообщение; после COMMIT следующая реплика читает новую версию и не отдаёт старую страницу. При отказе Redis чтение идёт из PostgreSQL. /health/live проверяет процесс; /health/ready делает SQL SELECT 1, потому что PostgreSQL обязателен для сессий и синхронного API. PostgreSQL недоступен — 503, Redis недоступен — API остаётся готовым.

Для сообщений обязателен Idempotency-Key. Первичный ключ (user_id, chat_id, key) в PostgreSQL сериализует параллельные запросы всех реплик. В одной транзакции фиксируются резервирование ключа, сообщение, ссылка на него и новая версия истории. Повтор с тем же текстом в течение 24 часов получает исходные 201 и Message; другой текст — 409. Истёкшую запись удаляют при следующем применении этого ключа. Проверка сессии и членства выполняется до повторного ответа. Неподтверждённый POST можно повторить с тем же ключом. Отсутствие отдельного фонового удаления истёкших ключей означает рост таблицы при большом числе одноразовых ключей; эксплуатационная очистка — следующий шаг.

Контейнерный API healthcheck: каждые 2 с, timeout 3 с, 2 неудачи. HAProxy проверяет каждую реплику раз в 1 с, timeout проверки 1 с, исключает после 2 неудач и возвращает после 2 успехов. Настроенный максимум обнаружения живой unready реплики при обычном планировании — до 4 с (ожидание следующей проверки и две проверки до timeout); обновление адреса DNS добавляет до 1 с. Connect timeout клиентского запроса — 1 с, server/client timeout — 10 с. Uvicorn обрабатывает SIGTERM и получает 15 с на завершение запросов; readiness сбрасывается при shutdown. Отдельный тест разорвал только связь API-1 с БД, оставив процесс живым: HAProxy исключил реплику за 5.435 с включая 20 последовательных подтверждающих GET, затем 10 POST прошли через вторую реплику. Во время обнаружения было 2 ошибки. Это измеренный сценарий, а не универсальная жёсткая SLA при произвольной задержке планировщика/сети.

История сортируется по (created_at,id) и использует keyset cursor. При неизменной истории повторов нет; новый элемент после позиции cursor может появиться на следующей странице, а вставка с более ранней позицией может быть пропущена текущим обходом. Snapshot между HTTP-запросами не обещается. Время назначает одна PostgreSQL; clock_timestamp() может не соответствовать порядку COMMIT и при переводе часов идти назад. UUID развязывает одинаковые отметки времени, но не превращает сортировку в порядок подтверждения транзакций. На 10 000 синтетических сообщений EXPLAIN (ANALYZE, BUFFERS) показал Index Scan using messages_history_idx, 101 прочитанная строка, 11 shared hits, 0.074 мс (сырой план).

Миграция 002 добавляет таблицу и индекс, не меняя старые поля: её можно выполнить при работающей версии lab2. Однако в период смешанных lab2/lab3 API старый процесс не обеспечивает идемпотентность, поэтому клиентов с новым контрактом переключают только после завершения обновления. Swarm update_config заменяет по одной реплике (start-first, 3 с пауза), с rollback при неудаче. Проверка обновления ниже принудительно пересоздавала тот же образ; переход между разными версиями приложения не измерялся.

Публичные проверки уровней 3–4

Критерий Команда Наблюдение
Контракт и линт make lint check PASS
Smoke через LB make test PASS: X-Instance-Id в ответах, Basic/Bearer, доступ, пагинация, ключ
Полный рестарт без удаления volume make test-persistence ACTION_SCRIPT=scripts/restart.sh PASS: старый токен и сообщение после рестарта API, PostgreSQL, Redis, LB
Отказ API-1 make test-failover ACTION_SCRIPT=scripts/stop-one.sh 2 реплики до отказа; 109 записей/15 с ≈7.27 RPS, 2 ошибки, первая запись через 2.462 с
Отказ API-2 после восстановления API-1 та же команда 111 записей/15 с ≈7.40 RPS, 1 ошибка, первая запись через 2.251 с; остановлен api-2
Живая, но неготовая реплика python3 tests/lb_readiness.py API-1 потеряла связь с БД; исключена HAProxy за 5.435 с включая 20 подтверждений; 10 POST после исключения успешны
Конкурентный ключ python3 tests/node_failover.py 16 одновременных POST через LB вернули одно Message
Унаследованные проверки lab2 уровня 4 python3 tests/level4.py PASS: гонка username, rollback чата, fallback Redis, 503 при отказе PostgreSQL, expiry сессии
Rolling update под нагрузкой scripts/swarm-lab.sh rolling-update одновременно с tests/load.py 7449 подтверждённых записей/30.035 с, 248.009 RPS, 0 ошибок; p50/p95/p99 = 12.897/37.412/73.878 мс
Индекс истории lab2 python3 scripts/history_explain.py 10 000 строк, Index Scan, 11 buffer hits, 0.074 мс

Скрипт stop-one.sh сопоставляет TARGET_INSTANCE_ID с Docker container ID и проверяет label сервиса api; он останавливает именно выбранный тестом процесс. После сценария docker compose ps -a api показывает остановленную реплику. При первом прогоне остановилась api-1 (ID d5c6218cf96c), затем она была восстановлена; при втором — api-2 (ID d6788e0998bf). restart.sh перезапускает все используемые сервисы без down -v.

Трек 2: отказ узла

Гипотеза: если на двух worker работают взаимозаменяемые API, потеря одного Docker-узла оставит доступ к подтверждённым данным через оставшийся API, а Swarm разместит новую задачу API на живом worker. PostgreSQL и LB намеренно закреплены на manager: их отказ этот стенд не переживает.

Воспроизводимый локальный эксперимент использует три независимых Docker daemon в привилегированных контейнерах Docker-in-Docker, соединённых одной сетью. Это логические узлы на одном физическом Mac, поэтому не доказывает устойчивость к потере самого Mac или Docker Desktop. Swarm manager хранит PostgreSQL volume и запускает LB/Redis; два worker первоначально держат по одному API. Образ lab3-api:local загружается в каждый daemon; в реальных отдельных машинах нужен общий registry с закреплённым digest и защищённые сетевые каналы. Внешняя точка входа вложенного стенда — 127.0.0.1:18080.

scripts/swarm-lab.sh up
# Дождаться ответа /health/ready; затем:
make test BASE_URL=http://127.0.0.1:18080
python3 tests/node_failover.py --worker lab3-worker1 --output evidence/node_failover.json
scripts/swarm-lab.sh status
scripts/swarm-lab.sh recover-node lab3-worker1
# Остановка и удаление временного синтетического кластера:
scripts/swarm-lab.sh down

node_failover.py сначала создаёт чат и сессию, проверяет два разных instance ID, отправляет 16 конкурентных повторов одного ключа, затем выполняет docker stop worker1. До появления двух API-задач на оставшемся worker он непрерывно отправляет POST с новым ключом и после каждого успеха выполняет GET истории другим участником; неопределённый POST повторялся бы с тем же ключом. В конце проверяются все подтверждённые сообщения и отсутствие дубля. Один запуск дал:

Показатель Значение
Размещение до / после worker1 + worker2 / worker2 + worker2
Время появления новой задачи API 20.311 с
Успешные записи и чтения / ошибки 92 POST + 92 GET / 0
Первая запись от начала команды остановки worker 1.216 с (сама команда заняла 1.199 с)
p50 / p95 записи 13.096 / 16.899 мс
Сохранность подтверждённых данных подтверждена чтением через оставшийся узел

Сырые агрегаты: отказ узла, readiness, rolling update, отдельная нагрузка, снимок ресурсов во время отдельной нагрузки. В node_failover.json сохранены task ID и instance ID до и после переноса; 16 конкурентных ответов пришли от обеих исходных реплик. Во время отдельного 15-секундного прогона было 3864 успеха, 0 ошибок, 256.971 RPS. Однократный docker stats показал: manager 68.26% CPU / 260.3 MiB, worker1 74.43% / 150.5 MiB, worker2 79.84% / 198.8 MiB. Это расход целых вложенных узлов, включая daemon, а не только приложения.

Защищённая зависимость здесь — API worker: его задача реально исчезла с остановленного daemon и была создана на worker2; сессия и сообщения остались доступны из PostgreSQL на manager. Redis — необязательный кэш, его данные не требуются для сохранности. Единичные PostgreSQL, локальный volume manager, единственный LB и сам manager остаются SPOF. Утрата manager/его volume не выдерживается и не заявляется как защищённый сценарий. Для устойчивости к ним потребуются внешний/реплицированный PostgreSQL с проверенным failover, репликация хранения и несколько LB с переключаемой внешней точкой входа.

Ограничения измерений

Все результаты получены на одном ноутбуке и при synthetic closed-loop нагрузке. Клиент ограничивает RPS и имеет coordinated omission; p50/p95/p99 охватывают только успешные запросы. Срез CPU/RAM один и не отражает пики. Во время отказа узла сервис продолжал отвечать за счёт второй реплики, хотя восстановление полного числа задач заняло 20 с. В Swarm не проверялись физическое отключение машины, потеря manager, отказ PostgreSQL/диска и обновление между версиями. Локальный DinD использует привилегированные контейнеры только для учебного эксперимента.