18 KiB
Отчёт — лабораторная 3
Автор: Юртаев (группа не указана). Цель: 5, трек 2 — отказ узла. Локальные commits 2e23dbe, 3a3302c; PR не создавался. Код API перенесён из лабораторной 2 и доработан с помощью Codex. Python 3.12.10, FastAPI 0.115.12, psycopg 3.2.6, Redis 5.2.1, PostgreSQL 16.8, HAProxy 3.2.6, Docker 29.3.0 (вложенные daemon 29.3.1). Изучены README, контракт и публичные тесты этого репозитория, исходники lab2, Docker Compose, Swarm CLI и документация HAProxy по DNS discovery.
Запуск Compose из чистого clone
Проверено 23.10.2026 на Apple M4, 16 GiB RAM; Docker Desktop выделял 7.653 GiB. Достаточно Docker Engine с Compose, Python 3.9+ и свободного порта 8080. Тестовые данные синтетические, HTTP слушает только 127.0.0.1.
cp .env.example .env
# Заменить POSTGRES_PASSWORD в .env на локальный случайный пароль.
docker compose --env-file .env config --quiet
docker compose --env-file .env up -d --build --wait
make lint check test
make test-persistence ACTION_SCRIPT=scripts/restart.sh
make test-failover ACTION_SCRIPT=scripts/stop-one.sh
docker compose --env-file .env start api # восстановить остановленную реплику
migrate — отдельный одноразовый сервис: он завершается до старта API. Миграции повторно запускаются без дублирования таблиц; транзакционная advisory lock защищает от случайного параллельного оператора. Для остановки без удаления данных: docker compose --env-file .env down. Намеренный сброс синтетических данных: docker compose --env-file .env down -v. .env и volumes исключены из Git.
Архитектура и корректность
localhost:8080 → HAProxy → API × 2 → PostgreSQL (истина: users, sessions, chats, messages, idempotency)
↘ Redis (только необязательный кэш истории)
API не публикует порт на хост и не хранит сессии локально. HAProxy получает адреса реплик через Docker DNS с TTL 1 с, проверяет /health/ready каждой и балансирует без sticky session; процесс обозначается X-Instance-Id (Docker hostname/container ID). В Compose DNS-имя api возвращает адреса контейнеров, в Swarm tasks.lab3app_api — адреса задач, минуя VIP. API и Redis имеют лимиты 0.75 CPU/256 MiB и 0.5 CPU/192 MiB; PostgreSQL — 1 CPU/512 MiB; LB — 0.5 CPU/128 MiB; одноразовая миграция — 0.5 CPU/256 MiB. front доступен LB и API, data — API, PostgreSQL и Redis. Пароль учебной БД задаётся в локальном .env; в Swarm передаётся Docker secret. Секрет не включён в образ или отчёт.
Сессии, сообщения и версия истории находятся в PostgreSQL. Redis хранит только страницы с TTL 30 с. Версия чата повышается в той же транзакции, что вставляет сообщение; после COMMIT следующая реплика читает новую версию и не отдаёт старую страницу. При отказе Redis чтение идёт из PostgreSQL. /health/live проверяет процесс; /health/ready делает SQL SELECT 1, потому что PostgreSQL обязателен для сессий и синхронного API. PostgreSQL недоступен — 503, Redis недоступен — API остаётся готовым.
Для сообщений обязателен Idempotency-Key. Первичный ключ (user_id, chat_id, key) в PostgreSQL сериализует параллельные запросы всех реплик. В одной транзакции фиксируются резервирование ключа, сообщение, ссылка на него и новая версия истории. Повтор с тем же текстом в течение 24 часов получает исходные 201 и Message; другой текст — 409. Истёкшую запись удаляют при следующем применении этого ключа. Проверка сессии и членства выполняется до повторного ответа. Неподтверждённый POST можно повторить с тем же ключом. Отсутствие отдельного фонового удаления истёкших ключей означает рост таблицы при большом числе одноразовых ключей; эксплуатационная очистка — следующий шаг.
Контейнерный API healthcheck: каждые 2 с, timeout 3 с, 2 неудачи. HAProxy проверяет каждую реплику раз в 1 с, timeout проверки 1 с, исключает после 2 неудач и возвращает после 2 успехов. Настроенный максимум обнаружения живой unready реплики при обычном планировании — до 4 с (ожидание следующей проверки и две проверки до timeout); обновление адреса DNS добавляет до 1 с. Connect timeout клиентского запроса — 1 с, server/client timeout — 10 с. Uvicorn обрабатывает SIGTERM и получает 15 с на завершение запросов; readiness сбрасывается при shutdown. Отдельный тест разорвал только связь API-1 с БД, оставив процесс живым: HAProxy исключил реплику за 5.435 с включая 20 последовательных подтверждающих GET, затем 10 POST прошли через вторую реплику. Во время обнаружения было 2 ошибки. Это измеренный сценарий, а не универсальная жёсткая SLA при произвольной задержке планировщика/сети.
История сортируется по (created_at,id) и использует keyset cursor. При неизменной истории повторов нет; новый элемент после позиции cursor может появиться на следующей странице, а вставка с более ранней позицией может быть пропущена текущим обходом. Snapshot между HTTP-запросами не обещается. Время назначает одна PostgreSQL; clock_timestamp() может не соответствовать порядку COMMIT и при переводе часов идти назад. UUID развязывает одинаковые отметки времени, но не превращает сортировку в порядок подтверждения транзакций. На 10 000 синтетических сообщений EXPLAIN (ANALYZE, BUFFERS) показал Index Scan using messages_history_idx, 101 прочитанная строка, 11 shared hits, 0.074 мс (сырой план).
Миграция 002 добавляет таблицу и индекс, не меняя старые поля: её можно выполнить при работающей версии lab2. Однако в период смешанных lab2/lab3 API старый процесс не обеспечивает идемпотентность, поэтому клиентов с новым контрактом переключают только после завершения обновления. Swarm update_config заменяет по одной реплике (start-first, 3 с пауза), с rollback при неудаче. Проверка обновления ниже принудительно пересоздавала тот же образ; переход между разными версиями приложения не измерялся.
Публичные проверки уровней 3–4
| Критерий | Команда | Наблюдение |
|---|---|---|
| Контракт и линт | make lint check |
PASS |
| Smoke через LB | make test |
PASS: X-Instance-Id в ответах, Basic/Bearer, доступ, пагинация, ключ |
| Полный рестарт без удаления volume | make test-persistence ACTION_SCRIPT=scripts/restart.sh |
PASS: старый токен и сообщение после рестарта API, PostgreSQL, Redis, LB |
| Отказ API-1 | make test-failover ACTION_SCRIPT=scripts/stop-one.sh |
2 реплики до отказа; 109 записей/15 с ≈7.27 RPS, 2 ошибки, первая запись через 2.462 с |
| Отказ API-2 после восстановления API-1 | та же команда | 111 записей/15 с ≈7.40 RPS, 1 ошибка, первая запись через 2.251 с; остановлен api-2 |
| Живая, но неготовая реплика | python3 tests/lb_readiness.py |
API-1 потеряла связь с БД; исключена HAProxy за 5.435 с включая 20 подтверждений; 10 POST после исключения успешны |
| Конкурентный ключ | python3 tests/node_failover.py |
16 одновременных POST через LB вернули одно Message |
| Унаследованные проверки lab2 уровня 4 | python3 tests/level4.py |
PASS: гонка username, rollback чата, fallback Redis, 503 при отказе PostgreSQL, expiry сессии |
| Rolling update под нагрузкой | scripts/swarm-lab.sh rolling-update одновременно с tests/load.py |
7449 подтверждённых записей/30.035 с, 248.009 RPS, 0 ошибок; p50/p95/p99 = 12.897/37.412/73.878 мс |
| Индекс истории lab2 | python3 scripts/history_explain.py |
10 000 строк, Index Scan, 11 buffer hits, 0.074 мс |
Скрипт stop-one.sh сопоставляет TARGET_INSTANCE_ID с Docker container ID и проверяет label сервиса api; он останавливает именно выбранный тестом процесс. После сценария docker compose ps -a api показывает остановленную реплику. При первом прогоне остановилась api-1 (ID d5c6218cf96c), затем она была восстановлена; при втором — api-2 (ID d6788e0998bf). restart.sh перезапускает все используемые сервисы без down -v.
Трек 2: отказ узла
Гипотеза: если на двух worker работают взаимозаменяемые API, потеря одного Docker-узла оставит доступ к подтверждённым данным через оставшийся API, а Swarm разместит новую задачу API на живом worker. PostgreSQL и LB намеренно закреплены на manager: их отказ этот стенд не переживает.
Воспроизводимый локальный эксперимент использует три независимых Docker daemon в привилегированных контейнерах Docker-in-Docker, соединённых одной сетью. Это логические узлы на одном физическом Mac, поэтому не доказывает устойчивость к потере самого Mac или Docker Desktop. Swarm manager хранит PostgreSQL volume и запускает LB/Redis; два worker первоначально держат по одному API. Образ lab3-api:local загружается в каждый daemon; в реальных отдельных машинах нужен общий registry с закреплённым digest и защищённые сетевые каналы. Внешняя точка входа вложенного стенда — 127.0.0.1:18080.
scripts/swarm-lab.sh up
# Дождаться ответа /health/ready; затем:
make test BASE_URL=http://127.0.0.1:18080
python3 tests/node_failover.py --worker lab3-worker1 --output evidence/node_failover.json
scripts/swarm-lab.sh status
scripts/swarm-lab.sh recover-node lab3-worker1
# Остановка и удаление временного синтетического кластера:
scripts/swarm-lab.sh down
node_failover.py сначала создаёт чат и сессию, проверяет два разных instance ID, отправляет 16 конкурентных повторов одного ключа, затем выполняет docker stop worker1. До появления двух API-задач на оставшемся worker он непрерывно отправляет POST с новым ключом и после каждого успеха выполняет GET истории другим участником; неопределённый POST повторялся бы с тем же ключом. В конце проверяются все подтверждённые сообщения и отсутствие дубля. Один запуск дал:
| Показатель | Значение |
|---|---|
| Размещение до / после | worker1 + worker2 / worker2 + worker2 |
| Время появления новой задачи API | 20.311 с |
| Успешные записи и чтения / ошибки | 92 POST + 92 GET / 0 |
| Первая запись от начала команды остановки worker | 1.216 с (сама команда заняла 1.199 с) |
| p50 / p95 записи | 13.096 / 16.899 мс |
| Сохранность подтверждённых данных | подтверждена чтением через оставшийся узел |
Сырые агрегаты: отказ узла, readiness, rolling update, отдельная нагрузка, снимок ресурсов во время отдельной нагрузки. В node_failover.json сохранены task ID и instance ID до и после переноса; 16 конкурентных ответов пришли от обеих исходных реплик. Во время отдельного 15-секундного прогона было 3864 успеха, 0 ошибок, 256.971 RPS. Однократный docker stats показал: manager 68.26% CPU / 260.3 MiB, worker1 74.43% / 150.5 MiB, worker2 79.84% / 198.8 MiB. Это расход целых вложенных узлов, включая daemon, а не только приложения.
Защищённая зависимость здесь — API worker: его задача реально исчезла с остановленного daemon и была создана на worker2; сессия и сообщения остались доступны из PostgreSQL на manager. Redis — необязательный кэш, его данные не требуются для сохранности. Единичные PostgreSQL, локальный volume manager, единственный LB и сам manager остаются SPOF. Утрата manager/его volume не выдерживается и не заявляется как защищённый сценарий. Для устойчивости к ним потребуются внешний/реплицированный PostgreSQL с проверенным failover, репликация хранения и несколько LB с переключаемой внешней точкой входа.
Ограничения измерений
Все результаты получены на одном ноутбуке и при synthetic closed-loop нагрузке. Клиент ограничивает RPS и имеет coordinated omission; p50/p95/p99 охватывают только успешные запросы. Срез CPU/RAM один и не отражает пики. Во время отказа узла сервис продолжал отвечать за счёт второй реплики, хотя восстановление полного числа задач заняло 20 с. В Swarm не проверялись физическое отключение машины, потеря manager, отказ PostgreSQL/диска и обновление между версиями. Локальный DinD использует привилегированные контейнеры только для учебного эксперимента.