11 KiB
Разбор лабораторной 3
Автор: Булацев, БПИ2301. Целевая оценка: 5, трек «Цена масштабирования».
Суть
Нужно запустить несколько одинаковых процессов API за одной точкой входа и не потерять корректность, когда один из них останавливают.
Клиент больше не обращается к конкретному процессу. Он ходит в балансировщик, а тот выбирает живую реплику. Любая реплика должна узнать ту же сессию, увидеть уже подтверждённое сообщение и не создать второе сообщение, если клиент повторил запрос с тем же ключом.
Источник истины для пользователей, чатов и сообщений — PostgreSQL. Сессии — Redis с AOF. Память процесса для этого не используется.
Какие проблемы решались
Один процесс нельзя просто скопировать
Если сессия или кэш лежат в памяти процесса, второй экземпляр пользователя не узнает. Повторный запрос попадёт на другую реплику и получит 401 либо устаревшую историю.
Решение: сессия хранится в общем Redis, история читается из общего Postgres. Кэш истории тоже в Redis и сбрасывается после успешной записи, поэтому следующая реплика не отдаёт старую страницу. Клиента не приклеиваем к одной реплике.
Клиент не должен выбирать процесс сам
Нужна одна публичная точка входа и при этом несколько процессов. depends_on только задаёт порядок запуска контейнеров. Healthcheck контейнера говорит Docker, жив ли он, но не перекладывает HTTP-запрос на другой адрес.
Решение: HAProxy публикует 127.0.0.1:8080 и сам ходит в DNS-имя api. У сервиса Compose нет container_name, поэтому реплик может быть сколько угодно. Порты API наружу не опубликованы. HAProxy держит до 8 слотов через server-template и обновляет адреса из DNS Docker раз в секунду. Проверка — GET /health/ready каждые 1 с, реплика выпадает после двух неудач. Это около 2 с плюс до 1 с устаревшего DNS, если контейнер уже исчез.
Остановка процесса не должна обрывать стенд надолго
Docker посылает SIGTERM. Если процесс сразу умирает, балансировщик ещё считает его живым и шлёт туда запросы.
Решение согласовано с проверкой готовности. По SIGTERM реплика сразу отвечает 503 на /health/ready и на новые бизнес-запросы, а завершается через 2 с (LB_DRAIN_SECONDS). За это HAProxy успевает увидеть неготовый backend. scripts/stop-one.sh останавливает только контейнер с нужным X-Instance-Id и оставляет его остановленным. X-Instance-Id равен hostname и не меняется, пока жив процесс. На публичной проверке запись восстановилась за 2.465 с, подтверждённые сообщения и сессия сохранились.
Повтор POST после таймаута может создать второе сообщение
Клиент не знает, успел ли сервер записать сообщение, если ответ потерялся. Повтор без защиты создаёт дубль. Две реплики могут принять один и тот же повтор одновременно.
Решение: для POST /messages обязателен Idempotency-Key. Область ключа — пользователь, метод, путь чата и сам ключ. Текст приводится к одному JSON (порядок полей не важен, пустой список вложений равен отсутствию поля) и хешируется. Сообщение и сохранённый ответ 201 пишутся одной транзакцией. Пока транзакция не закоммичена, строки результата нет, поэтому неуспешный запрос можно повторить. Одновременные повторы сериализует advisory lock в Postgres: побеждает одна вставка, остальные получают то же сообщение. Другой текст с тем же ключом — 409. Проверено 16 параллельными запросами: в истории одна копия.
Миграции нельзя применять гонкой всех реплик
Несколько процессов при старте могут одновременно выполнить один и тот же SQL.
Решение: схему применяет отдельный одноразовый сервис migrate до старта API. У реплик MIGRATIONS_ON_START=0. Повторный запуск пропускает файлы, уже записанные в schema_migrations. На время применения берётся pg_advisory_lock.
Больше реплик не означает больше пропускной способности
Гипотеза трека 1: при фиксированном CPU API дробление на процессы не поможет, а при росте числа реплик выигрыш кончится, когда упрёмся не в CPU отдельного API.
Один и тот же closed-loop, 8 параллельных POST, 15 с. При бюджете 1 CPU / 512 МиБ результат 344, 196 и 124 RPS для 1, 2 и 4 реплик. Postgres был занят на 16–33%: мешала квота CPU на каждом процессе. Когда одна реплика упиралась в 0.50 CPU (98 RPS, p95 167 мс), вторая такая же реплика подняла результат до 224 RPS и p95 81 мс. Это подтверждённое улучшение. Четвёртая реплика дала только 237 RPS, зато сессий Postgres стало 17 вместо 9. Удвоение CPU Postgres и уменьшение пула на этом профиле заметного прироста не дали. Подробные таблицы — в REPORT.md.
Ответы на вопросы README
Чем отказ процесса отличается от отказа узла?
Отказ процесса — это остановка одного API-контейнера. Балансировщик перестаёт слать ему запросы, вторая реплика на том же хосте продолжает читать и писать в общие Postgres и Redis. Данные не пропадают.
Отказ узла — это потеря всей машины. Вместе с ней пропадают все реплики API, HAProxy, Postgres и Redis, потому что они запущены на одном Docker-хосте. Несколько процессов API такую потерю не переживают. Отдельно живая реплика базы в этой работе не поднималась, поэтому выживание узла БД не заявляется.
Почему depends_on и healthcheck сами по себе не являются балансировщиком?
depends_on лишь откладывает старт контейнера, пока другой не стал healthy. Он не принимает соединения клиентов и не выбирает, какому процессу отдать конкретный HTTP-запрос. Healthcheck Docker перезапускает или помечает свой контейнер, но не знает о соседних репликах и не проксирует трафик. Пока снаружи опубликован сам API, клиент попадает в один процесс в обход остальных. Балансировщик — отдельный процесс: он слушает единственный адрес, смотрит готовность backend-ов и перекладывает запрос на живой.
Какие POST можно повторять после timeout и что защищает Idempotency-Key?
После таймаута можно повторять POST сообщения с тем же ключом и тем же телом. Если запись успела закоммититься, сервер вернёт тот же 201 и то же сообщение. Если не успела, повтор создаст его один раз. Другое тело с тем же ключом получит 409.
Защищает общая строка в Postgres на пару «пользователь + метод + путь + ключ» вместе с advisory lock и одной транзакцией на сообщение и сохранённый ответ. Ключ не защищает создание пользователя и создание чата: их повтор может создать второй объект, поэтому балансировщик такие POST сам не повторяет.
Что сломается при увеличении числа API, если сессии находятся в локальной памяти?
Вход создаст сессию только в памяти той реплики, которая обработала логин. Следующий запрос балансировщик отдаст другой реплике, и она ответит 401, потому что токена у неё нет. Пользователю придётся входить заново, а при sticky session он останется привязан к одному процессу: отказ этого процесса снова потеряет сессию. Общие сообщения в Postgres это не чинят. Поэтому сессия лежит в Redis, который видят все реплики.