72 lines
11 KiB
Markdown
72 lines
11 KiB
Markdown
# Разбор лабораторной 3
|
|
|
|
Автор: Булацев, БПИ2301. Целевая оценка: 5, трек «Цена масштабирования».
|
|
|
|
## Суть
|
|
|
|
Нужно запустить несколько одинаковых процессов API за одной точкой входа и не потерять корректность, когда один из них останавливают.
|
|
|
|
Клиент больше не обращается к конкретному процессу. Он ходит в балансировщик, а тот выбирает живую реплику. Любая реплика должна узнать ту же сессию, увидеть уже подтверждённое сообщение и не создать второе сообщение, если клиент повторил запрос с тем же ключом.
|
|
|
|
Источник истины для пользователей, чатов и сообщений — PostgreSQL. Сессии — Redis с AOF. Память процесса для этого не используется.
|
|
|
|
## Какие проблемы решались
|
|
|
|
### Один процесс нельзя просто скопировать
|
|
|
|
Если сессия или кэш лежат в памяти процесса, второй экземпляр пользователя не узнает. Повторный запрос попадёт на другую реплику и получит 401 либо устаревшую историю.
|
|
|
|
Решение: сессия хранится в общем Redis, история читается из общего Postgres. Кэш истории тоже в Redis и сбрасывается после успешной записи, поэтому следующая реплика не отдаёт старую страницу. Клиента не приклеиваем к одной реплике.
|
|
|
|
### Клиент не должен выбирать процесс сам
|
|
|
|
Нужна одна публичная точка входа и при этом несколько процессов. `depends_on` только задаёт порядок запуска контейнеров. Healthcheck контейнера говорит Docker, жив ли он, но не перекладывает HTTP-запрос на другой адрес.
|
|
|
|
Решение: HAProxy публикует `127.0.0.1:8080` и сам ходит в DNS-имя `api`. У сервиса Compose нет `container_name`, поэтому реплик может быть сколько угодно. Порты API наружу не опубликованы. HAProxy держит до 8 слотов через `server-template` и обновляет адреса из DNS Docker раз в секунду. Проверка — `GET /health/ready` каждые 1 с, реплика выпадает после двух неудач. Это около 2 с плюс до 1 с устаревшего DNS, если контейнер уже исчез.
|
|
|
|
### Остановка процесса не должна обрывать стенд надолго
|
|
|
|
Docker посылает SIGTERM. Если процесс сразу умирает, балансировщик ещё считает его живым и шлёт туда запросы.
|
|
|
|
Решение согласовано с проверкой готовности. По SIGTERM реплика сразу отвечает 503 на `/health/ready` и на новые бизнес-запросы, а завершается через 2 с (`LB_DRAIN_SECONDS`). За это HAProxy успевает увидеть неготовый backend. `scripts/stop-one.sh` останавливает только контейнер с нужным `X-Instance-Id` и оставляет его остановленным. `X-Instance-Id` равен hostname и не меняется, пока жив процесс. На публичной проверке запись восстановилась за 2.465 с, подтверждённые сообщения и сессия сохранились.
|
|
|
|
### Повтор POST после таймаута может создать второе сообщение
|
|
|
|
Клиент не знает, успел ли сервер записать сообщение, если ответ потерялся. Повтор без защиты создаёт дубль. Две реплики могут принять один и тот же повтор одновременно.
|
|
|
|
Решение: для `POST /messages` обязателен `Idempotency-Key`. Область ключа — пользователь, метод, путь чата и сам ключ. Текст приводится к одному JSON (порядок полей не важен, пустой список вложений равен отсутствию поля) и хешируется. Сообщение и сохранённый ответ 201 пишутся одной транзакцией. Пока транзакция не закоммичена, строки результата нет, поэтому неуспешный запрос можно повторить. Одновременные повторы сериализует advisory lock в Postgres: побеждает одна вставка, остальные получают то же сообщение. Другой текст с тем же ключом — 409. Проверено 16 параллельными запросами: в истории одна копия.
|
|
|
|
### Миграции нельзя применять гонкой всех реплик
|
|
|
|
Несколько процессов при старте могут одновременно выполнить один и тот же SQL.
|
|
|
|
Решение: схему применяет отдельный одноразовый сервис `migrate` до старта API. У реплик `MIGRATIONS_ON_START=0`. Повторный запуск пропускает файлы, уже записанные в `schema_migrations`. На время применения берётся `pg_advisory_lock`.
|
|
|
|
### Больше реплик не означает больше пропускной способности
|
|
|
|
Гипотеза трека 1: при фиксированном CPU API дробление на процессы не поможет, а при росте числа реплик выигрыш кончится, когда упрёмся не в CPU отдельного API.
|
|
|
|
Один и тот же closed-loop, 8 параллельных POST, 15 с. При бюджете 1 CPU / 512 МиБ результат 344, 196 и 124 RPS для 1, 2 и 4 реплик. Postgres был занят на 16–33%: мешала квота CPU на каждом процессе. Когда одна реплика упиралась в 0.50 CPU (98 RPS, p95 167 мс), вторая такая же реплика подняла результат до 224 RPS и p95 81 мс. Это подтверждённое улучшение. Четвёртая реплика дала только 237 RPS, зато сессий Postgres стало 17 вместо 9. Удвоение CPU Postgres и уменьшение пула на этом профиле заметного прироста не дали. Подробные таблицы — в `REPORT.md`.
|
|
|
|
## Ответы на вопросы README
|
|
|
|
### Чем отказ процесса отличается от отказа узла?
|
|
|
|
Отказ процесса — это остановка одного API-контейнера. Балансировщик перестаёт слать ему запросы, вторая реплика на том же хосте продолжает читать и писать в общие Postgres и Redis. Данные не пропадают.
|
|
|
|
Отказ узла — это потеря всей машины. Вместе с ней пропадают все реплики API, HAProxy, Postgres и Redis, потому что они запущены на одном Docker-хосте. Несколько процессов API такую потерю не переживают. Отдельно живая реплика базы в этой работе не поднималась, поэтому выживание узла БД не заявляется.
|
|
|
|
### Почему depends_on и healthcheck сами по себе не являются балансировщиком?
|
|
|
|
`depends_on` лишь откладывает старт контейнера, пока другой не стал healthy. Он не принимает соединения клиентов и не выбирает, какому процессу отдать конкретный HTTP-запрос. Healthcheck Docker перезапускает или помечает свой контейнер, но не знает о соседних репликах и не проксирует трафик. Пока снаружи опубликован сам API, клиент попадает в один процесс в обход остальных. Балансировщик — отдельный процесс: он слушает единственный адрес, смотрит готовность backend-ов и перекладывает запрос на живой.
|
|
|
|
### Какие POST можно повторять после timeout и что защищает Idempotency-Key?
|
|
|
|
После таймаута можно повторять POST сообщения с тем же ключом и тем же телом. Если запись успела закоммититься, сервер вернёт тот же `201` и то же сообщение. Если не успела, повтор создаст его один раз. Другое тело с тем же ключом получит 409.
|
|
|
|
Защищает общая строка в Postgres на пару «пользователь + метод + путь + ключ» вместе с advisory lock и одной транзакцией на сообщение и сохранённый ответ. Ключ не защищает создание пользователя и создание чата: их повтор может создать второй объект, поэтому балансировщик такие POST сам не повторяет.
|
|
|
|
### Что сломается при увеличении числа API, если сессии находятся в локальной памяти?
|
|
|
|
Вход создаст сессию только в памяти той реплики, которая обработала логин. Следующий запрос балансировщик отдаст другой реплике, и она ответит 401, потому что токена у неё нет. Пользователю придётся входить заново, а при sticky session он останется привязан к одному процессу: отказ этого процесса снова потеряет сессию. Общие сообщения в Postgres это не чинят. Поэтому сессия лежит в Redis, который видят все реплики.
|