Files
mtusi2026lab3/docs/archive/compose-report.md

12 KiB
Raw Permalink Blame History

Лабораторная 3. Балансировка и отказ API-реплики

Автор: Медведев Андрей Михайлович, БПИ2303. Целевая оценка: 5, трек 1 «Цена масштабирования». Реализация, эксперименты и ограничения описаны ниже; оценку выставляет преподаватель. Исходный skeleton: https://gitea.privcloud.tech/mtusi2026/mtusi2026lab3. Команды находятся в RUN.md. Код, тесты и отчёт подготовлены с помощью Codex и проверены независимым агентом.

Архитектура

Клиент обращается к HAProxy, который распределяет запросы между двумя Go API. PostgreSQL и Valkey общие. Сессии проверяются в PostgreSQL; Valkey кэширует неизменяемые профили. Sticky sessions нет. API не публикуют свои порты на host, единственный вход привязан к localhost:28203. Контейнеры имеют CPU/RAM limits, container_name не задаётся.

HAProxy проверяет /health/ready каждые 500 мс, исключает backend после двух неудач и возвращает после одного успеха. Docker DNS разрешается повторно через resolver с коротким hold, а не только при старте LB. Конфигурация рассчитана на 1–4 реплики, включая эксперимент 1/2/4. Каждая API-реплика возвращает свой стабильный X-Instance-Id, соответствующий hostname контейнера. Автоматических прозрачных повторов произвольных POST нет.

SIGTERM переводит readiness в 503 и прекращает приём новых соединений. Graceful shutdown API ограничен 8 секундами, stop_grace_period контейнера равен 10 секундам. Для обычных запросов действует контекст 5 секунд; connection/statement/lock timeouts PostgreSQL согласованы с этим бюджетом.

Общая идемпотентность

Idempotency-Key обязателен для POST сообщения и проверяется по ASCII pattern и длине 1–128. Область ключа задаётся пользователем и чатом; HTTP-операция фиксирована самим endpoint. В PostgreSQL хранятся hash семантического payload, ID сообщения и expiry на 24 часа.

Резервирование ключа, списание квоты, создание сообщения и ссылка результата выполняются одной транзакцией. Конкурентный повтор ждёт общий UNIQUE constraint; после подтверждения читает тот же Message с 201. Другой payload даёт 409. При откате нет ни сообщения, ни окончательного результата ключа. Неподтверждённый клиентский ответ можно повторить через другую реплику; сессия и доступ к чату проверяются заново.

Миграции запускает один отдельный service. Проверенная поочерёдная замена использует уже подготовленную совместимую схему. Произвольное несовместимое изменение схемы под трафиком не заявляется.

Проверки обязательных уровней

Публичный smoke и дополнительные HTTP-проверки подтвердили авторизацию, страницы, rollback, конкурентную регистрацию, двенадцать одновременных повторов одного сообщения, конфликт payload и одну сессию через разные реплики. Результаты находятся в evidence/smoke.txt и evidence/acceptance.txt. Persistence сохранил данные и исходный токен после рестарта всех stores и API; файлы restart-before/after фиксируют реальные container ID и StartedAt.

Каждая API-реплика была остановлена по TARGET_INSTANCE_ID, вторая продолжила чтение и запись. Скрипт проверяет, что выбранный контейнер относится к нужному Compose-проекту; факт остановки записан в stopped-1/2.txt. Public failover учитывает переходные ошибки, проверяет сохранность и отсутствие дублей. Результаты находятся в evidence/failover-1.txt и evidence/failover-2.txt.

Обязательные операции предыдущей лабы сохраняют свои правила. Source check, OpenAPI validation, Go race tests, lint/depguard, Docker build и генерация проверяются отдельно от smoke. Авторские тестовые данные изолированы случайным prefix, cleanup отказывается удалять чат с посторонним участником. Compose manifest и project name закреплены явно.

Исследование масштабирования

Гипотеза: дополнительные API помогают, только пока они являются узким местом. Нагрузка здесь намеренно состоит из отправки сообщений одним пользователем в один чат. Измерялся closed-loop клиент с concurrency 16, по 5 секунд, два повтора; база данных очищалась только внутри отдельного одноразового исследовательского проекта перед каждым запуском.

В первой серии суммарный бюджет API постоянен: 2 CPU и 2048 МиБ. Во второй каждая реплика получает 1 CPU и 512 МиБ. PostgreSQL, Valkey и LB сохраняют одинаковые ресурсы. Фактические NanoCpus, Memory, число контейнеров и PG_MAX_CONNS проверялись через Docker и API; снимались CPU/RAM и wait events PostgreSQL. Все запросы основной серии завершились без HTTP-ошибок.

Серия Реплики CPU API суммарно RAM API суммарно, МиБ Успешные RPS, среднее p95, мс, среднее
Постоянный бюджет 1 2 2048 117,70 171,00
Постоянный бюджет 2 2 2048 112,99 287,81
Постоянный бюджет 4 2 2048 116,69 346,31
Рост ресурсов 1 1 512 116,71 175,68
Рост ресурсов 2 2 1024 117,87 258,62
Рост ресурсов 4 4 2048 117,09 342,18

Данные и диапазоны двух повторов сохранены в evidence/research/run-ImJmOz/. Графики scaling.svg и pool.svg строятся из исходных JSON, а не из переписанных вручную чисел.

Для этого профиля насыщение видно уже при одной реплике: добавление API/CPU не повышает throughput, а хвост latency растёт. В 160 снимках активных SQL-запросов ожидание WalSync наблюдалось 151 раз, transactionid 139 раз; категории могут одновременно присутствовать в одном снимке. В исходном коде каждое сообщение обновляет квоту одного sender, поэтому конкурентные транзакции сериализуются на его строке и подтверждают WAL. Число API не снимает эту общую границу.

Подтверждённое улучшение

Отдельно проведена серия ABBA с pool=8 → 1 → 1 → 8 при неизменных 1 API, 2 CPU, 2048 МиБ и том же профиле. Результаты находятся в evidence/research/run-sB0hdP/. Средние успешные RPS составили 117,78 → 118,52, то есть практически не изменились. Средний p95 снизился с 166,86 до 145,97 мс; оба повтора с pool=1 оказались ниже обоих с pool=8.

Это подтверждённое улучшение хвостовой задержки на одном горячем sender: меньшая конкуренция за общий SQL-ресурс уменьшает очереди, но не ускоряет COMMIT. Для независимых пользователей и другого хранилища вывод не переносится автоматически. Общий default pool=8 сохранён; экспериментальная настройка доступна через PG_MAX_CONNS.

Замена под нагрузкой и ограничения

В том же отдельном проекте обе исходные API по очереди заменены новыми контейнерами под непрерывной 30-секундной нагрузкой. Между заменами проверялась готовность двух реплик; успешные записи должны были продолжаться, а генератор оставаться активным. Сохранены старые ID и количества сообщений до/после каждой замены.

Получено 2684 успешных запроса и 46 переходных ошибок, доля ошибок 1,685%, успешные RPS 89,27. Это допустимые обнаруженные ошибки во время замены, а не zero-downtime обещание. Проверена замена контейнеров одного собранного образа; upgrade с несовместимой миграцией не испытывался.

Стенд находится на одном host и имеет единственные PostgreSQL, LB и storage. Поэтому отказ API проверен, а потеря host/БД/LB не покрыта. Closed-loop клиент имеет coordinated omission; latency относится только к успешным запросам, ошибки считаются отдельно. Серии короткие и не доказывают универсальный предел сервера. Объёмы, ресурсы, raw JSON и ограничения сохранены для повторения.

На защите показать две реальные реплики с одной сессией, конкурентный одинаковый ключ, остановку каждой реплики, повтор без дубля, persistence и графики. Объяснить, почему четыре API не превращают единственную PostgreSQL в отказоустойчивую БД и не отменяют транзакционную сериализацию.