Files
mtusi2026lab3/docs/archive/compose-report.md
T

63 lines
12 KiB
Markdown
Raw Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
# Лабораторная 3. Балансировка и отказ API-реплики
Автор: Медведев Андрей Михайлович, БПИ2303. Целевая оценка: 5, трек 1 «Цена масштабирования». Реализация, эксперименты и ограничения описаны ниже; оценку выставляет преподаватель. Исходный skeleton: https://gitea.privcloud.tech/mtusi2026/mtusi2026lab3. Команды находятся в [RUN.md](RUN.md). Код, тесты и отчёт подготовлены с помощью Codex и проверены независимым агентом.
## Архитектура
Клиент обращается к HAProxy, который распределяет запросы между двумя Go API. PostgreSQL и Valkey общие. Сессии проверяются в PostgreSQL; Valkey кэширует неизменяемые профили. Sticky sessions нет. API не публикуют свои порты на host, единственный вход привязан к localhost:28203. Контейнеры имеют CPU/RAM limits, container_name не задаётся.
HAProxy проверяет /health/ready каждые 500 мс, исключает backend после двух неудач и возвращает после одного успеха. Docker DNS разрешается повторно через resolver с коротким hold, а не только при старте LB. Конфигурация рассчитана на 1–4 реплики, включая эксперимент 1/2/4. Каждая API-реплика возвращает свой стабильный X-Instance-Id, соответствующий hostname контейнера. Автоматических прозрачных повторов произвольных POST нет.
SIGTERM переводит readiness в 503 и прекращает приём новых соединений. Graceful shutdown API ограничен 8 секундами, stop_grace_period контейнера равен 10 секундам. Для обычных запросов действует контекст 5 секунд; connection/statement/lock timeouts PostgreSQL согласованы с этим бюджетом.
## Общая идемпотентность
Idempotency-Key обязателен для POST сообщения и проверяется по ASCII pattern и длине 1–128. Область ключа задаётся пользователем и чатом; HTTP-операция фиксирована самим endpoint. В PostgreSQL хранятся hash семантического payload, ID сообщения и expiry на 24 часа.
Резервирование ключа, списание квоты, создание сообщения и ссылка результата выполняются одной транзакцией. Конкурентный повтор ждёт общий UNIQUE constraint; после подтверждения читает тот же Message с 201. Другой payload даёт 409. При откате нет ни сообщения, ни окончательного результата ключа. Неподтверждённый клиентский ответ можно повторить через другую реплику; сессия и доступ к чату проверяются заново.
Миграции запускает один отдельный service. Проверенная поочерёдная замена использует уже подготовленную совместимую схему. Произвольное несовместимое изменение схемы под трафиком не заявляется.
## Проверки обязательных уровней
Публичный smoke и дополнительные HTTP-проверки подтвердили авторизацию, страницы, rollback, конкурентную регистрацию, двенадцать одновременных повторов одного сообщения, конфликт payload и одну сессию через разные реплики. Результаты находятся в evidence/smoke.txt и evidence/acceptance.txt. Persistence сохранил данные и исходный токен после рестарта всех stores и API; файлы restart-before/after фиксируют реальные container ID и StartedAt.
Каждая API-реплика была остановлена по TARGET_INSTANCE_ID, вторая продолжила чтение и запись. Скрипт проверяет, что выбранный контейнер относится к нужному Compose-проекту; факт остановки записан в stopped-1/2.txt. Public failover учитывает переходные ошибки, проверяет сохранность и отсутствие дублей. Результаты находятся в evidence/failover-1.txt и evidence/failover-2.txt.
Обязательные операции предыдущей лабы сохраняют свои правила. Source check, OpenAPI validation, Go race tests, lint/depguard, Docker build и генерация проверяются отдельно от smoke. Авторские тестовые данные изолированы случайным prefix, cleanup отказывается удалять чат с посторонним участником. Compose manifest и project name закреплены явно.
## Исследование масштабирования
Гипотеза: дополнительные API помогают, только пока они являются узким местом. Нагрузка здесь намеренно состоит из отправки сообщений одним пользователем в один чат. Измерялся closed-loop клиент с concurrency 16, по 5 секунд, два повтора; база данных очищалась только внутри отдельного одноразового исследовательского проекта перед каждым запуском.
В первой серии суммарный бюджет API постоянен: 2 CPU и 2048 МиБ. Во второй каждая реплика получает 1 CPU и 512 МиБ. PostgreSQL, Valkey и LB сохраняют одинаковые ресурсы. Фактические NanoCpus, Memory, число контейнеров и PG_MAX_CONNS проверялись через Docker и API; снимались CPU/RAM и wait events PostgreSQL. Все запросы основной серии завершились без HTTP-ошибок.
| Серия | Реплики | CPU API суммарно | RAM API суммарно, МиБ | Успешные RPS, среднее | p95, мс, среднее |
| --- | --- | --- | --- | --- | --- |
| Постоянный бюджет | 1 | 2 | 2048 | 117,70 | 171,00 |
| Постоянный бюджет | 2 | 2 | 2048 | 112,99 | 287,81 |
| Постоянный бюджет | 4 | 2 | 2048 | 116,69 | 346,31 |
| Рост ресурсов | 1 | 1 | 512 | 116,71 | 175,68 |
| Рост ресурсов | 2 | 2 | 1024 | 117,87 | 258,62 |
| Рост ресурсов | 4 | 4 | 2048 | 117,09 | 342,18 |
Данные и диапазоны двух повторов сохранены в evidence/research/run-ImJmOz/. Графики scaling.svg и pool.svg строятся из исходных JSON, а не из переписанных вручную чисел.
Для этого профиля насыщение видно уже при одной реплике: добавление API/CPU не повышает throughput, а хвост latency растёт. В 160 снимках активных SQL-запросов ожидание WalSync наблюдалось 151 раз, transactionid 139 раз; категории могут одновременно присутствовать в одном снимке. В исходном коде каждое сообщение обновляет квоту одного sender, поэтому конкурентные транзакции сериализуются на его строке и подтверждают WAL. Число API не снимает эту общую границу.
## Подтверждённое улучшение
Отдельно проведена серия ABBA с pool=8 → 1 → 1 → 8 при неизменных 1 API, 2 CPU, 2048 МиБ и том же профиле. Результаты находятся в evidence/research/run-sB0hdP/. Средние успешные RPS составили 117,78 → 118,52, то есть практически не изменились. Средний p95 снизился с 166,86 до 145,97 мс; оба повтора с pool=1 оказались ниже обоих с pool=8.
Это подтверждённое улучшение хвостовой задержки на одном горячем sender: меньшая конкуренция за общий SQL-ресурс уменьшает очереди, но не ускоряет COMMIT. Для независимых пользователей и другого хранилища вывод не переносится автоматически. Общий default pool=8 сохранён; экспериментальная настройка доступна через PG_MAX_CONNS.
## Замена под нагрузкой и ограничения
В том же отдельном проекте обе исходные API по очереди заменены новыми контейнерами под непрерывной 30-секундной нагрузкой. Между заменами проверялась готовность двух реплик; успешные записи должны были продолжаться, а генератор оставаться активным. Сохранены старые ID и количества сообщений до/после каждой замены.
Получено 2684 успешных запроса и 46 переходных ошибок, доля ошибок 1,685%, успешные RPS 89,27. Это допустимые обнаруженные ошибки во время замены, а не zero-downtime обещание. Проверена замена контейнеров одного собранного образа; upgrade с несовместимой миграцией не испытывался.
Стенд находится на одном host и имеет единственные PostgreSQL, LB и storage. Поэтому отказ API проверен, а потеря host/БД/LB не покрыта. Closed-loop клиент имеет coordinated omission; latency относится только к успешным запросам, ошибки считаются отдельно. Серии короткие и не доказывают универсальный предел сервера. Объёмы, ресурсы, raw JSON и ограничения сохранены для повторения.
На защите показать две реальные реплики с одной сессией, конкурентный одинаковый ключ, остановку каждой реплики, повтор без дубля, persistence и графики. Объяснить, почему четыре API не превращают единственную PostgreSQL в отказоустойчивую БД и не отменяют транзакционную сериализацию.