ЛР3 - БВТ2303 - Гришко - на 5 #11

Closed
TAskMAster339 wants to merge 9 commits from TAskMAster339/mtusi2026lab3-fork:solution/BVT2303-Grishko into main
First-time contributor

Лабораторная 3

Автор / группа: Гришко Дмитрий Михайлович / БВТ2303.
Целевая оценка (3/4/5): 5.
Трек 5, если заявлен: Трек 1 — «Цена масштабирования».

Что реализовано и что перенесено

Из лабораторной 2 перенесены Go API, PostgreSQL, Redis-сессии, аутентификация с Argon2id, ACL чатов, сообщения, пагинация, миграции, frontend и собственные тесты.

Добавлены две API-реплики за HAProxy с общей БД и сессиями, реальные X-Instance-Id, транзакционная идемпотентность POST, readiness и graceful shutdown. Миграции запускаются отдельным сервисом. Настроены CPU/RAM-лимиты всех сервисов, приватные сети API и хранилищ, остановка выбранной реплики и поочерёдная замена под нагрузкой.

Для трека 1 проведены сравнения 1/2/4 реплик при фиксированном и растущем бюджете. Сохранены протоколы, сырые данные, графики и результаты. Проверено улучшение GOMAXPROCS=16 → 1 при одинаковых остальных условиях. Исправлена обнаруженная при финальной проверке ошибка: некорректные UUID внутри курсоров теперь отклоняются до SQL и возвращают 400 вместо 503. Добавлены регрессионные тесты. Для будущих экспериментов обновлён хеш исходников в протоколах версии 1.3; исторические протоколы и данные не изменены.

Команды запуска из чистого clone

Нужны WSL Ubuntu/Linux, Git, Docker Compose, Make и Python. Ветка solution/BVT2303-Grishko.

1. Скачать лабораторную и настроить окружение:

git clone --branch solution/BVT2303-Grishko https://gitea.privcloud.tech/TAskMAster339/mtusi2026lab3-fork.git
cd mtusi2026lab3-fork
python3 scripts/init_env.py

Скрипт создаёт .env на основе .env.example, добавляет имя базы/пользователя messenger, случайный пароль PostgreSQL и файлы подключения в secrets/. Существующие значения и файлы сохраняются; отсутствующие настройки дополняются. До запуска можно изменить .env: внутренний APP_PORT, API_REPLICAS, TTL сессий и ключей идемпотентности, метку APP_ENV, пути _FILE. Порт и число реплик передаются также в HAProxy. Сессии всегда в Redis; .env исключен из Git. Подробности — в REPORT.md.

2. Проверить конфигурацию и запустить приложение:

docker compose --project-name highload-lab3 --env-file .env -f compose.yml config --quiet
make app-up
make app-status

make app-up собирает образы, выполняет миграции и ждёт готовности. API: http://localhost:8080, UI: http://localhost:5173, HAProxy stats: http://localhost:8404/stats. Проверки: make check, make test, make test-backend, make test-grade4; команды persistence/failover и воспроизведение исследования — в REPORT.md. Остановка: make app-down, volumes сохраняются.

Результаты проверок и отчёт

REPORT.md содержит архитектуру, запуск, таблицы соответствия критериям, измерения и ограничения. Доказательства по каждому пункту содержат команды, реальный вывод и ссылки на реализацию. Исследование и методика доступны в репозитории.

Ограничения / известные ошибки

Стенд работает на одном хосте: HAProxy, PostgreSQL и Redis остаются отдельными точками отказа. При внезапной остановке API допустимы измеренные краткие ошибки до исключения реплики из LB. Rolling проверен как поочерёдная замена процессов с совместимыми миграциями, а не как переход между несовместимыми версиями схемы.

Эксперимент относится к выбранному профилю нагрузки и 30-секундным прогонам. Границы мощности — интервалы между точками сетки SLO, не точные потолки и не доверительные интервалы. H1 подтверждена в исследованных условиях; H2, HI и HC остаются неопределёнными. HL подтверждает снижение p95 на фиксированной нагрузке; универсальные +15% мощности и масштабирование в 1.5 раза не доказаны. Процент эффекта с четырёх API по 0.25 CPU нельзя автоматически переносить на обычные две API по 0.5 CPU.

Источники и использование ИИ

Официальная документация Docker Compose, HAProxy, Go, pgxpool и aiohttp. Подробные ссылки и версии — в REPORT.md. OpenAI Codex использован для переноса и реализации кода, инструментов проверки, анализа измерений и оформления отчёта. Экспериментальные выводы основаны на сохранённых данных;

  • Весь обязательный минимум текущей и предыдущих работ сохранён с объявленными переходами.
  • Контракт и публичные тесты не ослаблены.
  • make check и make test выполнены; приложен реальный вывод в evidence/criteria.
  • Сценарии отказов/безопасности своего уровня воспроизведены.
  • Все секреты и приватные ключи находятся вне Git; отчёт не содержит tokens.
  • README задания сохранён, REPORT.md содержит инструкцию именно моего решения.
## Лабораторная 3 Автор / группа: Гришко Дмитрий Михайлович / БВТ2303. Целевая оценка (3/4/5): **5**. Трек 5, если заявлен: **Трек 1 — «Цена масштабирования»**. ### Что реализовано и что перенесено Из лабораторной 2 перенесены Go API, PostgreSQL, Redis-сессии, аутентификация с Argon2id, ACL чатов, сообщения, пагинация, миграции, frontend и собственные тесты. Добавлены две API-реплики за HAProxy с общей БД и сессиями, реальные `X-Instance-Id`, транзакционная идемпотентность POST, readiness и graceful shutdown. Миграции запускаются отдельным сервисом. Настроены CPU/RAM-лимиты всех сервисов, приватные сети API и хранилищ, остановка выбранной реплики и поочерёдная замена под нагрузкой. Для трека 1 проведены сравнения 1/2/4 реплик при фиксированном и растущем бюджете. Сохранены протоколы, сырые данные, графики и результаты. Проверено улучшение `GOMAXPROCS=16 → 1` при одинаковых остальных условиях. Исправлена обнаруженная при финальной проверке ошибка: некорректные UUID внутри курсоров теперь отклоняются до SQL и возвращают 400 вместо 503. Добавлены регрессионные тесты. Для будущих экспериментов обновлён хеш исходников в протоколах версии 1.3; исторические протоколы и данные не изменены. ### Команды запуска из чистого clone Нужны WSL Ubuntu/Linux, Git, Docker Compose, Make и Python. Ветка `solution/BVT2303-Grishko`. **1. Скачать лабораторную и настроить окружение:** ```sh git clone --branch solution/BVT2303-Grishko https://gitea.privcloud.tech/TAskMAster339/mtusi2026lab3-fork.git cd mtusi2026lab3-fork python3 scripts/init_env.py ``` Скрипт создаёт `.env` на основе `.env.example`, добавляет имя базы/пользователя `messenger`, случайный пароль PostgreSQL и файлы подключения в `secrets/`. Существующие значения и файлы сохраняются; отсутствующие настройки дополняются. До запуска можно изменить `.env`: внутренний `APP_PORT`, `API_REPLICAS`, TTL сессий и ключей идемпотентности, метку `APP_ENV`, пути `_FILE`. Порт и число реплик передаются также в HAProxy. Сессии всегда в Redis; `.env` исключен из Git. Подробности — в [REPORT.md](../REPORT.md). **2. Проверить конфигурацию и запустить приложение:** ```sh docker compose --project-name highload-lab3 --env-file .env -f compose.yml config --quiet make app-up make app-status ``` `make app-up` собирает образы, выполняет миграции и ждёт готовности. API: `http://localhost:8080`, UI: `http://localhost:5173`, HAProxy stats: `http://localhost:8404/stats`. Проверки: `make check`, `make test`, `make test-backend`, `make test-grade4`; команды persistence/failover и воспроизведение исследования — в [REPORT.md](../REPORT.md). Остановка: `make app-down`, volumes сохраняются. ### Результаты проверок и отчёт [REPORT.md](../REPORT.md) содержит архитектуру, запуск, таблицы соответствия критериям, измерения и ограничения. [Доказательства по каждому пункту](../evidence/criteria/README.md) содержат команды, реальный вывод и ссылки на реализацию. [Исследование](../evidence/grade5/RESULTS.md) и [методика](../experiments/lab3-scale/docs/method.md) доступны в репозитории. ### Ограничения / известные ошибки Стенд работает на одном хосте: HAProxy, PostgreSQL и Redis остаются отдельными точками отказа. При внезапной остановке API допустимы измеренные краткие ошибки до исключения реплики из LB. Rolling проверен как поочерёдная замена процессов с совместимыми миграциями, а не как переход между несовместимыми версиями схемы. Эксперимент относится к выбранному профилю нагрузки и 30-секундным прогонам. Границы мощности — интервалы между точками сетки SLO, не точные потолки и не доверительные интервалы. H1 подтверждена в исследованных условиях; H2, HI и HC остаются неопределёнными. HL подтверждает снижение p95 на фиксированной нагрузке; универсальные +15% мощности и масштабирование в 1.5 раза не доказаны. Процент эффекта с четырёх API по 0.25 CPU нельзя автоматически переносить на обычные две API по 0.5 CPU. ### Источники и использование ИИ Официальная документация Docker Compose, HAProxy, Go, pgxpool и aiohttp. Подробные ссылки и версии — в [REPORT.md](../REPORT.md). OpenAI Codex использован для переноса и реализации кода, инструментов проверки, анализа измерений и оформления отчёта. Экспериментальные выводы основаны на сохранённых данных; - [x] Весь обязательный минимум текущей и предыдущих работ сохранён с объявленными переходами. - [x] Контракт и публичные тесты не ослаблены. - [x] make check и make test выполнены; приложен реальный вывод в evidence/criteria. - [x] Сценарии отказов/безопасности своего уровня воспроизведены. - [x] Все секреты и приватные ключи находятся вне Git; отчёт не содержит tokens. - [x] README задания сохранён, REPORT.md содержит инструкцию именно моего решения.
TAskMAster339 added 5 commits 2026-10-15 13:13:32 +03:00
TAskMAster339 added 1 commit 2026-10-15 13:15:26 +03:00
Owner

Существенные замечания:

  1. Принимаются лишние JSON-поля с другим регистром. С действующей сессией и новым Idempotency-Key отправить в доступный чат {"text":"first","TEXT":"second"}. Ожидается 400, фактически 201, сохраняется second. Нарушена обязательная проверка лишних полей. Причина — общий декодер в src/backend/handlers/user_http.go:21.
  2. Дубликаты UUID сравниваются как строки. Войти пользователем u и создать чат с member_ids=[u, upper(u)], используя один UUID в двух регистрах. Ожидается 400, фактически 503 из-за повторной вставки участника. UUID нужно нормализовать до проверки уникальности. Код: src/backend/services/chat.go:53.

На 5 допом проверьте, пожалуйста:

  • Улучшение GOMAXPROCS не воспроизвелось на новом хосте. При 325 запросах/с ни одна из трёх пар не достигла заявленного снижения p95 ≥15%. Исходные 60–68% подтверждаются сохранёнными данными AMD/WSL; новый прогон выполнен на M4 Pro, где API значительно меньше загружены.
  • Насыщение БД и предел масштабирования повторно не установлены. На новом стенде все конфигурации выдержали 800 запросов/с, поэтому исходные границы мощности независимо подтвердить не удалось.
Существенные замечания: 1. Принимаются лишние JSON-поля с другим регистром. С действующей сессией и новым Idempotency-Key отправить в доступный чат {"text":"first","TEXT":"second"}. Ожидается 400, фактически 201, сохраняется second. Нарушена обязательная проверка лишних полей. Причина — общий декодер в [src/backend/handlers/user_http.go:21](https://gitea.privcloud.tech/TAskMAster339/mtusi2026lab3-fork/src/commit/70e31f6fdc2a972c044a6057506abd4d2cd2d3a4/src/backend/handlers/user_http.go#L21). 2. Дубликаты UUID сравниваются как строки. Войти пользователем u и создать чат с member_ids=[u, upper(u)], используя один UUID в двух регистрах. Ожидается 400, фактически 503 из-за повторной вставки участника. UUID нужно нормализовать до проверки уникальности. Код: [src/backend/services/chat.go:53](https://gitea.privcloud.tech/TAskMAster339/mtusi2026lab3-fork/src/commit/70e31f6fdc2a972c044a6057506abd4d2cd2d3a4/src/backend/services/chat.go#L53). На 5 допом проверьте, пожалуйста: - Улучшение GOMAXPROCS не воспроизвелось на новом хосте. При 325 запросах/с ни одна из трёх пар не достигла заявленного снижения p95 ≥15%. Исходные 60–68% подтверждаются сохранёнными данными AMD/WSL; новый прогон выполнен на M4 Pro, где API значительно меньше загружены. - Насыщение БД и предел масштабирования повторно не установлены. На новом стенде все конфигурации выдержали 800 запросов/с, поэтому исходные границы мощности независимо подтвердить не удалось.
TAskMAster339 added 3 commits 2026-10-16 18:46:57 +03:00
Author
First-time contributor

Пофиксил 1. и 2. замечания
По 5 допом:
Провел еще один эксперимент, в котором в начале определяется предельная нагрузка для хоста. (Предыдущий эксперимент был рассчитан под мой хост, из-за чего был не переносим на другие хосты).

  1. Улучшение от GOMAXPROCS сохранилось, но я обнаружил, что оно зависит от загрузки API. При маленькой загрузки API (75 rps) среднее снижение p95 было +- 12%, при высокой загрузки (270rps) снижение p95 было +-57%
  2. Новый эксперимент показал, что на моем хосте при 500 rps БД перенасыщается. Добавление дополнительного CPU решает эту проблему, снижая p95 с 1030–2615 до 61–63 мс. Но говорить о том, что 500 rps это предел БД приложения нельзя, так как точные границы масштабирование новым экспериментом не определились. Учёл ограничение, что на другом хосте результаты будут отличаться.
Пофиксил 1. и 2. замечания По 5 допом: Провел еще один эксперимент, в котором в начале определяется предельная нагрузка для хоста. (Предыдущий эксперимент был рассчитан под мой хост, из-за чего был не переносим на другие хосты). 1) Улучшение от GOMAXPROCS сохранилось, но я обнаружил, что оно зависит от загрузки API. При маленькой загрузки API (75 rps) среднее снижение p95 было +- 12%, при высокой загрузки (270rps) снижение p95 было +-57% 2) Новый эксперимент показал, что на моем хосте при 500 rps БД перенасыщается. Добавление дополнительного CPU решает эту проблему, снижая p95 с 1030–2615 до 61–63 мс. Но говорить о том, что 500 rps это предел БД приложения нельзя, так как точные границы масштабирование новым экспериментом не определились. Учёл ограничение, что на другом хосте результаты будут отличаться.
Owner

Принято. Закрываю МР.

Принято. Закрываю МР.
veprickiy closed this pull request 2026-10-17 11:13:46 +03:00

Pull request closed

Please reopen this pull request to perform a merge.
Sign in to join this conversation.
No Reviewers
No labels
2 Participants
Notifications
Due Date
No due date set.
Dependencies

No dependencies set.

Reference: mtusi2026/mtusi2026lab3#11