ЛР 3 - БВТ2301 - Иванов Данил- на 5 #10

Closed
landcruiser200 wants to merge 5 commits from landcruiser200/mtusi2026lab3:main into main
First-time contributor

Лабораторная 3

Автор / группа: Иванов Данил, БВТ2301
Целевая оценка (3/4/5): 5
Трек 5, если заявлен: Трек 1 «Цена масштабирования»

Что реализовано и что перенесено

Перенесено из lab2: Spring Boot 4.1.1 на Java 21, PostgreSQL 16 + Flyway (одна V1-миграция), сессии в БД, общий Redis-кэш, регистрация/логин/чаты/сообщения, cursor-pagination.

Добавлено в lab3:

  • Nginx-LB (nginx 1.27.5) с upstream zone + resolve через Docker DNS 127.0.0.11. Единая точка входа, 127.0.0.1:8080. API не публикует порты наружу.
  • X-Instance-Id — вычисляется из /etc/hostname (short container ID), выставляется InstanceIdFilter с @Order(HIGHEST_PRECEDENCE) — раньше Spring Security, поэтому присутствует и на 401. Конфиг — InstanceProperties (app.instance.id).
  • Idempotency-Key — обязательный на POST /messages. Таблица idempotency_keys с PK (user_id, method, chat_id, idempotency_key), ON CONFLICT DO NOTHING, response JSONB. Логика вынесена в IdempotencyService + IdempotencyValidator + IdempotencyPayloadConverter.
  • Миграции — отдельный сервис migrate, SPRING_FLYWAY_ENABLED=true только там. API стартует после service_completed_successfully.
  • Graceful shutdown — server.shutdown: graceful, timeout-per-shutdown-phase: 30s, stop_grace_period: 40s.
  • CPU/RAM-лимиты через deploy.resources.limits на всех сервисах.
  • Скрипты — scripts/stop-one.{sh,cmd,ps1}, scripts/restart.{sh,cmd,ps1}.
  • Трек 1 — серия A (1/2/4 реплики при фиксированных 2 CPU) и серия B (рост CPU при 2 репликах). Найден saturation point в среде Docker Desktop.

Команды запуска из чистого clone

# 1. Secrets (один раз)
New-Item -ItemType Directory -Force -Path secrets
"messenger"       | Out-File -NoNewline secrets/postgres_db.txt
"messenger"       | Out-File -NoNewline secrets/postgres_user.txt
"change-me-local" | Out-File -NoNewline secrets/postgres_password.txt

# 2. Стенд
docker compose --env-file .env up -d --build
Start-Sleep -Seconds 45
docker compose ps
# migrate=Exited(0), api-1/2=healthy, lb/db/redis=Up

# 3. Публичные тесты
.venv\Scripts\python.exe tests\smoke.py --base-url "http://127.0.0.1:8080"
.venv\Scripts\python.exe tests\resilience.py --mode persistence --action-script "scripts/restart.cmd" --base-url "http://127.0.0.1:8080"
.venv\Scripts\python.exe tests\resilience.py --mode failover    --action-script "scripts/stop-one.cmd" --base-url "http://127.0.0.1:8080"

# 4. Остановка
docker compose --env-file .env down        # volumes сохраняются
docker compose --env-file .env down -v     # полное удаление учебных данных

Результаты проверок

  • make check — PASS (offline skeleton, JSON, refs, Python syntax).
  • make test — PASS.
  • make test-persistence — PASS (resilience.py --mode persistence).
  • make test-failover — PASS, observed_instances_before=2, successful_writes=7, failed_attempts=0, first_recovery_seconds=4.234.
  • Rolling update под нагрузкой — error_ratio=0.00106, 502=1, 504=7.
  • Трек 1 — saturation point найден; подробности в REPORT.md.

Полностью: см. REPORT.md в корне репозитория.

Ограничения / известные ошибки

  • Saturation point в среде измерения. Потолок ~135-155 RPS в Docker Desktop на Windows обусловлен виртуализованным сетевым стеком (~11ms RTT между контейнерами). Перебор: Hikari pool 10→50, synchronous_commit=off, concurrency 8→32, nginx upstream keepalive 64 — ни одно не дало прироста за пределы ±15% шума.
  • C3 (4 реплики × 0.5 CPU) — не рабочая точка. Spring Boot не обслуживает bootstrap (POST /users) за proxy_read_timeout=3s, отсюда 504. В отчёте — как граница рабочей зоны.
  • Серия B не расширена до суммарных 4+ CPU (ограничение времени).
  • Трек 2 (отказ узла) не рассматривался — доступен только один узел Docker Desktop.
  • Медиана из 3 прогонов не считалась — одиночные прогоны, шум ±15%.

Источники и использование ИИ

  • Официальная документация: Spring Boot 4.1, Docker Compose v2, nginx 1.27 (resolve, zone, upstream), PostgreSQL 16 (synchronous_commit), HikariCP (recommendations), MapStruct 1.6.
  • Обсуждения в GitHub issue-трекере Docker for Windows (сетевой стек Moby vpnkit) — подтверждение узкого места.
  • Помощь ИИ: архитектурные консультации, разбор стектрейсов и планирование экспериментов. Все решения и цифры проверены экспериментально.

  • Весь обязательный минимум текущей и предыдущих работ сохранён с объявленными переходами.
  • Контракт и публичные тесты не ослаблены.
  • make check и make test выполнены; приложен реальный вывод (evidence/lab3/).
  • Сценарии отказов/безопасности своего уровня воспроизведены (failover, persistence, rolling).
  • Все секреты и приватные ключи находятся вне Git; отчёт не содержит tokens.
  • README задания сохранён, REPORT.md содержит инструкцию именно моего решения.
## Лабораторная 3 Автор / группа: Иванов Данил, БВТ2301 Целевая оценка (3/4/5): **5** Трек 5, если заявлен: **Трек 1 «Цена масштабирования»** ### Что реализовано и что перенесено **Перенесено из lab2:** Spring Boot 4.1.1 на Java 21, PostgreSQL 16 + Flyway (одна V1-миграция), сессии в БД, общий Redis-кэш, регистрация/логин/чаты/сообщения, cursor-pagination. **Добавлено в lab3:** - **Nginx-LB** (nginx 1.27.5) с upstream `zone + resolve` через Docker DNS `127.0.0.11`. Единая точка входа, `127.0.0.1:8080`. API не публикует порты наружу. - **X-Instance-Id** — вычисляется из `/etc/hostname` (short container ID), выставляется `InstanceIdFilter` с `@Order(HIGHEST_PRECEDENCE)` — раньше Spring Security, поэтому присутствует и на 401. Конфиг — `InstanceProperties` (`app.instance.id`). - **Idempotency-Key** — обязательный на POST /messages. Таблица `idempotency_keys` с PK `(user_id, method, chat_id, idempotency_key)`, `ON CONFLICT DO NOTHING`, response JSONB. Логика вынесена в `IdempotencyService` + `IdempotencyValidator` + `IdempotencyPayloadConverter`. - **Миграции** — отдельный сервис `migrate`, `SPRING_FLYWAY_ENABLED=true` только там. API стартует после `service_completed_successfully`. - **Graceful shutdown** — `server.shutdown: graceful`, `timeout-per-shutdown-phase: 30s`, `stop_grace_period: 40s`. - **CPU/RAM-лимиты** через `deploy.resources.limits` на всех сервисах. - **Скрипты** — `scripts/stop-one.{sh,cmd,ps1}`, `scripts/restart.{sh,cmd,ps1}`. - **Трек 1** — серия A (1/2/4 реплики при фиксированных 2 CPU) и серия B (рост CPU при 2 репликах). Найден saturation point в среде Docker Desktop. ### Команды запуска из чистого clone ```powershell # 1. Secrets (один раз) New-Item -ItemType Directory -Force -Path secrets "messenger" | Out-File -NoNewline secrets/postgres_db.txt "messenger" | Out-File -NoNewline secrets/postgres_user.txt "change-me-local" | Out-File -NoNewline secrets/postgres_password.txt # 2. Стенд docker compose --env-file .env up -d --build Start-Sleep -Seconds 45 docker compose ps # migrate=Exited(0), api-1/2=healthy, lb/db/redis=Up # 3. Публичные тесты .venv\Scripts\python.exe tests\smoke.py --base-url "http://127.0.0.1:8080" .venv\Scripts\python.exe tests\resilience.py --mode persistence --action-script "scripts/restart.cmd" --base-url "http://127.0.0.1:8080" .venv\Scripts\python.exe tests\resilience.py --mode failover --action-script "scripts/stop-one.cmd" --base-url "http://127.0.0.1:8080" # 4. Остановка docker compose --env-file .env down # volumes сохраняются docker compose --env-file .env down -v # полное удаление учебных данных ``` ### Результаты проверок - `make check` — PASS (offline skeleton, JSON, refs, Python syntax). - `make test` — PASS. - `make test-persistence` — PASS (`resilience.py --mode persistence`). - `make test-failover` — PASS, `observed_instances_before=2, successful_writes=7, failed_attempts=0, first_recovery_seconds=4.234`. - Rolling update под нагрузкой — `error_ratio=0.00106`, 502=1, 504=7. - Трек 1 — saturation point найден; подробности в `REPORT.md`. Полностью: см. `REPORT.md` в корне репозитория. ### Ограничения / известные ошибки - **Saturation point в среде измерения.** Потолок ~135-155 RPS в Docker Desktop на Windows обусловлен виртуализованным сетевым стеком (~11ms RTT между контейнерами). Перебор: Hikari pool 10→50, `synchronous_commit=off`, concurrency 8→32, nginx upstream `keepalive 64` — ни одно не дало прироста за пределы ±15% шума. - **C3 (4 реплики × 0.5 CPU) — не рабочая точка.** Spring Boot не обслуживает bootstrap (`POST /users`) за `proxy_read_timeout=3s`, отсюда 504. В отчёте — как граница рабочей зоны. - **Серия B не расширена** до суммарных 4+ CPU (ограничение времени). - **Трек 2 (отказ узла) не рассматривался** — доступен только один узел Docker Desktop. - **Медиана из 3 прогонов не считалась** — одиночные прогоны, шум ±15%. ### Источники и использование ИИ - Официальная документация: Spring Boot 4.1, Docker Compose v2, nginx 1.27 (`resolve`, `zone`, `upstream`), PostgreSQL 16 (`synchronous_commit`), HikariCP (recommendations), MapStruct 1.6. - Обсуждения в GitHub issue-трекере Docker for Windows (сетевой стек Moby vpnkit) — подтверждение узкого места. - Помощь ИИ: архитектурные консультации, разбор стектрейсов и планирование экспериментов. Все решения и цифры проверены экспериментально. --- - [x] Весь обязательный минимум текущей и предыдущих работ сохранён с объявленными переходами. - [x] Контракт и публичные тесты не ослаблены. - [x] `make check` и `make test` выполнены; приложен реальный вывод (`evidence/lab3/`). - [x] Сценарии отказов/безопасности своего уровня воспроизведены (`failover`, `persistence`, `rolling`). - [x] Все секреты и приватные ключи находятся вне Git; отчёт не содержит tokens. - [x] README задания сохранён, `REPORT.md` содержит инструкцию именно моего решения.
landcruiser200 added 2 commits 2026-10-15 13:10:17 +03:00
landcruiser200 added 1 commit 2026-10-15 13:11:23 +03:00
Owner

Есть FAIL контракта, поэтому утверждение «все критерии уровня 3 — PASS» не подтверждается:

FAIL: readiness не управляет исключением backend из LB. При заполнении пула одной API заблокированными запросами её /health/ready возвращал 503. LB продолжал направлять на неё запросы: регистрации с действующим Bearer попеременно получали 401 от неготовой API и 201 от второй. Ожидалось исключение неготовой реплики. В Nginx настроены DNS и пассивное обнаружение ошибок; Compose проверяет готовность при запуске. nginx.conf:16, docker-compose.yaml:145.

Законченный трек 1 не подтверждён: графиков нет, а отчёт прямо признаёт отсутствие подтверждённого улучшения. Локализация узкого места в сетевом стеке Windows приложенными агрегатами не доказана. Кроме того, объяснение C3 опирается на таймаут 3 с, тогда как сданный Nginx использует 10 с. REPORT.md:144, REPORT.md:175. Непроверенным остаётся заявленный сетевой предел старой Windows-среды: новые прогоны выполнены на ARM64 Docker Desktop, и профиль ограничился историей чата.

Есть FAIL контракта, поэтому утверждение «все критерии уровня 3 — PASS» не подтверждается: - Пароль "a" принимается с 201 вместо 400; допустимый пароль "я:" × 64 отклоняется с 400 вместо 201. Установлен диапазон 1–100 вместо 12–128 code points. [src/main/java/ru/mtusi/messenger/dto/UserDTO.java:109](https://gitea.privcloud.tech/landcruiser200/mtusi2026lab3/src/commit/95aed3c25bf13889c18408d811909b94ac33f5f3/src/main/java/ru/mtusi/messenger/dto/UserDTO.java#L109). - {"text":123} создаёт сообщение "123"; лишний id при создании чата также принимается. Оба запроса должны возвращать 400. [src/main/java/ru/mtusi/messenger/dto/CreateMessageDTO.java:29](https://gitea.privcloud.tech/landcruiser200/mtusi2026lab3/src/commit/95aed3c25bf13889c18408d811909b94ac33f5f3/src/main/java/ru/mtusi/messenger/dto/CreateMessageDTO.java#L29), [src/main/java/ru/mtusi/messenger/dto/ChatDTO.java:46](https://gitea.privcloud.tech/landcruiser200/mtusi2026lab3/src/commit/95aed3c25bf13889c18408d811909b94ac33f5f3/src/main/java/ru/mtusi/messenger/dto/ChatDTO.java#L46). - ?cursor=%20 возвращает первую страницу с 200 вместо ошибки 400: пробельный непустой cursor приравнивается к отсутствующему. [src/main/java/ru/mtusi/messenger/service/MessageService.java:86](https://gitea.privcloud.tech/landcruiser200/mtusi2026lab3/src/commit/95aed3c25bf13889c18408d811909b94ac33f5f3/src/main/java/ru/mtusi/messenger/service/MessageService.java#L86). - Basic challenge не содержит обязательный charset="UTF-8"; JSON body при входе игнорируется с выдачей 201. [src/main/java/ru/mtusi/messenger/controller/controllerAdvice/GlobalExceptionHandler.java:42](https://gitea.privcloud.tech/landcruiser200/mtusi2026lab3/src/commit/95aed3c25bf13889c18408d811909b94ac33f5f3/src/main/java/ru/mtusi/messenger/controller/controllerAdvice/GlobalExceptionHandler.java#L42), [src/main/java/ru/mtusi/messenger/controller/AuthController.java:18](https://gitea.privcloud.tech/landcruiser200/mtusi2026lab3/src/commit/95aed3c25bf13889c18408d811909b94ac33f5f3/src/main/java/ru/mtusi/messenger/controller/AuthController.java#L18). FAIL: readiness не управляет исключением backend из LB. При заполнении пула одной API заблокированными запросами её /health/ready возвращал 503. LB продолжал направлять на неё запросы: регистрации с действующим Bearer попеременно получали 401 от неготовой API и 201 от второй. Ожидалось исключение неготовой реплики. В Nginx настроены DNS и пассивное обнаружение ошибок; Compose проверяет готовность при запуске. [nginx.conf:16](https://gitea.privcloud.tech/landcruiser200/mtusi2026lab3/src/commit/95aed3c25bf13889c18408d811909b94ac33f5f3/nginx.conf#L16), [docker-compose.yaml:145](https://gitea.privcloud.tech/landcruiser200/mtusi2026lab3/src/commit/95aed3c25bf13889c18408d811909b94ac33f5f3/docker-compose.yaml#L145). Законченный трек 1 не подтверждён: графиков нет, а отчёт прямо признаёт отсутствие подтверждённого улучшения. Локализация узкого места в сетевом стеке Windows приложенными агрегатами не доказана. Кроме того, объяснение C3 опирается на таймаут 3 с, тогда как сданный Nginx использует 10 с. [REPORT.md:144](https://gitea.privcloud.tech/landcruiser200/mtusi2026lab3/src/commit/95aed3c25bf13889c18408d811909b94ac33f5f3/REPORT.md#L144), [REPORT.md:175](https://gitea.privcloud.tech/landcruiser200/mtusi2026lab3/src/commit/95aed3c25bf13889c18408d811909b94ac33f5f3/REPORT.md#L175). Непроверенным остаётся заявленный сетевой предел старой Windows-среды: новые прогоны выполнены на ARM64 Docker Desktop, и профиль ограничился историей чата.
landcruiser200 added 1 commit 2026-10-17 08:59:19 +03:00
landcruiser200 added 1 commit 2026-10-17 09:17:56 +03:00
Owner

Принято. Закрываю МР.

Принято. Закрываю МР.
veprickiy closed this pull request 2026-10-17 18:30:56 +03:00

Pull request closed

Please reopen this pull request to perform a merge.
Sign in to join this conversation.
No Reviewers
No labels
2 Participants
Notifications
Due Date
No due date set.
Dependencies

No dependencies set.

Reference: mtusi2026/mtusi2026lab3#10