Исправить readiness LB и ресурсные лимиты

This commit is contained in:
EgorAnti
2026-11-05 12:48:30 +03:00
parent 7080fdd3e2
commit 9c3e4fd126
24 changed files with 466 additions and 45 deletions
+5 -2
View File
@@ -12,7 +12,7 @@
- Основной стенд описан в `compose.yaml`: Nginx является единственной публичной точкой входа, за ним работают две stateless API-реплики с общей PostgreSQL и общим Redis.
- Сессии и все данные, влияющие на корректность, хранятся в PostgreSQL; sticky session не используется. Реплики наблюдаются по `X-Instance-Id`.
- Миграции вынесены в отдельный one-shot service `migrate`; в API-репликах Flyway отключён.
- Настроены `least_conn`, динамическое обновление Docker DNS, readiness, таймауты, graceful shutdown и пассивное исключение недоступного backend.
- Настроены `least_conn`, динамическое обновление Docker DNS, readiness guard, таймауты, graceful shutdown и пассивное исключение backend по 503.
- Реализована общая идемпотентность отправки сообщения через `message_idempotency`, SHA-256 тела и транзакционную PostgreSQL advisory-блокировку.
- Добавлены action scripts остановки/восстановления выбранной API-реплики, последовательный failover обеих реплик и rolling replacement под нагрузкой.
- Для трека 5 добавлен отдельный трёхузловой Swarm-стенд: один manager, два workers, локальный registry, перенос API task при жёсткой потере worker и проверка сохранности подтверждённых сообщений.
@@ -37,8 +37,10 @@ curl --fail http://localhost:8080/health/ready
make check
make test
make test-idempotency
make test-readiness-gate
make test-persistence ACTION_SCRIPT=scripts/restart.sh
make test-failover-each ACTION_SCRIPT=scripts/stop-one.sh RESTORE_SCRIPT=scripts/restore-api.sh
chmod +x scripts/rolling-update.sh
make test-rolling ACTION_SCRIPT=scripts/rolling-update.sh
```
@@ -54,6 +56,7 @@ make swarm-down
- `make check` — PASS; основной `make test` через Nginx — `PASS: lab3 public API scenario`.
- Конкурентная идемпотентность — 32 одновременных запроса через две реплики создали одно сообщение.
- Readiness gate — после временного переименования V3-таблицы обе API стали `unhealthy`, readiness и `/users/me` через LB вернули JSON 503; после восстановления вернулись `healthy`/200.
- Последовательная остановка обеих Compose-реплик — 0 ошибок, 10,839/10,014 successful RPS, первая успешная операция через 1,306/2,672 s.
- Rolling replacement — четыре instance ID, 12 147 успешных записей, 177 ошибок, 67,439 successful RPS, error ratio 1,4362%.
- Потеря Swarm worker — API task перенесена с `worker2` на `worker1`; 165 чтений, 166 записей, 0 ошибок, первая успешная операция через 1,796 s; подтверждённые данные сохранены.
@@ -63,7 +66,7 @@ make swarm-down
- PostgreSQL не реплицирован и остаётся SPOF; отказ его узла не проверялся и не заявляется (`database_node_failed=false`).
- Nginx, единственный Swarm manager, Redis, локальные volumes, underlay и физический Docker host также остаются SPOF.
- Nginx OSS использует пассивное runtime-исключение backend, а не активный health-check upstream.
- Nginx OSS использует пассивное исключение, поэтому API readiness guard возвращает 503 на бизнес-запрос неготовой реплики; Nginx повторяет его на другом peer, а при отсутствии готовых API возвращается 503.
- Во время rolling replacement зафиксировано 1,4362% кратковременных ошибок; они намеренно не скрыты клиентским retry.
- Swarm-опыт выполнен на DinD-узлах одного Windows/Docker Desktop host и не моделирует потерю разных физических серверов.