Completed for a grade of four
This commit is contained in:
+5
-1
@@ -8,12 +8,16 @@ COPY contracts ./contracts
|
||||
RUN --mount=type=cache,target=/home/gradle/.gradle gradle --no-daemon shadowJar
|
||||
|
||||
FROM eclipse-temurin:21-jre-alpine
|
||||
# Distinguishes builds of the same code, e.g. the image rolled out by scripts/rolling-update.sh.
|
||||
ARG BUILD_ID=dev
|
||||
LABEL org.opencontainers.image.revision=$BUILD_ID
|
||||
RUN apk add --no-cache wget && addgroup -S app && adduser -S -G app app
|
||||
WORKDIR /app
|
||||
COPY --from=build /src/build/libs/messenger.jar /app/messenger.jar
|
||||
USER app
|
||||
ENV APP_HOST=0.0.0.0 APP_PORT=8080
|
||||
EXPOSE 8080
|
||||
HEALTHCHECK --interval=10s --timeout=3s --start-period=15s --retries=3 \
|
||||
# Docker's own view of the replica (compose depends_on, rolling update). The balancer runs its own checks every 1 s.
|
||||
HEALTHCHECK --interval=10s --timeout=3s --start-period=30s --start-interval=1s --retries=3 \
|
||||
CMD wget -qO- http://127.0.0.1:8080/health/ready || exit 1
|
||||
ENTRYPOINT ["java","-XX:MaxRAMPercentage=75.0","-jar","/app/messenger.jar"]
|
||||
|
||||
@@ -1,37 +1,198 @@
|
||||
# Отчёт — лабораторная 3
|
||||
|
||||
- Автор, группа: TODO
|
||||
- Целевая оценка; выбранный трек 5, если нужен: TODO
|
||||
- Автор, группа: Кучерявенко Максим, БВТ2303
|
||||
- Целевая оценка; выбранный трек 5, если нужен: 4
|
||||
- Commit/PR: TODO после публикации
|
||||
- Использованные источники, библиотеки и помощь ИИ: TODO
|
||||
- Использованные источники, библиотеки и помощь ИИ: всё из lab2 (Kotlin 2.3.20, Ktor 3.3.0, Koin 4.1, Exposed 1.0, HikariCP, Flyway 11.9, Lettuce 6.7, BouncyCastle, Testcontainers) плюс Ktor CORS. Балансировщик HAProxy 3.2.4, нагрузка k6 2.3. Документация: [Compose services](https://docs.docker.com/reference/compose-file/services/), [HAProxy 3.2 configuration manual](https://docs.haproxy.org/3.2/configuration.html) (server-template, resolvers, httpchk, retries/redispatch), [PostgreSQL INSERT … ON CONFLICT](https://www.postgresql.org/docs/17/sql-insert.html). ИИ (Claude) использовал как парного разработчика.
|
||||
|
||||
## Запуск из чистого clone
|
||||
|
||||
TODO: версии runtime/образов, prerequisites, команды создания локальных secrets/.env, build, миграций, запуска, ожидания готовности, тестов и остановки. Указать необходимые действия оператора. Не вставлять секреты. Отдельно указать безопасную остановку и команду намеренного удаления учебных данных.
|
||||
Нужны Docker 24+ с Compose v2, Python 3.9+ (публичные тесты), `openssl` (секреты). Для `./gradlew test` ещё JDK 21+ и запущенный Docker, для нагрузочных прогонов — k6. Я всё запускал на Docker 28.4, Compose 2.39, JDK 24, k6 2.3.
|
||||
|
||||
```sh
|
||||
# один раз: пароли PostgreSQL и Redis в secrets/ (папка в .gitignore, существующие файлы не перезаписываются)
|
||||
./scripts/init-secrets.sh
|
||||
|
||||
# сборка образа и запуск: postgres, redis -> migrate (один раз применяет миграции и выходит) -> api x2 -> lb
|
||||
# --wait ждёт healthcheck всех сервисов и успешного завершения migrate
|
||||
docker compose up -d --build --wait
|
||||
|
||||
# публичные проверки, всё через балансировщик http://localhost:8080
|
||||
make check
|
||||
make test
|
||||
make test-persistence ACTION_SCRIPT=scripts/restart.sh
|
||||
make test-failover ACTION_SCRIPT=scripts/stop-one.sh
|
||||
docker compose start api # вернуть остановленную реплику
|
||||
|
||||
# свои тесты (Testcontainers)
|
||||
./gradlew test
|
||||
|
||||
# одновременные повторы одного Idempotency-Key через обе реплики
|
||||
python3 scripts/idempotency-race.py
|
||||
|
||||
# уровень 4: отказ каждой реплики под нагрузкой и rolling update (нужен k6)
|
||||
MODE=stop TARGET=api-1 scripts/load/failover-under-load.sh # также MODE=kill, TARGET=api-2
|
||||
scripts/load/rolling-under-load.sh # сам update без нагрузки: scripts/rolling-update.sh
|
||||
|
||||
# остановка с сохранением данных
|
||||
docker compose stop # или docker compose down, volume postgres-data остаётся
|
||||
|
||||
# намеренное удаление всех учебных данных
|
||||
docker compose down -v
|
||||
```
|
||||
|
||||
`.env` не обязателен: у всех переменных в `compose.yaml` есть значения по умолчанию. `docker compose --env-file .env.example config --quiet` проходит.
|
||||
|
||||
`make test-failover` останавливает ту реплику, которая ответила на первое сообщение теста. Тест делает одинаковое число запросов, и round robin каждый раз приводит его к одной и той же реплике. Чтобы проверить вторую, перед повторным запуском я делаю один лишний запрос (`curl -s localhost:8080/health/live`), он сдвигает очередь.
|
||||
|
||||
После `scripts/rolling-update.sh` контейнеры называются `api-3`, `api-4` (Compose нумерует новые дальше). `stop-one.sh` от имён не зависит. `failover-under-load.sh` принимает имя (`TARGET=api-3`), прежние имена возвращает `docker compose down && docker compose up -d --wait` без `-v`.
|
||||
|
||||
Локально без Docker: `./gradlew run`, конфиг из `run/development/config/*.conf`, порт 8081, один процесс сам применяет миграции.
|
||||
|
||||
## Архитектура и решения
|
||||
|
||||
TODO: схема процессов/хранилищ, источник истины, транзакционные границы, ограничения. Что перенесено из lab2, что изменено в этой работе. Соответствие переменных из .env.example реальной конфигурации.
|
||||
```
|
||||
клиент ──HTTP──▶ lb: HAProxy 3.2.4 (127.0.0.1:8080, единственный опубликованный порт)
|
||||
│ round robin, проверка GET /health/ready раз в 1 с, адреса реплик из Docker DNS
|
||||
├──▶ api-1 (Ktor) ─┐
|
||||
└──▶ api-2 (Ktor) ─┼──JDBC, пул ≤10 на реплику──▶ postgres (volume postgres-data) ← источник истины
|
||||
└──RESP──▶ redis (кэш сессий, без persistence)
|
||||
migrate (тот же образ, `migrate`) ── один раз до старта реплик ──▶ postgres
|
||||
```
|
||||
|
||||
| Роль | Service | Образ | Health/readiness | Volume | Порт | Credentials | Лимиты |
|
||||
| --- | --- | --- | --- | --- | --- | --- | --- |
|
||||
| Балансировщик | `lb` | `haproxy:3.2.4-alpine` | `wget http://127.0.0.1:8404/healthz` (внутренний порт) | — | `127.0.0.1:8080` | нет | 0.5 CPU, 128 МБ |
|
||||
| API ×2 | `api` | `mtusi-messenger:lab3` (свой Dockerfile) | Docker: `/health/ready` раз в 10 с; HAProxy: `/health/ready` раз в 1 с | — | 8080 только в сети compose | secrets `db_password`, `redis_password` | 1 CPU, 512 МБ каждая |
|
||||
| Миграции | `migrate` | тот же образ, команда `migrate` | разовый, healthcheck выключен | — | — | `db_password` | 0.5 CPU, 384 МБ |
|
||||
| БД | `postgres` | `postgres:17.6-alpine3.22` | `pg_isready` | `postgres-data` | 5432 в сети | `db_password` | 1 CPU, 1 ГБ |
|
||||
| Кэш сессий | `redis` | `redis:8.4.0-alpine` | `redis-cli ping` | — | 6379 в сети | `redis_password` | 0.5 CPU, 128 МБ |
|
||||
|
||||
**Что перенёс из lab2 без изменений.** Весь API и контракт, PostgreSQL как источник истины, Bearer-сессии в PostgreSQL с кэшем в Redis (single-flight, tombstone при logout, outbox `session_revocations`), курсорную пагинацию, Argon2id, Docker secrets, 503 при недоступной базе. У API и раньше не было состояния в памяти, от которого зависит корректность: сессии в PostgreSQL, кэш в общем Redis, курсор пагинации не подписан ключом процесса. Поэтому реплики взаимозаменяемы без доработок.
|
||||
|
||||
**Что поменял в этой работе.**
|
||||
- **`X-Instance-Id`** (`plugins/InstanceId.kt`) — в каждом ответе API, включая ошибки и health. Значение: `INSTANCE_ID`, если задан, иначе `HOSTNAME` (в Docker это короткий id контейнера), иначе случайная строка. Задаётся при старте процесса и не меняется. Благодаря тому, что это id контейнера, `stop-one.sh` находит нужный контейнер без таблицы соответствий.
|
||||
- **`Idempotency-Key`** на `POST /chats/{id}/messages`, ключ обязателен, формат `[A-Za-z0-9._:-]{1,128}`, иначе 400. Таблица `message_idempotency_keys` (миграция `V3`) с первичным ключом `(user_id, chat_id, key)` — это область уникальности из контракта: метод и путь у этого запроса фиксированы, остаются пользователь, чат и ключ. В той же транзакции, что и сообщение:
|
||||
1. Проверка членства в чате, в том числе при повторе: постороннему — 404.
|
||||
2. `INSERT … ON CONFLICT DO NOTHING` занимает ключ.
|
||||
3. Ключ свободен — создаём сообщение и записываем его id в строку ключа.
|
||||
4. Ключ занят — тот же SHA-256 тела даёт то же сообщение с 201, другой — 409.
|
||||
5. Ключ старше `IDEMPOTENCY_TTL_SECONDS` (86400) удаляется и занимается заново.
|
||||
|
||||
Если тот же ключ сейчас вставляет другая транзакция (другая реплика), PostgreSQL на шаге 2 ждёт её конца. Поэтому одновременные повторы создают одно сообщение. При ошибке 5xx транзакция откатывается вместе с ключом, и неудачная попытка не запоминается как результат.
|
||||
- **Миграции отдельно от реплик.** `java -jar messenger.jar migrate` применяет Flyway и выходит (main-класс jar теперь `AppKt`, а не `EngineMain`). В compose это сервис `migrate`. Реплики запускаются с `DB_MIGRATE_ON_START=false` после его успешного завершения (`service_completed_successfully`) и делают только `flyway.validate()`: при неприменённой миграции реплика не стартует. Так реплики не устраивают гонку за схему. Локальный процесс и тесты по-прежнему мигрируют сами.
|
||||
- **Балансировщик HAProxy** (`infra/haproxy/haproxy.cfg`):
|
||||
- адреса реплик берутся из Docker DNS (`server-template api 4 api:8080`, resolvers `127.0.0.11`, `hold` 2 с), так что масштабирование и замена контейнеров не требуют правки конфига;
|
||||
- активная проверка `GET /health/ready`: `inter 1s fall 2 rise 2`;
|
||||
- `balance roundrobin`;
|
||||
- `retries 2` + `option redispatch` — только при ошибке соединения, то есть до отправки запроса. POST, который дошёл до реплики, балансировщик не повторяет;
|
||||
- `maxconn 4096` в `global` (без него HAProxy занимал ~100 МБ из 128);
|
||||
- внутренний frontend `:8404` с `/healthz` и `/stats` наружу не опубликован.
|
||||
|
||||
Sticky sessions нет.
|
||||
- **Плавная остановка** (`plugins/GracefulShutdown.kt`). По SIGTERM `/health/ready` сразу отвечает 503, процесс ещё 3 с (`SHUTDOWN_DRAIN_DELAY_MS`) обслуживает запросы. За это время HAProxy выводит реплику из ротации. Потом Ktor закрывает сокет и дожидается начатых запросов (`shutdownGracePeriod` 1 с, `shutdownTimeout` 5 с). Задержка сделана в обработчике `ApplicationStopPreparing`: Ktor вызывает его синхронно до закрытия каналов. До этой правки (на уровне 3) каждая остановка давала один 502 `SH--`: реплика закрывала соединение посреди POST.
|
||||
- **Rolling update** (`scripts/rolling-update.sh`):
|
||||
1. Собирает образ с `BUILD_ID` (Dockerfile `ARG` + `LABEL`, чтобы новая версия отличалась даже при том же коде).
|
||||
2. Один раз применяет миграции: `docker compose run --rm migrate`.
|
||||
3. Для каждой старой реплики: `up --no-recreate --scale api=N+1` поднимает новую, скрипт ждёт `healthy` и состояние UP в `/stats` HAProxy, затем `docker stop` (с drain) и `docker rm` старой.
|
||||
|
||||
Работающих реплик ни в какой момент не меньше двух.
|
||||
- **Ресурсы.** CPU/RAM-лимиты у всех контейнеров, `container_name` убран у всех, порт опубликован только у `lb` и только на `127.0.0.1`.
|
||||
- **CORS** (`plugins/Cors.kt`, `config/cors/`). Нужен для Swagger UI на `/docs`, открытого с другого адреса (например, dev-порт 8081). Разрешены только `localhost`/`127.0.0.1:8080/8081`, наружу отдаются `X-Request-Id`, `X-Instance-Id`, `WWW-Authenticate`. На API без браузера не влияет.
|
||||
|
||||
**Транзакционные границы.** Отправка сообщения: проверка членства, ключ идемпотентности и само сообщение — одна транзакция PostgreSQL. Ключ без сообщения снаружи не виден (проверено запросом: 0 строк с `message_id IS NULL`). Остальное как в lab2.
|
||||
|
||||
**Совместимость миграций с работающей версией.** Схема меняется только расширением. `V3` добавляет таблицу и индексы, старая версия кода её не трогает. Новая реплика проверяет схему через `validate()`. Старая реплика при `validate()` не падает от неизвестной ей новой миграции: Flyway по умолчанию пропускает «будущие» миграции (`ignoreMigrationPatterns=*:future`). Удаление или переименование колонок пришлось бы делать в два релиза (expand/contract); в этой работе таких изменений нет.
|
||||
|
||||
**Переменные `.env.example` → реальная конфигурация.**
|
||||
|
||||
| `.env.example` | У меня |
|
||||
| --- | --- |
|
||||
| `APP_HOST`, `APP_PORT` | так же, задаются в `compose.yaml` (`0.0.0.0:8080` внутри сети) |
|
||||
| `APP_ENV` | не используется |
|
||||
| `SESSION_TTL_SECONDS` | так же, по умолчанию 3600 |
|
||||
| `DATABASE_URL_FILE` | разбит на `DB_HOST`, `DB_PORT`, `DB_NAME`, `DB_USER`, `DB_PASSWORD_FILE=/run/secrets/db_password` |
|
||||
| `SESSION_STORE=postgres` | так и есть: сессии в PostgreSQL, Redis — кэш |
|
||||
| `CACHE_URL_FILE` | `REDIS_HOST`, `REDIS_PORT`, `REDIS_PASSWORD_FILE=/run/secrets/redis_password` |
|
||||
| `API_REPLICAS` | так же, `deploy.replicas: ${API_REPLICAS:-2}` (HAProxy рассчитан максимум на 4) |
|
||||
| `IDEMPOTENCY_TTL_SECONDS` | так же, по умолчанию 86400 |
|
||||
| — | `DB_MIGRATE_ON_START` (false у реплик), `SHUTDOWN_DRAIN_DELAY_MS` (3000), `INSTANCE_ID` (не задаю) |
|
||||
|
||||
**Таймауты и проверки — одна цепочка.**
|
||||
|
||||
| Что | Значение | Почему так |
|
||||
| --- | --- | --- |
|
||||
| Проверка готовности в HAProxy | каждую 1 с; DOWN после 2 неудач, UP после 2 успехов | обнаружение ≤ 2 с |
|
||||
| Обновление адресов из DNS | `hold` 2 с, `timeout resolve` 1 с | упавший контейнер исчезает из DNS, слот уходит в MAINT |
|
||||
| Подключение HAProxy → реплика | 1 с, затем повтор на другую реплику (`retries 2`, `redispatch`) | до отправки запроса повтор безопасен и для POST |
|
||||
| Ответ реплики | 10 с | больше, чем ожидание пула 2 с + `statement_timeout` 5 с |
|
||||
| Drain после SIGTERM | 3 с | больше, чем 2 с на обнаружение |
|
||||
| Остановка Ktor | 1 с тишины, максимум 5 с | дожать начатые запросы |
|
||||
| `stop_grace_period` | 10 с | 3 + 5 = 8 с < 10 с, SIGKILL не нужен |
|
||||
| `stop-one.sh` | `docker stop --time 9` | укладывается в 10 с, которые даёт тест |
|
||||
|
||||
Максимальное время обнаружения отказа — около 2 с: при остановке по проверке готовности, при падении процесса по DNS или проверке. Измерено 1,1–1,9 с, см. ниже.
|
||||
|
||||
## Доказательства критериев
|
||||
|
||||
| Критерий README | Команда/сценарий | Наблюдаемый результат | Файл доказательства |
|
||||
| --- | --- | --- | --- |
|
||||
| Публичный smoke | make test | TODO | TODO |
|
||||
| Остальные пункты уровня 3 | TODO | TODO | TODO |
|
||||
| Все пункты уровня 4, если заявлен | TODO | TODO | TODO |
|
||||
| Выбранный трек 5, если заявлен | TODO | TODO | TODO |
|
||||
|
||||
TODO: добавить отдельную строку для каждого заявленного критерия. PASS без команды и наблюдения не является доказательством. Проверка инфраструктурного hook требует подтверждения, какие реальные процессы/хранилища перезапущены.
|
||||
| Публичный smoke | `make test` | PASS, профиль lab3 | evidence/smoke.txt |
|
||||
| Запуск из чистого clone | копия рабочего дерева без игнорируемых файлов, новые секреты, свежий volume, все `make`-проверки | все PASS | evidence/clean-start.txt |
|
||||
| Стенд в compose: ≥2 API, один вход, общие БД и сессии | `docker compose ps` | `api-1`, `api-2`, `lb` с портом `127.0.0.1:8080`, `postgres`, `redis`; `migrate` завершился с 0 | evidence/instances.txt, evidence/limits.txt |
|
||||
| Разные реплики без повторного входа, видно по `X-Instance-Id` | 6 запросов через LB; failover-тест сам проверяет ≥2 реплики | два id чередуются и совпадают с id контейнеров `api-1`, `api-2`; `observed_instances_before: 2` | evidence/instances.txt, evidence/failover-api-*.txt |
|
||||
| Остановка любой одной реплики: новые чтения/записи ≤ 10 с, подтверждённое на месте | `make test-failover ACTION_SCRIPT=scripts/stop-one.sh` для api-1, потом для api-2 | PASS оба раза; 121 запись, 0 неудачных; остановлен именно контейнер с id из теста (`Exited (143)`) | evidence/failover-api-1.txt, evidence/failover-api-2.txt |
|
||||
| Повтор POST с тем же ключом без дубля, в том числе одновременно и через другую реплику | `scripts/idempotency-race.py`: 20 раундов по 32 одновременных запроса с одним ключом; тесты `MessageIdempotencyTest` | 640 ответов 201 (320 + 320 по репликам), в каждом раунде один id, в истории 20 сообщений; 7 тестов: повтор, 409, 400, область ключа, доступ, 20 одновременных запросов, TTL | evidence/idempotency-race.txt, evidence/gradle-tests.txt |
|
||||
| Неподтверждённую запись можно повторить с тем же ключом | failover-тест повторяет неопределённый POST с исходным ключом | дублей нет, проверка текстов прошла | evidence/failover-api-*.txt |
|
||||
| `make test`, persistence, failover | `make test-persistence ACTION_SCRIPT=scripts/restart.sh` | PASS; у lb, обеих api, postgres, redis новый `StartedAt`, volume тот же | evidence/persistence.txt |
|
||||
| Уровень 4: health/readiness, таймауты, SIGTERM согласованы, LB исключает недоступную реплику | таблица таймаутов выше; отказ под нагрузкой | после SIGTERM реплика получает последний запрос через 1,1–1,7 с, ошибок 0 | evidence/load/failover-stop-*/ |
|
||||
| Уровень 4: поочерёдная остановка каждой реплики, RPS, ошибки, восстановление | `scripts/load/failover-under-load.sh`, 150 RPS, stop и kill для api-1 и api-2 | 4 прогона: ~150 RPS, 0 ошибок; таблица ниже | evidence/load/ |
|
||||
| Уровень 4: параллельные запросы с одним ключом | см. строку про идемпотентность | 0 дублей | evidence/idempotency-race.txt |
|
||||
| Уровень 4: лимиты CPU/RAM, API без портов наружу, секреты только где нужно, нет `container_name` | `docker inspect`, `docker compose ps`, `docker compose config` | лимиты у всех; порт только у `lb`; `lb` без секретов, `migrate` и `postgres` только `db_password`, `redis` только `redis_password` | evidence/limits.txt |
|
||||
| Уровень 4: rolling update под нагрузкой, миграции однократно | `scripts/load/rolling-under-load.sh` | 10 501 запрос, 0 ошибок, p99 11,7 мс; обе реплики заменены на образ с новым `BUILD_ID` | evidence/load/rolling-update/ |
|
||||
| Свои автотесты | `./gradlew test` | 68 тестов, все проходят | evidence/gradle-tests.txt |
|
||||
| Секреты не в Git | `secrets/` и `.env` в `.gitignore`; в evidence нет токенов (k6 их не пишет, сырые запросы не сохраняются) | — | .gitignore |
|
||||
|
||||
## Эксперименты и отказы
|
||||
|
||||
TODO: гипотеза, hardware/лимиты, версии, объём данных, профиль нагрузки, concurrency/arrival rate, длительность/прогрев, повторы, успешные RPS, ошибки, p50/p95/p99, CPU/RAM. Сохранить raw summary без tokens и объяснить ограничения измерения.
|
||||
Стенд: Apple M4 (10 ядер), 16 ГБ, macOS 27, Docker Desktop 28.4 (VM 10 CPU, 8 ГБ), лимиты контейнеров как в таблице выше. k6 2.3 на той же машине.
|
||||
|
||||
Профиль (`scripts/load/mixed.js`):
|
||||
- открытая модель, 150 запросов/с независимо от времени ответа, поэтому медленные ответы не прячут ошибки;
|
||||
- 70 % `GET /users/me`, 30 % отправка сообщения с уникальным ключом;
|
||||
- 10 пользователей, один чат, таймаут 5 с, без повторов.
|
||||
|
||||
В каждом прогоне 45 с нагрузки: на 10-й секунде реплику останавливаю, на 25-й запускаю обратно. Ошибка — любой ответ не 2xx, включая обрыв. Сводки считает `scripts/load/summarize.py`. Время «LB вывел» и «LB вернул» берётся из лога HAProxy, «получила трафик» — по `X-Instance-Id` в ответах. Каждый вариант прогнан один раз, повторов нет.
|
||||
|
||||
Гипотеза: благодаря drain плавная остановка реплики проходит без ошибок, а падение процесса стоит только задержки до 1 с (таймаут подключения), но не ошибок, потому что HAProxy повторяет неудавшееся подключение на другой реплике.
|
||||
|
||||
| Воздействие | Что ожидаем | Что наблюдали | Время восстановления / потеря данных |
|
||||
| --- | --- | --- | --- |
|
||||
| TODO | TODO | TODO | TODO |
|
||||
| `docker stop` api-1 (SIGTERM) под 150 RPS | 0 ошибок, реплика выходит из ротации за ≤ 2 с | 6 750 запросов, 0 ошибок, 150 RPS, p99 48 мс; последний ответ остановленной реплики через 1,07 с, HAProxy пометил DOWN через 1,08 с | вернувшаяся реплика получила трафик через 3,8 с после `docker start`; потерь нет |
|
||||
| `docker stop` api-2 | то же | 6 743 запроса, 0 ошибок, 149,8 RPS, p99 162 мс; DOWN через 1,69 с | трафик через 2,4 с; потерь нет |
|
||||
| `docker kill` api-1 (SIGKILL, падение) | 0 ошибок, задержка до 1 с у части запросов | 6 726 запросов, 0 ошибок, 149,5 RPS, p99 1 004 мс; DOWN через 1,74 с | трафик через 3,9 с; потерь нет |
|
||||
| `docker kill` api-2 | то же | 6 722 запроса, 0 ошибок, 149,4 RPS, p99 1 004 мс; DOWN через 1,92 с | трафик через 3,9 с; потерь нет |
|
||||
| Rolling update двух реплик под 150 RPS | 0 ошибок | 10 501 запрос, 0 ошибок, p99 11,7 мс, max 625 мс; замена двух реплик заняла 26 с | — |
|
||||
| `make test-failover`, api-1 и api-2 | ≤ 10 с до записи, без дублей | PASS, 0 неудачных из ~121; `first_recovery_seconds` 5,1–5,4 | это время самого `docker stop` (drain 3 с + остановка), записи всё это время шли через вторую реплику |
|
||||
| `scripts/restart.sh` (lb, api, redis, postgres) | данные и токен на месте | PASS, у всех контейнеров новый `StartedAt` | тест сам ждёт готовности и проверяет данные тем же токеном; потерь нет |
|
||||
|
||||
Что из этого следует:
|
||||
- **SIGTERM.** Drain работает: реплика получает запросы ещё 1–1,7 с после SIGTERM, а сокет закрывается только через 3 с. Начатых запросов, которые обрывались бы, нет.
|
||||
- **SIGKILL.** Ошибок тоже нет, но в первые 1–2 с запросы к мёртвой реплике ждут таймаут подключения 1 с и уходят на живую. Отсюда p99 около 1 с. Адреса упавшего контейнера в сети больше нет, поэтому отказ в соединении (RST) не приходит — только таймаут.
|
||||
- **Обратный ввод в ротацию.** Сначала нужно 2–2,5 с на старт JVM и Ktor, потом 2 успешные проверки (≈2 с).
|
||||
- **Один прогон на вариант.** Число ошибок (0) от повторов, скорее всего, не изменится, а p99 и времена — оценка, а не распределение.
|
||||
- **Измерение.** k6 запускался на той же машине. Хвосты p99 в «спокойных» прогонах (до 160 мс) похожи на паузы Docker Desktop и GC, а не на работу балансировщика.
|
||||
|
||||
## Ограничения и следующие шаги
|
||||
|
||||
TODO: какие отказы выдерживаются и какие нет; что не реализовано; где учебное упрощение; какое улучшение подтверждено, а какое пока гипотеза.
|
||||
- **Выдерживается** остановка или падение одной API-реплики, в том числе под нагрузкой, и поочерёдная замена всех реплик. **Не выдерживается** отказ `lb`, `postgres` или всего хоста: они в одном экземпляре на одной машине. Это единые точки отказа, HA для них в этой работе не заявляю. Отказ Redis, как и в lab2, не ломает API: запросы идут в PostgreSQL.
|
||||
- **Хвост задержки при падении.** При внезапном падении реплики p99 около 1 с из-за `timeout connect 1s`. В сети Docker таймаут подключения можно сделать 200–300 мс, это должно сократить хвост, но я это не проверял.
|
||||
- **Недоверие к кэшу после сбоя Redis** (из lab2) живёт в памяти одной реплики. Если logout пришёлся на сбой Redis, реплика, которая сама ошибку Redis не видела, может до 60 с отдавать отозванную сессию из кэша. С двумя репликами за одним Redis это маловероятно: ошибку Redis увидят обе. Но строгой гарантии нет, нужен общий признак (например, номер поколения кэша в PostgreSQL).
|
||||
- **Single-flight** (защита от одновременных промахов кэша) работает внутри процесса: на N реплик до N запросов к базе на один токен.
|
||||
- **`make test-failover` всегда выбирает api-1** при одинаковом числе запросов. Вторую реплику проверяю после одного лишнего запроса, это описано в разделе запуска.
|
||||
- **Без очистки.** Старые ключи идемпотентности (старше 24 ч) удаляются только при повторе того же ключа, а не отдельной задачей. Таблица растёт на одну строку на сообщение; для учебного объёма это нормально, в продакшене нужна периодическая чистка по `created_at`. Просроченные сессии тоже не удаляются (как в lab2).
|
||||
- **Ограничения rolling update.**
|
||||
- Скрипт для Compose, не Swarm.
|
||||
- Совместимость новой версии со старой держится на правиле «миграции только расширяют схему», автоматически это не проверяется.
|
||||
- После обновления имена контейнеров `api-3`/`api-4`.
|
||||
- **HAProxy** рассчитан на 4 реплики (`server-template api 4`), для большего числа нужно поменять число в конфиге.
|
||||
|
||||
+35
-4
@@ -4,7 +4,6 @@ services:
|
||||
|
||||
postgres:
|
||||
image: postgres:17.6-alpine3.22
|
||||
# pg_stat_statements counts executed queries, track 1 uses it to measure the cache stampede.
|
||||
command: ["postgres", "-c", "shared_preload_libraries=pg_stat_statements", "-c", "pg_stat_statements.track=all"]
|
||||
environment:
|
||||
POSTGRES_DB: messenger
|
||||
@@ -20,6 +19,11 @@ services:
|
||||
timeout: 3s
|
||||
retries: 10
|
||||
start_period: 10s
|
||||
deploy:
|
||||
resources:
|
||||
limits:
|
||||
cpus: "1.0"
|
||||
memory: 1g
|
||||
restart: unless-stopped
|
||||
|
||||
redis:
|
||||
@@ -44,6 +48,11 @@ services:
|
||||
timeout: 3s
|
||||
retries: 10
|
||||
start_period: 5s
|
||||
deploy:
|
||||
resources:
|
||||
limits:
|
||||
cpus: "0.5"
|
||||
memory: 128m
|
||||
restart: unless-stopped
|
||||
|
||||
# One-shot: applies Flyway migrations once and exits. Replicas start only after it succeeded,
|
||||
@@ -53,7 +62,7 @@ services:
|
||||
image: mtusi-messenger:lab3
|
||||
command: ["migrate"]
|
||||
healthcheck:
|
||||
disable: true
|
||||
test: ["NONE"]
|
||||
depends_on:
|
||||
postgres:
|
||||
condition: service_healthy
|
||||
@@ -65,6 +74,11 @@ services:
|
||||
DB_PASSWORD_FILE: /run/secrets/db_password
|
||||
secrets:
|
||||
- db_password
|
||||
deploy:
|
||||
resources:
|
||||
limits:
|
||||
cpus: "0.5"
|
||||
memory: 384m
|
||||
restart: "no"
|
||||
|
||||
api:
|
||||
@@ -73,6 +87,10 @@ services:
|
||||
# Interchangeable replicas: no container_name and no published port, traffic only through `lb`.
|
||||
deploy:
|
||||
replicas: ${API_REPLICAS:-2}
|
||||
resources:
|
||||
limits:
|
||||
cpus: "1.0"
|
||||
memory: 512m
|
||||
depends_on:
|
||||
migrate:
|
||||
condition: service_completed_successfully
|
||||
@@ -95,11 +113,13 @@ services:
|
||||
SESSION_TTL_SECONDS: ${SESSION_TTL_SECONDS:-3600}
|
||||
SESSION_CACHE_SINGLE_FLIGHT: ${SESSION_CACHE_SINGLE_FLIGHT:-true}
|
||||
IDEMPOTENCY_TTL_SECONDS: ${IDEMPOTENCY_TTL_SECONDS:-86400}
|
||||
SHUTDOWN_DRAIN_DELAY_MS: "3000"
|
||||
secrets:
|
||||
- db_password
|
||||
- redis_password
|
||||
# SIGTERM: Ktor stops accepting, finishes requests in flight (shutdownGracePeriod 3 s, shutdownTimeout 10 s).
|
||||
stop_grace_period: 15s
|
||||
# SIGTERM: readiness 503 and 3 s drain (HAProxy needs <= 2 s to notice), then Ktor closes the socket and
|
||||
# finishes requests in flight within 5 s. 3 + 5 = 8 s < 10 s before Docker sends SIGKILL.
|
||||
stop_grace_period: 10s
|
||||
restart: unless-stopped
|
||||
|
||||
lb:
|
||||
@@ -111,6 +131,17 @@ services:
|
||||
condition: service_healthy
|
||||
ports:
|
||||
- "127.0.0.1:8080:8080"
|
||||
# Port 8404 (health and stats) stays inside the compose network.
|
||||
healthcheck:
|
||||
test: ["CMD", "wget", "-qO-", "http://127.0.0.1:8404/healthz"]
|
||||
interval: 5s
|
||||
timeout: 2s
|
||||
retries: 3
|
||||
deploy:
|
||||
resources:
|
||||
limits:
|
||||
cpus: "0.5"
|
||||
memory: 128m
|
||||
restart: unless-stopped
|
||||
|
||||
secrets:
|
||||
|
||||
@@ -0,0 +1,20 @@
|
||||
# clean copy of the working tree (git ls-files -co --exclude-standard), fresh secrets and volume, COMPOSE_PROJECT_NAME=lab3-clean
|
||||
# 2026-10-23T12:49Z, base commit 92c2fdc + uncommitted lab3 grade-4 changes
|
||||
$ ./scripts/init-secrets.sh && docker compose up -d --build --wait && make check && make test && make test-persistence ACTION_SCRIPT=scripts/restart.sh && make test-failover ACTION_SCRIPT=scripts/stop-one.sh
|
||||
created secrets/db_password
|
||||
created secrets/redis_password
|
||||
config ok
|
||||
Container lab3-clean-api-2 Healthy
|
||||
Container lab3-clean-api-1 Healthy
|
||||
Container lab3-clean-lb-1 Healthy
|
||||
PASS: offline skeleton structure, local refs and Python syntax; application NOT tested.
|
||||
PASS: lab3 public API scenario; infrastructure and grading evidence remain separate.
|
||||
PASS: persistence preserved confirmed data and existing session. Hook scope needs operator evidence.
|
||||
{"observed_instances_before": 2, "successful_writes": 125, "failed_attempts": 0, "first_recovery_seconds": 4.859}
|
||||
PASS: failover preserved confirmed data and existing session. Hook scope needs operator evidence.
|
||||
lab3-clean-api-1 running
|
||||
lab3-clean-api-2 exited
|
||||
lab3-clean-lb-1 running
|
||||
lab3-clean-migrate-1 exited
|
||||
lab3-clean-postgres-1 running
|
||||
lab3-clean-redis-1 running
|
||||
+12
-12
@@ -1,24 +1,24 @@
|
||||
# before
|
||||
NAME CONTAINER ID STATE STATUS
|
||||
mtusi-messenger-lab3-api-1 236cb759e825 running Up About a minute (healthy)
|
||||
mtusi-messenger-lab3-api-2 787a253aa6a6 running Up 8 seconds (healthy)
|
||||
mtusi-messenger-lab3-api-1 d1ff13561537 running Up 24 seconds (healthy)
|
||||
mtusi-messenger-lab3-api-2 ac9723acebaa running Up 24 seconds (healthy)
|
||||
|
||||
$ make test-failover ACTION_SCRIPT=scripts/stop-one.sh
|
||||
Executing explicit failover hook; hook output suppressed to avoid leaking secrets.
|
||||
{"observed_instances_before": 2, "successful_writes": 119, "failed_attempts": 1, "first_recovery_seconds": 6.508}
|
||||
{"observed_instances_before": 2, "successful_writes": 121, "failed_attempts": 0, "first_recovery_seconds": 5.385}
|
||||
PASS: failover preserved confirmed data and existing session. Hook scope needs operator evidence.
|
||||
|
||||
# after: the stopped container is the replica whose id the test passed as TARGET_INSTANCE_ID
|
||||
NAME CONTAINER ID STATE STATUS
|
||||
mtusi-messenger-lab3-api-1 236cb759e825 exited Exited (143) 8 seconds ago
|
||||
mtusi-messenger-lab3-api-2 787a253aa6a6 running Up 24 seconds (healthy)
|
||||
mtusi-messenger-lab3-api-1 d1ff13561537 exited Exited (143) 9 seconds ago
|
||||
mtusi-messenger-lab3-api-2 ac9723acebaa running Up 40 seconds (healthy)
|
||||
|
||||
# HAProxy log around the failure (non-2xx and state changes)
|
||||
[WARNING] (8) : Server api/api1 was DOWN and now enters maintenance (No IP for server ).
|
||||
Server api/api1 ('api') is UP/READY (resolves again).
|
||||
[WARNING] (8) : Server api/api1 ('api') is UP/READY (resolves again).
|
||||
172.24.0.1:55062 [22/Oct/2026:17:44:22.431] http api/api2 0/0/0/-1/93 502 209 - - SH-- 1/1/0/0/0 0/0 "POST /api/v1/chats/43312e52-5c0b-41af-9981-2379d372b382/messages HTTP/1.1"
|
||||
[WARNING] (8) : Server api/api2 is DOWN, reason: Layer4 connection problem, info: "Connection refused", check duration: 0ms. 1 active and 0 backup servers left. 0 sessions active, 0 requeued, 0 remaining in queue.
|
||||
Server api/api2 is DOWN, reason: Layer4 connection problem, info: "Connection refused", check duration: 0ms. 1 active and 0 backup servers left. 0 sessions active, 0 requeued, 0 remaining in queue.
|
||||
Server api/api2 was DOWN and now enters maintenance (No IP for server ).
|
||||
172.24.0.1:57032 [23/Oct/2026:11:37:38.388] http api/api2 0/0/0/97/97 201 500 - - ---- 1/1/0/0/0 0/0 "POST /api/v1/auth/sessions HTTP/1.1"
|
||||
172.24.0.1:58552 [23/Oct/2026:11:37:53.795] http api/api2 0/0/0/86/86 201 504 - - ---- 1/1/0/0/0 0/0 "POST /api/v1/auth/sessions HTTP/1.1"
|
||||
172.24.0.1:58572 [23/Oct/2026:11:37:53.942] http api/api2 0/0/0/78/78 201 500 - - ---- 1/1/0/0/0 0/0 "POST /api/v1/auth/sessions HTTP/1.1"
|
||||
172.24.0.1:58586 [23/Oct/2026:11:37:54.055] http api/api2 0/0/0/81/81 201 500 - - ---- 1/1/0/0/0 0/0 "POST /api/v1/auth/sessions HTTP/1.1"
|
||||
Server api/api2 is DOWN, reason: Layer7 wrong status, code: 503, info: "Service Unavailable", check duration: 5ms. 1 active and 0 backup servers left. 0 sessions active, 0 requeued, 0 remaining in queue.
|
||||
[WARNING] (8) : Server api/api2 is DOWN, reason: Layer7 wrong status, code: 503, info: "Service Unavailable", check duration: 5ms. 1 active and 0 backup servers left. 0 sessions active, 0 requeued, 0 remaining in queue.
|
||||
[WARNING] (8) : Server api/api2 was DOWN and now enters maintenance (No IP for server ).
|
||||
Server api/api2 was DOWN and now enters maintenance (No IP for server ).
|
||||
|
||||
+11
-11
@@ -1,24 +1,24 @@
|
||||
# before
|
||||
NAME CONTAINER ID STATE STATUS
|
||||
mtusi-messenger-lab3-api-1 236cb759e825 running Up 8 seconds (healthy)
|
||||
mtusi-messenger-lab3-api-2 787a253aa6a6 running Up About a minute (healthy)
|
||||
mtusi-messenger-lab3-api-1 d1ff13561537 running Up 8 seconds (healthy)
|
||||
mtusi-messenger-lab3-api-2 ac9723acebaa running Up About a minute (healthy)
|
||||
|
||||
$ make test-failover ACTION_SCRIPT=scripts/stop-one.sh
|
||||
Executing explicit failover hook; hook output suppressed to avoid leaking secrets.
|
||||
{"observed_instances_before": 2, "successful_writes": 120, "failed_attempts": 1, "first_recovery_seconds": 6.537}
|
||||
{"observed_instances_before": 2, "successful_writes": 121, "failed_attempts": 0, "first_recovery_seconds": 5.125}
|
||||
PASS: failover preserved confirmed data and existing session. Hook scope needs operator evidence.
|
||||
|
||||
# after: the stopped container is the replica whose id the test passed as TARGET_INSTANCE_ID
|
||||
NAME CONTAINER ID STATE STATUS
|
||||
mtusi-messenger-lab3-api-1 236cb759e825 running Up 24 seconds (healthy)
|
||||
mtusi-messenger-lab3-api-2 787a253aa6a6 exited Exited (143) 8 seconds ago
|
||||
mtusi-messenger-lab3-api-1 d1ff13561537 running Up 24 seconds (healthy)
|
||||
mtusi-messenger-lab3-api-2 ac9723acebaa exited Exited (143) 10 seconds ago
|
||||
|
||||
# HAProxy log around the failure (non-2xx and state changes)
|
||||
[WARNING] (8) : Server api/api2 was DOWN and now enters maintenance (No IP for server ).
|
||||
Server api/api2 ('api') is UP/READY (resolves again).
|
||||
[WARNING] (8) : Server api/api2 ('api') is UP/READY (resolves again).
|
||||
172.24.0.1:62054 [22/Oct/2026:17:45:16.133] http api/api1 0/0/0/-1/87 502 209 - - SH-- 1/1/0/0/0 0/0 "POST /api/v1/chats/43529cee-e036-4e88-a744-c3fd0e23ce65/messages HTTP/1.1"
|
||||
Server api/api1 is DOWN, reason: Layer4 connection problem, info: "Connection refused", check duration: 0ms. 1 active and 0 backup servers left. 0 sessions active, 0 requeued, 0 remaining in queue.
|
||||
[WARNING] (8) : Server api/api1 is DOWN, reason: Layer4 connection problem, info: "Connection refused", check duration: 0ms. 1 active and 0 backup servers left. 0 sessions active, 0 requeued, 0 remaining in queue.
|
||||
[WARNING] (8) : Server api/api2 is UP, reason: Layer7 check passed, code: 200, check duration: 9ms. 2 active and 0 backup servers online. 0 sessions requeued, 0 total in queue.
|
||||
172.24.0.1:64862 [23/Oct/2026:11:38:51.915] http api/api1 0/0/0/69/69 201 504 - - ---- 1/1/0/0/0 0/0 "POST /api/v1/auth/sessions HTTP/1.1"
|
||||
172.24.0.1:64886 [23/Oct/2026:11:38:52.074] http api/api1 0/0/0/26/26 201 500 - - ---- 1/1/0/0/0 0/0 "POST /api/v1/auth/sessions HTTP/1.1"
|
||||
172.24.0.1:64892 [23/Oct/2026:11:38:52.179] http api/api1 0/0/0/24/24 201 500 - - ---- 1/1/0/0/0 0/0 "POST /api/v1/auth/sessions HTTP/1.1"
|
||||
[WARNING] (8) : Server api/api1 is DOWN, reason: Layer7 wrong status, code: 503, info: "Service Unavailable", check duration: 3ms. 1 active and 0 backup servers left. 1 sessions active, 0 requeued, 0 remaining in queue.
|
||||
Server api/api1 is DOWN, reason: Layer7 wrong status, code: 503, info: "Service Unavailable", check duration: 3ms. 1 active and 0 backup servers left. 1 sessions active, 0 requeued, 0 remaining in queue.
|
||||
[WARNING] (8) : Server api/api1 was DOWN and now enters maintenance (No IP for server ).
|
||||
Server api/api1 was DOWN and now enters maintenance (No IP for server ).
|
||||
|
||||
+19
-16
@@ -1,7 +1,7 @@
|
||||
# ./gradlew test (Testcontainers: postgres:17.6-alpine3.22, redis:8.4.0-alpine)
|
||||
total: 66 tests, 0 failed
|
||||
total: 68 tests, 0 failed
|
||||
|
||||
infrastructure.controllers.authentication.AuthenticationControllerTest: 9 tests, 0 failed, 7.774 s
|
||||
infrastructure.controllers.authentication.AuthenticationControllerTest: 9 tests, 0 failed, 7.132 s
|
||||
- logout revokes only the current token
|
||||
- Bearer token cannot open a session
|
||||
- password containing a colon and non-ASCII characters works
|
||||
@@ -11,19 +11,19 @@ infrastructure.controllers.authentication.AuthenticationControllerTest: 9 tests,
|
||||
- valid Basic credentials open a session
|
||||
- missing or malformed Basic header returns 401
|
||||
- wrong password and unknown user get the same 401
|
||||
infrastructure.controllers.chat.ChatControllerTest: 6 tests, 0 failed, 2.101 s
|
||||
infrastructure.controllers.chat.ChatControllerTest: 6 tests, 0 failed, 2.173 s
|
||||
- member can read own chat and members keep their order
|
||||
- unknown member is rejected before anything is written
|
||||
- foreign chat returns 404 for non-member
|
||||
- cursor issued to another user is rejected
|
||||
- chat list contains only own chats and is paginated
|
||||
- invalid member lists are rejected with 400
|
||||
infrastructure.controllers.health.HealthControllerTest: 2 tests, 0 failed, 0.134 s
|
||||
infrastructure.controllers.health.HealthControllerTest: 2 tests, 0 failed, 0.127 s
|
||||
- live returns 200
|
||||
- ready returns 200 when database is reachable
|
||||
infrastructure.controllers.message.MessageConcurrencyTest: 1 tests, 0 failed, 0.335 s
|
||||
infrastructure.controllers.message.MessageConcurrencyTest: 1 tests, 0 failed, 0.285 s
|
||||
- parallel senders produce exactly N unique messages
|
||||
infrastructure.controllers.message.MessageControllerTest: 7 tests, 0 failed, 1.946 s
|
||||
infrastructure.controllers.message.MessageControllerTest: 7 tests, 0 failed, 1.826 s
|
||||
- foreign chat returns 404 when sending
|
||||
- last page has null next_cursor
|
||||
- pagination walks all messages exactly once
|
||||
@@ -31,7 +31,7 @@ infrastructure.controllers.message.MessageControllerTest: 7 tests, 0 failed, 1.9
|
||||
- empty text returns 400 invalid_request
|
||||
- history that is an exact multiple of limit ends with null next_cursor
|
||||
- foreign cursor returns 400
|
||||
infrastructure.controllers.message.MessageIdempotencyTest: 7 tests, 0 failed, 3.266 s
|
||||
infrastructure.controllers.message.MessageIdempotencyTest: 7 tests, 0 failed, 3.269 s
|
||||
- expired key can be used for a new message
|
||||
- key scope is user and chat
|
||||
- same key with another body is a conflict
|
||||
@@ -39,7 +39,7 @@ infrastructure.controllers.message.MessageIdempotencyTest: 7 tests, 0 failed, 3.
|
||||
- retry with the same key and body returns the original message
|
||||
- retry by a former outsider is still checked for access
|
||||
- concurrent retries create exactly one message
|
||||
infrastructure.controllers.user.UserControllerTest: 11 tests, 0 failed, 1.638 s
|
||||
infrastructure.controllers.user.UserControllerTest: 11 tests, 0 failed, 1.668 s
|
||||
- password shorter than 12 code points returns 400
|
||||
- concurrent registrations of one username create exactly one user
|
||||
- X-User-Id alone gives no access
|
||||
@@ -51,34 +51,37 @@ infrastructure.controllers.user.UserControllerTest: 11 tests, 0 failed, 1.638 s
|
||||
- Basic credentials are rejected on business endpoints
|
||||
- me returns the session owner
|
||||
- X-User-Id does not override bearer identity
|
||||
infrastructure.repositories.authentication.session.cache.RedisSessionCacheRepositoryTest: 3 tests, 0 failed, 0.102 s
|
||||
infrastructure.repositories.authentication.session.cache.RedisSessionCacheRepositoryTest: 3 tests, 0 failed, 0.091 s
|
||||
- cached session round-trips and expires together with the session
|
||||
- revoke replaces a cached session with a tombstone
|
||||
- late cache fill cannot overwrite a tombstone
|
||||
infrastructure.repositories.chat.ExposedChatRepositoryTest: 2 tests, 0 failed, 0.514 s
|
||||
infrastructure.repositories.chat.ExposedChatRepositoryTest: 2 tests, 0 failed, 0.498 s
|
||||
- chat row is rolled back when inserting members fails
|
||||
- successful creation commits the chat and every member
|
||||
infrastructure.services.authentication.SessionLookupSingleFlightTest: 4 tests, 0 failed, 1.120 s
|
||||
infrastructure.services.authentication.SessionLookupSingleFlightTest: 4 tests, 0 failed, 1.122 s
|
||||
- request arriving after logout does not join a lookup started before it
|
||||
- without single-flight every concurrent miss queries the database
|
||||
- with single-flight concurrent misses share one database lookup
|
||||
- lookup that finished before a request arrived is not reused
|
||||
infrastructure.services.hashing.DefaultHashingServiceTest: 4 tests, 0 failed, 0.421 s
|
||||
infrastructure.services.hashing.DefaultHashingServiceTest: 4 tests, 0 failed, 0.418 s
|
||||
- passwords differing only after 72 bytes are distinguished
|
||||
- validates the right password and rejects a wrong one
|
||||
- malformed hash is rejected instead of throwing
|
||||
- hash is a salted Argon2id PHC string
|
||||
plugins.DatabaseMigrationTest: 1 tests, 0 failed, 0.209 s
|
||||
plugins.CorsTest: 2 tests, 0 failed, 0.119 s
|
||||
- page of the API itself may call it
|
||||
- unknown origin is rejected
|
||||
plugins.DatabaseMigrationTest: 1 tests, 0 failed, 0.188 s
|
||||
- re-running migrations applies nothing and keeps data
|
||||
plugins.DependencyFailureTest: 5 tests, 0 failed, 13.326 s
|
||||
plugins.DependencyFailureTest: 5 tests, 0 failed, 13.637 s
|
||||
- without PostgreSQL requests fail with a bounded 503
|
||||
- logout during a Redis outage survives an API restart
|
||||
- logout during a Redis outage is not undone by a stale cached copy
|
||||
- without Redis requests bypass the cache
|
||||
- hanging Redis costs one command timeout and recovers
|
||||
plugins.InstanceIdTest: 1 tests, 0 failed, 0.231 s
|
||||
plugins.InstanceIdTest: 1 tests, 0 failed, 0.245 s
|
||||
- every response names the replica
|
||||
plugins.SessionCacheTest: 3 tests, 0 failed, 0.928 s
|
||||
plugins.SessionCacheTest: 3 tests, 0 failed, 0.953 s
|
||||
- emptied cache falls back to PostgreSQL
|
||||
- first authenticated request fills the cache
|
||||
- logout leaves a tombstone and the token is rejected
|
||||
|
||||
@@ -6,8 +6,8 @@ $ python3 scripts/idempotency-race.py
|
||||
"201": 640
|
||||
},
|
||||
"requests_per_instance": {
|
||||
"236cb759e825": 320,
|
||||
"787a253aa6a6": 320
|
||||
"ac9723acebaa": 320,
|
||||
"d1ff13561537": 320
|
||||
},
|
||||
"rounds_with_more_than_one_message_id": 0,
|
||||
"messages_in_history": 20,
|
||||
|
||||
+14
-14
@@ -1,21 +1,21 @@
|
||||
$ docker compose ps -a
|
||||
NAME IMAGE STATE STATUS PORTS
|
||||
mtusi-messenger-lab3-api-1 mtusi-messenger:lab3 running Up 35 seconds (healthy) 8080/tcp
|
||||
mtusi-messenger-lab3-api-2 mtusi-messenger:lab3 running Up 35 seconds (healthy) 8080/tcp
|
||||
mtusi-messenger-lab3-lb-1 haproxy:3.2.4-alpine running Up 29 seconds 127.0.0.1:8080->8080/tcp
|
||||
mtusi-messenger-lab3-migrate-1 mtusi-messenger:lab3 exited Exited (0) 36 seconds ago
|
||||
mtusi-messenger-lab3-postgres-1 postgres:17.6-alpine3.22 running Up 42 seconds (healthy) 5432/tcp
|
||||
mtusi-messenger-lab3-redis-1 redis:8.4.0-alpine running Up 42 seconds (healthy) 6379/tcp
|
||||
mtusi-messenger-lab3-api-1 mtusi-messenger:lab3 running Up 10 seconds (healthy) 8080/tcp
|
||||
mtusi-messenger-lab3-api-2 mtusi-messenger:lab3 running Up 9 seconds (healthy) 8080/tcp
|
||||
mtusi-messenger-lab3-lb-1 haproxy:3.2.4-alpine running Up 7 seconds (healthy) 127.0.0.1:8080->8080/tcp
|
||||
mtusi-messenger-lab3-migrate-1 mtusi-messenger:lab3 exited Exited (0) 10 seconds ago
|
||||
mtusi-messenger-lab3-postgres-1 postgres:17.6-alpine3.22 running Up 20 seconds (healthy) 5432/tcp
|
||||
mtusi-messenger-lab3-redis-1 redis:8.4.0-alpine running Up 20 seconds (healthy) 6379/tcp
|
||||
|
||||
$ for i in 1..6: curl -sD - http://localhost:8080/health/ready | grep X-Instance-Id
|
||||
x-instance-id: 236cb759e825
|
||||
x-instance-id: 787a253aa6a6
|
||||
x-instance-id: 236cb759e825
|
||||
x-instance-id: 787a253aa6a6
|
||||
x-instance-id: 236cb759e825
|
||||
x-instance-id: 787a253aa6a6
|
||||
x-instance-id: ac9723acebaa
|
||||
x-instance-id: d1ff13561537
|
||||
x-instance-id: ac9723acebaa
|
||||
x-instance-id: d1ff13561537
|
||||
x-instance-id: ac9723acebaa
|
||||
x-instance-id: d1ff13561537
|
||||
|
||||
# X-Instance-Id = HOSTNAME = short container id of the replica
|
||||
NAME CONTAINER ID STATE STATUS
|
||||
mtusi-messenger-lab3-api-1 236cb759e825 running Up 35 seconds (healthy)
|
||||
mtusi-messenger-lab3-api-2 787a253aa6a6 running Up 35 seconds (healthy)
|
||||
mtusi-messenger-lab3-api-1 d1ff13561537 running Up 10 seconds (healthy)
|
||||
mtusi-messenger-lab3-api-2 ac9723acebaa running Up 10 seconds (healthy)
|
||||
|
||||
@@ -0,0 +1,44 @@
|
||||
$ docker compose ps
|
||||
NAME IMAGE STATUS PORTS
|
||||
mtusi-messenger-lab3-api-1 mtusi-messenger:lab3 Up 57 seconds (healthy) 8080/tcp
|
||||
mtusi-messenger-lab3-api-2 mtusi-messenger:lab3 Up 57 seconds (healthy) 8080/tcp
|
||||
mtusi-messenger-lab3-lb-1 haproxy:3.2.4-alpine Up 54 seconds (healthy) 127.0.0.1:8080->8080/tcp
|
||||
mtusi-messenger-lab3-postgres-1 postgres:17.6-alpine3.22 Up About a minute (healthy) 5432/tcp
|
||||
mtusi-messenger-lab3-redis-1 redis:8.4.0-alpine Up About a minute (healthy) 6379/tcp
|
||||
|
||||
# limits (NanoCpus / Memory) from docker inspect
|
||||
/mtusi-messenger-lab3-api-1 cpus=1000000000 memory=536870912 restart=unless-stopped
|
||||
/mtusi-messenger-lab3-api-2 cpus=1000000000 memory=536870912 restart=unless-stopped
|
||||
/mtusi-messenger-lab3-lb-1 cpus=500000000 memory=134217728 restart=unless-stopped
|
||||
/mtusi-messenger-lab3-postgres-1 cpus=1000000000 memory=1073741824 restart=unless-stopped
|
||||
/mtusi-messenger-lab3-redis-1 cpus=500000000 memory=134217728 restart=unless-stopped
|
||||
|
||||
$ docker stats --no-stream
|
||||
NAME CPU % MEM USAGE / LIMIT
|
||||
mtusi-messenger-lab3-lb-1 0.21% 13.65MiB / 128MiB
|
||||
mtusi-messenger-lab3-api-1 2.36% 183.7MiB / 512MiB
|
||||
mtusi-messenger-lab3-api-2 1.42% 184.4MiB / 512MiB
|
||||
mtusi-messenger-lab3-postgres-1 0.13% 67.29MiB / 1GiB
|
||||
mtusi-messenger-lab3-redis-1 0.26% 12.44MiB / 128MiB
|
||||
|
||||
# published ports: only the balancer
|
||||
mtusi-messenger-lab3-api-1 [{ 8080 0 tcp}]
|
||||
mtusi-messenger-lab3-api-2 [{ 8080 0 tcp}]
|
||||
mtusi-messenger-lab3-lb-1 [{127.0.0.1 8080 8080 tcp}]
|
||||
mtusi-messenger-lab3-postgres-1 [{ 5432 0 tcp}]
|
||||
mtusi-messenger-lab3-redis-1 [{ 6379 0 tcp}]
|
||||
|
||||
# secrets per service
|
||||
api ['db_password', 'redis_password']
|
||||
lb []
|
||||
migrate ['db_password']
|
||||
postgres ['db_password']
|
||||
redis ['redis_password']
|
||||
|
||||
# HAProxy backend table
|
||||
# pxname,svname,status,check_status
|
||||
api,api1,UP,L7OK
|
||||
api,api2,UP,L7OK
|
||||
api,api3,MAINT (resolution),
|
||||
api,api4,MAINT (resolution),
|
||||
api,BACKEND,UP,
|
||||
@@ -0,0 +1,20 @@
|
||||
# Нагрузочные прогоны
|
||||
|
||||
Дата: 2026-10-23. Код: commit 92c2fdc + незакоммиченные изменения уровня 4 (тот же код, что в PR).
|
||||
|
||||
Стенд: Apple M4 (10 ядер), 16 ГБ, macOS 27; Docker Desktop 28.4 (VM 10 CPU, 8 ГБ), Compose 2.39; k6 2.3 на той же машине.
|
||||
Лимиты контейнеров — как в `compose.yaml`: api 1 CPU / 512 МБ ×2, postgres 1 CPU / 1 ГБ, redis 0.5 CPU / 128 МБ, lb 0.5 CPU / 128 МБ.
|
||||
|
||||
Профиль (`scripts/load/mixed.js`): открытая модель, 150 запросов/с через `localhost:8080`, 10 пользователей, один общий чат.
|
||||
70 % `GET /api/v1/users/me`, 30 % `POST /api/v1/chats/{id}/messages` с уникальным `Idempotency-Key`. Таймаут запроса 5 с, повторов нет.
|
||||
Ошибка — любой ответ не 2xx, включая status 0 (обрыв, таймаут).
|
||||
|
||||
| Каталог | Команда | Что происходит |
|
||||
| --- | --- | --- |
|
||||
| `failover-stop-api-1`, `failover-stop-api-2` | `MODE=stop TARGET=api-N scripts/load/failover-under-load.sh` | 45 с нагрузки, на 10-й с `docker stop` реплики (SIGTERM), на 25-й `docker start` |
|
||||
| `failover-kill-api-1`, `failover-kill-api-2` | `MODE=kill TARGET=api-N scripts/load/failover-under-load.sh` | то же, но `docker kill` (SIGKILL, падение процесса) |
|
||||
| `rolling-update` | `scripts/load/rolling-under-load.sh` | 70 с нагрузки, с 10-й с `scripts/rolling-update.sh` |
|
||||
|
||||
В каждом каталоге: `k6.txt` (итог k6), `events.json` (моменты действий, epoch ms), `haproxy.log` (смены состояния backend и ответы 5xx),
|
||||
`per-second.csv` (по секундам: успешные, ошибки, p99, max, сколько ответила каждая реплика), `summary.json` (итог, считает `scripts/load/summarize.py`).
|
||||
Сырые данные по каждому запросу в Git не кладутся; `KEEP_RAW=1` оставляет `requests.csv` локально.
|
||||
@@ -0,0 +1,2 @@
|
||||
{"mode": "kill", "target": "api-1", "target_instance": "7b89cf61597b", "restored_instance": "7b89cf61597b",
|
||||
"load_start": 1792755242253, "fault": 1792755252286, "fault_done": 1792755252443, "restore_begin": 1792755267305, "restore_healthy": 1792755269813}
|
||||
@@ -0,0 +1,26 @@
|
||||
|
||||
|
||||
█ TOTAL RESULTS
|
||||
|
||||
CUSTOM
|
||||
served_by......................: 6726 146.724721/s
|
||||
|
||||
HTTP
|
||||
http_req_duration..............: avg=24.62ms med=1.73ms p(95)=6.23ms p(99)=1s max=1.01s
|
||||
{ expected_response:true }...: avg=24.62ms med=1.73ms p(95)=6.23ms p(99)=1s max=1.01s
|
||||
http_req_failed................: 0.00% 0 out of 6747
|
||||
http_reqs......................: 6747 147.182826/s
|
||||
|
||||
EXECUTION
|
||||
dropped_iterations.............: 25 0.545364/s
|
||||
iteration_duration.............: avg=24.77ms med=1.92ms p(95)=6.16ms p(99)=1s max=1.01s
|
||||
iterations.....................: 6726 146.724721/s
|
||||
vus............................: 0 min=0 max=66
|
||||
vus_max........................: 75 min=50 max=75
|
||||
|
||||
NETWORK
|
||||
data_received..................: 2.6 MB 57 kB/s
|
||||
data_sent......................: 1.3 MB 29 kB/s
|
||||
|
||||
|
||||
|
||||
@@ -0,0 +1,46 @@
|
||||
second,ok,errors,p99_ms,max_ms,4fa49e9e1a53,7b89cf61597b
|
||||
0,151,0,11.9,12.3,75,76
|
||||
1,149,0,5.9,6.7,75,74
|
||||
2,150,0,9.8,10.5,75,75
|
||||
3,150,0,6.4,7.3,75,75
|
||||
4,150,0,7.0,7.9,75,75
|
||||
5,151,0,5.8,7.8,75,76
|
||||
6,150,0,3.9,7.1,75,75
|
||||
7,149,0,6.2,6.5,75,74
|
||||
8,150,0,6.2,6.4,75,75
|
||||
9,151,0,6.1,7.3,75,76
|
||||
10,97,0,7.6,7.6,77,20
|
||||
11,104,0,1007.5,1009.4,104,0
|
||||
12,224,0,1006.6,1011.5,224,0
|
||||
13,150,0,7.1,15.8,150,0
|
||||
14,150,0,8.9,22.4,150,0
|
||||
15,150,0,4.3,5.1,150,0
|
||||
16,150,0,6.2,7.4,150,0
|
||||
17,150,0,5.2,6.2,150,0
|
||||
18,149,0,5.1,5.9,149,0
|
||||
19,151,0,5.4,6.8,151,0
|
||||
20,150,0,5.7,5.8,150,0
|
||||
21,150,0,5.6,5.7,150,0
|
||||
22,150,0,11.5,14.7,150,0
|
||||
23,150,0,5.7,6.0,150,0
|
||||
24,150,0,5.5,6.2,150,0
|
||||
25,150,0,34.2,43.0,150,0
|
||||
26,150,0,4.1,4.4,150,0
|
||||
27,149,0,5.9,6.1,149,0
|
||||
28,136,0,7.4,8.0,136,0
|
||||
29,164,0,714.7,777.3,75,89
|
||||
30,151,0,8.4,20.8,75,76
|
||||
31,149,0,32.0,41.6,74,75
|
||||
32,151,0,12.8,15.2,76,75
|
||||
33,150,0,5.6,5.8,75,75
|
||||
34,150,0,5.4,5.5,75,75
|
||||
35,150,0,10.5,12.2,75,75
|
||||
36,150,0,5.7,6.5,75,75
|
||||
37,150,0,5.5,5.9,75,75
|
||||
38,150,0,5.4,6.6,75,75
|
||||
39,150,0,6.4,6.5,75,75
|
||||
40,150,0,5.7,6.2,75,75
|
||||
41,149,0,5.2,5.5,74,75
|
||||
42,150,0,26.9,29.4,75,75
|
||||
43,151,0,6.9,7.1,76,75
|
||||
44,150,0,17.8,18.8,75,75
|
||||
|
@@ -0,0 +1,26 @@
|
||||
{
|
||||
"requests": 6726,
|
||||
"ok": 6726,
|
||||
"errors": 0,
|
||||
"error_codes": {},
|
||||
"ok_rps": 149.5,
|
||||
"p50_ms": 1.7,
|
||||
"p95_ms": 5.9,
|
||||
"p99_ms": 1003.5,
|
||||
"max_ms": 1011.5,
|
||||
"requests_per_instance": {
|
||||
"7b89cf61597b": 1986,
|
||||
"4fa49e9e1a53": 4740
|
||||
},
|
||||
"event_load_start_s": 0.22,
|
||||
"event_fault_s": 10.26,
|
||||
"event_fault_done_s": 10.41,
|
||||
"event_restore_begin_s": 25.27,
|
||||
"event_restore_healthy_s": 27.78,
|
||||
"errors_after_fault": 0,
|
||||
"last_error_after_fault_s": null,
|
||||
"target_last_response_after_fault_s": 0.01,
|
||||
"restored_replica_first_response_after_start_s": 3.85,
|
||||
"lb_marked_down_after_fault_s": 1.74,
|
||||
"lb_marked_up_after_start_s": 3.52
|
||||
}
|
||||
@@ -0,0 +1,2 @@
|
||||
{"mode": "kill", "target": "api-2", "target_instance": "4fa49e9e1a53", "restored_instance": "4fa49e9e1a53",
|
||||
"load_start": 1792755292111, "fault": 1792755302165, "fault_done": 1792755302329, "restore_begin": 1792755317163, "restore_healthy": 1792755319645}
|
||||
@@ -0,0 +1,26 @@
|
||||
|
||||
|
||||
█ TOTAL RESULTS
|
||||
|
||||
CUSTOM
|
||||
served_by......................: 6722 146.537002/s
|
||||
|
||||
HTTP
|
||||
http_req_duration..............: avg=25.2ms med=1.69ms p(95)=5.68ms p(99)=1s max=1.01s
|
||||
{ expected_response:true }...: avg=25.2ms med=1.69ms p(95)=5.68ms p(99)=1s max=1.01s
|
||||
http_req_failed................: 0.00% 0 out of 6743
|
||||
http_reqs......................: 6743 146.994794/s
|
||||
|
||||
EXECUTION
|
||||
dropped_iterations.............: 29 0.632189/s
|
||||
iteration_duration.............: avg=25.35ms med=1.88ms p(95)=5.77ms p(99)=1s max=1.01s
|
||||
iterations.....................: 6722 146.537002/s
|
||||
vus............................: 1 min=0 max=78
|
||||
vus_max........................: 79 min=50 max=79
|
||||
|
||||
NETWORK
|
||||
data_received..................: 2.6 MB 57 kB/s
|
||||
data_sent......................: 1.3 MB 29 kB/s
|
||||
|
||||
|
||||
|
||||
@@ -0,0 +1,46 @@
|
||||
second,ok,errors,p99_ms,max_ms,4fa49e9e1a53,7b89cf61597b
|
||||
0,151,0,4.9,6.7,76,75
|
||||
1,150,0,6.1,6.7,75,75
|
||||
2,150,0,8.3,9.0,75,75
|
||||
3,150,0,5.8,6.2,75,75
|
||||
4,150,0,5.5,6.4,75,75
|
||||
5,150,0,5.4,5.7,75,75
|
||||
6,150,0,5.4,6.1,75,75
|
||||
7,150,0,5.5,6.1,75,75
|
||||
8,150,0,6.8,7.2,75,75
|
||||
9,150,0,7.0,7.8,75,75
|
||||
10,96,0,9.1,9.1,19,77
|
||||
11,104,0,1010.4,1012.0,0,104
|
||||
12,209,0,1006.0,1006.3,0,209
|
||||
13,162,0,1004.9,1005.5,0,162
|
||||
14,149,0,5.8,6.0,0,149
|
||||
15,151,0,3.7,3.8,0,151
|
||||
16,150,0,4.6,6.1,0,150
|
||||
17,150,0,5.4,6.2,0,150
|
||||
18,150,0,5.5,7.0,0,150
|
||||
19,150,0,6.0,7.1,0,150
|
||||
20,149,0,5.8,7.3,0,149
|
||||
21,151,0,6.5,6.9,0,151
|
||||
22,150,0,5.5,5.7,0,150
|
||||
23,149,0,6.4,6.6,0,149
|
||||
24,151,0,11.2,13.3,0,151
|
||||
25,150,0,11.7,14.0,0,150
|
||||
26,150,0,4.3,5.2,0,150
|
||||
27,150,0,6.2,6.2,0,150
|
||||
28,133,0,6.0,7.3,0,133
|
||||
29,167,0,694.4,717.1,92,75
|
||||
30,150,0,5.9,7.7,75,75
|
||||
31,148,0,8.0,33.2,74,74
|
||||
32,152,0,6.2,23.0,76,76
|
||||
33,150,0,5.5,6.5,75,75
|
||||
34,150,0,29.7,35.8,75,75
|
||||
35,150,0,4.9,6.4,75,75
|
||||
36,150,0,5.1,5.2,75,75
|
||||
37,150,0,4.9,5.2,75,75
|
||||
38,150,0,4.9,5.7,75,75
|
||||
39,149,0,5.3,5.7,75,74
|
||||
40,151,0,5.9,6.7,75,76
|
||||
41,149,0,4.4,4.4,75,74
|
||||
42,151,0,9.9,10.7,75,76
|
||||
43,150,0,8.5,8.9,75,75
|
||||
44,150,0,5.5,6.2,75,75
|
||||
|
@@ -0,0 +1,26 @@
|
||||
{
|
||||
"requests": 6722,
|
||||
"ok": 6722,
|
||||
"errors": 0,
|
||||
"error_codes": {},
|
||||
"ok_rps": 149.4,
|
||||
"p50_ms": 1.7,
|
||||
"p95_ms": 5.4,
|
||||
"p99_ms": 1003.5,
|
||||
"max_ms": 1012.0,
|
||||
"requests_per_instance": {
|
||||
"4fa49e9e1a53": 1987,
|
||||
"7b89cf61597b": 4735
|
||||
},
|
||||
"event_load_start_s": 0.18,
|
||||
"event_fault_s": 10.23,
|
||||
"event_fault_done_s": 10.4,
|
||||
"event_restore_begin_s": 25.23,
|
||||
"event_restore_healthy_s": 27.71,
|
||||
"errors_after_fault": 0,
|
||||
"last_error_after_fault_s": null,
|
||||
"target_last_response_after_fault_s": 0.02,
|
||||
"restored_replica_first_response_after_start_s": 3.86,
|
||||
"lb_marked_down_after_fault_s": 1.92,
|
||||
"lb_marked_up_after_start_s": 3.54
|
||||
}
|
||||
@@ -0,0 +1,2 @@
|
||||
{"mode": "stop", "target": "api-1", "target_instance": "7b89cf61597b", "restored_instance": "7b89cf61597b",
|
||||
"load_start": 1792755143191, "fault": 1792755153238, "fault_done": 1792755158479, "restore_begin": 1792755168242, "restore_healthy": 1792755170683}
|
||||
@@ -0,0 +1,25 @@
|
||||
|
||||
|
||||
█ TOTAL RESULTS
|
||||
|
||||
CUSTOM
|
||||
served_by......................: 6750 143.513142/s
|
||||
|
||||
HTTP
|
||||
http_req_duration..............: avg=5.21ms med=2.03ms p(95)=5.28ms p(99)=66.29ms max=608.68ms
|
||||
{ expected_response:true }...: avg=5.21ms med=2.03ms p(95)=5.28ms p(99)=66.29ms max=608.68ms
|
||||
http_req_failed................: 0.00% 0 out of 6771
|
||||
http_reqs......................: 6771 143.959628/s
|
||||
|
||||
EXECUTION
|
||||
iteration_duration.............: avg=5.13ms med=2.21ms p(95)=5.47ms p(99)=48.43ms max=608.87ms
|
||||
iterations.....................: 6750 143.513142/s
|
||||
vus............................: 2 min=0 max=26
|
||||
vus_max........................: 50 min=50 max=50
|
||||
|
||||
NETWORK
|
||||
data_received..................: 2.6 MB 56 kB/s
|
||||
data_sent......................: 1.4 MB 29 kB/s
|
||||
|
||||
|
||||
|
||||
@@ -0,0 +1,46 @@
|
||||
second,ok,errors,p99_ms,max_ms,4fa49e9e1a53,7b89cf61597b
|
||||
0,153,0,205.2,220.8,77,76
|
||||
1,150,0,7.0,7.7,75,75
|
||||
2,150,0,7.3,16.6,75,75
|
||||
3,150,0,5.6,6.1,75,75
|
||||
4,150,0,6.3,6.6,75,75
|
||||
5,150,0,30.2,41.5,75,75
|
||||
6,150,0,7.4,7.8,75,75
|
||||
7,150,0,7.0,7.3,75,75
|
||||
8,150,0,58.5,73.3,75,75
|
||||
9,150,0,5.7,7.0,75,75
|
||||
10,150,0,5.7,7.6,75,75
|
||||
11,150,0,5.8,6.1,75,75
|
||||
12,150,0,25.5,29.9,134,16
|
||||
13,150,0,5.8,6.6,150,0
|
||||
14,150,0,4.9,5.5,150,0
|
||||
15,150,0,4.6,5.3,150,0
|
||||
16,150,0,11.3,14.1,150,0
|
||||
17,150,0,4.4,5.2,150,0
|
||||
18,150,0,5.0,6.8,150,0
|
||||
19,150,0,6.2,7.2,150,0
|
||||
20,150,0,6.6,6.9,150,0
|
||||
21,150,0,6.7,8.5,150,0
|
||||
22,151,0,7.8,12.3,151,0
|
||||
23,150,0,5.0,11.3,150,0
|
||||
24,149,0,20.5,27.7,149,0
|
||||
25,150,0,5.7,6.3,150,0
|
||||
26,150,0,7.8,8.4,150,0
|
||||
27,150,0,6.6,10.4,150,0
|
||||
28,151,0,4.4,8.2,151,0
|
||||
29,120,0,543.2,554.2,103,17
|
||||
30,180,0,602.9,608.7,75,105
|
||||
31,149,0,5.9,8.8,74,75
|
||||
32,150,0,18.6,31.4,75,75
|
||||
33,150,0,5.2,5.6,75,75
|
||||
34,150,0,5.9,6.0,75,75
|
||||
35,150,0,7.6,9.4,75,75
|
||||
36,150,0,4.6,4.7,75,75
|
||||
37,150,0,4.0,5.1,75,75
|
||||
38,150,0,5.5,7.1,75,75
|
||||
39,151,0,4.9,5.0,76,75
|
||||
40,149,0,7.3,7.6,74,75
|
||||
41,150,0,7.4,16.1,75,75
|
||||
42,150,0,6.8,13.7,75,75
|
||||
43,150,0,5.7,9.3,75,75
|
||||
44,147,0,45.7,53.5,74,73
|
||||
|
@@ -0,0 +1,26 @@
|
||||
{
|
||||
"requests": 6750,
|
||||
"ok": 6750,
|
||||
"errors": 0,
|
||||
"error_codes": {},
|
||||
"ok_rps": 150.0,
|
||||
"p50_ms": 2.0,
|
||||
"p95_ms": 5.2,
|
||||
"p99_ms": 48.3,
|
||||
"max_ms": 608.7,
|
||||
"requests_per_instance": {
|
||||
"7b89cf61597b": 2087,
|
||||
"4fa49e9e1a53": 4663
|
||||
},
|
||||
"event_load_start_s": 1.08,
|
||||
"event_fault_s": 11.13,
|
||||
"event_fault_done_s": 16.37,
|
||||
"event_restore_begin_s": 26.13,
|
||||
"event_restore_healthy_s": 28.57,
|
||||
"errors_after_fault": 0,
|
||||
"last_error_after_fault_s": null,
|
||||
"target_last_response_after_fault_s": 1.07,
|
||||
"restored_replica_first_response_after_start_s": 3.8,
|
||||
"lb_marked_down_after_fault_s": 1.08,
|
||||
"lb_marked_up_after_start_s": 3.24
|
||||
}
|
||||
@@ -0,0 +1,2 @@
|
||||
{"mode": "stop", "target": "api-2", "target_instance": "4fa49e9e1a53", "restored_instance": "4fa49e9e1a53",
|
||||
"load_start": 1792755193214, "fault": 1792755203249, "fault_done": 1792755207464, "restore_begin": 1792755218279, "restore_healthy": 1792755220771}
|
||||
@@ -0,0 +1,26 @@
|
||||
|
||||
|
||||
█ TOTAL RESULTS
|
||||
|
||||
CUSTOM
|
||||
served_by......................: 6743 145.744963/s
|
||||
|
||||
HTTP
|
||||
http_req_duration..............: avg=8.51ms med=1.69ms p(95)=5.01ms p(99)=161.63ms max=1.04s
|
||||
{ expected_response:true }...: avg=8.51ms med=1.69ms p(95)=5.01ms p(99)=161.63ms max=1.04s
|
||||
http_req_failed................: 0.00% 0 out of 6764
|
||||
http_reqs......................: 6764 146.198862/s
|
||||
|
||||
EXECUTION
|
||||
dropped_iterations.............: 8 0.172914/s
|
||||
iteration_duration.............: avg=8.54ms med=1.88ms p(95)=5.16ms p(99)=156.59ms max=1.04s
|
||||
iterations.....................: 6743 145.744963/s
|
||||
vus............................: 0 min=0 max=28
|
||||
vus_max........................: 58 min=50 max=58
|
||||
|
||||
NETWORK
|
||||
data_received..................: 2.6 MB 56 kB/s
|
||||
data_sent......................: 1.4 MB 29 kB/s
|
||||
|
||||
|
||||
|
||||
@@ -0,0 +1,46 @@
|
||||
second,ok,errors,p99_ms,max_ms,4fa49e9e1a53,7b89cf61597b
|
||||
0,151,0,5.3,5.3,76,75
|
||||
1,150,0,5.6,6.0,75,75
|
||||
2,150,0,10.9,11.6,75,75
|
||||
3,150,0,9.9,10.0,75,75
|
||||
4,150,0,10.2,12.3,75,75
|
||||
5,150,0,6.3,7.4,75,75
|
||||
6,150,0,5.7,6.3,75,75
|
||||
7,150,0,8.4,16.2,75,75
|
||||
8,149,0,6.0,7.9,74,75
|
||||
9,151,0,4.2,5.4,76,75
|
||||
10,150,0,4.3,4.4,75,75
|
||||
11,150,0,8.1,12.1,75,75
|
||||
12,150,0,6.8,10.4,44,106
|
||||
13,150,0,5.7,5.9,0,150
|
||||
14,150,0,5.6,6.2,0,150
|
||||
15,150,0,4.9,5.9,0,150
|
||||
16,150,0,4.4,4.9,0,150
|
||||
17,150,0,4.4,4.8,0,150
|
||||
18,150,0,5.9,6.1,0,150
|
||||
19,150,0,5.7,10.8,0,150
|
||||
20,150,0,5.8,5.8,0,150
|
||||
21,149,0,6.2,7.7,0,149
|
||||
22,150,0,8.5,11.4,0,150
|
||||
23,151,0,5.0,5.4,0,151
|
||||
24,150,0,5.1,5.1,0,150
|
||||
25,150,0,6.0,8.8,0,150
|
||||
26,150,0,4.9,6.9,0,150
|
||||
27,119,0,4.0,5.5,0,119
|
||||
28,172,0,1038.9,1043.4,101,71
|
||||
29,151,0,53.1,64.8,76,75
|
||||
30,150,0,6.5,7.6,75,75
|
||||
31,150,0,6.1,7.2,75,75
|
||||
32,150,0,7.6,8.6,75,75
|
||||
33,150,0,5.7,11.9,75,75
|
||||
34,150,0,6.1,8.2,75,75
|
||||
35,150,0,7.8,10.4,75,75
|
||||
36,150,0,5.1,5.1,75,75
|
||||
37,150,0,5.0,6.6,75,75
|
||||
38,150,0,7.3,8.7,75,75
|
||||
39,150,0,5.8,5.8,75,75
|
||||
40,150,0,5.3,5.5,75,75
|
||||
41,150,0,4.2,4.6,75,75
|
||||
42,150,0,10.8,11.4,75,75
|
||||
43,150,0,5.5,5.6,75,75
|
||||
44,150,0,7.1,8.6,75,75
|
||||
|
@@ -0,0 +1,26 @@
|
||||
{
|
||||
"requests": 6743,
|
||||
"ok": 6743,
|
||||
"errors": 0,
|
||||
"error_codes": {},
|
||||
"ok_rps": 149.8,
|
||||
"p50_ms": 1.7,
|
||||
"p95_ms": 4.9,
|
||||
"p99_ms": 161.6,
|
||||
"max_ms": 1043.4,
|
||||
"requests_per_instance": {
|
||||
"4fa49e9e1a53": 2247,
|
||||
"7b89cf61597b": 4496
|
||||
},
|
||||
"event_load_start_s": 0.87,
|
||||
"event_fault_s": 10.9,
|
||||
"event_fault_done_s": 15.12,
|
||||
"event_restore_begin_s": 25.93,
|
||||
"event_restore_healthy_s": 28.43,
|
||||
"errors_after_fault": 0,
|
||||
"last_error_after_fault_s": null,
|
||||
"target_last_response_after_fault_s": 1.68,
|
||||
"restored_replica_first_response_after_start_s": 2.41,
|
||||
"lb_marked_down_after_fault_s": 1.69,
|
||||
"lb_marked_up_after_start_s": null
|
||||
}
|
||||
@@ -0,0 +1 @@
|
||||
{"load_start": 1792755359464, "rolling_begin": 1792755369523, "rolling_end": 1792755395558}
|
||||
@@ -0,0 +1,25 @@
|
||||
|
||||
|
||||
█ TOTAL RESULTS
|
||||
|
||||
CUSTOM
|
||||
served_by......................: 10501 148.101961/s
|
||||
|
||||
HTTP
|
||||
http_req_duration..............: avg=3.73ms med=1.88ms p(95)=4.77ms p(99)=14.85ms max=625.43ms
|
||||
{ expected_response:true }...: avg=3.73ms med=1.88ms p(95)=4.77ms p(99)=14.85ms max=625.43ms
|
||||
http_req_failed................: 0.00% 0 out of 10522
|
||||
http_reqs......................: 10522 148.398137/s
|
||||
|
||||
EXECUTION
|
||||
iteration_duration.............: avg=3.84ms med=2.06ms p(95)=4.98ms p(99)=12ms max=625.53ms
|
||||
iterations.....................: 10501 148.101961/s
|
||||
vus............................: 0 min=0 max=27
|
||||
vus_max........................: 50 min=50 max=50
|
||||
|
||||
NETWORK
|
||||
data_received..................: 4.1 MB 57 kB/s
|
||||
data_sent......................: 2.1 MB 30 kB/s
|
||||
|
||||
|
||||
|
||||
@@ -0,0 +1,71 @@
|
||||
second,ok,errors,p99_ms,max_ms,1239a2b734c0,4fa49e9e1a53,7b89cf61597b,d23287559687
|
||||
0,151,0,5.5,9.0,0,75,76,0
|
||||
1,150,0,5.1,7.0,0,75,75,0
|
||||
2,150,0,9.8,10.3,0,75,75,0
|
||||
3,150,0,5.7,6.4,0,75,75,0
|
||||
4,150,0,6.9,7.0,0,75,75,0
|
||||
5,150,0,6.3,9.4,0,75,75,0
|
||||
6,150,0,4.6,6.8,0,75,75,0
|
||||
7,150,0,5.6,6.0,0,75,75,0
|
||||
8,150,0,17.0,22.8,0,75,75,0
|
||||
9,150,0,7.7,9.3,0,75,75,0
|
||||
10,150,0,4.6,5.3,0,75,75,0
|
||||
11,150,0,4.5,6.2,0,75,75,0
|
||||
12,150,0,4.3,4.4,0,75,75,0
|
||||
13,150,0,6.1,10.7,0,75,75,0
|
||||
14,150,0,17.3,25.9,0,75,75,0
|
||||
15,150,0,9.2,16.0,0,75,75,0
|
||||
16,150,0,4.2,4.5,0,75,75,0
|
||||
17,149,0,13.0,21.3,0,75,74,0
|
||||
18,151,0,13.5,13.8,0,75,76,0
|
||||
19,150,0,4.6,4.6,0,75,75,0
|
||||
20,149,0,6.1,11.1,0,75,74,0
|
||||
21,129,0,8.7,11.5,0,64,65,0
|
||||
22,172,0,586.0,625.4,0,50,50,72
|
||||
23,150,0,8.1,10.9,0,68,14,68
|
||||
24,150,0,5.0,5.4,0,75,0,75
|
||||
25,150,0,7.6,12.0,0,75,0,75
|
||||
26,150,0,9.6,10.2,0,75,0,75
|
||||
27,150,0,20.6,22.0,0,75,0,75
|
||||
28,150,0,5.1,7.4,0,75,0,75
|
||||
29,150,0,24.8,27.6,0,75,0,75
|
||||
30,149,0,354.8,406.4,28,61,0,60
|
||||
31,151,0,6.2,6.3,51,50,0,50
|
||||
32,150,0,6.2,7.9,74,1,0,75
|
||||
33,150,0,5.6,6.0,75,0,0,75
|
||||
34,150,0,6.7,7.1,75,0,0,75
|
||||
35,150,0,11.7,13.0,75,0,0,75
|
||||
36,150,0,20.0,28.9,75,0,0,75
|
||||
37,150,0,5.5,6.0,75,0,0,75
|
||||
38,150,0,6.0,6.4,75,0,0,75
|
||||
39,150,0,5.5,5.8,75,0,0,75
|
||||
40,150,0,5.1,5.3,75,0,0,75
|
||||
41,150,0,24.6,37.4,75,0,0,75
|
||||
42,150,0,4.6,7.6,75,0,0,75
|
||||
43,150,0,5.0,6.1,75,0,0,75
|
||||
44,150,0,6.6,7.5,75,0,0,75
|
||||
45,150,0,7.7,11.6,75,0,0,75
|
||||
46,150,0,5.8,5.9,75,0,0,75
|
||||
47,150,0,34.1,39.4,75,0,0,75
|
||||
48,150,0,5.3,5.5,75,0,0,75
|
||||
49,150,0,5.2,6.0,75,0,0,75
|
||||
50,150,0,5.3,5.5,75,0,0,75
|
||||
51,150,0,5.7,6.7,75,0,0,75
|
||||
52,150,0,5.8,5.9,75,0,0,75
|
||||
53,150,0,5.7,6.7,75,0,0,75
|
||||
54,150,0,5.5,7.1,75,0,0,75
|
||||
55,150,0,6.5,6.7,75,0,0,75
|
||||
56,149,0,6.7,6.9,75,0,0,74
|
||||
57,151,0,8.0,11.5,75,0,0,76
|
||||
58,150,0,5.3,5.4,75,0,0,75
|
||||
59,150,0,5.6,5.7,75,0,0,75
|
||||
60,150,0,4.3,4.6,75,0,0,75
|
||||
61,150,0,5.9,6.2,75,0,0,75
|
||||
62,150,0,6.1,7.5,75,0,0,75
|
||||
63,150,0,4.5,4.8,75,0,0,75
|
||||
64,150,0,5.5,6.9,75,0,0,75
|
||||
65,150,0,7.2,7.7,75,0,0,75
|
||||
66,150,0,5.0,5.2,75,0,0,75
|
||||
67,150,0,4.2,4.9,75,0,0,75
|
||||
68,150,0,8.6,8.9,75,0,0,75
|
||||
69,150,0,5.8,7.4,75,0,0,75
|
||||
|
@@ -0,0 +1,20 @@
|
||||
{
|
||||
"requests": 10501,
|
||||
"ok": 10501,
|
||||
"errors": 0,
|
||||
"error_codes": {},
|
||||
"ok_rps": 150.0,
|
||||
"p50_ms": 1.9,
|
||||
"p95_ms": 4.7,
|
||||
"p99_ms": 11.7,
|
||||
"max_ms": 625.4,
|
||||
"requests_per_instance": {
|
||||
"7b89cf61597b": 1704,
|
||||
"4fa49e9e1a53": 2319,
|
||||
"d23287559687": 3550,
|
||||
"1239a2b734c0": 2928
|
||||
},
|
||||
"event_load_start_s": 0.33,
|
||||
"event_rolling_begin_s": 10.38,
|
||||
"event_rolling_end_s": 36.42
|
||||
}
|
||||
+14
-14
@@ -1,24 +1,24 @@
|
||||
# before
|
||||
NAME STATE STATUS
|
||||
mtusi-messenger-lab3-api-1 running Up 35 seconds (healthy)
|
||||
mtusi-messenger-lab3-api-2 running Up 8 seconds (healthy)
|
||||
mtusi-messenger-lab3-lb-1 running Up 2 minutes
|
||||
mtusi-messenger-lab3-migrate-1 exited Exited (0) 7 seconds ago
|
||||
mtusi-messenger-lab3-api-1 running Up 37 seconds (healthy)
|
||||
mtusi-messenger-lab3-api-2 running Up 7 seconds (healthy)
|
||||
mtusi-messenger-lab3-lb-1 running Up About a minute (healthy)
|
||||
mtusi-messenger-lab3-migrate-1 exited Exited (0) 4 seconds ago
|
||||
mtusi-messenger-lab3-postgres-1 running Up 2 minutes (healthy)
|
||||
mtusi-messenger-lab3-redis-1 running Up 2 minutes (healthy)
|
||||
/mtusi-messenger-lab3-api-1 StartedAt=2026-10-22T17:45:06.396826175Z
|
||||
/mtusi-messenger-lab3-api-2 StartedAt=2026-10-22T17:45:33.184696798Z
|
||||
/mtusi-messenger-lab3-lb-1 StartedAt=2026-10-22T17:43:17.31840918Z
|
||||
/mtusi-messenger-lab3-postgres-1 StartedAt=2026-10-22T17:43:04.928814758Z
|
||||
/mtusi-messenger-lab3-redis-1 StartedAt=2026-10-22T17:43:04.927049216Z
|
||||
/mtusi-messenger-lab3-api-1 StartedAt=2026-10-23T11:38:43.02725971Z
|
||||
/mtusi-messenger-lab3-api-2 StartedAt=2026-10-23T11:39:12.251618502Z
|
||||
/mtusi-messenger-lab3-lb-1 StartedAt=2026-10-23T11:37:31.902111428Z
|
||||
/mtusi-messenger-lab3-postgres-1 StartedAt=2026-10-23T11:37:18.99589288Z
|
||||
/mtusi-messenger-lab3-redis-1 StartedAt=2026-10-23T11:37:18.995508005Z
|
||||
|
||||
$ make test-persistence ACTION_SCRIPT=scripts/restart.sh
|
||||
PASS: persistence preserved confirmed data and existing session. Hook scope needs operator evidence.
|
||||
|
||||
# after: every container has a new StartedAt, volume postgres-data is kept
|
||||
/mtusi-messenger-lab3-api-1 StartedAt=2026-10-22T17:45:53.47890296Z
|
||||
/mtusi-messenger-lab3-api-2 StartedAt=2026-10-22T17:45:53.585460419Z
|
||||
/mtusi-messenger-lab3-lb-1 StartedAt=2026-10-22T17:45:59.18815863Z
|
||||
/mtusi-messenger-lab3-postgres-1 StartedAt=2026-10-22T17:45:46.762570055Z
|
||||
/mtusi-messenger-lab3-redis-1 StartedAt=2026-10-22T17:45:46.760974013Z
|
||||
/mtusi-messenger-lab3-api-1 StartedAt=2026-10-23T11:39:37.089275763Z
|
||||
/mtusi-messenger-lab3-api-2 StartedAt=2026-10-23T11:39:37.18606118Z
|
||||
/mtusi-messenger-lab3-lb-1 StartedAt=2026-10-23T11:39:39.805556042Z
|
||||
/mtusi-messenger-lab3-postgres-1 StartedAt=2026-10-23T11:39:26.389951592Z
|
||||
/mtusi-messenger-lab3-redis-1 StartedAt=2026-10-23T11:39:26.38860105Z
|
||||
mtusi-messenger-lab3_postgres-data
|
||||
|
||||
@@ -3,6 +3,8 @@
|
||||
|
||||
global
|
||||
log stdout format raw local0 info
|
||||
# Without it HAProxy sizes buffers from the file descriptor limit and uses ~100 MB.
|
||||
maxconn 4096
|
||||
|
||||
defaults
|
||||
mode http
|
||||
@@ -37,6 +39,14 @@ frontend http
|
||||
bind :8080
|
||||
default_backend api
|
||||
|
||||
# Not published: container healthcheck and the backend table (wget -qO- "http://127.0.0.1:8404/stats;csv").
|
||||
frontend internal
|
||||
bind :8404
|
||||
monitor-uri /healthz
|
||||
stats enable
|
||||
stats uri /stats
|
||||
stats refresh 5s
|
||||
|
||||
backend api
|
||||
balance roundrobin
|
||||
option httpchk GET /health/ready
|
||||
|
||||
@@ -1,4 +1,7 @@
|
||||
authentication {
|
||||
realm = "messenger"
|
||||
sessionTtlSeconds = 3600
|
||||
sessionCacheTtlSeconds = 60
|
||||
# Collapse concurrent cache misses for one token into a single database lookup
|
||||
sessionCacheSingleFlight = true
|
||||
}
|
||||
|
||||
@@ -6,4 +6,7 @@ database {
|
||||
password = "password"
|
||||
maxPoolSize = 10
|
||||
connectionTimeoutMs = 2000
|
||||
statementTimeoutMs = 5000
|
||||
# A single local process migrates itself; replicas in compose leave it to the `migrate` service
|
||||
migrateOnStart = true
|
||||
}
|
||||
|
||||
@@ -0,0 +1,4 @@
|
||||
instance {
|
||||
# X-Instance-Id of this process. Defaults to HOSTNAME (the short container id in Docker), else a random alias
|
||||
#id = "dev"
|
||||
}
|
||||
@@ -0,0 +1,4 @@
|
||||
messages {
|
||||
# How long a stored Idempotency-Key answers a retry with the original message (contract: at least 24 h)
|
||||
idempotencyTtlSeconds = 86400
|
||||
}
|
||||
@@ -1,6 +1,8 @@
|
||||
redis {
|
||||
redis {
|
||||
host = "localhost"
|
||||
port = 6379
|
||||
# Only if the local Redis requires AUTH
|
||||
#password = ""
|
||||
connectTimeoutMs = 500
|
||||
commandTimeoutMs = 500
|
||||
}
|
||||
|
||||
Executable
+55
@@ -0,0 +1,55 @@
|
||||
#!/bin/sh
|
||||
# One replica fault under constant load through the balancer, then its restoration.
|
||||
# MODE=stop docker stop (SIGTERM: drain, graceful shutdown) MODE=kill docker kill (SIGKILL: crash)
|
||||
# TARGET=api-1|api-2 RATE=150 req/s DURATION=45 s fault at 10 s, restore at 25 s
|
||||
# Output: evidence/load/failover-<mode>-<target>/{k6.txt,events.json,haproxy.log,per-second.csv,summary.json}
|
||||
set -eu
|
||||
cd "$(dirname "$0")/../.."
|
||||
|
||||
MODE=${MODE:-stop}
|
||||
TARGET=${TARGET:-api-1}
|
||||
RATE=${RATE:-150}
|
||||
DURATION=${DURATION:-45}
|
||||
FAULT_AT=${FAULT_AT:-10}
|
||||
RESTORE_AT=${RESTORE_AT:-25}
|
||||
|
||||
out=evidence/load/failover-$MODE-$TARGET
|
||||
rm -rf "$out" && mkdir -p "$out"
|
||||
now() { python3 -c 'import time; print(int(time.time() * 1000))'; }
|
||||
# Sleeps until <seconds> after the load started, so the schedule does not drift with slow docker commands.
|
||||
sleep_until() { python3 -c "import time; time.sleep(max(0, $start / 1000 + $1 - time.time()))"; }
|
||||
container=mtusi-messenger-lab3-$TARGET
|
||||
target_instance=$(docker inspect -f '{{.Config.Hostname}}' "$container")
|
||||
|
||||
since=$(date -u +%Y-%m-%dT%H:%M:%SZ)
|
||||
K6_CSV_TIME_FORMAT=unix_milli k6 run --quiet --out csv="$out/requests.csv" \
|
||||
-e RATE="$RATE" -e DURATION="${DURATION}s" scripts/load/mixed.js > "$out/k6.txt" 2>&1 &
|
||||
k6_pid=$!
|
||||
|
||||
# Load starts after k6 setup (users, sessions, chat): wait for the first request of the scenario.
|
||||
until grep -q ',load,' "$out/requests.csv" 2>/dev/null; do sleep 0.2; done
|
||||
start=$(now)
|
||||
|
||||
sleep_until "$FAULT_AT"
|
||||
fault=$(now)
|
||||
if [ "$MODE" = kill ]; then docker kill "$container" >/dev/null; else docker stop --time 9 "$container" >/dev/null; fi
|
||||
fault_done=$(now)
|
||||
|
||||
sleep_until "$RESTORE_AT"
|
||||
restore_begin=$(now)
|
||||
docker start "$container" >/dev/null
|
||||
until [ "$(docker inspect -f '{{.State.Health.Status}}' "$container")" = healthy ]; do sleep 0.2; done
|
||||
restore_healthy=$(now)
|
||||
restored_instance=$(docker inspect -f '{{.Config.Hostname}}' "$container")
|
||||
|
||||
wait "$k6_pid" || true
|
||||
docker compose logs --timestamps --no-log-prefix --since "$since" lb 2>/dev/null | grep -E 'Server api/|SH--|5[0-9][0-9] ' > "$out/haproxy.log" || true
|
||||
|
||||
cat > "$out/events.json" <<JSON
|
||||
{"mode": "$MODE", "target": "$TARGET", "target_instance": "$target_instance", "restored_instance": "$restored_instance",
|
||||
"load_start": $start, "fault": $fault, "fault_done": $fault_done, "restore_begin": $restore_begin, "restore_healthy": $restore_healthy}
|
||||
JSON
|
||||
python3 scripts/load/summarize.py "$out" > /dev/null
|
||||
# Raw per-request data stays out of Git (evidence keeps aggregates only); KEEP_RAW=1 keeps it for analysis.
|
||||
[ "${KEEP_RAW:-0}" = 1 ] || rm -f "$out/requests.csv"
|
||||
cat "$out/summary.json"
|
||||
@@ -0,0 +1,67 @@
|
||||
// Open-model load through the balancer: RATE requests per second regardless of response time.
|
||||
// 70 % GET /users/me (session lookup), 30 % POST message with a unique Idempotency-Key.
|
||||
// Every response adds a `served_by` sample tagged with X-Instance-Id and status, so the summary can show
|
||||
// which replica answered each second. Tokens live only in this process.
|
||||
import http from 'k6/http';
|
||||
import encoding from 'k6/encoding';
|
||||
import { Counter } from 'k6/metrics';
|
||||
|
||||
const BASE = __ENV.BASE_URL || 'http://localhost:8080';
|
||||
const RATE = Number(__ENV.RATE || 150);
|
||||
const DURATION = __ENV.DURATION || '40s';
|
||||
const USERS = 10;
|
||||
const PASSWORD = 'load-test-password';
|
||||
|
||||
const servedBy = new Counter('served_by');
|
||||
|
||||
export const options = {
|
||||
scenarios: {
|
||||
load: {
|
||||
executor: 'constant-arrival-rate',
|
||||
rate: RATE,
|
||||
timeUnit: '1s',
|
||||
duration: DURATION,
|
||||
preAllocatedVUs: 50,
|
||||
maxVUs: 300,
|
||||
},
|
||||
},
|
||||
summaryTrendStats: ['avg', 'med', 'p(95)', 'p(99)', 'max'],
|
||||
};
|
||||
|
||||
export function setup() {
|
||||
const json = { headers: { 'Content-Type': 'application/json' } };
|
||||
const users = [];
|
||||
for (let i = 0; i < USERS; i++) {
|
||||
const username = `load_${Date.now().toString(36)}_${i}`;
|
||||
const user = http.post(`${BASE}/api/v1/users`, JSON.stringify({ username, display_name: 'load', password: PASSWORD }), json).json();
|
||||
const basic = encoding.b64encode(`${username}:${PASSWORD}`);
|
||||
const session = http.post(`${BASE}/api/v1/auth/sessions`, null, { headers: { Authorization: `Basic ${basic}` } }).json();
|
||||
users.push({ id: user.id, token: session.token });
|
||||
}
|
||||
const chat = http.post(`${BASE}/api/v1/chats`, JSON.stringify({ title: 'load', member_ids: users.map((u) => u.id) }), {
|
||||
headers: { 'Content-Type': 'application/json', Authorization: `Bearer ${users[0].token}` },
|
||||
}).json();
|
||||
return { users, chatId: chat.id };
|
||||
}
|
||||
|
||||
export default function (data) {
|
||||
const user = data.users[Math.floor(Math.random() * data.users.length)];
|
||||
const auth = { Authorization: `Bearer ${user.token}` };
|
||||
let response;
|
||||
|
||||
if (Math.random() < 0.7) {
|
||||
response = http.get(`${BASE}/api/v1/users/me`, { headers: auth, tags: { name: 'me' }, timeout: '5s' });
|
||||
} else {
|
||||
response = http.post(
|
||||
`${BASE}/api/v1/chats/${data.chatId}/messages`,
|
||||
JSON.stringify({ text: `load ${__VU}-${__ITER}` }),
|
||||
{
|
||||
headers: { ...auth, 'Content-Type': 'application/json', 'Idempotency-Key': `load-${__VU}-${__ITER}-${Date.now()}` },
|
||||
tags: { name: 'send' },
|
||||
timeout: '5s',
|
||||
},
|
||||
);
|
||||
}
|
||||
|
||||
servedBy.add(1, { instance: response.headers['X-Instance-Id'] || 'none', code: String(response.status) });
|
||||
}
|
||||
Executable
+34
@@ -0,0 +1,34 @@
|
||||
#!/bin/sh
|
||||
# scripts/rolling-update.sh while k6 keeps RATE req/s through the balancer.
|
||||
# Output: evidence/load/rolling-update/{k6.txt,rolling.log,events.json,per-second.csv,summary.json}
|
||||
set -eu
|
||||
cd "$(dirname "$0")/../.."
|
||||
|
||||
RATE=${RATE:-150}
|
||||
DURATION=${DURATION:-70}
|
||||
out=evidence/load/rolling-update
|
||||
rm -rf "$out" && mkdir -p "$out"
|
||||
now() { python3 -c 'import time; print(int(time.time() * 1000))'; }
|
||||
|
||||
# Build outside the measured window: compiling would compete with the API for CPU.
|
||||
docker compose build --quiet api
|
||||
|
||||
{ echo "# before"; docker compose ps api --format '{{.Name}} {{.ID}} {{.Image}}'; } > "$out/rolling.log"
|
||||
K6_CSV_TIME_FORMAT=unix_milli k6 run --quiet --out csv="$out/requests.csv" \
|
||||
-e RATE="$RATE" -e DURATION="${DURATION}s" scripts/load/mixed.js > "$out/k6.txt" 2>&1 &
|
||||
k6_pid=$!
|
||||
until grep -q ',load,' "$out/requests.csv" 2>/dev/null; do sleep 0.2; done
|
||||
start=$(now)
|
||||
|
||||
sleep 10
|
||||
begin=$(now)
|
||||
scripts/rolling-update.sh >> "$out/rolling.log" 2>&1
|
||||
end=$(now)
|
||||
wait "$k6_pid" || true
|
||||
|
||||
{ echo "# after"; docker compose ps api --format '{{.Name}} {{.ID}} {{.Image}}'; } >> "$out/rolling.log"
|
||||
echo "{\"load_start\": $start, \"rolling_begin\": $begin, \"rolling_end\": $end}" > "$out/events.json"
|
||||
python3 scripts/load/summarize.py "$out" > /dev/null
|
||||
# Raw per-request data stays out of Git (evidence keeps aggregates only); KEEP_RAW=1 keeps it for analysis.
|
||||
[ "${KEEP_RAW:-0}" = 1 ] || rm -f "$out/requests.csv"
|
||||
cat "$out/rolling.log" "$out/summary.json"
|
||||
Executable
+110
@@ -0,0 +1,110 @@
|
||||
#!/usr/bin/env python3
|
||||
"""Per-second view of one k6 run (requests.csv) plus the events of the experiment (events.json).
|
||||
|
||||
Writes per-second.csv and summary.json next to the input. An error is any response that is not 2xx
|
||||
(including k6 status 0: connection reset or timeout). Times are seconds from the start of the load.
|
||||
"""
|
||||
import csv
|
||||
import json
|
||||
import math
|
||||
import sys
|
||||
from collections import Counter, defaultdict
|
||||
from pathlib import Path
|
||||
from urllib.parse import parse_qsl
|
||||
|
||||
run = Path(sys.argv[1])
|
||||
events = json.loads((run / 'events.json').read_text()) if (run / 'events.json').exists() else {}
|
||||
|
||||
durations = [] # (t_ms, duration_ms, status)
|
||||
served = [] # (t_ms, instance, status)
|
||||
with open(run / 'requests.csv') as f:
|
||||
for row in csv.DictReader(f):
|
||||
if row['metric_name'] == 'http_req_duration' and row['scenario'] == 'load':
|
||||
durations.append((int(row['timestamp']), float(row['metric_value']), int(row['status'] or 0)))
|
||||
elif row['metric_name'] == 'served_by':
|
||||
tags = dict(parse_qsl(row['extra_tags']))
|
||||
served.append((int(row['timestamp']), tags.get('instance', 'none'), int(tags.get('code', 0))))
|
||||
|
||||
t0 = min(t for t, _, _ in durations)
|
||||
rel = lambda ms: (ms - t0) / 1000
|
||||
|
||||
|
||||
def percentile(values, p):
|
||||
if not values:
|
||||
return None
|
||||
values = sorted(values)
|
||||
return values[min(len(values) - 1, math.ceil(p / 100 * len(values)) - 1)]
|
||||
|
||||
|
||||
per_second = defaultdict(lambda: {'ok': 0, 'errors': 0, 'durations': [], 'instances': Counter()})
|
||||
for t, d, status in durations:
|
||||
second = per_second[math.floor(rel(t))]
|
||||
second['durations'].append(d)
|
||||
if 200 <= status < 300:
|
||||
second['ok'] += 1
|
||||
else:
|
||||
second['errors'] += 1
|
||||
for t, instance, status in served:
|
||||
if 200 <= status < 300:
|
||||
per_second[math.floor(rel(t))]['instances'][instance] += 1
|
||||
|
||||
instances = sorted({i for s in per_second.values() for i in s['instances']})
|
||||
with open(run / 'per-second.csv', 'w', newline='') as f:
|
||||
writer = csv.writer(f)
|
||||
writer.writerow(['second', 'ok', 'errors', 'p99_ms', 'max_ms'] + instances)
|
||||
for second in sorted(per_second):
|
||||
s = per_second[second]
|
||||
writer.writerow([second, s['ok'], s['errors'], round(percentile(s['durations'], 99), 1), round(max(s['durations']), 1)]
|
||||
+ [s['instances'].get(i, 0) for i in instances])
|
||||
|
||||
errors = sorted(rel(t) for t, _, status in durations if not 200 <= status < 300)
|
||||
seconds = max(per_second) + 1
|
||||
summary = {
|
||||
'requests': len(durations),
|
||||
'ok': len(durations) - len(errors),
|
||||
'errors': len(errors),
|
||||
'error_codes': dict(Counter(str(status) for _, _, status in durations if not 200 <= status < 300)),
|
||||
'ok_rps': round((len(durations) - len(errors)) / seconds, 1),
|
||||
'p50_ms': round(percentile([d for _, d, _ in durations], 50), 1),
|
||||
'p95_ms': round(percentile([d for _, d, _ in durations], 95), 1),
|
||||
'p99_ms': round(percentile([d for _, d, _ in durations], 99), 1),
|
||||
'max_ms': round(max(d for _, d, _ in durations), 1),
|
||||
'requests_per_instance': dict(Counter(i for _, i, status in served if 200 <= status < 300)),
|
||||
}
|
||||
for name, value in events.items():
|
||||
if isinstance(value, (int, float)):
|
||||
summary[f'event_{name}_s'] = round(rel(value), 2)
|
||||
if 'fault' in events:
|
||||
fault = rel(events['fault'])
|
||||
after = [e - fault for e in errors if e >= fault - 0.5]
|
||||
summary['errors_after_fault'] = len(after)
|
||||
summary['last_error_after_fault_s'] = round(max(after), 2) if after else None
|
||||
target = events.get('target_instance')
|
||||
end = rel(events['restore_begin']) if 'restore_begin' in events else float('inf')
|
||||
last = [rel(t) - fault for t, i, status in served if i == target and fault <= rel(t) < end]
|
||||
summary['target_last_response_after_fault_s'] = round(max(last), 2) if last else None
|
||||
if 'restore_begin' in events and events.get('restored_instance'):
|
||||
begin = rel(events['restore_begin'])
|
||||
first = [rel(t) - begin for t, i, status in served
|
||||
if i == events['restored_instance'] and 200 <= status < 300 and rel(t) >= begin]
|
||||
summary['restored_replica_first_response_after_start_s'] = round(min(first), 2) if first else None
|
||||
|
||||
# HAProxy state changes (docker log timestamps): when the balancer took the target out and put it back.
|
||||
log = run / 'haproxy.log'
|
||||
if log.exists() and 'fault' in events:
|
||||
from datetime import datetime
|
||||
|
||||
def at(line):
|
||||
stamp = line.split()[0].rstrip('Z')
|
||||
whole, _, fraction = stamp.partition('.')
|
||||
return datetime.fromisoformat(whole + '+00:00').timestamp() * 1000 + float('0.' + (fraction or '0')) * 1000
|
||||
|
||||
changes = [(at(line), line) for line in log.read_text().splitlines() if 'Server api/' in line and '[WARNING]' not in line]
|
||||
down = [t for t, line in changes if ('is DOWN' in line or 'going DOWN' in line) and t >= events['fault']]
|
||||
summary['lb_marked_down_after_fault_s'] = round((min(down) - events['fault']) / 1000, 2) if down else None
|
||||
if 'restore_begin' in events:
|
||||
up = [t for t, line in changes if 'is UP, reason' in line and t >= events['restore_begin']]
|
||||
summary['lb_marked_up_after_start_s'] = round((min(up) - events['restore_begin']) / 1000, 2) if up else None
|
||||
|
||||
(run / 'summary.json').write_text(json.dumps(summary, indent=2, ensure_ascii=False))
|
||||
print(json.dumps(summary, indent=2, ensure_ascii=False))
|
||||
Executable
+40
@@ -0,0 +1,40 @@
|
||||
#!/usr/bin/env bash
|
||||
# Replaces the API replicas one by one with a freshly built image while the balancer keeps serving.
|
||||
# 1. build the new image, 2. apply migrations once (they must be compatible with the running version),
|
||||
# 3. for every old replica: start one new replica, wait until HAProxy has it UP, then stop (drain) and remove the old.
|
||||
# The number of serving replicas never drops below the configured count.
|
||||
set -euo pipefail
|
||||
cd "$(dirname "$0")/.."
|
||||
|
||||
build_id=${BUILD_ID:-$(git rev-parse --short HEAD)-$(date +%s)}
|
||||
log() { echo "$(date -u +%H:%M:%S) $*"; }
|
||||
|
||||
up_in_lb() {
|
||||
docker compose exec -T lb wget -qO- 'http://127.0.0.1:8404/stats;csv' | awk -F, '$1 == "api" && $2 != "BACKEND" && $18 == "UP"' | wc -l
|
||||
}
|
||||
|
||||
log "build image (BUILD_ID=$build_id)"
|
||||
docker compose build --quiet --build-arg BUILD_ID="$build_id" api
|
||||
|
||||
log "migrate"
|
||||
docker compose run --rm --no-deps migrate > /dev/null
|
||||
|
||||
old=$(docker compose ps -q api)
|
||||
count=$(echo "$old" | wc -l | tr -d ' ')
|
||||
|
||||
for container in $old; do
|
||||
before=$(docker compose ps -q api | sort)
|
||||
docker compose up -d --no-deps --no-recreate --scale api=$((count + 1)) api 2> /dev/null
|
||||
new=$(comm -13 <(echo "$before") <(docker compose ps -q api | sort))
|
||||
log "started $(docker inspect -f '{{.Name}}' "$new") ($(echo "$new" | cut -c1-12))"
|
||||
|
||||
until [ "$(docker inspect -f '{{.State.Health.Status}}' "$new")" = healthy ]; do sleep 0.5; done
|
||||
until [ "$(up_in_lb)" -ge $((count + 1)) ]; do sleep 0.5; done
|
||||
log "new replica is UP in HAProxy"
|
||||
|
||||
docker stop --time 9 "$container" > /dev/null
|
||||
docker rm "$container" > /dev/null
|
||||
log "stopped and removed $(echo "$container" | cut -c1-12)"
|
||||
done
|
||||
|
||||
log "done: $(docker compose ps -q api | while read -r c; do docker inspect -f '{{.Name}} {{index .Config.Labels "org.opencontainers.image.revision"}}' "$c"; done | tr '\n' ' ')"
|
||||
+1
-1
@@ -19,4 +19,4 @@ if [ -z "$container" ] || [ "$(printf '%s\n' "$container" | wc -l)" -ne 1 ]; the
|
||||
exit 1
|
||||
fi
|
||||
|
||||
docker stop --time 8 "$container" >/dev/null
|
||||
docker stop --time 9 "$container" >/dev/null
|
||||
|
||||
@@ -6,6 +6,7 @@ import com.mtusi.messenger.main.plugins.configureContentNegotiation
|
||||
import com.mtusi.messenger.main.plugins.configureCors
|
||||
import com.mtusi.messenger.main.plugins.configureDatabase
|
||||
import com.mtusi.messenger.main.plugins.configureDefaultHeaders
|
||||
import com.mtusi.messenger.main.plugins.configureGracefulShutdown
|
||||
import com.mtusi.messenger.main.plugins.configureInstanceId
|
||||
import com.mtusi.messenger.main.plugins.configureKoin
|
||||
import com.mtusi.messenger.main.plugins.configureRedis
|
||||
@@ -29,6 +30,7 @@ fun Application.module() {
|
||||
configureKoin()
|
||||
configureDatabase()
|
||||
configureRedis()
|
||||
configureGracefulShutdown()
|
||||
|
||||
configureContentNegotiation()
|
||||
configureDefaultHeaders()
|
||||
|
||||
+7
@@ -3,6 +3,7 @@ package com.mtusi.messenger.main.infrastructure.controllers.health
|
||||
import com.mtusi.messenger.main.extensions.respondError
|
||||
import com.mtusi.messenger.main.infrastructure.controllers.health.responses.HealthResponse
|
||||
import com.mtusi.messenger.main.infrastructure.types.ErrorCode
|
||||
import com.mtusi.messenger.main.plugins.isDraining
|
||||
import com.mtusi.messenger.main.plugins.suspendedTransaction
|
||||
import io.ktor.http.HttpStatusCode
|
||||
import io.ktor.server.application.log
|
||||
@@ -20,6 +21,12 @@ fun Routing.configureHealthRouting() = route("/health") {
|
||||
// PostgreSQL is the only dependency of the synchronous path: without it nothing can be served.
|
||||
get("ready") {
|
||||
|
||||
// SIGTERM received: leave the balancer's rotation while requests in flight are still being finished.
|
||||
if (call.application.isDraining) {
|
||||
call.respondError(ErrorCode.UNAVAILABLE, "shutting down")
|
||||
return@get
|
||||
}
|
||||
|
||||
val isDatabaseReachable = try {
|
||||
suspendedTransaction {
|
||||
exec("SELECT 1")
|
||||
|
||||
@@ -0,0 +1,38 @@
|
||||
package com.mtusi.messenger.main.plugins
|
||||
|
||||
import io.ktor.server.application.Application
|
||||
import io.ktor.server.application.ApplicationStopPreparing
|
||||
import io.ktor.server.application.log
|
||||
import io.ktor.util.AttributeKey
|
||||
import java.util.concurrent.atomic.AtomicBoolean
|
||||
|
||||
private val DrainingKey = AttributeKey<AtomicBoolean>("Draining")
|
||||
|
||||
/**
|
||||
* True once the application received SIGTERM: /health/ready answers 503 from then on.
|
||||
*/
|
||||
val Application.isDraining: Boolean
|
||||
get() = attributes.getOrNull(DrainingKey)?.get() == true
|
||||
|
||||
/**
|
||||
* On SIGTERM the replica first fails its readiness check and keeps serving for `shutdown.drainDelayMs`, so the
|
||||
* balancer takes it out of rotation while it still answers. Only then Ktor closes the listening socket and waits
|
||||
* for requests in flight (`shutdownGracePeriod` / `shutdownTimeout`).
|
||||
*
|
||||
* ApplicationStopPreparing is raised synchronously before the engine closes its channels, so blocking here delays
|
||||
* the close itself.
|
||||
*/
|
||||
fun Application.configureGracefulShutdown() {
|
||||
|
||||
val drainDelayMs = environment.config.propertyOrNull("shutdown.drainDelayMs")?.getString()?.toLong() ?: 0
|
||||
val draining = AtomicBoolean(false)
|
||||
|
||||
attributes.put(DrainingKey, draining)
|
||||
|
||||
monitor.subscribe(ApplicationStopPreparing) {
|
||||
draining.set(true)
|
||||
log.info("Shutting down: readiness is 503, still serving for $drainDelayMs ms")
|
||||
Thread.sleep(drainDelayMs)
|
||||
log.info("Drain delay is over, closing the listening socket")
|
||||
}
|
||||
}
|
||||
@@ -8,11 +8,19 @@ ktor {
|
||||
host = ${?APP_HOST}
|
||||
port = 8080
|
||||
port = ${?APP_PORT}
|
||||
shutdownGracePeriod = 3000
|
||||
shutdownTimeout = 10000
|
||||
# After the drain (see `shutdown`): Netty waits for 1 s without new activity, at most 5 s in total.
|
||||
shutdownGracePeriod = 1000
|
||||
shutdownTimeout = 5000
|
||||
}
|
||||
}
|
||||
|
||||
shutdown {
|
||||
# Time between SIGTERM and closing the socket while /health/ready is already 503.
|
||||
# Behind HAProxy (check every 1 s, 2 failures) 3 s is enough to leave rotation; a single local process needs none.
|
||||
drainDelayMs = 0
|
||||
drainDelayMs = ${?SHUTDOWN_DRAIN_DELAY_MS}
|
||||
}
|
||||
|
||||
database {
|
||||
host = "localhost"
|
||||
host = ${?DB_HOST}
|
||||
|
||||
@@ -191,6 +191,7 @@ class DependencyFailureTest {
|
||||
@Test
|
||||
fun `without PostgreSQL requests fail with a bounded 503`() {
|
||||
val database = TestDatabase.create().also { it.start() }
|
||||
TestDatabase.awaitConnectable(database)
|
||||
|
||||
try {
|
||||
runApp(database = database, databaseConnectionTimeoutMs = 2000) { client ->
|
||||
|
||||
@@ -1,6 +1,8 @@
|
||||
package com.mtusi.messenger.main.support
|
||||
|
||||
import org.testcontainers.containers.PostgreSQLContainer
|
||||
import java.sql.DriverManager
|
||||
import java.sql.SQLException
|
||||
import org.testcontainers.utility.DockerImageName
|
||||
|
||||
/**
|
||||
@@ -20,6 +22,22 @@ object TestDatabase {
|
||||
/**
|
||||
* A separate, not yet started container for tests that stop the database.
|
||||
*/
|
||||
/**
|
||||
* Docker Desktop may refuse the first connections through a fresh port mapping for a moment after the container
|
||||
* reported ready; tests with a short pool timeout wait for a real connection first.
|
||||
*/
|
||||
fun awaitConnectable(container: PostgreSQLContainer<*>, timeoutMs: Long = 15000) {
|
||||
val deadline = System.currentTimeMillis() + timeoutMs
|
||||
while (true) {
|
||||
try {
|
||||
DriverManager.getConnection(container.jdbcUrl, container.username, container.password).use { return }
|
||||
} catch (e: SQLException) {
|
||||
if (System.currentTimeMillis() > deadline) throw e
|
||||
Thread.sleep(200)
|
||||
}
|
||||
}
|
||||
}
|
||||
|
||||
fun create(): PostgreSQLContainer<*> {
|
||||
return PostgreSQLContainer(DockerImageName.parse("postgres:17.6-alpine3.22").asCompatibleSubstituteFor("postgres"))
|
||||
.withDatabaseName(NAME)
|
||||
|
||||
Reference in New Issue
Block a user