Completed for a grade of four

This commit is contained in:
2026-10-23 16:08:53 +03:00
parent 92c2fdc254
commit af184cabe3
50 changed files with 1297 additions and 92 deletions
+5 -1
View File
@@ -8,12 +8,16 @@ COPY contracts ./contracts
RUN --mount=type=cache,target=/home/gradle/.gradle gradle --no-daemon shadowJar
FROM eclipse-temurin:21-jre-alpine
# Distinguishes builds of the same code, e.g. the image rolled out by scripts/rolling-update.sh.
ARG BUILD_ID=dev
LABEL org.opencontainers.image.revision=$BUILD_ID
RUN apk add --no-cache wget && addgroup -S app && adduser -S -G app app
WORKDIR /app
COPY --from=build /src/build/libs/messenger.jar /app/messenger.jar
USER app
ENV APP_HOST=0.0.0.0 APP_PORT=8080
EXPOSE 8080
HEALTHCHECK --interval=10s --timeout=3s --start-period=15s --retries=3 \
# Docker's own view of the replica (compose depends_on, rolling update). The balancer runs its own checks every 1 s.
HEALTHCHECK --interval=10s --timeout=3s --start-period=30s --start-interval=1s --retries=3 \
CMD wget -qO- http://127.0.0.1:8080/health/ready || exit 1
ENTRYPOINT ["java","-XX:MaxRAMPercentage=75.0","-jar","/app/messenger.jar"]
+175 -14
View File
@@ -1,37 +1,198 @@
# Отчёт — лабораторная 3
- Автор, группа: TODO
- Целевая оценка; выбранный трек 5, если нужен: TODO
- Автор, группа: Кучерявенко Максим, БВТ2303
- Целевая оценка; выбранный трек 5, если нужен: 4
- Commit/PR: TODO после публикации
- Использованные источники, библиотеки и помощь ИИ: TODO
- Использованные источники, библиотеки и помощь ИИ: всё из lab2 (Kotlin 2.3.20, Ktor 3.3.0, Koin 4.1, Exposed 1.0, HikariCP, Flyway 11.9, Lettuce 6.7, BouncyCastle, Testcontainers) плюс Ktor CORS. Балансировщик HAProxy 3.2.4, нагрузка k6 2.3. Документация: [Compose services](https://docs.docker.com/reference/compose-file/services/), [HAProxy 3.2 configuration manual](https://docs.haproxy.org/3.2/configuration.html) (server-template, resolvers, httpchk, retries/redispatch), [PostgreSQL INSERT … ON CONFLICT](https://www.postgresql.org/docs/17/sql-insert.html). ИИ (Claude) использовал как парного разработчика.
## Запуск из чистого clone
TODO: версии runtime/образов, prerequisites, команды создания локальных secrets/.env, build, миграций, запуска, ожидания готовности, тестов и остановки. Указать необходимые действия оператора. Не вставлять секреты. Отдельно указать безопасную остановку и команду намеренного удаления учебных данных.
Нужны Docker 24+ с Compose v2, Python 3.9+ (публичные тесты), `openssl` (секреты). Для `./gradlew test` ещё JDK 21+ и запущенный Docker, для нагрузочных прогонов — k6. Я всё запускал на Docker 28.4, Compose 2.39, JDK 24, k6 2.3.
```sh
# один раз: пароли PostgreSQL и Redis в secrets/ (папка в .gitignore, существующие файлы не перезаписываются)
./scripts/init-secrets.sh
# сборка образа и запуск: postgres, redis -> migrate (один раз применяет миграции и выходит) -> api x2 -> lb
# --wait ждёт healthcheck всех сервисов и успешного завершения migrate
docker compose up -d --build --wait
# публичные проверки, всё через балансировщик http://localhost:8080
make check
make test
make test-persistence ACTION_SCRIPT=scripts/restart.sh
make test-failover ACTION_SCRIPT=scripts/stop-one.sh
docker compose start api # вернуть остановленную реплику
# свои тесты (Testcontainers)
./gradlew test
# одновременные повторы одного Idempotency-Key через обе реплики
python3 scripts/idempotency-race.py
# уровень 4: отказ каждой реплики под нагрузкой и rolling update (нужен k6)
MODE=stop TARGET=api-1 scripts/load/failover-under-load.sh # также MODE=kill, TARGET=api-2
scripts/load/rolling-under-load.sh # сам update без нагрузки: scripts/rolling-update.sh
# остановка с сохранением данных
docker compose stop # или docker compose down, volume postgres-data остаётся
# намеренное удаление всех учебных данных
docker compose down -v
```
`.env` не обязателен: у всех переменных в `compose.yaml` есть значения по умолчанию. `docker compose --env-file .env.example config --quiet` проходит.
`make test-failover` останавливает ту реплику, которая ответила на первое сообщение теста. Тест делает одинаковое число запросов, и round robin каждый раз приводит его к одной и той же реплике. Чтобы проверить вторую, перед повторным запуском я делаю один лишний запрос (`curl -s localhost:8080/health/live`), он сдвигает очередь.
После `scripts/rolling-update.sh` контейнеры называются `api-3`, `api-4` (Compose нумерует новые дальше). `stop-one.sh` от имён не зависит. `failover-under-load.sh` принимает имя (`TARGET=api-3`), прежние имена возвращает `docker compose down && docker compose up -d --wait` без `-v`.
Локально без Docker: `./gradlew run`, конфиг из `run/development/config/*.conf`, порт 8081, один процесс сам применяет миграции.
## Архитектура и решения
TODO: схема процессов/хранилищ, источник истины, транзакционные границы, ограничения. Что перенесено из lab2, что изменено в этой работе. Соответствие переменных из .env.example реальной конфигурации.
```
клиент ──HTTP──▶ lb: HAProxy 3.2.4 (127.0.0.1:8080, единственный опубликованный порт)
│ round robin, проверка GET /health/ready раз в 1 с, адреса реплик из Docker DNS
├──▶ api-1 (Ktor) ─┐
└──▶ api-2 (Ktor) ─┼──JDBC, пул ≤10 на реплику──▶ postgres (volume postgres-data) ← источник истины
└──RESP──▶ redis (кэш сессий, без persistence)
migrate (тот же образ, `migrate`) ── один раз до старта реплик ──▶ postgres
```
| Роль | Service | Образ | Health/readiness | Volume | Порт | Credentials | Лимиты |
| --- | --- | --- | --- | --- | --- | --- | --- |
| Балансировщик | `lb` | `haproxy:3.2.4-alpine` | `wget http://127.0.0.1:8404/healthz` (внутренний порт) | — | `127.0.0.1:8080` | нет | 0.5 CPU, 128 МБ |
| API ×2 | `api` | `mtusi-messenger:lab3` (свой Dockerfile) | Docker: `/health/ready` раз в 10 с; HAProxy: `/health/ready` раз в 1 с | — | 8080 только в сети compose | secrets `db_password`, `redis_password` | 1 CPU, 512 МБ каждая |
| Миграции | `migrate` | тот же образ, команда `migrate` | разовый, healthcheck выключен | — | — | `db_password` | 0.5 CPU, 384 МБ |
| БД | `postgres` | `postgres:17.6-alpine3.22` | `pg_isready` | `postgres-data` | 5432 в сети | `db_password` | 1 CPU, 1 ГБ |
| Кэш сессий | `redis` | `redis:8.4.0-alpine` | `redis-cli ping` | — | 6379 в сети | `redis_password` | 0.5 CPU, 128 МБ |
**Что перенёс из lab2 без изменений.** Весь API и контракт, PostgreSQL как источник истины, Bearer-сессии в PostgreSQL с кэшем в Redis (single-flight, tombstone при logout, outbox `session_revocations`), курсорную пагинацию, Argon2id, Docker secrets, 503 при недоступной базе. У API и раньше не было состояния в памяти, от которого зависит корректность: сессии в PostgreSQL, кэш в общем Redis, курсор пагинации не подписан ключом процесса. Поэтому реплики взаимозаменяемы без доработок.
**Что поменял в этой работе.**
- **`X-Instance-Id`** (`plugins/InstanceId.kt`) — в каждом ответе API, включая ошибки и health. Значение: `INSTANCE_ID`, если задан, иначе `HOSTNAME` (в Docker это короткий id контейнера), иначе случайная строка. Задаётся при старте процесса и не меняется. Благодаря тому, что это id контейнера, `stop-one.sh` находит нужный контейнер без таблицы соответствий.
- **`Idempotency-Key`** на `POST /chats/{id}/messages`, ключ обязателен, формат `[A-Za-z0-9._:-]{1,128}`, иначе 400. Таблица `message_idempotency_keys` (миграция `V3`) с первичным ключом `(user_id, chat_id, key)` — это область уникальности из контракта: метод и путь у этого запроса фиксированы, остаются пользователь, чат и ключ. В той же транзакции, что и сообщение:
1. Проверка членства в чате, в том числе при повторе: постороннему — 404.
2. `INSERT … ON CONFLICT DO NOTHING` занимает ключ.
3. Ключ свободен — создаём сообщение и записываем его id в строку ключа.
4. Ключ занят — тот же SHA-256 тела даёт то же сообщение с 201, другой — 409.
5. Ключ старше `IDEMPOTENCY_TTL_SECONDS` (86400) удаляется и занимается заново.
Если тот же ключ сейчас вставляет другая транзакция (другая реплика), PostgreSQL на шаге 2 ждёт её конца. Поэтому одновременные повторы создают одно сообщение. При ошибке 5xx транзакция откатывается вместе с ключом, и неудачная попытка не запоминается как результат.
- **Миграции отдельно от реплик.** `java -jar messenger.jar migrate` применяет Flyway и выходит (main-класс jar теперь `AppKt`, а не `EngineMain`). В compose это сервис `migrate`. Реплики запускаются с `DB_MIGRATE_ON_START=false` после его успешного завершения (`service_completed_successfully`) и делают только `flyway.validate()`: при неприменённой миграции реплика не стартует. Так реплики не устраивают гонку за схему. Локальный процесс и тесты по-прежнему мигрируют сами.
- **Балансировщик HAProxy** (`infra/haproxy/haproxy.cfg`):
- адреса реплик берутся из Docker DNS (`server-template api 4 api:8080`, resolvers `127.0.0.11`, `hold` 2 с), так что масштабирование и замена контейнеров не требуют правки конфига;
- активная проверка `GET /health/ready`: `inter 1s fall 2 rise 2`;
- `balance roundrobin`;
- `retries 2` + `option redispatch` — только при ошибке соединения, то есть до отправки запроса. POST, который дошёл до реплики, балансировщик не повторяет;
- `maxconn 4096` в `global` (без него HAProxy занимал ~100 МБ из 128);
- внутренний frontend `:8404` с `/healthz` и `/stats` наружу не опубликован.
Sticky sessions нет.
- **Плавная остановка** (`plugins/GracefulShutdown.kt`). По SIGTERM `/health/ready` сразу отвечает 503, процесс ещё 3 с (`SHUTDOWN_DRAIN_DELAY_MS`) обслуживает запросы. За это время HAProxy выводит реплику из ротации. Потом Ktor закрывает сокет и дожидается начатых запросов (`shutdownGracePeriod` 1 с, `shutdownTimeout` 5 с). Задержка сделана в обработчике `ApplicationStopPreparing`: Ktor вызывает его синхронно до закрытия каналов. До этой правки (на уровне 3) каждая остановка давала один 502 `SH--`: реплика закрывала соединение посреди POST.
- **Rolling update** (`scripts/rolling-update.sh`):
1. Собирает образ с `BUILD_ID` (Dockerfile `ARG` + `LABEL`, чтобы новая версия отличалась даже при том же коде).
2. Один раз применяет миграции: `docker compose run --rm migrate`.
3. Для каждой старой реплики: `up --no-recreate --scale api=N+1` поднимает новую, скрипт ждёт `healthy` и состояние UP в `/stats` HAProxy, затем `docker stop` (с drain) и `docker rm` старой.
Работающих реплик ни в какой момент не меньше двух.
- **Ресурсы.** CPU/RAM-лимиты у всех контейнеров, `container_name` убран у всех, порт опубликован только у `lb` и только на `127.0.0.1`.
- **CORS** (`plugins/Cors.kt`, `config/cors/`). Нужен для Swagger UI на `/docs`, открытого с другого адреса (например, dev-порт 8081). Разрешены только `localhost`/`127.0.0.1:8080/8081`, наружу отдаются `X-Request-Id`, `X-Instance-Id`, `WWW-Authenticate`. На API без браузера не влияет.
**Транзакционные границы.** Отправка сообщения: проверка членства, ключ идемпотентности и само сообщение — одна транзакция PostgreSQL. Ключ без сообщения снаружи не виден (проверено запросом: 0 строк с `message_id IS NULL`). Остальное как в lab2.
**Совместимость миграций с работающей версией.** Схема меняется только расширением. `V3` добавляет таблицу и индексы, старая версия кода её не трогает. Новая реплика проверяет схему через `validate()`. Старая реплика при `validate()` не падает от неизвестной ей новой миграции: Flyway по умолчанию пропускает «будущие» миграции (`ignoreMigrationPatterns=*:future`). Удаление или переименование колонок пришлось бы делать в два релиза (expand/contract); в этой работе таких изменений нет.
**Переменные `.env.example` → реальная конфигурация.**
| `.env.example` | У меня |
| --- | --- |
| `APP_HOST`, `APP_PORT` | так же, задаются в `compose.yaml` (`0.0.0.0:8080` внутри сети) |
| `APP_ENV` | не используется |
| `SESSION_TTL_SECONDS` | так же, по умолчанию 3600 |
| `DATABASE_URL_FILE` | разбит на `DB_HOST`, `DB_PORT`, `DB_NAME`, `DB_USER`, `DB_PASSWORD_FILE=/run/secrets/db_password` |
| `SESSION_STORE=postgres` | так и есть: сессии в PostgreSQL, Redis — кэш |
| `CACHE_URL_FILE` | `REDIS_HOST`, `REDIS_PORT`, `REDIS_PASSWORD_FILE=/run/secrets/redis_password` |
| `API_REPLICAS` | так же, `deploy.replicas: ${API_REPLICAS:-2}` (HAProxy рассчитан максимум на 4) |
| `IDEMPOTENCY_TTL_SECONDS` | так же, по умолчанию 86400 |
| — | `DB_MIGRATE_ON_START` (false у реплик), `SHUTDOWN_DRAIN_DELAY_MS` (3000), `INSTANCE_ID` (не задаю) |
**Таймауты и проверки — одна цепочка.**
| Что | Значение | Почему так |
| --- | --- | --- |
| Проверка готовности в HAProxy | каждую 1 с; DOWN после 2 неудач, UP после 2 успехов | обнаружение ≤ 2 с |
| Обновление адресов из DNS | `hold` 2 с, `timeout resolve` 1 с | упавший контейнер исчезает из DNS, слот уходит в MAINT |
| Подключение HAProxy → реплика | 1 с, затем повтор на другую реплику (`retries 2`, `redispatch`) | до отправки запроса повтор безопасен и для POST |
| Ответ реплики | 10 с | больше, чем ожидание пула 2 с + `statement_timeout` 5 с |
| Drain после SIGTERM | 3 с | больше, чем 2 с на обнаружение |
| Остановка Ktor | 1 с тишины, максимум 5 с | дожать начатые запросы |
| `stop_grace_period` | 10 с | 3 + 5 = 8 с < 10 с, SIGKILL не нужен |
| `stop-one.sh` | `docker stop --time 9` | укладывается в 10 с, которые даёт тест |
Максимальное время обнаружения отказа — около 2 с: при остановке по проверке готовности, при падении процесса по DNS или проверке. Измерено 1,1–1,9 с, см. ниже.
## Доказательства критериев
| Критерий README | Команда/сценарий | Наблюдаемый результат | Файл доказательства |
| --- | --- | --- | --- |
| Публичный smoke | make test | TODO | TODO |
| Остальные пункты уровня 3 | TODO | TODO | TODO |
| Все пункты уровня 4, если заявлен | TODO | TODO | TODO |
| Выбранный трек 5, если заявлен | TODO | TODO | TODO |
TODO: добавить отдельную строку для каждого заявленного критерия. PASS без команды и наблюдения не является доказательством. Проверка инфраструктурного hook требует подтверждения, какие реальные процессы/хранилища перезапущены.
| Публичный smoke | `make test` | PASS, профиль lab3 | evidence/smoke.txt |
| Запуск из чистого clone | копия рабочего дерева без игнорируемых файлов, новые секреты, свежий volume, все `make`-проверки | все PASS | evidence/clean-start.txt |
| Стенд в compose: ≥2 API, один вход, общие БД и сессии | `docker compose ps` | `api-1`, `api-2`, `lb` с портом `127.0.0.1:8080`, `postgres`, `redis`; `migrate` завершился с 0 | evidence/instances.txt, evidence/limits.txt |
| Разные реплики без повторного входа, видно по `X-Instance-Id` | 6 запросов через LB; failover-тест сам проверяет ≥2 реплики | два id чередуются и совпадают с id контейнеров `api-1`, `api-2`; `observed_instances_before: 2` | evidence/instances.txt, evidence/failover-api-*.txt |
| Остановка любой одной реплики: новые чтения/записи ≤ 10 с, подтверждённое на месте | `make test-failover ACTION_SCRIPT=scripts/stop-one.sh` для api-1, потом для api-2 | PASS оба раза; 121 запись, 0 неудачных; остановлен именно контейнер с id из теста (`Exited (143)`) | evidence/failover-api-1.txt, evidence/failover-api-2.txt |
| Повтор POST с тем же ключом без дубля, в том числе одновременно и через другую реплику | `scripts/idempotency-race.py`: 20 раундов по 32 одновременных запроса с одним ключом; тесты `MessageIdempotencyTest` | 640 ответов 201 (320 + 320 по репликам), в каждом раунде один id, в истории 20 сообщений; 7 тестов: повтор, 409, 400, область ключа, доступ, 20 одновременных запросов, TTL | evidence/idempotency-race.txt, evidence/gradle-tests.txt |
| Неподтверждённую запись можно повторить с тем же ключом | failover-тест повторяет неопределённый POST с исходным ключом | дублей нет, проверка текстов прошла | evidence/failover-api-*.txt |
| `make test`, persistence, failover | `make test-persistence ACTION_SCRIPT=scripts/restart.sh` | PASS; у lb, обеих api, postgres, redis новый `StartedAt`, volume тот же | evidence/persistence.txt |
| Уровень 4: health/readiness, таймауты, SIGTERM согласованы, LB исключает недоступную реплику | таблица таймаутов выше; отказ под нагрузкой | после SIGTERM реплика получает последний запрос через 1,1–1,7 с, ошибок 0 | evidence/load/failover-stop-*/ |
| Уровень 4: поочерёдная остановка каждой реплики, RPS, ошибки, восстановление | `scripts/load/failover-under-load.sh`, 150 RPS, stop и kill для api-1 и api-2 | 4 прогона: ~150 RPS, 0 ошибок; таблица ниже | evidence/load/ |
| Уровень 4: параллельные запросы с одним ключом | см. строку про идемпотентность | 0 дублей | evidence/idempotency-race.txt |
| Уровень 4: лимиты CPU/RAM, API без портов наружу, секреты только где нужно, нет `container_name` | `docker inspect`, `docker compose ps`, `docker compose config` | лимиты у всех; порт только у `lb`; `lb` без секретов, `migrate` и `postgres` только `db_password`, `redis` только `redis_password` | evidence/limits.txt |
| Уровень 4: rolling update под нагрузкой, миграции однократно | `scripts/load/rolling-under-load.sh` | 10 501 запрос, 0 ошибок, p99 11,7 мс; обе реплики заменены на образ с новым `BUILD_ID` | evidence/load/rolling-update/ |
| Свои автотесты | `./gradlew test` | 68 тестов, все проходят | evidence/gradle-tests.txt |
| Секреты не в Git | `secrets/` и `.env` в `.gitignore`; в evidence нет токенов (k6 их не пишет, сырые запросы не сохраняются) | — | .gitignore |
## Эксперименты и отказы
TODO: гипотеза, hardware/лимиты, версии, объём данных, профиль нагрузки, concurrency/arrival rate, длительность/прогрев, повторы, успешные RPS, ошибки, p50/p95/p99, CPU/RAM. Сохранить raw summary без tokens и объяснить ограничения измерения.
Стенд: Apple M4 (10 ядер), 16 ГБ, macOS 27, Docker Desktop 28.4 (VM 10 CPU, 8 ГБ), лимиты контейнеров как в таблице выше. k6 2.3 на той же машине.
Профиль (`scripts/load/mixed.js`):
- открытая модель, 150 запросов/с независимо от времени ответа, поэтому медленные ответы не прячут ошибки;
- 70 % `GET /users/me`, 30 % отправка сообщения с уникальным ключом;
- 10 пользователей, один чат, таймаут 5 с, без повторов.
В каждом прогоне 45 с нагрузки: на 10-й секунде реплику останавливаю, на 25-й запускаю обратно. Ошибка — любой ответ не 2xx, включая обрыв. Сводки считает `scripts/load/summarize.py`. Время «LB вывел» и «LB вернул» берётся из лога HAProxy, «получила трафик» — по `X-Instance-Id` в ответах. Каждый вариант прогнан один раз, повторов нет.
Гипотеза: благодаря drain плавная остановка реплики проходит без ошибок, а падение процесса стоит только задержки до 1 с (таймаут подключения), но не ошибок, потому что HAProxy повторяет неудавшееся подключение на другой реплике.
| Воздействие | Что ожидаем | Что наблюдали | Время восстановления / потеря данных |
| --- | --- | --- | --- |
| TODO | TODO | TODO | TODO |
| `docker stop` api-1 (SIGTERM) под 150 RPS | 0 ошибок, реплика выходит из ротации за ≤ 2 с | 6 750 запросов, 0 ошибок, 150 RPS, p99 48 мс; последний ответ остановленной реплики через 1,07 с, HAProxy пометил DOWN через 1,08 с | вернувшаяся реплика получила трафик через 3,8 с после `docker start`; потерь нет |
| `docker stop` api-2 | то же | 6 743 запроса, 0 ошибок, 149,8 RPS, p99 162 мс; DOWN через 1,69 с | трафик через 2,4 с; потерь нет |
| `docker kill` api-1 (SIGKILL, падение) | 0 ошибок, задержка до 1 с у части запросов | 6 726 запросов, 0 ошибок, 149,5 RPS, p99 1 004 мс; DOWN через 1,74 с | трафик через 3,9 с; потерь нет |
| `docker kill` api-2 | то же | 6 722 запроса, 0 ошибок, 149,4 RPS, p99 1 004 мс; DOWN через 1,92 с | трафик через 3,9 с; потерь нет |
| Rolling update двух реплик под 150 RPS | 0 ошибок | 10 501 запрос, 0 ошибок, p99 11,7 мс, max 625 мс; замена двух реплик заняла 26 с | — |
| `make test-failover`, api-1 и api-2 | ≤ 10 с до записи, без дублей | PASS, 0 неудачных из ~121; `first_recovery_seconds` 5,1–5,4 | это время самого `docker stop` (drain 3 с + остановка), записи всё это время шли через вторую реплику |
| `scripts/restart.sh` (lb, api, redis, postgres) | данные и токен на месте | PASS, у всех контейнеров новый `StartedAt` | тест сам ждёт готовности и проверяет данные тем же токеном; потерь нет |
Что из этого следует:
- **SIGTERM.** Drain работает: реплика получает запросы ещё 1–1,7 с после SIGTERM, а сокет закрывается только через 3 с. Начатых запросов, которые обрывались бы, нет.
- **SIGKILL.** Ошибок тоже нет, но в первые 1–2 с запросы к мёртвой реплике ждут таймаут подключения 1 с и уходят на живую. Отсюда p99 около 1 с. Адреса упавшего контейнера в сети больше нет, поэтому отказ в соединении (RST) не приходит — только таймаут.
- **Обратный ввод в ротацию.** Сначала нужно 2–2,5 с на старт JVM и Ktor, потом 2 успешные проверки (≈2 с).
- **Один прогон на вариант.** Число ошибок (0) от повторов, скорее всего, не изменится, а p99 и времена — оценка, а не распределение.
- **Измерение.** k6 запускался на той же машине. Хвосты p99 в «спокойных» прогонах (до 160 мс) похожи на паузы Docker Desktop и GC, а не на работу балансировщика.
## Ограничения и следующие шаги
TODO: какие отказы выдерживаются и какие нет; что не реализовано; где учебное упрощение; какое улучшение подтверждено, а какое пока гипотеза.
- **Выдерживается** остановка или падение одной API-реплики, в том числе под нагрузкой, и поочерёдная замена всех реплик. **Не выдерживается** отказ `lb`, `postgres` или всего хоста: они в одном экземпляре на одной машине. Это единые точки отказа, HA для них в этой работе не заявляю. Отказ Redis, как и в lab2, не ломает API: запросы идут в PostgreSQL.
- **Хвост задержки при падении.** При внезапном падении реплики p99 около 1 с из-за `timeout connect 1s`. В сети Docker таймаут подключения можно сделать 200–300 мс, это должно сократить хвост, но я это не проверял.
- **Недоверие к кэшу после сбоя Redis** (из lab2) живёт в памяти одной реплики. Если logout пришёлся на сбой Redis, реплика, которая сама ошибку Redis не видела, может до 60 с отдавать отозванную сессию из кэша. С двумя репликами за одним Redis это маловероятно: ошибку Redis увидят обе. Но строгой гарантии нет, нужен общий признак (например, номер поколения кэша в PostgreSQL).
- **Single-flight** (защита от одновременных промахов кэша) работает внутри процесса: на N реплик до N запросов к базе на один токен.
- **`make test-failover` всегда выбирает api-1** при одинаковом числе запросов. Вторую реплику проверяю после одного лишнего запроса, это описано в разделе запуска.
- **Без очистки.** Старые ключи идемпотентности (старше 24 ч) удаляются только при повторе того же ключа, а не отдельной задачей. Таблица растёт на одну строку на сообщение; для учебного объёма это нормально, в продакшене нужна периодическая чистка по `created_at`. Просроченные сессии тоже не удаляются (как в lab2).
- **Ограничения rolling update.**
- Скрипт для Compose, не Swarm.
- Совместимость новой версии со старой держится на правиле «миграции только расширяют схему», автоматически это не проверяется.
- После обновления имена контейнеров `api-3`/`api-4`.
- **HAProxy** рассчитан на 4 реплики (`server-template api 4`), для большего числа нужно поменять число в конфиге.
+35 -4
View File
@@ -4,7 +4,6 @@ services:
postgres:
image: postgres:17.6-alpine3.22
# pg_stat_statements counts executed queries, track 1 uses it to measure the cache stampede.
command: ["postgres", "-c", "shared_preload_libraries=pg_stat_statements", "-c", "pg_stat_statements.track=all"]
environment:
POSTGRES_DB: messenger
@@ -20,6 +19,11 @@ services:
timeout: 3s
retries: 10
start_period: 10s
deploy:
resources:
limits:
cpus: "1.0"
memory: 1g
restart: unless-stopped
redis:
@@ -44,6 +48,11 @@ services:
timeout: 3s
retries: 10
start_period: 5s
deploy:
resources:
limits:
cpus: "0.5"
memory: 128m
restart: unless-stopped
# One-shot: applies Flyway migrations once and exits. Replicas start only after it succeeded,
@@ -53,7 +62,7 @@ services:
image: mtusi-messenger:lab3
command: ["migrate"]
healthcheck:
disable: true
test: ["NONE"]
depends_on:
postgres:
condition: service_healthy
@@ -65,6 +74,11 @@ services:
DB_PASSWORD_FILE: /run/secrets/db_password
secrets:
- db_password
deploy:
resources:
limits:
cpus: "0.5"
memory: 384m
restart: "no"
api:
@@ -73,6 +87,10 @@ services:
# Interchangeable replicas: no container_name and no published port, traffic only through `lb`.
deploy:
replicas: ${API_REPLICAS:-2}
resources:
limits:
cpus: "1.0"
memory: 512m
depends_on:
migrate:
condition: service_completed_successfully
@@ -95,11 +113,13 @@ services:
SESSION_TTL_SECONDS: ${SESSION_TTL_SECONDS:-3600}
SESSION_CACHE_SINGLE_FLIGHT: ${SESSION_CACHE_SINGLE_FLIGHT:-true}
IDEMPOTENCY_TTL_SECONDS: ${IDEMPOTENCY_TTL_SECONDS:-86400}
SHUTDOWN_DRAIN_DELAY_MS: "3000"
secrets:
- db_password
- redis_password
# SIGTERM: Ktor stops accepting, finishes requests in flight (shutdownGracePeriod 3 s, shutdownTimeout 10 s).
stop_grace_period: 15s
# SIGTERM: readiness 503 and 3 s drain (HAProxy needs <= 2 s to notice), then Ktor closes the socket and
# finishes requests in flight within 5 s. 3 + 5 = 8 s < 10 s before Docker sends SIGKILL.
stop_grace_period: 10s
restart: unless-stopped
lb:
@@ -111,6 +131,17 @@ services:
condition: service_healthy
ports:
- "127.0.0.1:8080:8080"
# Port 8404 (health and stats) stays inside the compose network.
healthcheck:
test: ["CMD", "wget", "-qO-", "http://127.0.0.1:8404/healthz"]
interval: 5s
timeout: 2s
retries: 3
deploy:
resources:
limits:
cpus: "0.5"
memory: 128m
restart: unless-stopped
secrets:
+20
View File
@@ -0,0 +1,20 @@
# clean copy of the working tree (git ls-files -co --exclude-standard), fresh secrets and volume, COMPOSE_PROJECT_NAME=lab3-clean
# 2026-10-23T12:49Z, base commit 92c2fdc + uncommitted lab3 grade-4 changes
$ ./scripts/init-secrets.sh && docker compose up -d --build --wait && make check && make test && make test-persistence ACTION_SCRIPT=scripts/restart.sh && make test-failover ACTION_SCRIPT=scripts/stop-one.sh
created secrets/db_password
created secrets/redis_password
config ok
Container lab3-clean-api-2 Healthy
Container lab3-clean-api-1 Healthy
Container lab3-clean-lb-1 Healthy
PASS: offline skeleton structure, local refs and Python syntax; application NOT tested.
PASS: lab3 public API scenario; infrastructure and grading evidence remain separate.
PASS: persistence preserved confirmed data and existing session. Hook scope needs operator evidence.
{"observed_instances_before": 2, "successful_writes": 125, "failed_attempts": 0, "first_recovery_seconds": 4.859}
PASS: failover preserved confirmed data and existing session. Hook scope needs operator evidence.
lab3-clean-api-1 running
lab3-clean-api-2 exited
lab3-clean-lb-1 running
lab3-clean-migrate-1 exited
lab3-clean-postgres-1 running
lab3-clean-redis-1 running
+12 -12
View File
@@ -1,24 +1,24 @@
# before
NAME CONTAINER ID STATE STATUS
mtusi-messenger-lab3-api-1 236cb759e825 running Up About a minute (healthy)
mtusi-messenger-lab3-api-2 787a253aa6a6 running Up 8 seconds (healthy)
mtusi-messenger-lab3-api-1 d1ff13561537 running Up 24 seconds (healthy)
mtusi-messenger-lab3-api-2 ac9723acebaa running Up 24 seconds (healthy)
$ make test-failover ACTION_SCRIPT=scripts/stop-one.sh
Executing explicit failover hook; hook output suppressed to avoid leaking secrets.
{"observed_instances_before": 2, "successful_writes": 119, "failed_attempts": 1, "first_recovery_seconds": 6.508}
{"observed_instances_before": 2, "successful_writes": 121, "failed_attempts": 0, "first_recovery_seconds": 5.385}
PASS: failover preserved confirmed data and existing session. Hook scope needs operator evidence.
# after: the stopped container is the replica whose id the test passed as TARGET_INSTANCE_ID
NAME CONTAINER ID STATE STATUS
mtusi-messenger-lab3-api-1 236cb759e825 exited Exited (143) 8 seconds ago
mtusi-messenger-lab3-api-2 787a253aa6a6 running Up 24 seconds (healthy)
mtusi-messenger-lab3-api-1 d1ff13561537 exited Exited (143) 9 seconds ago
mtusi-messenger-lab3-api-2 ac9723acebaa running Up 40 seconds (healthy)
# HAProxy log around the failure (non-2xx and state changes)
[WARNING] (8) : Server api/api1 was DOWN and now enters maintenance (No IP for server ).
Server api/api1 ('api') is UP/READY (resolves again).
[WARNING] (8) : Server api/api1 ('api') is UP/READY (resolves again).
172.24.0.1:55062 [22/Oct/2026:17:44:22.431] http api/api2 0/0/0/-1/93 502 209 - - SH-- 1/1/0/0/0 0/0 "POST /api/v1/chats/43312e52-5c0b-41af-9981-2379d372b382/messages HTTP/1.1"
[WARNING] (8) : Server api/api2 is DOWN, reason: Layer4 connection problem, info: "Connection refused", check duration: 0ms. 1 active and 0 backup servers left. 0 sessions active, 0 requeued, 0 remaining in queue.
Server api/api2 is DOWN, reason: Layer4 connection problem, info: "Connection refused", check duration: 0ms. 1 active and 0 backup servers left. 0 sessions active, 0 requeued, 0 remaining in queue.
Server api/api2 was DOWN and now enters maintenance (No IP for server ).
172.24.0.1:57032 [23/Oct/2026:11:37:38.388] http api/api2 0/0/0/97/97 201 500 - - ---- 1/1/0/0/0 0/0 "POST /api/v1/auth/sessions HTTP/1.1"
172.24.0.1:58552 [23/Oct/2026:11:37:53.795] http api/api2 0/0/0/86/86 201 504 - - ---- 1/1/0/0/0 0/0 "POST /api/v1/auth/sessions HTTP/1.1"
172.24.0.1:58572 [23/Oct/2026:11:37:53.942] http api/api2 0/0/0/78/78 201 500 - - ---- 1/1/0/0/0 0/0 "POST /api/v1/auth/sessions HTTP/1.1"
172.24.0.1:58586 [23/Oct/2026:11:37:54.055] http api/api2 0/0/0/81/81 201 500 - - ---- 1/1/0/0/0 0/0 "POST /api/v1/auth/sessions HTTP/1.1"
Server api/api2 is DOWN, reason: Layer7 wrong status, code: 503, info: "Service Unavailable", check duration: 5ms. 1 active and 0 backup servers left. 0 sessions active, 0 requeued, 0 remaining in queue.
[WARNING] (8) : Server api/api2 is DOWN, reason: Layer7 wrong status, code: 503, info: "Service Unavailable", check duration: 5ms. 1 active and 0 backup servers left. 0 sessions active, 0 requeued, 0 remaining in queue.
[WARNING] (8) : Server api/api2 was DOWN and now enters maintenance (No IP for server ).
Server api/api2 was DOWN and now enters maintenance (No IP for server ).
+11 -11
View File
@@ -1,24 +1,24 @@
# before
NAME CONTAINER ID STATE STATUS
mtusi-messenger-lab3-api-1 236cb759e825 running Up 8 seconds (healthy)
mtusi-messenger-lab3-api-2 787a253aa6a6 running Up About a minute (healthy)
mtusi-messenger-lab3-api-1 d1ff13561537 running Up 8 seconds (healthy)
mtusi-messenger-lab3-api-2 ac9723acebaa running Up About a minute (healthy)
$ make test-failover ACTION_SCRIPT=scripts/stop-one.sh
Executing explicit failover hook; hook output suppressed to avoid leaking secrets.
{"observed_instances_before": 2, "successful_writes": 120, "failed_attempts": 1, "first_recovery_seconds": 6.537}
{"observed_instances_before": 2, "successful_writes": 121, "failed_attempts": 0, "first_recovery_seconds": 5.125}
PASS: failover preserved confirmed data and existing session. Hook scope needs operator evidence.
# after: the stopped container is the replica whose id the test passed as TARGET_INSTANCE_ID
NAME CONTAINER ID STATE STATUS
mtusi-messenger-lab3-api-1 236cb759e825 running Up 24 seconds (healthy)
mtusi-messenger-lab3-api-2 787a253aa6a6 exited Exited (143) 8 seconds ago
mtusi-messenger-lab3-api-1 d1ff13561537 running Up 24 seconds (healthy)
mtusi-messenger-lab3-api-2 ac9723acebaa exited Exited (143) 10 seconds ago
# HAProxy log around the failure (non-2xx and state changes)
[WARNING] (8) : Server api/api2 was DOWN and now enters maintenance (No IP for server ).
Server api/api2 ('api') is UP/READY (resolves again).
[WARNING] (8) : Server api/api2 ('api') is UP/READY (resolves again).
172.24.0.1:62054 [22/Oct/2026:17:45:16.133] http api/api1 0/0/0/-1/87 502 209 - - SH-- 1/1/0/0/0 0/0 "POST /api/v1/chats/43529cee-e036-4e88-a744-c3fd0e23ce65/messages HTTP/1.1"
Server api/api1 is DOWN, reason: Layer4 connection problem, info: "Connection refused", check duration: 0ms. 1 active and 0 backup servers left. 0 sessions active, 0 requeued, 0 remaining in queue.
[WARNING] (8) : Server api/api1 is DOWN, reason: Layer4 connection problem, info: "Connection refused", check duration: 0ms. 1 active and 0 backup servers left. 0 sessions active, 0 requeued, 0 remaining in queue.
[WARNING] (8) : Server api/api2 is UP, reason: Layer7 check passed, code: 200, check duration: 9ms. 2 active and 0 backup servers online. 0 sessions requeued, 0 total in queue.
172.24.0.1:64862 [23/Oct/2026:11:38:51.915] http api/api1 0/0/0/69/69 201 504 - - ---- 1/1/0/0/0 0/0 "POST /api/v1/auth/sessions HTTP/1.1"
172.24.0.1:64886 [23/Oct/2026:11:38:52.074] http api/api1 0/0/0/26/26 201 500 - - ---- 1/1/0/0/0 0/0 "POST /api/v1/auth/sessions HTTP/1.1"
172.24.0.1:64892 [23/Oct/2026:11:38:52.179] http api/api1 0/0/0/24/24 201 500 - - ---- 1/1/0/0/0 0/0 "POST /api/v1/auth/sessions HTTP/1.1"
[WARNING] (8) : Server api/api1 is DOWN, reason: Layer7 wrong status, code: 503, info: "Service Unavailable", check duration: 3ms. 1 active and 0 backup servers left. 1 sessions active, 0 requeued, 0 remaining in queue.
Server api/api1 is DOWN, reason: Layer7 wrong status, code: 503, info: "Service Unavailable", check duration: 3ms. 1 active and 0 backup servers left. 1 sessions active, 0 requeued, 0 remaining in queue.
[WARNING] (8) : Server api/api1 was DOWN and now enters maintenance (No IP for server ).
Server api/api1 was DOWN and now enters maintenance (No IP for server ).
+19 -16
View File
@@ -1,7 +1,7 @@
# ./gradlew test (Testcontainers: postgres:17.6-alpine3.22, redis:8.4.0-alpine)
total: 66 tests, 0 failed
total: 68 tests, 0 failed
infrastructure.controllers.authentication.AuthenticationControllerTest: 9 tests, 0 failed, 7.774 s
infrastructure.controllers.authentication.AuthenticationControllerTest: 9 tests, 0 failed, 7.132 s
- logout revokes only the current token
- Bearer token cannot open a session
- password containing a colon and non-ASCII characters works
@@ -11,19 +11,19 @@ infrastructure.controllers.authentication.AuthenticationControllerTest: 9 tests,
- valid Basic credentials open a session
- missing or malformed Basic header returns 401
- wrong password and unknown user get the same 401
infrastructure.controllers.chat.ChatControllerTest: 6 tests, 0 failed, 2.101 s
infrastructure.controllers.chat.ChatControllerTest: 6 tests, 0 failed, 2.173 s
- member can read own chat and members keep their order
- unknown member is rejected before anything is written
- foreign chat returns 404 for non-member
- cursor issued to another user is rejected
- chat list contains only own chats and is paginated
- invalid member lists are rejected with 400
infrastructure.controllers.health.HealthControllerTest: 2 tests, 0 failed, 0.134 s
infrastructure.controllers.health.HealthControllerTest: 2 tests, 0 failed, 0.127 s
- live returns 200
- ready returns 200 when database is reachable
infrastructure.controllers.message.MessageConcurrencyTest: 1 tests, 0 failed, 0.335 s
infrastructure.controllers.message.MessageConcurrencyTest: 1 tests, 0 failed, 0.285 s
- parallel senders produce exactly N unique messages
infrastructure.controllers.message.MessageControllerTest: 7 tests, 0 failed, 1.946 s
infrastructure.controllers.message.MessageControllerTest: 7 tests, 0 failed, 1.826 s
- foreign chat returns 404 when sending
- last page has null next_cursor
- pagination walks all messages exactly once
@@ -31,7 +31,7 @@ infrastructure.controllers.message.MessageControllerTest: 7 tests, 0 failed, 1.9
- empty text returns 400 invalid_request
- history that is an exact multiple of limit ends with null next_cursor
- foreign cursor returns 400
infrastructure.controllers.message.MessageIdempotencyTest: 7 tests, 0 failed, 3.266 s
infrastructure.controllers.message.MessageIdempotencyTest: 7 tests, 0 failed, 3.269 s
- expired key can be used for a new message
- key scope is user and chat
- same key with another body is a conflict
@@ -39,7 +39,7 @@ infrastructure.controllers.message.MessageIdempotencyTest: 7 tests, 0 failed, 3.
- retry with the same key and body returns the original message
- retry by a former outsider is still checked for access
- concurrent retries create exactly one message
infrastructure.controllers.user.UserControllerTest: 11 tests, 0 failed, 1.638 s
infrastructure.controllers.user.UserControllerTest: 11 tests, 0 failed, 1.668 s
- password shorter than 12 code points returns 400
- concurrent registrations of one username create exactly one user
- X-User-Id alone gives no access
@@ -51,34 +51,37 @@ infrastructure.controllers.user.UserControllerTest: 11 tests, 0 failed, 1.638 s
- Basic credentials are rejected on business endpoints
- me returns the session owner
- X-User-Id does not override bearer identity
infrastructure.repositories.authentication.session.cache.RedisSessionCacheRepositoryTest: 3 tests, 0 failed, 0.102 s
infrastructure.repositories.authentication.session.cache.RedisSessionCacheRepositoryTest: 3 tests, 0 failed, 0.091 s
- cached session round-trips and expires together with the session
- revoke replaces a cached session with a tombstone
- late cache fill cannot overwrite a tombstone
infrastructure.repositories.chat.ExposedChatRepositoryTest: 2 tests, 0 failed, 0.514 s
infrastructure.repositories.chat.ExposedChatRepositoryTest: 2 tests, 0 failed, 0.498 s
- chat row is rolled back when inserting members fails
- successful creation commits the chat and every member
infrastructure.services.authentication.SessionLookupSingleFlightTest: 4 tests, 0 failed, 1.120 s
infrastructure.services.authentication.SessionLookupSingleFlightTest: 4 tests, 0 failed, 1.122 s
- request arriving after logout does not join a lookup started before it
- without single-flight every concurrent miss queries the database
- with single-flight concurrent misses share one database lookup
- lookup that finished before a request arrived is not reused
infrastructure.services.hashing.DefaultHashingServiceTest: 4 tests, 0 failed, 0.421 s
infrastructure.services.hashing.DefaultHashingServiceTest: 4 tests, 0 failed, 0.418 s
- passwords differing only after 72 bytes are distinguished
- validates the right password and rejects a wrong one
- malformed hash is rejected instead of throwing
- hash is a salted Argon2id PHC string
plugins.DatabaseMigrationTest: 1 tests, 0 failed, 0.209 s
plugins.CorsTest: 2 tests, 0 failed, 0.119 s
- page of the API itself may call it
- unknown origin is rejected
plugins.DatabaseMigrationTest: 1 tests, 0 failed, 0.188 s
- re-running migrations applies nothing and keeps data
plugins.DependencyFailureTest: 5 tests, 0 failed, 13.326 s
plugins.DependencyFailureTest: 5 tests, 0 failed, 13.637 s
- without PostgreSQL requests fail with a bounded 503
- logout during a Redis outage survives an API restart
- logout during a Redis outage is not undone by a stale cached copy
- without Redis requests bypass the cache
- hanging Redis costs one command timeout and recovers
plugins.InstanceIdTest: 1 tests, 0 failed, 0.231 s
plugins.InstanceIdTest: 1 tests, 0 failed, 0.245 s
- every response names the replica
plugins.SessionCacheTest: 3 tests, 0 failed, 0.928 s
plugins.SessionCacheTest: 3 tests, 0 failed, 0.953 s
- emptied cache falls back to PostgreSQL
- first authenticated request fills the cache
- logout leaves a tombstone and the token is rejected
+2 -2
View File
@@ -6,8 +6,8 @@ $ python3 scripts/idempotency-race.py
"201": 640
},
"requests_per_instance": {
"236cb759e825": 320,
"787a253aa6a6": 320
"ac9723acebaa": 320,
"d1ff13561537": 320
},
"rounds_with_more_than_one_message_id": 0,
"messages_in_history": 20,
+14 -14
View File
@@ -1,21 +1,21 @@
$ docker compose ps -a
NAME IMAGE STATE STATUS PORTS
mtusi-messenger-lab3-api-1 mtusi-messenger:lab3 running Up 35 seconds (healthy) 8080/tcp
mtusi-messenger-lab3-api-2 mtusi-messenger:lab3 running Up 35 seconds (healthy) 8080/tcp
mtusi-messenger-lab3-lb-1 haproxy:3.2.4-alpine running Up 29 seconds 127.0.0.1:8080->8080/tcp
mtusi-messenger-lab3-migrate-1 mtusi-messenger:lab3 exited Exited (0) 36 seconds ago
mtusi-messenger-lab3-postgres-1 postgres:17.6-alpine3.22 running Up 42 seconds (healthy) 5432/tcp
mtusi-messenger-lab3-redis-1 redis:8.4.0-alpine running Up 42 seconds (healthy) 6379/tcp
mtusi-messenger-lab3-api-1 mtusi-messenger:lab3 running Up 10 seconds (healthy) 8080/tcp
mtusi-messenger-lab3-api-2 mtusi-messenger:lab3 running Up 9 seconds (healthy) 8080/tcp
mtusi-messenger-lab3-lb-1 haproxy:3.2.4-alpine running Up 7 seconds (healthy) 127.0.0.1:8080->8080/tcp
mtusi-messenger-lab3-migrate-1 mtusi-messenger:lab3 exited Exited (0) 10 seconds ago
mtusi-messenger-lab3-postgres-1 postgres:17.6-alpine3.22 running Up 20 seconds (healthy) 5432/tcp
mtusi-messenger-lab3-redis-1 redis:8.4.0-alpine running Up 20 seconds (healthy) 6379/tcp
$ for i in 1..6: curl -sD - http://localhost:8080/health/ready | grep X-Instance-Id
x-instance-id: 236cb759e825
x-instance-id: 787a253aa6a6
x-instance-id: 236cb759e825
x-instance-id: 787a253aa6a6
x-instance-id: 236cb759e825
x-instance-id: 787a253aa6a6
x-instance-id: ac9723acebaa
x-instance-id: d1ff13561537
x-instance-id: ac9723acebaa
x-instance-id: d1ff13561537
x-instance-id: ac9723acebaa
x-instance-id: d1ff13561537
# X-Instance-Id = HOSTNAME = short container id of the replica
NAME CONTAINER ID STATE STATUS
mtusi-messenger-lab3-api-1 236cb759e825 running Up 35 seconds (healthy)
mtusi-messenger-lab3-api-2 787a253aa6a6 running Up 35 seconds (healthy)
mtusi-messenger-lab3-api-1 d1ff13561537 running Up 10 seconds (healthy)
mtusi-messenger-lab3-api-2 ac9723acebaa running Up 10 seconds (healthy)
+44
View File
@@ -0,0 +1,44 @@
$ docker compose ps
NAME IMAGE STATUS PORTS
mtusi-messenger-lab3-api-1 mtusi-messenger:lab3 Up 57 seconds (healthy) 8080/tcp
mtusi-messenger-lab3-api-2 mtusi-messenger:lab3 Up 57 seconds (healthy) 8080/tcp
mtusi-messenger-lab3-lb-1 haproxy:3.2.4-alpine Up 54 seconds (healthy) 127.0.0.1:8080->8080/tcp
mtusi-messenger-lab3-postgres-1 postgres:17.6-alpine3.22 Up About a minute (healthy) 5432/tcp
mtusi-messenger-lab3-redis-1 redis:8.4.0-alpine Up About a minute (healthy) 6379/tcp
# limits (NanoCpus / Memory) from docker inspect
/mtusi-messenger-lab3-api-1 cpus=1000000000 memory=536870912 restart=unless-stopped
/mtusi-messenger-lab3-api-2 cpus=1000000000 memory=536870912 restart=unless-stopped
/mtusi-messenger-lab3-lb-1 cpus=500000000 memory=134217728 restart=unless-stopped
/mtusi-messenger-lab3-postgres-1 cpus=1000000000 memory=1073741824 restart=unless-stopped
/mtusi-messenger-lab3-redis-1 cpus=500000000 memory=134217728 restart=unless-stopped
$ docker stats --no-stream
NAME CPU % MEM USAGE / LIMIT
mtusi-messenger-lab3-lb-1 0.21% 13.65MiB / 128MiB
mtusi-messenger-lab3-api-1 2.36% 183.7MiB / 512MiB
mtusi-messenger-lab3-api-2 1.42% 184.4MiB / 512MiB
mtusi-messenger-lab3-postgres-1 0.13% 67.29MiB / 1GiB
mtusi-messenger-lab3-redis-1 0.26% 12.44MiB / 128MiB
# published ports: only the balancer
mtusi-messenger-lab3-api-1 [{ 8080 0 tcp}]
mtusi-messenger-lab3-api-2 [{ 8080 0 tcp}]
mtusi-messenger-lab3-lb-1 [{127.0.0.1 8080 8080 tcp}]
mtusi-messenger-lab3-postgres-1 [{ 5432 0 tcp}]
mtusi-messenger-lab3-redis-1 [{ 6379 0 tcp}]
# secrets per service
api ['db_password', 'redis_password']
lb []
migrate ['db_password']
postgres ['db_password']
redis ['redis_password']
# HAProxy backend table
# pxname,svname,status,check_status
api,api1,UP,L7OK
api,api2,UP,L7OK
api,api3,MAINT (resolution),
api,api4,MAINT (resolution),
api,BACKEND,UP,
+20
View File
@@ -0,0 +1,20 @@
# Нагрузочные прогоны
Дата: 2026-10-23. Код: commit 92c2fdc + незакоммиченные изменения уровня 4 (тот же код, что в PR).
Стенд: Apple M4 (10 ядер), 16 ГБ, macOS 27; Docker Desktop 28.4 (VM 10 CPU, 8 ГБ), Compose 2.39; k6 2.3 на той же машине.
Лимиты контейнеров — как в `compose.yaml`: api 1 CPU / 512 МБ ×2, postgres 1 CPU / 1 ГБ, redis 0.5 CPU / 128 МБ, lb 0.5 CPU / 128 МБ.
Профиль (`scripts/load/mixed.js`): открытая модель, 150 запросов/с через `localhost:8080`, 10 пользователей, один общий чат.
70 % `GET /api/v1/users/me`, 30 % `POST /api/v1/chats/{id}/messages` с уникальным `Idempotency-Key`. Таймаут запроса 5 с, повторов нет.
Ошибка — любой ответ не 2xx, включая status 0 (обрыв, таймаут).
| Каталог | Команда | Что происходит |
| --- | --- | --- |
| `failover-stop-api-1`, `failover-stop-api-2` | `MODE=stop TARGET=api-N scripts/load/failover-under-load.sh` | 45 с нагрузки, на 10-й с `docker stop` реплики (SIGTERM), на 25-й `docker start` |
| `failover-kill-api-1`, `failover-kill-api-2` | `MODE=kill TARGET=api-N scripts/load/failover-under-load.sh` | то же, но `docker kill` (SIGKILL, падение процесса) |
| `rolling-update` | `scripts/load/rolling-under-load.sh` | 70 с нагрузки, с 10-й с `scripts/rolling-update.sh` |
В каждом каталоге: `k6.txt` (итог k6), `events.json` (моменты действий, epoch ms), `haproxy.log` (смены состояния backend и ответы 5xx),
`per-second.csv` (по секундам: успешные, ошибки, p99, max, сколько ответила каждая реплика), `summary.json` (итог, считает `scripts/load/summarize.py`).
Сырые данные по каждому запросу в Git не кладутся; `KEEP_RAW=1` оставляет `requests.csv` локально.
@@ -0,0 +1,2 @@
{"mode": "kill", "target": "api-1", "target_instance": "7b89cf61597b", "restored_instance": "7b89cf61597b",
"load_start": 1792755242253, "fault": 1792755252286, "fault_done": 1792755252443, "restore_begin": 1792755267305, "restore_healthy": 1792755269813}
+26
View File
@@ -0,0 +1,26 @@
█ TOTAL RESULTS
CUSTOM
served_by......................: 6726 146.724721/s
HTTP
http_req_duration..............: avg=24.62ms med=1.73ms p(95)=6.23ms p(99)=1s max=1.01s
{ expected_response:true }...: avg=24.62ms med=1.73ms p(95)=6.23ms p(99)=1s max=1.01s
http_req_failed................: 0.00% 0 out of 6747
http_reqs......................: 6747 147.182826/s
EXECUTION
dropped_iterations.............: 25 0.545364/s
iteration_duration.............: avg=24.77ms med=1.92ms p(95)=6.16ms p(99)=1s max=1.01s
iterations.....................: 6726 146.724721/s
vus............................: 0 min=0 max=66
vus_max........................: 75 min=50 max=75
NETWORK
data_received..................: 2.6 MB 57 kB/s
data_sent......................: 1.3 MB 29 kB/s
@@ -0,0 +1,46 @@
second,ok,errors,p99_ms,max_ms,4fa49e9e1a53,7b89cf61597b
0,151,0,11.9,12.3,75,76
1,149,0,5.9,6.7,75,74
2,150,0,9.8,10.5,75,75
3,150,0,6.4,7.3,75,75
4,150,0,7.0,7.9,75,75
5,151,0,5.8,7.8,75,76
6,150,0,3.9,7.1,75,75
7,149,0,6.2,6.5,75,74
8,150,0,6.2,6.4,75,75
9,151,0,6.1,7.3,75,76
10,97,0,7.6,7.6,77,20
11,104,0,1007.5,1009.4,104,0
12,224,0,1006.6,1011.5,224,0
13,150,0,7.1,15.8,150,0
14,150,0,8.9,22.4,150,0
15,150,0,4.3,5.1,150,0
16,150,0,6.2,7.4,150,0
17,150,0,5.2,6.2,150,0
18,149,0,5.1,5.9,149,0
19,151,0,5.4,6.8,151,0
20,150,0,5.7,5.8,150,0
21,150,0,5.6,5.7,150,0
22,150,0,11.5,14.7,150,0
23,150,0,5.7,6.0,150,0
24,150,0,5.5,6.2,150,0
25,150,0,34.2,43.0,150,0
26,150,0,4.1,4.4,150,0
27,149,0,5.9,6.1,149,0
28,136,0,7.4,8.0,136,0
29,164,0,714.7,777.3,75,89
30,151,0,8.4,20.8,75,76
31,149,0,32.0,41.6,74,75
32,151,0,12.8,15.2,76,75
33,150,0,5.6,5.8,75,75
34,150,0,5.4,5.5,75,75
35,150,0,10.5,12.2,75,75
36,150,0,5.7,6.5,75,75
37,150,0,5.5,5.9,75,75
38,150,0,5.4,6.6,75,75
39,150,0,6.4,6.5,75,75
40,150,0,5.7,6.2,75,75
41,149,0,5.2,5.5,74,75
42,150,0,26.9,29.4,75,75
43,151,0,6.9,7.1,76,75
44,150,0,17.8,18.8,75,75
1 second ok errors p99_ms max_ms 4fa49e9e1a53 7b89cf61597b
2 0 151 0 11.9 12.3 75 76
3 1 149 0 5.9 6.7 75 74
4 2 150 0 9.8 10.5 75 75
5 3 150 0 6.4 7.3 75 75
6 4 150 0 7.0 7.9 75 75
7 5 151 0 5.8 7.8 75 76
8 6 150 0 3.9 7.1 75 75
9 7 149 0 6.2 6.5 75 74
10 8 150 0 6.2 6.4 75 75
11 9 151 0 6.1 7.3 75 76
12 10 97 0 7.6 7.6 77 20
13 11 104 0 1007.5 1009.4 104 0
14 12 224 0 1006.6 1011.5 224 0
15 13 150 0 7.1 15.8 150 0
16 14 150 0 8.9 22.4 150 0
17 15 150 0 4.3 5.1 150 0
18 16 150 0 6.2 7.4 150 0
19 17 150 0 5.2 6.2 150 0
20 18 149 0 5.1 5.9 149 0
21 19 151 0 5.4 6.8 151 0
22 20 150 0 5.7 5.8 150 0
23 21 150 0 5.6 5.7 150 0
24 22 150 0 11.5 14.7 150 0
25 23 150 0 5.7 6.0 150 0
26 24 150 0 5.5 6.2 150 0
27 25 150 0 34.2 43.0 150 0
28 26 150 0 4.1 4.4 150 0
29 27 149 0 5.9 6.1 149 0
30 28 136 0 7.4 8.0 136 0
31 29 164 0 714.7 777.3 75 89
32 30 151 0 8.4 20.8 75 76
33 31 149 0 32.0 41.6 74 75
34 32 151 0 12.8 15.2 76 75
35 33 150 0 5.6 5.8 75 75
36 34 150 0 5.4 5.5 75 75
37 35 150 0 10.5 12.2 75 75
38 36 150 0 5.7 6.5 75 75
39 37 150 0 5.5 5.9 75 75
40 38 150 0 5.4 6.6 75 75
41 39 150 0 6.4 6.5 75 75
42 40 150 0 5.7 6.2 75 75
43 41 149 0 5.2 5.5 74 75
44 42 150 0 26.9 29.4 75 75
45 43 151 0 6.9 7.1 76 75
46 44 150 0 17.8 18.8 75 75
@@ -0,0 +1,26 @@
{
"requests": 6726,
"ok": 6726,
"errors": 0,
"error_codes": {},
"ok_rps": 149.5,
"p50_ms": 1.7,
"p95_ms": 5.9,
"p99_ms": 1003.5,
"max_ms": 1011.5,
"requests_per_instance": {
"7b89cf61597b": 1986,
"4fa49e9e1a53": 4740
},
"event_load_start_s": 0.22,
"event_fault_s": 10.26,
"event_fault_done_s": 10.41,
"event_restore_begin_s": 25.27,
"event_restore_healthy_s": 27.78,
"errors_after_fault": 0,
"last_error_after_fault_s": null,
"target_last_response_after_fault_s": 0.01,
"restored_replica_first_response_after_start_s": 3.85,
"lb_marked_down_after_fault_s": 1.74,
"lb_marked_up_after_start_s": 3.52
}
@@ -0,0 +1,2 @@
{"mode": "kill", "target": "api-2", "target_instance": "4fa49e9e1a53", "restored_instance": "4fa49e9e1a53",
"load_start": 1792755292111, "fault": 1792755302165, "fault_done": 1792755302329, "restore_begin": 1792755317163, "restore_healthy": 1792755319645}
+26
View File
@@ -0,0 +1,26 @@
█ TOTAL RESULTS
CUSTOM
served_by......................: 6722 146.537002/s
HTTP
http_req_duration..............: avg=25.2ms med=1.69ms p(95)=5.68ms p(99)=1s max=1.01s
{ expected_response:true }...: avg=25.2ms med=1.69ms p(95)=5.68ms p(99)=1s max=1.01s
http_req_failed................: 0.00% 0 out of 6743
http_reqs......................: 6743 146.994794/s
EXECUTION
dropped_iterations.............: 29 0.632189/s
iteration_duration.............: avg=25.35ms med=1.88ms p(95)=5.77ms p(99)=1s max=1.01s
iterations.....................: 6722 146.537002/s
vus............................: 1 min=0 max=78
vus_max........................: 79 min=50 max=79
NETWORK
data_received..................: 2.6 MB 57 kB/s
data_sent......................: 1.3 MB 29 kB/s
@@ -0,0 +1,46 @@
second,ok,errors,p99_ms,max_ms,4fa49e9e1a53,7b89cf61597b
0,151,0,4.9,6.7,76,75
1,150,0,6.1,6.7,75,75
2,150,0,8.3,9.0,75,75
3,150,0,5.8,6.2,75,75
4,150,0,5.5,6.4,75,75
5,150,0,5.4,5.7,75,75
6,150,0,5.4,6.1,75,75
7,150,0,5.5,6.1,75,75
8,150,0,6.8,7.2,75,75
9,150,0,7.0,7.8,75,75
10,96,0,9.1,9.1,19,77
11,104,0,1010.4,1012.0,0,104
12,209,0,1006.0,1006.3,0,209
13,162,0,1004.9,1005.5,0,162
14,149,0,5.8,6.0,0,149
15,151,0,3.7,3.8,0,151
16,150,0,4.6,6.1,0,150
17,150,0,5.4,6.2,0,150
18,150,0,5.5,7.0,0,150
19,150,0,6.0,7.1,0,150
20,149,0,5.8,7.3,0,149
21,151,0,6.5,6.9,0,151
22,150,0,5.5,5.7,0,150
23,149,0,6.4,6.6,0,149
24,151,0,11.2,13.3,0,151
25,150,0,11.7,14.0,0,150
26,150,0,4.3,5.2,0,150
27,150,0,6.2,6.2,0,150
28,133,0,6.0,7.3,0,133
29,167,0,694.4,717.1,92,75
30,150,0,5.9,7.7,75,75
31,148,0,8.0,33.2,74,74
32,152,0,6.2,23.0,76,76
33,150,0,5.5,6.5,75,75
34,150,0,29.7,35.8,75,75
35,150,0,4.9,6.4,75,75
36,150,0,5.1,5.2,75,75
37,150,0,4.9,5.2,75,75
38,150,0,4.9,5.7,75,75
39,149,0,5.3,5.7,75,74
40,151,0,5.9,6.7,75,76
41,149,0,4.4,4.4,75,74
42,151,0,9.9,10.7,75,76
43,150,0,8.5,8.9,75,75
44,150,0,5.5,6.2,75,75
1 second ok errors p99_ms max_ms 4fa49e9e1a53 7b89cf61597b
2 0 151 0 4.9 6.7 76 75
3 1 150 0 6.1 6.7 75 75
4 2 150 0 8.3 9.0 75 75
5 3 150 0 5.8 6.2 75 75
6 4 150 0 5.5 6.4 75 75
7 5 150 0 5.4 5.7 75 75
8 6 150 0 5.4 6.1 75 75
9 7 150 0 5.5 6.1 75 75
10 8 150 0 6.8 7.2 75 75
11 9 150 0 7.0 7.8 75 75
12 10 96 0 9.1 9.1 19 77
13 11 104 0 1010.4 1012.0 0 104
14 12 209 0 1006.0 1006.3 0 209
15 13 162 0 1004.9 1005.5 0 162
16 14 149 0 5.8 6.0 0 149
17 15 151 0 3.7 3.8 0 151
18 16 150 0 4.6 6.1 0 150
19 17 150 0 5.4 6.2 0 150
20 18 150 0 5.5 7.0 0 150
21 19 150 0 6.0 7.1 0 150
22 20 149 0 5.8 7.3 0 149
23 21 151 0 6.5 6.9 0 151
24 22 150 0 5.5 5.7 0 150
25 23 149 0 6.4 6.6 0 149
26 24 151 0 11.2 13.3 0 151
27 25 150 0 11.7 14.0 0 150
28 26 150 0 4.3 5.2 0 150
29 27 150 0 6.2 6.2 0 150
30 28 133 0 6.0 7.3 0 133
31 29 167 0 694.4 717.1 92 75
32 30 150 0 5.9 7.7 75 75
33 31 148 0 8.0 33.2 74 74
34 32 152 0 6.2 23.0 76 76
35 33 150 0 5.5 6.5 75 75
36 34 150 0 29.7 35.8 75 75
37 35 150 0 4.9 6.4 75 75
38 36 150 0 5.1 5.2 75 75
39 37 150 0 4.9 5.2 75 75
40 38 150 0 4.9 5.7 75 75
41 39 149 0 5.3 5.7 75 74
42 40 151 0 5.9 6.7 75 76
43 41 149 0 4.4 4.4 75 74
44 42 151 0 9.9 10.7 75 76
45 43 150 0 8.5 8.9 75 75
46 44 150 0 5.5 6.2 75 75
@@ -0,0 +1,26 @@
{
"requests": 6722,
"ok": 6722,
"errors": 0,
"error_codes": {},
"ok_rps": 149.4,
"p50_ms": 1.7,
"p95_ms": 5.4,
"p99_ms": 1003.5,
"max_ms": 1012.0,
"requests_per_instance": {
"4fa49e9e1a53": 1987,
"7b89cf61597b": 4735
},
"event_load_start_s": 0.18,
"event_fault_s": 10.23,
"event_fault_done_s": 10.4,
"event_restore_begin_s": 25.23,
"event_restore_healthy_s": 27.71,
"errors_after_fault": 0,
"last_error_after_fault_s": null,
"target_last_response_after_fault_s": 0.02,
"restored_replica_first_response_after_start_s": 3.86,
"lb_marked_down_after_fault_s": 1.92,
"lb_marked_up_after_start_s": 3.54
}
@@ -0,0 +1,2 @@
{"mode": "stop", "target": "api-1", "target_instance": "7b89cf61597b", "restored_instance": "7b89cf61597b",
"load_start": 1792755143191, "fault": 1792755153238, "fault_done": 1792755158479, "restore_begin": 1792755168242, "restore_healthy": 1792755170683}
+25
View File
@@ -0,0 +1,25 @@
█ TOTAL RESULTS
CUSTOM
served_by......................: 6750 143.513142/s
HTTP
http_req_duration..............: avg=5.21ms med=2.03ms p(95)=5.28ms p(99)=66.29ms max=608.68ms
{ expected_response:true }...: avg=5.21ms med=2.03ms p(95)=5.28ms p(99)=66.29ms max=608.68ms
http_req_failed................: 0.00% 0 out of 6771
http_reqs......................: 6771 143.959628/s
EXECUTION
iteration_duration.............: avg=5.13ms med=2.21ms p(95)=5.47ms p(99)=48.43ms max=608.87ms
iterations.....................: 6750 143.513142/s
vus............................: 2 min=0 max=26
vus_max........................: 50 min=50 max=50
NETWORK
data_received..................: 2.6 MB 56 kB/s
data_sent......................: 1.4 MB 29 kB/s
@@ -0,0 +1,46 @@
second,ok,errors,p99_ms,max_ms,4fa49e9e1a53,7b89cf61597b
0,153,0,205.2,220.8,77,76
1,150,0,7.0,7.7,75,75
2,150,0,7.3,16.6,75,75
3,150,0,5.6,6.1,75,75
4,150,0,6.3,6.6,75,75
5,150,0,30.2,41.5,75,75
6,150,0,7.4,7.8,75,75
7,150,0,7.0,7.3,75,75
8,150,0,58.5,73.3,75,75
9,150,0,5.7,7.0,75,75
10,150,0,5.7,7.6,75,75
11,150,0,5.8,6.1,75,75
12,150,0,25.5,29.9,134,16
13,150,0,5.8,6.6,150,0
14,150,0,4.9,5.5,150,0
15,150,0,4.6,5.3,150,0
16,150,0,11.3,14.1,150,0
17,150,0,4.4,5.2,150,0
18,150,0,5.0,6.8,150,0
19,150,0,6.2,7.2,150,0
20,150,0,6.6,6.9,150,0
21,150,0,6.7,8.5,150,0
22,151,0,7.8,12.3,151,0
23,150,0,5.0,11.3,150,0
24,149,0,20.5,27.7,149,0
25,150,0,5.7,6.3,150,0
26,150,0,7.8,8.4,150,0
27,150,0,6.6,10.4,150,0
28,151,0,4.4,8.2,151,0
29,120,0,543.2,554.2,103,17
30,180,0,602.9,608.7,75,105
31,149,0,5.9,8.8,74,75
32,150,0,18.6,31.4,75,75
33,150,0,5.2,5.6,75,75
34,150,0,5.9,6.0,75,75
35,150,0,7.6,9.4,75,75
36,150,0,4.6,4.7,75,75
37,150,0,4.0,5.1,75,75
38,150,0,5.5,7.1,75,75
39,151,0,4.9,5.0,76,75
40,149,0,7.3,7.6,74,75
41,150,0,7.4,16.1,75,75
42,150,0,6.8,13.7,75,75
43,150,0,5.7,9.3,75,75
44,147,0,45.7,53.5,74,73
1 second ok errors p99_ms max_ms 4fa49e9e1a53 7b89cf61597b
2 0 153 0 205.2 220.8 77 76
3 1 150 0 7.0 7.7 75 75
4 2 150 0 7.3 16.6 75 75
5 3 150 0 5.6 6.1 75 75
6 4 150 0 6.3 6.6 75 75
7 5 150 0 30.2 41.5 75 75
8 6 150 0 7.4 7.8 75 75
9 7 150 0 7.0 7.3 75 75
10 8 150 0 58.5 73.3 75 75
11 9 150 0 5.7 7.0 75 75
12 10 150 0 5.7 7.6 75 75
13 11 150 0 5.8 6.1 75 75
14 12 150 0 25.5 29.9 134 16
15 13 150 0 5.8 6.6 150 0
16 14 150 0 4.9 5.5 150 0
17 15 150 0 4.6 5.3 150 0
18 16 150 0 11.3 14.1 150 0
19 17 150 0 4.4 5.2 150 0
20 18 150 0 5.0 6.8 150 0
21 19 150 0 6.2 7.2 150 0
22 20 150 0 6.6 6.9 150 0
23 21 150 0 6.7 8.5 150 0
24 22 151 0 7.8 12.3 151 0
25 23 150 0 5.0 11.3 150 0
26 24 149 0 20.5 27.7 149 0
27 25 150 0 5.7 6.3 150 0
28 26 150 0 7.8 8.4 150 0
29 27 150 0 6.6 10.4 150 0
30 28 151 0 4.4 8.2 151 0
31 29 120 0 543.2 554.2 103 17
32 30 180 0 602.9 608.7 75 105
33 31 149 0 5.9 8.8 74 75
34 32 150 0 18.6 31.4 75 75
35 33 150 0 5.2 5.6 75 75
36 34 150 0 5.9 6.0 75 75
37 35 150 0 7.6 9.4 75 75
38 36 150 0 4.6 4.7 75 75
39 37 150 0 4.0 5.1 75 75
40 38 150 0 5.5 7.1 75 75
41 39 151 0 4.9 5.0 76 75
42 40 149 0 7.3 7.6 74 75
43 41 150 0 7.4 16.1 75 75
44 42 150 0 6.8 13.7 75 75
45 43 150 0 5.7 9.3 75 75
46 44 147 0 45.7 53.5 74 73
@@ -0,0 +1,26 @@
{
"requests": 6750,
"ok": 6750,
"errors": 0,
"error_codes": {},
"ok_rps": 150.0,
"p50_ms": 2.0,
"p95_ms": 5.2,
"p99_ms": 48.3,
"max_ms": 608.7,
"requests_per_instance": {
"7b89cf61597b": 2087,
"4fa49e9e1a53": 4663
},
"event_load_start_s": 1.08,
"event_fault_s": 11.13,
"event_fault_done_s": 16.37,
"event_restore_begin_s": 26.13,
"event_restore_healthy_s": 28.57,
"errors_after_fault": 0,
"last_error_after_fault_s": null,
"target_last_response_after_fault_s": 1.07,
"restored_replica_first_response_after_start_s": 3.8,
"lb_marked_down_after_fault_s": 1.08,
"lb_marked_up_after_start_s": 3.24
}
@@ -0,0 +1,2 @@
{"mode": "stop", "target": "api-2", "target_instance": "4fa49e9e1a53", "restored_instance": "4fa49e9e1a53",
"load_start": 1792755193214, "fault": 1792755203249, "fault_done": 1792755207464, "restore_begin": 1792755218279, "restore_healthy": 1792755220771}
+26
View File
@@ -0,0 +1,26 @@
█ TOTAL RESULTS
CUSTOM
served_by......................: 6743 145.744963/s
HTTP
http_req_duration..............: avg=8.51ms med=1.69ms p(95)=5.01ms p(99)=161.63ms max=1.04s
{ expected_response:true }...: avg=8.51ms med=1.69ms p(95)=5.01ms p(99)=161.63ms max=1.04s
http_req_failed................: 0.00% 0 out of 6764
http_reqs......................: 6764 146.198862/s
EXECUTION
dropped_iterations.............: 8 0.172914/s
iteration_duration.............: avg=8.54ms med=1.88ms p(95)=5.16ms p(99)=156.59ms max=1.04s
iterations.....................: 6743 145.744963/s
vus............................: 0 min=0 max=28
vus_max........................: 58 min=50 max=58
NETWORK
data_received..................: 2.6 MB 56 kB/s
data_sent......................: 1.4 MB 29 kB/s
@@ -0,0 +1,46 @@
second,ok,errors,p99_ms,max_ms,4fa49e9e1a53,7b89cf61597b
0,151,0,5.3,5.3,76,75
1,150,0,5.6,6.0,75,75
2,150,0,10.9,11.6,75,75
3,150,0,9.9,10.0,75,75
4,150,0,10.2,12.3,75,75
5,150,0,6.3,7.4,75,75
6,150,0,5.7,6.3,75,75
7,150,0,8.4,16.2,75,75
8,149,0,6.0,7.9,74,75
9,151,0,4.2,5.4,76,75
10,150,0,4.3,4.4,75,75
11,150,0,8.1,12.1,75,75
12,150,0,6.8,10.4,44,106
13,150,0,5.7,5.9,0,150
14,150,0,5.6,6.2,0,150
15,150,0,4.9,5.9,0,150
16,150,0,4.4,4.9,0,150
17,150,0,4.4,4.8,0,150
18,150,0,5.9,6.1,0,150
19,150,0,5.7,10.8,0,150
20,150,0,5.8,5.8,0,150
21,149,0,6.2,7.7,0,149
22,150,0,8.5,11.4,0,150
23,151,0,5.0,5.4,0,151
24,150,0,5.1,5.1,0,150
25,150,0,6.0,8.8,0,150
26,150,0,4.9,6.9,0,150
27,119,0,4.0,5.5,0,119
28,172,0,1038.9,1043.4,101,71
29,151,0,53.1,64.8,76,75
30,150,0,6.5,7.6,75,75
31,150,0,6.1,7.2,75,75
32,150,0,7.6,8.6,75,75
33,150,0,5.7,11.9,75,75
34,150,0,6.1,8.2,75,75
35,150,0,7.8,10.4,75,75
36,150,0,5.1,5.1,75,75
37,150,0,5.0,6.6,75,75
38,150,0,7.3,8.7,75,75
39,150,0,5.8,5.8,75,75
40,150,0,5.3,5.5,75,75
41,150,0,4.2,4.6,75,75
42,150,0,10.8,11.4,75,75
43,150,0,5.5,5.6,75,75
44,150,0,7.1,8.6,75,75
1 second ok errors p99_ms max_ms 4fa49e9e1a53 7b89cf61597b
2 0 151 0 5.3 5.3 76 75
3 1 150 0 5.6 6.0 75 75
4 2 150 0 10.9 11.6 75 75
5 3 150 0 9.9 10.0 75 75
6 4 150 0 10.2 12.3 75 75
7 5 150 0 6.3 7.4 75 75
8 6 150 0 5.7 6.3 75 75
9 7 150 0 8.4 16.2 75 75
10 8 149 0 6.0 7.9 74 75
11 9 151 0 4.2 5.4 76 75
12 10 150 0 4.3 4.4 75 75
13 11 150 0 8.1 12.1 75 75
14 12 150 0 6.8 10.4 44 106
15 13 150 0 5.7 5.9 0 150
16 14 150 0 5.6 6.2 0 150
17 15 150 0 4.9 5.9 0 150
18 16 150 0 4.4 4.9 0 150
19 17 150 0 4.4 4.8 0 150
20 18 150 0 5.9 6.1 0 150
21 19 150 0 5.7 10.8 0 150
22 20 150 0 5.8 5.8 0 150
23 21 149 0 6.2 7.7 0 149
24 22 150 0 8.5 11.4 0 150
25 23 151 0 5.0 5.4 0 151
26 24 150 0 5.1 5.1 0 150
27 25 150 0 6.0 8.8 0 150
28 26 150 0 4.9 6.9 0 150
29 27 119 0 4.0 5.5 0 119
30 28 172 0 1038.9 1043.4 101 71
31 29 151 0 53.1 64.8 76 75
32 30 150 0 6.5 7.6 75 75
33 31 150 0 6.1 7.2 75 75
34 32 150 0 7.6 8.6 75 75
35 33 150 0 5.7 11.9 75 75
36 34 150 0 6.1 8.2 75 75
37 35 150 0 7.8 10.4 75 75
38 36 150 0 5.1 5.1 75 75
39 37 150 0 5.0 6.6 75 75
40 38 150 0 7.3 8.7 75 75
41 39 150 0 5.8 5.8 75 75
42 40 150 0 5.3 5.5 75 75
43 41 150 0 4.2 4.6 75 75
44 42 150 0 10.8 11.4 75 75
45 43 150 0 5.5 5.6 75 75
46 44 150 0 7.1 8.6 75 75
@@ -0,0 +1,26 @@
{
"requests": 6743,
"ok": 6743,
"errors": 0,
"error_codes": {},
"ok_rps": 149.8,
"p50_ms": 1.7,
"p95_ms": 4.9,
"p99_ms": 161.6,
"max_ms": 1043.4,
"requests_per_instance": {
"4fa49e9e1a53": 2247,
"7b89cf61597b": 4496
},
"event_load_start_s": 0.87,
"event_fault_s": 10.9,
"event_fault_done_s": 15.12,
"event_restore_begin_s": 25.93,
"event_restore_healthy_s": 28.43,
"errors_after_fault": 0,
"last_error_after_fault_s": null,
"target_last_response_after_fault_s": 1.68,
"restored_replica_first_response_after_start_s": 2.41,
"lb_marked_down_after_fault_s": 1.69,
"lb_marked_up_after_start_s": null
}
+1
View File
@@ -0,0 +1 @@
{"load_start": 1792755359464, "rolling_begin": 1792755369523, "rolling_end": 1792755395558}
+25
View File
@@ -0,0 +1,25 @@
█ TOTAL RESULTS
CUSTOM
served_by......................: 10501 148.101961/s
HTTP
http_req_duration..............: avg=3.73ms med=1.88ms p(95)=4.77ms p(99)=14.85ms max=625.43ms
{ expected_response:true }...: avg=3.73ms med=1.88ms p(95)=4.77ms p(99)=14.85ms max=625.43ms
http_req_failed................: 0.00% 0 out of 10522
http_reqs......................: 10522 148.398137/s
EXECUTION
iteration_duration.............: avg=3.84ms med=2.06ms p(95)=4.98ms p(99)=12ms max=625.53ms
iterations.....................: 10501 148.101961/s
vus............................: 0 min=0 max=27
vus_max........................: 50 min=50 max=50
NETWORK
data_received..................: 4.1 MB 57 kB/s
data_sent......................: 2.1 MB 30 kB/s
@@ -0,0 +1,71 @@
second,ok,errors,p99_ms,max_ms,1239a2b734c0,4fa49e9e1a53,7b89cf61597b,d23287559687
0,151,0,5.5,9.0,0,75,76,0
1,150,0,5.1,7.0,0,75,75,0
2,150,0,9.8,10.3,0,75,75,0
3,150,0,5.7,6.4,0,75,75,0
4,150,0,6.9,7.0,0,75,75,0
5,150,0,6.3,9.4,0,75,75,0
6,150,0,4.6,6.8,0,75,75,0
7,150,0,5.6,6.0,0,75,75,0
8,150,0,17.0,22.8,0,75,75,0
9,150,0,7.7,9.3,0,75,75,0
10,150,0,4.6,5.3,0,75,75,0
11,150,0,4.5,6.2,0,75,75,0
12,150,0,4.3,4.4,0,75,75,0
13,150,0,6.1,10.7,0,75,75,0
14,150,0,17.3,25.9,0,75,75,0
15,150,0,9.2,16.0,0,75,75,0
16,150,0,4.2,4.5,0,75,75,0
17,149,0,13.0,21.3,0,75,74,0
18,151,0,13.5,13.8,0,75,76,0
19,150,0,4.6,4.6,0,75,75,0
20,149,0,6.1,11.1,0,75,74,0
21,129,0,8.7,11.5,0,64,65,0
22,172,0,586.0,625.4,0,50,50,72
23,150,0,8.1,10.9,0,68,14,68
24,150,0,5.0,5.4,0,75,0,75
25,150,0,7.6,12.0,0,75,0,75
26,150,0,9.6,10.2,0,75,0,75
27,150,0,20.6,22.0,0,75,0,75
28,150,0,5.1,7.4,0,75,0,75
29,150,0,24.8,27.6,0,75,0,75
30,149,0,354.8,406.4,28,61,0,60
31,151,0,6.2,6.3,51,50,0,50
32,150,0,6.2,7.9,74,1,0,75
33,150,0,5.6,6.0,75,0,0,75
34,150,0,6.7,7.1,75,0,0,75
35,150,0,11.7,13.0,75,0,0,75
36,150,0,20.0,28.9,75,0,0,75
37,150,0,5.5,6.0,75,0,0,75
38,150,0,6.0,6.4,75,0,0,75
39,150,0,5.5,5.8,75,0,0,75
40,150,0,5.1,5.3,75,0,0,75
41,150,0,24.6,37.4,75,0,0,75
42,150,0,4.6,7.6,75,0,0,75
43,150,0,5.0,6.1,75,0,0,75
44,150,0,6.6,7.5,75,0,0,75
45,150,0,7.7,11.6,75,0,0,75
46,150,0,5.8,5.9,75,0,0,75
47,150,0,34.1,39.4,75,0,0,75
48,150,0,5.3,5.5,75,0,0,75
49,150,0,5.2,6.0,75,0,0,75
50,150,0,5.3,5.5,75,0,0,75
51,150,0,5.7,6.7,75,0,0,75
52,150,0,5.8,5.9,75,0,0,75
53,150,0,5.7,6.7,75,0,0,75
54,150,0,5.5,7.1,75,0,0,75
55,150,0,6.5,6.7,75,0,0,75
56,149,0,6.7,6.9,75,0,0,74
57,151,0,8.0,11.5,75,0,0,76
58,150,0,5.3,5.4,75,0,0,75
59,150,0,5.6,5.7,75,0,0,75
60,150,0,4.3,4.6,75,0,0,75
61,150,0,5.9,6.2,75,0,0,75
62,150,0,6.1,7.5,75,0,0,75
63,150,0,4.5,4.8,75,0,0,75
64,150,0,5.5,6.9,75,0,0,75
65,150,0,7.2,7.7,75,0,0,75
66,150,0,5.0,5.2,75,0,0,75
67,150,0,4.2,4.9,75,0,0,75
68,150,0,8.6,8.9,75,0,0,75
69,150,0,5.8,7.4,75,0,0,75
1 second ok errors p99_ms max_ms 1239a2b734c0 4fa49e9e1a53 7b89cf61597b d23287559687
2 0 151 0 5.5 9.0 0 75 76 0
3 1 150 0 5.1 7.0 0 75 75 0
4 2 150 0 9.8 10.3 0 75 75 0
5 3 150 0 5.7 6.4 0 75 75 0
6 4 150 0 6.9 7.0 0 75 75 0
7 5 150 0 6.3 9.4 0 75 75 0
8 6 150 0 4.6 6.8 0 75 75 0
9 7 150 0 5.6 6.0 0 75 75 0
10 8 150 0 17.0 22.8 0 75 75 0
11 9 150 0 7.7 9.3 0 75 75 0
12 10 150 0 4.6 5.3 0 75 75 0
13 11 150 0 4.5 6.2 0 75 75 0
14 12 150 0 4.3 4.4 0 75 75 0
15 13 150 0 6.1 10.7 0 75 75 0
16 14 150 0 17.3 25.9 0 75 75 0
17 15 150 0 9.2 16.0 0 75 75 0
18 16 150 0 4.2 4.5 0 75 75 0
19 17 149 0 13.0 21.3 0 75 74 0
20 18 151 0 13.5 13.8 0 75 76 0
21 19 150 0 4.6 4.6 0 75 75 0
22 20 149 0 6.1 11.1 0 75 74 0
23 21 129 0 8.7 11.5 0 64 65 0
24 22 172 0 586.0 625.4 0 50 50 72
25 23 150 0 8.1 10.9 0 68 14 68
26 24 150 0 5.0 5.4 0 75 0 75
27 25 150 0 7.6 12.0 0 75 0 75
28 26 150 0 9.6 10.2 0 75 0 75
29 27 150 0 20.6 22.0 0 75 0 75
30 28 150 0 5.1 7.4 0 75 0 75
31 29 150 0 24.8 27.6 0 75 0 75
32 30 149 0 354.8 406.4 28 61 0 60
33 31 151 0 6.2 6.3 51 50 0 50
34 32 150 0 6.2 7.9 74 1 0 75
35 33 150 0 5.6 6.0 75 0 0 75
36 34 150 0 6.7 7.1 75 0 0 75
37 35 150 0 11.7 13.0 75 0 0 75
38 36 150 0 20.0 28.9 75 0 0 75
39 37 150 0 5.5 6.0 75 0 0 75
40 38 150 0 6.0 6.4 75 0 0 75
41 39 150 0 5.5 5.8 75 0 0 75
42 40 150 0 5.1 5.3 75 0 0 75
43 41 150 0 24.6 37.4 75 0 0 75
44 42 150 0 4.6 7.6 75 0 0 75
45 43 150 0 5.0 6.1 75 0 0 75
46 44 150 0 6.6 7.5 75 0 0 75
47 45 150 0 7.7 11.6 75 0 0 75
48 46 150 0 5.8 5.9 75 0 0 75
49 47 150 0 34.1 39.4 75 0 0 75
50 48 150 0 5.3 5.5 75 0 0 75
51 49 150 0 5.2 6.0 75 0 0 75
52 50 150 0 5.3 5.5 75 0 0 75
53 51 150 0 5.7 6.7 75 0 0 75
54 52 150 0 5.8 5.9 75 0 0 75
55 53 150 0 5.7 6.7 75 0 0 75
56 54 150 0 5.5 7.1 75 0 0 75
57 55 150 0 6.5 6.7 75 0 0 75
58 56 149 0 6.7 6.9 75 0 0 74
59 57 151 0 8.0 11.5 75 0 0 76
60 58 150 0 5.3 5.4 75 0 0 75
61 59 150 0 5.6 5.7 75 0 0 75
62 60 150 0 4.3 4.6 75 0 0 75
63 61 150 0 5.9 6.2 75 0 0 75
64 62 150 0 6.1 7.5 75 0 0 75
65 63 150 0 4.5 4.8 75 0 0 75
66 64 150 0 5.5 6.9 75 0 0 75
67 65 150 0 7.2 7.7 75 0 0 75
68 66 150 0 5.0 5.2 75 0 0 75
69 67 150 0 4.2 4.9 75 0 0 75
70 68 150 0 8.6 8.9 75 0 0 75
71 69 150 0 5.8 7.4 75 0 0 75
+20
View File
@@ -0,0 +1,20 @@
{
"requests": 10501,
"ok": 10501,
"errors": 0,
"error_codes": {},
"ok_rps": 150.0,
"p50_ms": 1.9,
"p95_ms": 4.7,
"p99_ms": 11.7,
"max_ms": 625.4,
"requests_per_instance": {
"7b89cf61597b": 1704,
"4fa49e9e1a53": 2319,
"d23287559687": 3550,
"1239a2b734c0": 2928
},
"event_load_start_s": 0.33,
"event_rolling_begin_s": 10.38,
"event_rolling_end_s": 36.42
}
+14 -14
View File
@@ -1,24 +1,24 @@
# before
NAME STATE STATUS
mtusi-messenger-lab3-api-1 running Up 35 seconds (healthy)
mtusi-messenger-lab3-api-2 running Up 8 seconds (healthy)
mtusi-messenger-lab3-lb-1 running Up 2 minutes
mtusi-messenger-lab3-migrate-1 exited Exited (0) 7 seconds ago
mtusi-messenger-lab3-api-1 running Up 37 seconds (healthy)
mtusi-messenger-lab3-api-2 running Up 7 seconds (healthy)
mtusi-messenger-lab3-lb-1 running Up About a minute (healthy)
mtusi-messenger-lab3-migrate-1 exited Exited (0) 4 seconds ago
mtusi-messenger-lab3-postgres-1 running Up 2 minutes (healthy)
mtusi-messenger-lab3-redis-1 running Up 2 minutes (healthy)
/mtusi-messenger-lab3-api-1 StartedAt=2026-10-22T17:45:06.396826175Z
/mtusi-messenger-lab3-api-2 StartedAt=2026-10-22T17:45:33.184696798Z
/mtusi-messenger-lab3-lb-1 StartedAt=2026-10-22T17:43:17.31840918Z
/mtusi-messenger-lab3-postgres-1 StartedAt=2026-10-22T17:43:04.928814758Z
/mtusi-messenger-lab3-redis-1 StartedAt=2026-10-22T17:43:04.927049216Z
/mtusi-messenger-lab3-api-1 StartedAt=2026-10-23T11:38:43.02725971Z
/mtusi-messenger-lab3-api-2 StartedAt=2026-10-23T11:39:12.251618502Z
/mtusi-messenger-lab3-lb-1 StartedAt=2026-10-23T11:37:31.902111428Z
/mtusi-messenger-lab3-postgres-1 StartedAt=2026-10-23T11:37:18.99589288Z
/mtusi-messenger-lab3-redis-1 StartedAt=2026-10-23T11:37:18.995508005Z
$ make test-persistence ACTION_SCRIPT=scripts/restart.sh
PASS: persistence preserved confirmed data and existing session. Hook scope needs operator evidence.
# after: every container has a new StartedAt, volume postgres-data is kept
/mtusi-messenger-lab3-api-1 StartedAt=2026-10-22T17:45:53.47890296Z
/mtusi-messenger-lab3-api-2 StartedAt=2026-10-22T17:45:53.585460419Z
/mtusi-messenger-lab3-lb-1 StartedAt=2026-10-22T17:45:59.18815863Z
/mtusi-messenger-lab3-postgres-1 StartedAt=2026-10-22T17:45:46.762570055Z
/mtusi-messenger-lab3-redis-1 StartedAt=2026-10-22T17:45:46.760974013Z
/mtusi-messenger-lab3-api-1 StartedAt=2026-10-23T11:39:37.089275763Z
/mtusi-messenger-lab3-api-2 StartedAt=2026-10-23T11:39:37.18606118Z
/mtusi-messenger-lab3-lb-1 StartedAt=2026-10-23T11:39:39.805556042Z
/mtusi-messenger-lab3-postgres-1 StartedAt=2026-10-23T11:39:26.389951592Z
/mtusi-messenger-lab3-redis-1 StartedAt=2026-10-23T11:39:26.38860105Z
mtusi-messenger-lab3_postgres-data
+10
View File
@@ -3,6 +3,8 @@
global
log stdout format raw local0 info
# Without it HAProxy sizes buffers from the file descriptor limit and uses ~100 MB.
maxconn 4096
defaults
mode http
@@ -37,6 +39,14 @@ frontend http
bind :8080
default_backend api
# Not published: container healthcheck and the backend table (wget -qO- "http://127.0.0.1:8404/stats;csv").
frontend internal
bind :8404
monitor-uri /healthz
stats enable
stats uri /stats
stats refresh 5s
backend api
balance roundrobin
option httpchk GET /health/ready
+3
View File
@@ -1,4 +1,7 @@
authentication {
realm = "messenger"
sessionTtlSeconds = 3600
sessionCacheTtlSeconds = 60
# Collapse concurrent cache misses for one token into a single database lookup
sessionCacheSingleFlight = true
}
+3
View File
@@ -6,4 +6,7 @@ database {
password = "password"
maxPoolSize = 10
connectionTimeoutMs = 2000
statementTimeoutMs = 5000
# A single local process migrates itself; replicas in compose leave it to the `migrate` service
migrateOnStart = true
}
+4
View File
@@ -0,0 +1,4 @@
instance {
# X-Instance-Id of this process. Defaults to HOSTNAME (the short container id in Docker), else a random alias
#id = "dev"
}
+4
View File
@@ -0,0 +1,4 @@
messages {
# How long a stored Idempotency-Key answers a retry with the original message (contract: at least 24 h)
idempotencyTtlSeconds = 86400
}
+3 -1
View File
@@ -1,6 +1,8 @@
redis {
redis {
host = "localhost"
port = 6379
# Only if the local Redis requires AUTH
#password = ""
connectTimeoutMs = 500
commandTimeoutMs = 500
}
+55
View File
@@ -0,0 +1,55 @@
#!/bin/sh
# One replica fault under constant load through the balancer, then its restoration.
# MODE=stop docker stop (SIGTERM: drain, graceful shutdown) MODE=kill docker kill (SIGKILL: crash)
# TARGET=api-1|api-2 RATE=150 req/s DURATION=45 s fault at 10 s, restore at 25 s
# Output: evidence/load/failover-<mode>-<target>/{k6.txt,events.json,haproxy.log,per-second.csv,summary.json}
set -eu
cd "$(dirname "$0")/../.."
MODE=${MODE:-stop}
TARGET=${TARGET:-api-1}
RATE=${RATE:-150}
DURATION=${DURATION:-45}
FAULT_AT=${FAULT_AT:-10}
RESTORE_AT=${RESTORE_AT:-25}
out=evidence/load/failover-$MODE-$TARGET
rm -rf "$out" && mkdir -p "$out"
now() { python3 -c 'import time; print(int(time.time() * 1000))'; }
# Sleeps until <seconds> after the load started, so the schedule does not drift with slow docker commands.
sleep_until() { python3 -c "import time; time.sleep(max(0, $start / 1000 + $1 - time.time()))"; }
container=mtusi-messenger-lab3-$TARGET
target_instance=$(docker inspect -f '{{.Config.Hostname}}' "$container")
since=$(date -u +%Y-%m-%dT%H:%M:%SZ)
K6_CSV_TIME_FORMAT=unix_milli k6 run --quiet --out csv="$out/requests.csv" \
-e RATE="$RATE" -e DURATION="${DURATION}s" scripts/load/mixed.js > "$out/k6.txt" 2>&1 &
k6_pid=$!
# Load starts after k6 setup (users, sessions, chat): wait for the first request of the scenario.
until grep -q ',load,' "$out/requests.csv" 2>/dev/null; do sleep 0.2; done
start=$(now)
sleep_until "$FAULT_AT"
fault=$(now)
if [ "$MODE" = kill ]; then docker kill "$container" >/dev/null; else docker stop --time 9 "$container" >/dev/null; fi
fault_done=$(now)
sleep_until "$RESTORE_AT"
restore_begin=$(now)
docker start "$container" >/dev/null
until [ "$(docker inspect -f '{{.State.Health.Status}}' "$container")" = healthy ]; do sleep 0.2; done
restore_healthy=$(now)
restored_instance=$(docker inspect -f '{{.Config.Hostname}}' "$container")
wait "$k6_pid" || true
docker compose logs --timestamps --no-log-prefix --since "$since" lb 2>/dev/null | grep -E 'Server api/|SH--|5[0-9][0-9] ' > "$out/haproxy.log" || true
cat > "$out/events.json" <<JSON
{"mode": "$MODE", "target": "$TARGET", "target_instance": "$target_instance", "restored_instance": "$restored_instance",
"load_start": $start, "fault": $fault, "fault_done": $fault_done, "restore_begin": $restore_begin, "restore_healthy": $restore_healthy}
JSON
python3 scripts/load/summarize.py "$out" > /dev/null
# Raw per-request data stays out of Git (evidence keeps aggregates only); KEEP_RAW=1 keeps it for analysis.
[ "${KEEP_RAW:-0}" = 1 ] || rm -f "$out/requests.csv"
cat "$out/summary.json"
+67
View File
@@ -0,0 +1,67 @@
// Open-model load through the balancer: RATE requests per second regardless of response time.
// 70 % GET /users/me (session lookup), 30 % POST message with a unique Idempotency-Key.
// Every response adds a `served_by` sample tagged with X-Instance-Id and status, so the summary can show
// which replica answered each second. Tokens live only in this process.
import http from 'k6/http';
import encoding from 'k6/encoding';
import { Counter } from 'k6/metrics';
const BASE = __ENV.BASE_URL || 'http://localhost:8080';
const RATE = Number(__ENV.RATE || 150);
const DURATION = __ENV.DURATION || '40s';
const USERS = 10;
const PASSWORD = 'load-test-password';
const servedBy = new Counter('served_by');
export const options = {
scenarios: {
load: {
executor: 'constant-arrival-rate',
rate: RATE,
timeUnit: '1s',
duration: DURATION,
preAllocatedVUs: 50,
maxVUs: 300,
},
},
summaryTrendStats: ['avg', 'med', 'p(95)', 'p(99)', 'max'],
};
export function setup() {
const json = { headers: { 'Content-Type': 'application/json' } };
const users = [];
for (let i = 0; i < USERS; i++) {
const username = `load_${Date.now().toString(36)}_${i}`;
const user = http.post(`${BASE}/api/v1/users`, JSON.stringify({ username, display_name: 'load', password: PASSWORD }), json).json();
const basic = encoding.b64encode(`${username}:${PASSWORD}`);
const session = http.post(`${BASE}/api/v1/auth/sessions`, null, { headers: { Authorization: `Basic ${basic}` } }).json();
users.push({ id: user.id, token: session.token });
}
const chat = http.post(`${BASE}/api/v1/chats`, JSON.stringify({ title: 'load', member_ids: users.map((u) => u.id) }), {
headers: { 'Content-Type': 'application/json', Authorization: `Bearer ${users[0].token}` },
}).json();
return { users, chatId: chat.id };
}
export default function (data) {
const user = data.users[Math.floor(Math.random() * data.users.length)];
const auth = { Authorization: `Bearer ${user.token}` };
let response;
if (Math.random() < 0.7) {
response = http.get(`${BASE}/api/v1/users/me`, { headers: auth, tags: { name: 'me' }, timeout: '5s' });
} else {
response = http.post(
`${BASE}/api/v1/chats/${data.chatId}/messages`,
JSON.stringify({ text: `load ${__VU}-${__ITER}` }),
{
headers: { ...auth, 'Content-Type': 'application/json', 'Idempotency-Key': `load-${__VU}-${__ITER}-${Date.now()}` },
tags: { name: 'send' },
timeout: '5s',
},
);
}
servedBy.add(1, { instance: response.headers['X-Instance-Id'] || 'none', code: String(response.status) });
}
+34
View File
@@ -0,0 +1,34 @@
#!/bin/sh
# scripts/rolling-update.sh while k6 keeps RATE req/s through the balancer.
# Output: evidence/load/rolling-update/{k6.txt,rolling.log,events.json,per-second.csv,summary.json}
set -eu
cd "$(dirname "$0")/../.."
RATE=${RATE:-150}
DURATION=${DURATION:-70}
out=evidence/load/rolling-update
rm -rf "$out" && mkdir -p "$out"
now() { python3 -c 'import time; print(int(time.time() * 1000))'; }
# Build outside the measured window: compiling would compete with the API for CPU.
docker compose build --quiet api
{ echo "# before"; docker compose ps api --format '{{.Name}} {{.ID}} {{.Image}}'; } > "$out/rolling.log"
K6_CSV_TIME_FORMAT=unix_milli k6 run --quiet --out csv="$out/requests.csv" \
-e RATE="$RATE" -e DURATION="${DURATION}s" scripts/load/mixed.js > "$out/k6.txt" 2>&1 &
k6_pid=$!
until grep -q ',load,' "$out/requests.csv" 2>/dev/null; do sleep 0.2; done
start=$(now)
sleep 10
begin=$(now)
scripts/rolling-update.sh >> "$out/rolling.log" 2>&1
end=$(now)
wait "$k6_pid" || true
{ echo "# after"; docker compose ps api --format '{{.Name}} {{.ID}} {{.Image}}'; } >> "$out/rolling.log"
echo "{\"load_start\": $start, \"rolling_begin\": $begin, \"rolling_end\": $end}" > "$out/events.json"
python3 scripts/load/summarize.py "$out" > /dev/null
# Raw per-request data stays out of Git (evidence keeps aggregates only); KEEP_RAW=1 keeps it for analysis.
[ "${KEEP_RAW:-0}" = 1 ] || rm -f "$out/requests.csv"
cat "$out/rolling.log" "$out/summary.json"
+110
View File
@@ -0,0 +1,110 @@
#!/usr/bin/env python3
"""Per-second view of one k6 run (requests.csv) plus the events of the experiment (events.json).
Writes per-second.csv and summary.json next to the input. An error is any response that is not 2xx
(including k6 status 0: connection reset or timeout). Times are seconds from the start of the load.
"""
import csv
import json
import math
import sys
from collections import Counter, defaultdict
from pathlib import Path
from urllib.parse import parse_qsl
run = Path(sys.argv[1])
events = json.loads((run / 'events.json').read_text()) if (run / 'events.json').exists() else {}
durations = [] # (t_ms, duration_ms, status)
served = [] # (t_ms, instance, status)
with open(run / 'requests.csv') as f:
for row in csv.DictReader(f):
if row['metric_name'] == 'http_req_duration' and row['scenario'] == 'load':
durations.append((int(row['timestamp']), float(row['metric_value']), int(row['status'] or 0)))
elif row['metric_name'] == 'served_by':
tags = dict(parse_qsl(row['extra_tags']))
served.append((int(row['timestamp']), tags.get('instance', 'none'), int(tags.get('code', 0))))
t0 = min(t for t, _, _ in durations)
rel = lambda ms: (ms - t0) / 1000
def percentile(values, p):
if not values:
return None
values = sorted(values)
return values[min(len(values) - 1, math.ceil(p / 100 * len(values)) - 1)]
per_second = defaultdict(lambda: {'ok': 0, 'errors': 0, 'durations': [], 'instances': Counter()})
for t, d, status in durations:
second = per_second[math.floor(rel(t))]
second['durations'].append(d)
if 200 <= status < 300:
second['ok'] += 1
else:
second['errors'] += 1
for t, instance, status in served:
if 200 <= status < 300:
per_second[math.floor(rel(t))]['instances'][instance] += 1
instances = sorted({i for s in per_second.values() for i in s['instances']})
with open(run / 'per-second.csv', 'w', newline='') as f:
writer = csv.writer(f)
writer.writerow(['second', 'ok', 'errors', 'p99_ms', 'max_ms'] + instances)
for second in sorted(per_second):
s = per_second[second]
writer.writerow([second, s['ok'], s['errors'], round(percentile(s['durations'], 99), 1), round(max(s['durations']), 1)]
+ [s['instances'].get(i, 0) for i in instances])
errors = sorted(rel(t) for t, _, status in durations if not 200 <= status < 300)
seconds = max(per_second) + 1
summary = {
'requests': len(durations),
'ok': len(durations) - len(errors),
'errors': len(errors),
'error_codes': dict(Counter(str(status) for _, _, status in durations if not 200 <= status < 300)),
'ok_rps': round((len(durations) - len(errors)) / seconds, 1),
'p50_ms': round(percentile([d for _, d, _ in durations], 50), 1),
'p95_ms': round(percentile([d for _, d, _ in durations], 95), 1),
'p99_ms': round(percentile([d for _, d, _ in durations], 99), 1),
'max_ms': round(max(d for _, d, _ in durations), 1),
'requests_per_instance': dict(Counter(i for _, i, status in served if 200 <= status < 300)),
}
for name, value in events.items():
if isinstance(value, (int, float)):
summary[f'event_{name}_s'] = round(rel(value), 2)
if 'fault' in events:
fault = rel(events['fault'])
after = [e - fault for e in errors if e >= fault - 0.5]
summary['errors_after_fault'] = len(after)
summary['last_error_after_fault_s'] = round(max(after), 2) if after else None
target = events.get('target_instance')
end = rel(events['restore_begin']) if 'restore_begin' in events else float('inf')
last = [rel(t) - fault for t, i, status in served if i == target and fault <= rel(t) < end]
summary['target_last_response_after_fault_s'] = round(max(last), 2) if last else None
if 'restore_begin' in events and events.get('restored_instance'):
begin = rel(events['restore_begin'])
first = [rel(t) - begin for t, i, status in served
if i == events['restored_instance'] and 200 <= status < 300 and rel(t) >= begin]
summary['restored_replica_first_response_after_start_s'] = round(min(first), 2) if first else None
# HAProxy state changes (docker log timestamps): when the balancer took the target out and put it back.
log = run / 'haproxy.log'
if log.exists() and 'fault' in events:
from datetime import datetime
def at(line):
stamp = line.split()[0].rstrip('Z')
whole, _, fraction = stamp.partition('.')
return datetime.fromisoformat(whole + '+00:00').timestamp() * 1000 + float('0.' + (fraction or '0')) * 1000
changes = [(at(line), line) for line in log.read_text().splitlines() if 'Server api/' in line and '[WARNING]' not in line]
down = [t for t, line in changes if ('is DOWN' in line or 'going DOWN' in line) and t >= events['fault']]
summary['lb_marked_down_after_fault_s'] = round((min(down) - events['fault']) / 1000, 2) if down else None
if 'restore_begin' in events:
up = [t for t, line in changes if 'is UP, reason' in line and t >= events['restore_begin']]
summary['lb_marked_up_after_start_s'] = round((min(up) - events['restore_begin']) / 1000, 2) if up else None
(run / 'summary.json').write_text(json.dumps(summary, indent=2, ensure_ascii=False))
print(json.dumps(summary, indent=2, ensure_ascii=False))
+40
View File
@@ -0,0 +1,40 @@
#!/usr/bin/env bash
# Replaces the API replicas one by one with a freshly built image while the balancer keeps serving.
# 1. build the new image, 2. apply migrations once (they must be compatible with the running version),
# 3. for every old replica: start one new replica, wait until HAProxy has it UP, then stop (drain) and remove the old.
# The number of serving replicas never drops below the configured count.
set -euo pipefail
cd "$(dirname "$0")/.."
build_id=${BUILD_ID:-$(git rev-parse --short HEAD)-$(date +%s)}
log() { echo "$(date -u +%H:%M:%S) $*"; }
up_in_lb() {
docker compose exec -T lb wget -qO- 'http://127.0.0.1:8404/stats;csv' | awk -F, '$1 == "api" && $2 != "BACKEND" && $18 == "UP"' | wc -l
}
log "build image (BUILD_ID=$build_id)"
docker compose build --quiet --build-arg BUILD_ID="$build_id" api
log "migrate"
docker compose run --rm --no-deps migrate > /dev/null
old=$(docker compose ps -q api)
count=$(echo "$old" | wc -l | tr -d ' ')
for container in $old; do
before=$(docker compose ps -q api | sort)
docker compose up -d --no-deps --no-recreate --scale api=$((count + 1)) api 2> /dev/null
new=$(comm -13 <(echo "$before") <(docker compose ps -q api | sort))
log "started $(docker inspect -f '{{.Name}}' "$new") ($(echo "$new" | cut -c1-12))"
until [ "$(docker inspect -f '{{.State.Health.Status}}' "$new")" = healthy ]; do sleep 0.5; done
until [ "$(up_in_lb)" -ge $((count + 1)) ]; do sleep 0.5; done
log "new replica is UP in HAProxy"
docker stop --time 9 "$container" > /dev/null
docker rm "$container" > /dev/null
log "stopped and removed $(echo "$container" | cut -c1-12)"
done
log "done: $(docker compose ps -q api | while read -r c; do docker inspect -f '{{.Name}} {{index .Config.Labels "org.opencontainers.image.revision"}}' "$c"; done | tr '\n' ' ')"
+1 -1
View File
@@ -19,4 +19,4 @@ if [ -z "$container" ] || [ "$(printf '%s\n' "$container" | wc -l)" -ne 1 ]; the
exit 1
fi
docker stop --time 8 "$container" >/dev/null
docker stop --time 9 "$container" >/dev/null
@@ -6,6 +6,7 @@ import com.mtusi.messenger.main.plugins.configureContentNegotiation
import com.mtusi.messenger.main.plugins.configureCors
import com.mtusi.messenger.main.plugins.configureDatabase
import com.mtusi.messenger.main.plugins.configureDefaultHeaders
import com.mtusi.messenger.main.plugins.configureGracefulShutdown
import com.mtusi.messenger.main.plugins.configureInstanceId
import com.mtusi.messenger.main.plugins.configureKoin
import com.mtusi.messenger.main.plugins.configureRedis
@@ -29,6 +30,7 @@ fun Application.module() {
configureKoin()
configureDatabase()
configureRedis()
configureGracefulShutdown()
configureContentNegotiation()
configureDefaultHeaders()
@@ -3,6 +3,7 @@ package com.mtusi.messenger.main.infrastructure.controllers.health
import com.mtusi.messenger.main.extensions.respondError
import com.mtusi.messenger.main.infrastructure.controllers.health.responses.HealthResponse
import com.mtusi.messenger.main.infrastructure.types.ErrorCode
import com.mtusi.messenger.main.plugins.isDraining
import com.mtusi.messenger.main.plugins.suspendedTransaction
import io.ktor.http.HttpStatusCode
import io.ktor.server.application.log
@@ -20,6 +21,12 @@ fun Routing.configureHealthRouting() = route("/health") {
// PostgreSQL is the only dependency of the synchronous path: without it nothing can be served.
get("ready") {
// SIGTERM received: leave the balancer's rotation while requests in flight are still being finished.
if (call.application.isDraining) {
call.respondError(ErrorCode.UNAVAILABLE, "shutting down")
return@get
}
val isDatabaseReachable = try {
suspendedTransaction {
exec("SELECT 1")
@@ -0,0 +1,38 @@
package com.mtusi.messenger.main.plugins
import io.ktor.server.application.Application
import io.ktor.server.application.ApplicationStopPreparing
import io.ktor.server.application.log
import io.ktor.util.AttributeKey
import java.util.concurrent.atomic.AtomicBoolean
private val DrainingKey = AttributeKey<AtomicBoolean>("Draining")
/**
* True once the application received SIGTERM: /health/ready answers 503 from then on.
*/
val Application.isDraining: Boolean
get() = attributes.getOrNull(DrainingKey)?.get() == true
/**
* On SIGTERM the replica first fails its readiness check and keeps serving for `shutdown.drainDelayMs`, so the
* balancer takes it out of rotation while it still answers. Only then Ktor closes the listening socket and waits
* for requests in flight (`shutdownGracePeriod` / `shutdownTimeout`).
*
* ApplicationStopPreparing is raised synchronously before the engine closes its channels, so blocking here delays
* the close itself.
*/
fun Application.configureGracefulShutdown() {
val drainDelayMs = environment.config.propertyOrNull("shutdown.drainDelayMs")?.getString()?.toLong() ?: 0
val draining = AtomicBoolean(false)
attributes.put(DrainingKey, draining)
monitor.subscribe(ApplicationStopPreparing) {
draining.set(true)
log.info("Shutting down: readiness is 503, still serving for $drainDelayMs ms")
Thread.sleep(drainDelayMs)
log.info("Drain delay is over, closing the listening socket")
}
}
+10 -2
View File
@@ -8,11 +8,19 @@ ktor {
host = ${?APP_HOST}
port = 8080
port = ${?APP_PORT}
shutdownGracePeriod = 3000
shutdownTimeout = 10000
# After the drain (see `shutdown`): Netty waits for 1 s without new activity, at most 5 s in total.
shutdownGracePeriod = 1000
shutdownTimeout = 5000
}
}
shutdown {
# Time between SIGTERM and closing the socket while /health/ready is already 503.
# Behind HAProxy (check every 1 s, 2 failures) 3 s is enough to leave rotation; a single local process needs none.
drainDelayMs = 0
drainDelayMs = ${?SHUTDOWN_DRAIN_DELAY_MS}
}
database {
host = "localhost"
host = ${?DB_HOST}
@@ -191,6 +191,7 @@ class DependencyFailureTest {
@Test
fun `without PostgreSQL requests fail with a bounded 503`() {
val database = TestDatabase.create().also { it.start() }
TestDatabase.awaitConnectable(database)
try {
runApp(database = database, databaseConnectionTimeoutMs = 2000) { client ->
@@ -1,6 +1,8 @@
package com.mtusi.messenger.main.support
import org.testcontainers.containers.PostgreSQLContainer
import java.sql.DriverManager
import java.sql.SQLException
import org.testcontainers.utility.DockerImageName
/**
@@ -20,6 +22,22 @@ object TestDatabase {
/**
* A separate, not yet started container for tests that stop the database.
*/
/**
* Docker Desktop may refuse the first connections through a fresh port mapping for a moment after the container
* reported ready; tests with a short pool timeout wait for a real connection first.
*/
fun awaitConnectable(container: PostgreSQLContainer<*>, timeoutMs: Long = 15000) {
val deadline = System.currentTimeMillis() + timeoutMs
while (true) {
try {
DriverManager.getConnection(container.jdbcUrl, container.username, container.password).use { return }
} catch (e: SQLException) {
if (System.currentTimeMillis() > deadline) throw e
Thread.sleep(200)
}
}
}
fun create(): PostgreSQLContainer<*> {
return PostgreSQLContainer(DockerImageName.parse("postgres:17.6-alpine3.22").asCompatibleSubstituteFor("postgres"))
.withDatabaseName(NAME)