diff --git a/Dockerfile b/Dockerfile index 096e5a7a..2f60fd5f 100644 --- a/Dockerfile +++ b/Dockerfile @@ -8,12 +8,16 @@ COPY contracts ./contracts RUN --mount=type=cache,target=/home/gradle/.gradle gradle --no-daemon shadowJar FROM eclipse-temurin:21-jre-alpine +# Distinguishes builds of the same code, e.g. the image rolled out by scripts/rolling-update.sh. +ARG BUILD_ID=dev +LABEL org.opencontainers.image.revision=$BUILD_ID RUN apk add --no-cache wget && addgroup -S app && adduser -S -G app app WORKDIR /app COPY --from=build /src/build/libs/messenger.jar /app/messenger.jar USER app ENV APP_HOST=0.0.0.0 APP_PORT=8080 EXPOSE 8080 -HEALTHCHECK --interval=10s --timeout=3s --start-period=15s --retries=3 \ +# Docker's own view of the replica (compose depends_on, rolling update). The balancer runs its own checks every 1 s. +HEALTHCHECK --interval=10s --timeout=3s --start-period=30s --start-interval=1s --retries=3 \ CMD wget -qO- http://127.0.0.1:8080/health/ready || exit 1 ENTRYPOINT ["java","-XX:MaxRAMPercentage=75.0","-jar","/app/messenger.jar"] diff --git a/REPORT.md b/REPORT.md index c2679005..92584380 100644 --- a/REPORT.md +++ b/REPORT.md @@ -1,37 +1,198 @@ # Отчёт — лабораторная 3 -- Автор, группа: TODO -- Целевая оценка; выбранный трек 5, если нужен: TODO +- Автор, группа: Кучерявенко Максим, БВТ2303 +- Целевая оценка; выбранный трек 5, если нужен: 4 - Commit/PR: TODO после публикации -- Использованные источники, библиотеки и помощь ИИ: TODO +- Использованные источники, библиотеки и помощь ИИ: всё из lab2 (Kotlin 2.3.20, Ktor 3.3.0, Koin 4.1, Exposed 1.0, HikariCP, Flyway 11.9, Lettuce 6.7, BouncyCastle, Testcontainers) плюс Ktor CORS. Балансировщик HAProxy 3.2.4, нагрузка k6 2.3. Документация: [Compose services](https://docs.docker.com/reference/compose-file/services/), [HAProxy 3.2 configuration manual](https://docs.haproxy.org/3.2/configuration.html) (server-template, resolvers, httpchk, retries/redispatch), [PostgreSQL INSERT … ON CONFLICT](https://www.postgresql.org/docs/17/sql-insert.html). ИИ (Claude) использовал как парного разработчика. ## Запуск из чистого clone -TODO: версии runtime/образов, prerequisites, команды создания локальных secrets/.env, build, миграций, запуска, ожидания готовности, тестов и остановки. Указать необходимые действия оператора. Не вставлять секреты. Отдельно указать безопасную остановку и команду намеренного удаления учебных данных. +Нужны Docker 24+ с Compose v2, Python 3.9+ (публичные тесты), `openssl` (секреты). Для `./gradlew test` ещё JDK 21+ и запущенный Docker, для нагрузочных прогонов — k6. Я всё запускал на Docker 28.4, Compose 2.39, JDK 24, k6 2.3. + +```sh +# один раз: пароли PostgreSQL и Redis в secrets/ (папка в .gitignore, существующие файлы не перезаписываются) +./scripts/init-secrets.sh + +# сборка образа и запуск: postgres, redis -> migrate (один раз применяет миграции и выходит) -> api x2 -> lb +# --wait ждёт healthcheck всех сервисов и успешного завершения migrate +docker compose up -d --build --wait + +# публичные проверки, всё через балансировщик http://localhost:8080 +make check +make test +make test-persistence ACTION_SCRIPT=scripts/restart.sh +make test-failover ACTION_SCRIPT=scripts/stop-one.sh +docker compose start api # вернуть остановленную реплику + +# свои тесты (Testcontainers) +./gradlew test + +# одновременные повторы одного Idempotency-Key через обе реплики +python3 scripts/idempotency-race.py + +# уровень 4: отказ каждой реплики под нагрузкой и rolling update (нужен k6) +MODE=stop TARGET=api-1 scripts/load/failover-under-load.sh # также MODE=kill, TARGET=api-2 +scripts/load/rolling-under-load.sh # сам update без нагрузки: scripts/rolling-update.sh + +# остановка с сохранением данных +docker compose stop # или docker compose down, volume postgres-data остаётся + +# намеренное удаление всех учебных данных +docker compose down -v +``` + +`.env` не обязателен: у всех переменных в `compose.yaml` есть значения по умолчанию. `docker compose --env-file .env.example config --quiet` проходит. + +`make test-failover` останавливает ту реплику, которая ответила на первое сообщение теста. Тест делает одинаковое число запросов, и round robin каждый раз приводит его к одной и той же реплике. Чтобы проверить вторую, перед повторным запуском я делаю один лишний запрос (`curl -s localhost:8080/health/live`), он сдвигает очередь. + +После `scripts/rolling-update.sh` контейнеры называются `api-3`, `api-4` (Compose нумерует новые дальше). `stop-one.sh` от имён не зависит. `failover-under-load.sh` принимает имя (`TARGET=api-3`), прежние имена возвращает `docker compose down && docker compose up -d --wait` без `-v`. + +Локально без Docker: `./gradlew run`, конфиг из `run/development/config/*.conf`, порт 8081, один процесс сам применяет миграции. ## Архитектура и решения -TODO: схема процессов/хранилищ, источник истины, транзакционные границы, ограничения. Что перенесено из lab2, что изменено в этой работе. Соответствие переменных из .env.example реальной конфигурации. +``` +клиент ──HTTP──▶ lb: HAProxy 3.2.4 (127.0.0.1:8080, единственный опубликованный порт) + │ round robin, проверка GET /health/ready раз в 1 с, адреса реплик из Docker DNS + ├──▶ api-1 (Ktor) ─┐ + └──▶ api-2 (Ktor) ─┼──JDBC, пул ≤10 на реплику──▶ postgres (volume postgres-data) ← источник истины + └──RESP──▶ redis (кэш сессий, без persistence) +migrate (тот же образ, `migrate`) ── один раз до старта реплик ──▶ postgres +``` + +| Роль | Service | Образ | Health/readiness | Volume | Порт | Credentials | Лимиты | +| --- | --- | --- | --- | --- | --- | --- | --- | +| Балансировщик | `lb` | `haproxy:3.2.4-alpine` | `wget http://127.0.0.1:8404/healthz` (внутренний порт) | — | `127.0.0.1:8080` | нет | 0.5 CPU, 128 МБ | +| API ×2 | `api` | `mtusi-messenger:lab3` (свой Dockerfile) | Docker: `/health/ready` раз в 10 с; HAProxy: `/health/ready` раз в 1 с | — | 8080 только в сети compose | secrets `db_password`, `redis_password` | 1 CPU, 512 МБ каждая | +| Миграции | `migrate` | тот же образ, команда `migrate` | разовый, healthcheck выключен | — | — | `db_password` | 0.5 CPU, 384 МБ | +| БД | `postgres` | `postgres:17.6-alpine3.22` | `pg_isready` | `postgres-data` | 5432 в сети | `db_password` | 1 CPU, 1 ГБ | +| Кэш сессий | `redis` | `redis:8.4.0-alpine` | `redis-cli ping` | — | 6379 в сети | `redis_password` | 0.5 CPU, 128 МБ | + +**Что перенёс из lab2 без изменений.** Весь API и контракт, PostgreSQL как источник истины, Bearer-сессии в PostgreSQL с кэшем в Redis (single-flight, tombstone при logout, outbox `session_revocations`), курсорную пагинацию, Argon2id, Docker secrets, 503 при недоступной базе. У API и раньше не было состояния в памяти, от которого зависит корректность: сессии в PostgreSQL, кэш в общем Redis, курсор пагинации не подписан ключом процесса. Поэтому реплики взаимозаменяемы без доработок. + +**Что поменял в этой работе.** +- **`X-Instance-Id`** (`plugins/InstanceId.kt`) — в каждом ответе API, включая ошибки и health. Значение: `INSTANCE_ID`, если задан, иначе `HOSTNAME` (в Docker это короткий id контейнера), иначе случайная строка. Задаётся при старте процесса и не меняется. Благодаря тому, что это id контейнера, `stop-one.sh` находит нужный контейнер без таблицы соответствий. +- **`Idempotency-Key`** на `POST /chats/{id}/messages`, ключ обязателен, формат `[A-Za-z0-9._:-]{1,128}`, иначе 400. Таблица `message_idempotency_keys` (миграция `V3`) с первичным ключом `(user_id, chat_id, key)` — это область уникальности из контракта: метод и путь у этого запроса фиксированы, остаются пользователь, чат и ключ. В той же транзакции, что и сообщение: + 1. Проверка членства в чате, в том числе при повторе: постороннему — 404. + 2. `INSERT … ON CONFLICT DO NOTHING` занимает ключ. + 3. Ключ свободен — создаём сообщение и записываем его id в строку ключа. + 4. Ключ занят — тот же SHA-256 тела даёт то же сообщение с 201, другой — 409. + 5. Ключ старше `IDEMPOTENCY_TTL_SECONDS` (86400) удаляется и занимается заново. + + Если тот же ключ сейчас вставляет другая транзакция (другая реплика), PostgreSQL на шаге 2 ждёт её конца. Поэтому одновременные повторы создают одно сообщение. При ошибке 5xx транзакция откатывается вместе с ключом, и неудачная попытка не запоминается как результат. +- **Миграции отдельно от реплик.** `java -jar messenger.jar migrate` применяет Flyway и выходит (main-класс jar теперь `AppKt`, а не `EngineMain`). В compose это сервис `migrate`. Реплики запускаются с `DB_MIGRATE_ON_START=false` после его успешного завершения (`service_completed_successfully`) и делают только `flyway.validate()`: при неприменённой миграции реплика не стартует. Так реплики не устраивают гонку за схему. Локальный процесс и тесты по-прежнему мигрируют сами. +- **Балансировщик HAProxy** (`infra/haproxy/haproxy.cfg`): + - адреса реплик берутся из Docker DNS (`server-template api 4 api:8080`, resolvers `127.0.0.11`, `hold` 2 с), так что масштабирование и замена контейнеров не требуют правки конфига; + - активная проверка `GET /health/ready`: `inter 1s fall 2 rise 2`; + - `balance roundrobin`; + - `retries 2` + `option redispatch` — только при ошибке соединения, то есть до отправки запроса. POST, который дошёл до реплики, балансировщик не повторяет; + - `maxconn 4096` в `global` (без него HAProxy занимал ~100 МБ из 128); + - внутренний frontend `:8404` с `/healthz` и `/stats` наружу не опубликован. + + Sticky sessions нет. +- **Плавная остановка** (`plugins/GracefulShutdown.kt`). По SIGTERM `/health/ready` сразу отвечает 503, процесс ещё 3 с (`SHUTDOWN_DRAIN_DELAY_MS`) обслуживает запросы. За это время HAProxy выводит реплику из ротации. Потом Ktor закрывает сокет и дожидается начатых запросов (`shutdownGracePeriod` 1 с, `shutdownTimeout` 5 с). Задержка сделана в обработчике `ApplicationStopPreparing`: Ktor вызывает его синхронно до закрытия каналов. До этой правки (на уровне 3) каждая остановка давала один 502 `SH--`: реплика закрывала соединение посреди POST. +- **Rolling update** (`scripts/rolling-update.sh`): + 1. Собирает образ с `BUILD_ID` (Dockerfile `ARG` + `LABEL`, чтобы новая версия отличалась даже при том же коде). + 2. Один раз применяет миграции: `docker compose run --rm migrate`. + 3. Для каждой старой реплики: `up --no-recreate --scale api=N+1` поднимает новую, скрипт ждёт `healthy` и состояние UP в `/stats` HAProxy, затем `docker stop` (с drain) и `docker rm` старой. + + Работающих реплик ни в какой момент не меньше двух. +- **Ресурсы.** CPU/RAM-лимиты у всех контейнеров, `container_name` убран у всех, порт опубликован только у `lb` и только на `127.0.0.1`. +- **CORS** (`plugins/Cors.kt`, `config/cors/`). Нужен для Swagger UI на `/docs`, открытого с другого адреса (например, dev-порт 8081). Разрешены только `localhost`/`127.0.0.1:8080/8081`, наружу отдаются `X-Request-Id`, `X-Instance-Id`, `WWW-Authenticate`. На API без браузера не влияет. + +**Транзакционные границы.** Отправка сообщения: проверка членства, ключ идемпотентности и само сообщение — одна транзакция PostgreSQL. Ключ без сообщения снаружи не виден (проверено запросом: 0 строк с `message_id IS NULL`). Остальное как в lab2. + +**Совместимость миграций с работающей версией.** Схема меняется только расширением. `V3` добавляет таблицу и индексы, старая версия кода её не трогает. Новая реплика проверяет схему через `validate()`. Старая реплика при `validate()` не падает от неизвестной ей новой миграции: Flyway по умолчанию пропускает «будущие» миграции (`ignoreMigrationPatterns=*:future`). Удаление или переименование колонок пришлось бы делать в два релиза (expand/contract); в этой работе таких изменений нет. + +**Переменные `.env.example` → реальная конфигурация.** + +| `.env.example` | У меня | +| --- | --- | +| `APP_HOST`, `APP_PORT` | так же, задаются в `compose.yaml` (`0.0.0.0:8080` внутри сети) | +| `APP_ENV` | не используется | +| `SESSION_TTL_SECONDS` | так же, по умолчанию 3600 | +| `DATABASE_URL_FILE` | разбит на `DB_HOST`, `DB_PORT`, `DB_NAME`, `DB_USER`, `DB_PASSWORD_FILE=/run/secrets/db_password` | +| `SESSION_STORE=postgres` | так и есть: сессии в PostgreSQL, Redis — кэш | +| `CACHE_URL_FILE` | `REDIS_HOST`, `REDIS_PORT`, `REDIS_PASSWORD_FILE=/run/secrets/redis_password` | +| `API_REPLICAS` | так же, `deploy.replicas: ${API_REPLICAS:-2}` (HAProxy рассчитан максимум на 4) | +| `IDEMPOTENCY_TTL_SECONDS` | так же, по умолчанию 86400 | +| — | `DB_MIGRATE_ON_START` (false у реплик), `SHUTDOWN_DRAIN_DELAY_MS` (3000), `INSTANCE_ID` (не задаю) | + +**Таймауты и проверки — одна цепочка.** + +| Что | Значение | Почему так | +| --- | --- | --- | +| Проверка готовности в HAProxy | каждую 1 с; DOWN после 2 неудач, UP после 2 успехов | обнаружение ≤ 2 с | +| Обновление адресов из DNS | `hold` 2 с, `timeout resolve` 1 с | упавший контейнер исчезает из DNS, слот уходит в MAINT | +| Подключение HAProxy → реплика | 1 с, затем повтор на другую реплику (`retries 2`, `redispatch`) | до отправки запроса повтор безопасен и для POST | +| Ответ реплики | 10 с | больше, чем ожидание пула 2 с + `statement_timeout` 5 с | +| Drain после SIGTERM | 3 с | больше, чем 2 с на обнаружение | +| Остановка Ktor | 1 с тишины, максимум 5 с | дожать начатые запросы | +| `stop_grace_period` | 10 с | 3 + 5 = 8 с < 10 с, SIGKILL не нужен | +| `stop-one.sh` | `docker stop --time 9` | укладывается в 10 с, которые даёт тест | + +Максимальное время обнаружения отказа — около 2 с: при остановке по проверке готовности, при падении процесса по DNS или проверке. Измерено 1,1–1,9 с, см. ниже. ## Доказательства критериев | Критерий README | Команда/сценарий | Наблюдаемый результат | Файл доказательства | | --- | --- | --- | --- | -| Публичный smoke | make test | TODO | TODO | -| Остальные пункты уровня 3 | TODO | TODO | TODO | -| Все пункты уровня 4, если заявлен | TODO | TODO | TODO | -| Выбранный трек 5, если заявлен | TODO | TODO | TODO | - -TODO: добавить отдельную строку для каждого заявленного критерия. PASS без команды и наблюдения не является доказательством. Проверка инфраструктурного hook требует подтверждения, какие реальные процессы/хранилища перезапущены. +| Публичный smoke | `make test` | PASS, профиль lab3 | evidence/smoke.txt | +| Запуск из чистого clone | копия рабочего дерева без игнорируемых файлов, новые секреты, свежий volume, все `make`-проверки | все PASS | evidence/clean-start.txt | +| Стенд в compose: ≥2 API, один вход, общие БД и сессии | `docker compose ps` | `api-1`, `api-2`, `lb` с портом `127.0.0.1:8080`, `postgres`, `redis`; `migrate` завершился с 0 | evidence/instances.txt, evidence/limits.txt | +| Разные реплики без повторного входа, видно по `X-Instance-Id` | 6 запросов через LB; failover-тест сам проверяет ≥2 реплики | два id чередуются и совпадают с id контейнеров `api-1`, `api-2`; `observed_instances_before: 2` | evidence/instances.txt, evidence/failover-api-*.txt | +| Остановка любой одной реплики: новые чтения/записи ≤ 10 с, подтверждённое на месте | `make test-failover ACTION_SCRIPT=scripts/stop-one.sh` для api-1, потом для api-2 | PASS оба раза; 121 запись, 0 неудачных; остановлен именно контейнер с id из теста (`Exited (143)`) | evidence/failover-api-1.txt, evidence/failover-api-2.txt | +| Повтор POST с тем же ключом без дубля, в том числе одновременно и через другую реплику | `scripts/idempotency-race.py`: 20 раундов по 32 одновременных запроса с одним ключом; тесты `MessageIdempotencyTest` | 640 ответов 201 (320 + 320 по репликам), в каждом раунде один id, в истории 20 сообщений; 7 тестов: повтор, 409, 400, область ключа, доступ, 20 одновременных запросов, TTL | evidence/idempotency-race.txt, evidence/gradle-tests.txt | +| Неподтверждённую запись можно повторить с тем же ключом | failover-тест повторяет неопределённый POST с исходным ключом | дублей нет, проверка текстов прошла | evidence/failover-api-*.txt | +| `make test`, persistence, failover | `make test-persistence ACTION_SCRIPT=scripts/restart.sh` | PASS; у lb, обеих api, postgres, redis новый `StartedAt`, volume тот же | evidence/persistence.txt | +| Уровень 4: health/readiness, таймауты, SIGTERM согласованы, LB исключает недоступную реплику | таблица таймаутов выше; отказ под нагрузкой | после SIGTERM реплика получает последний запрос через 1,1–1,7 с, ошибок 0 | evidence/load/failover-stop-*/ | +| Уровень 4: поочерёдная остановка каждой реплики, RPS, ошибки, восстановление | `scripts/load/failover-under-load.sh`, 150 RPS, stop и kill для api-1 и api-2 | 4 прогона: ~150 RPS, 0 ошибок; таблица ниже | evidence/load/ | +| Уровень 4: параллельные запросы с одним ключом | см. строку про идемпотентность | 0 дублей | evidence/idempotency-race.txt | +| Уровень 4: лимиты CPU/RAM, API без портов наружу, секреты только где нужно, нет `container_name` | `docker inspect`, `docker compose ps`, `docker compose config` | лимиты у всех; порт только у `lb`; `lb` без секретов, `migrate` и `postgres` только `db_password`, `redis` только `redis_password` | evidence/limits.txt | +| Уровень 4: rolling update под нагрузкой, миграции однократно | `scripts/load/rolling-under-load.sh` | 10 501 запрос, 0 ошибок, p99 11,7 мс; обе реплики заменены на образ с новым `BUILD_ID` | evidence/load/rolling-update/ | +| Свои автотесты | `./gradlew test` | 68 тестов, все проходят | evidence/gradle-tests.txt | +| Секреты не в Git | `secrets/` и `.env` в `.gitignore`; в evidence нет токенов (k6 их не пишет, сырые запросы не сохраняются) | — | .gitignore | ## Эксперименты и отказы -TODO: гипотеза, hardware/лимиты, версии, объём данных, профиль нагрузки, concurrency/arrival rate, длительность/прогрев, повторы, успешные RPS, ошибки, p50/p95/p99, CPU/RAM. Сохранить raw summary без tokens и объяснить ограничения измерения. +Стенд: Apple M4 (10 ядер), 16 ГБ, macOS 27, Docker Desktop 28.4 (VM 10 CPU, 8 ГБ), лимиты контейнеров как в таблице выше. k6 2.3 на той же машине. + +Профиль (`scripts/load/mixed.js`): +- открытая модель, 150 запросов/с независимо от времени ответа, поэтому медленные ответы не прячут ошибки; +- 70 % `GET /users/me`, 30 % отправка сообщения с уникальным ключом; +- 10 пользователей, один чат, таймаут 5 с, без повторов. + +В каждом прогоне 45 с нагрузки: на 10-й секунде реплику останавливаю, на 25-й запускаю обратно. Ошибка — любой ответ не 2xx, включая обрыв. Сводки считает `scripts/load/summarize.py`. Время «LB вывел» и «LB вернул» берётся из лога HAProxy, «получила трафик» — по `X-Instance-Id` в ответах. Каждый вариант прогнан один раз, повторов нет. + +Гипотеза: благодаря drain плавная остановка реплики проходит без ошибок, а падение процесса стоит только задержки до 1 с (таймаут подключения), но не ошибок, потому что HAProxy повторяет неудавшееся подключение на другой реплике. | Воздействие | Что ожидаем | Что наблюдали | Время восстановления / потеря данных | | --- | --- | --- | --- | -| TODO | TODO | TODO | TODO | +| `docker stop` api-1 (SIGTERM) под 150 RPS | 0 ошибок, реплика выходит из ротации за ≤ 2 с | 6 750 запросов, 0 ошибок, 150 RPS, p99 48 мс; последний ответ остановленной реплики через 1,07 с, HAProxy пометил DOWN через 1,08 с | вернувшаяся реплика получила трафик через 3,8 с после `docker start`; потерь нет | +| `docker stop` api-2 | то же | 6 743 запроса, 0 ошибок, 149,8 RPS, p99 162 мс; DOWN через 1,69 с | трафик через 2,4 с; потерь нет | +| `docker kill` api-1 (SIGKILL, падение) | 0 ошибок, задержка до 1 с у части запросов | 6 726 запросов, 0 ошибок, 149,5 RPS, p99 1 004 мс; DOWN через 1,74 с | трафик через 3,9 с; потерь нет | +| `docker kill` api-2 | то же | 6 722 запроса, 0 ошибок, 149,4 RPS, p99 1 004 мс; DOWN через 1,92 с | трафик через 3,9 с; потерь нет | +| Rolling update двух реплик под 150 RPS | 0 ошибок | 10 501 запрос, 0 ошибок, p99 11,7 мс, max 625 мс; замена двух реплик заняла 26 с | — | +| `make test-failover`, api-1 и api-2 | ≤ 10 с до записи, без дублей | PASS, 0 неудачных из ~121; `first_recovery_seconds` 5,1–5,4 | это время самого `docker stop` (drain 3 с + остановка), записи всё это время шли через вторую реплику | +| `scripts/restart.sh` (lb, api, redis, postgres) | данные и токен на месте | PASS, у всех контейнеров новый `StartedAt` | тест сам ждёт готовности и проверяет данные тем же токеном; потерь нет | + +Что из этого следует: +- **SIGTERM.** Drain работает: реплика получает запросы ещё 1–1,7 с после SIGTERM, а сокет закрывается только через 3 с. Начатых запросов, которые обрывались бы, нет. +- **SIGKILL.** Ошибок тоже нет, но в первые 1–2 с запросы к мёртвой реплике ждут таймаут подключения 1 с и уходят на живую. Отсюда p99 около 1 с. Адреса упавшего контейнера в сети больше нет, поэтому отказ в соединении (RST) не приходит — только таймаут. +- **Обратный ввод в ротацию.** Сначала нужно 2–2,5 с на старт JVM и Ktor, потом 2 успешные проверки (≈2 с). +- **Один прогон на вариант.** Число ошибок (0) от повторов, скорее всего, не изменится, а p99 и времена — оценка, а не распределение. +- **Измерение.** k6 запускался на той же машине. Хвосты p99 в «спокойных» прогонах (до 160 мс) похожи на паузы Docker Desktop и GC, а не на работу балансировщика. ## Ограничения и следующие шаги -TODO: какие отказы выдерживаются и какие нет; что не реализовано; где учебное упрощение; какое улучшение подтверждено, а какое пока гипотеза. +- **Выдерживается** остановка или падение одной API-реплики, в том числе под нагрузкой, и поочерёдная замена всех реплик. **Не выдерживается** отказ `lb`, `postgres` или всего хоста: они в одном экземпляре на одной машине. Это единые точки отказа, HA для них в этой работе не заявляю. Отказ Redis, как и в lab2, не ломает API: запросы идут в PostgreSQL. +- **Хвост задержки при падении.** При внезапном падении реплики p99 около 1 с из-за `timeout connect 1s`. В сети Docker таймаут подключения можно сделать 200–300 мс, это должно сократить хвост, но я это не проверял. +- **Недоверие к кэшу после сбоя Redis** (из lab2) живёт в памяти одной реплики. Если logout пришёлся на сбой Redis, реплика, которая сама ошибку Redis не видела, может до 60 с отдавать отозванную сессию из кэша. С двумя репликами за одним Redis это маловероятно: ошибку Redis увидят обе. Но строгой гарантии нет, нужен общий признак (например, номер поколения кэша в PostgreSQL). +- **Single-flight** (защита от одновременных промахов кэша) работает внутри процесса: на N реплик до N запросов к базе на один токен. +- **`make test-failover` всегда выбирает api-1** при одинаковом числе запросов. Вторую реплику проверяю после одного лишнего запроса, это описано в разделе запуска. +- **Без очистки.** Старые ключи идемпотентности (старше 24 ч) удаляются только при повторе того же ключа, а не отдельной задачей. Таблица растёт на одну строку на сообщение; для учебного объёма это нормально, в продакшене нужна периодическая чистка по `created_at`. Просроченные сессии тоже не удаляются (как в lab2). +- **Ограничения rolling update.** + - Скрипт для Compose, не Swarm. + - Совместимость новой версии со старой держится на правиле «миграции только расширяют схему», автоматически это не проверяется. + - После обновления имена контейнеров `api-3`/`api-4`. +- **HAProxy** рассчитан на 4 реплики (`server-template api 4`), для большего числа нужно поменять число в конфиге. diff --git a/compose.yaml b/compose.yaml index 163a6261..4fd5074c 100644 --- a/compose.yaml +++ b/compose.yaml @@ -4,7 +4,6 @@ services: postgres: image: postgres:17.6-alpine3.22 - # pg_stat_statements counts executed queries, track 1 uses it to measure the cache stampede. command: ["postgres", "-c", "shared_preload_libraries=pg_stat_statements", "-c", "pg_stat_statements.track=all"] environment: POSTGRES_DB: messenger @@ -20,6 +19,11 @@ services: timeout: 3s retries: 10 start_period: 10s + deploy: + resources: + limits: + cpus: "1.0" + memory: 1g restart: unless-stopped redis: @@ -44,6 +48,11 @@ services: timeout: 3s retries: 10 start_period: 5s + deploy: + resources: + limits: + cpus: "0.5" + memory: 128m restart: unless-stopped # One-shot: applies Flyway migrations once and exits. Replicas start only after it succeeded, @@ -53,7 +62,7 @@ services: image: mtusi-messenger:lab3 command: ["migrate"] healthcheck: - disable: true + test: ["NONE"] depends_on: postgres: condition: service_healthy @@ -65,6 +74,11 @@ services: DB_PASSWORD_FILE: /run/secrets/db_password secrets: - db_password + deploy: + resources: + limits: + cpus: "0.5" + memory: 384m restart: "no" api: @@ -73,6 +87,10 @@ services: # Interchangeable replicas: no container_name and no published port, traffic only through `lb`. deploy: replicas: ${API_REPLICAS:-2} + resources: + limits: + cpus: "1.0" + memory: 512m depends_on: migrate: condition: service_completed_successfully @@ -95,11 +113,13 @@ services: SESSION_TTL_SECONDS: ${SESSION_TTL_SECONDS:-3600} SESSION_CACHE_SINGLE_FLIGHT: ${SESSION_CACHE_SINGLE_FLIGHT:-true} IDEMPOTENCY_TTL_SECONDS: ${IDEMPOTENCY_TTL_SECONDS:-86400} + SHUTDOWN_DRAIN_DELAY_MS: "3000" secrets: - db_password - redis_password - # SIGTERM: Ktor stops accepting, finishes requests in flight (shutdownGracePeriod 3 s, shutdownTimeout 10 s). - stop_grace_period: 15s + # SIGTERM: readiness 503 and 3 s drain (HAProxy needs <= 2 s to notice), then Ktor closes the socket and + # finishes requests in flight within 5 s. 3 + 5 = 8 s < 10 s before Docker sends SIGKILL. + stop_grace_period: 10s restart: unless-stopped lb: @@ -111,6 +131,17 @@ services: condition: service_healthy ports: - "127.0.0.1:8080:8080" + # Port 8404 (health and stats) stays inside the compose network. + healthcheck: + test: ["CMD", "wget", "-qO-", "http://127.0.0.1:8404/healthz"] + interval: 5s + timeout: 2s + retries: 3 + deploy: + resources: + limits: + cpus: "0.5" + memory: 128m restart: unless-stopped secrets: diff --git a/evidence/clean-start.txt b/evidence/clean-start.txt new file mode 100644 index 00000000..0fe8d405 --- /dev/null +++ b/evidence/clean-start.txt @@ -0,0 +1,20 @@ +# clean copy of the working tree (git ls-files -co --exclude-standard), fresh secrets and volume, COMPOSE_PROJECT_NAME=lab3-clean +# 2026-10-23T12:49Z, base commit 92c2fdc + uncommitted lab3 grade-4 changes +$ ./scripts/init-secrets.sh && docker compose up -d --build --wait && make check && make test && make test-persistence ACTION_SCRIPT=scripts/restart.sh && make test-failover ACTION_SCRIPT=scripts/stop-one.sh +created secrets/db_password +created secrets/redis_password +config ok + Container lab3-clean-api-2 Healthy + Container lab3-clean-api-1 Healthy + Container lab3-clean-lb-1 Healthy +PASS: offline skeleton structure, local refs and Python syntax; application NOT tested. +PASS: lab3 public API scenario; infrastructure and grading evidence remain separate. +PASS: persistence preserved confirmed data and existing session. Hook scope needs operator evidence. +{"observed_instances_before": 2, "successful_writes": 125, "failed_attempts": 0, "first_recovery_seconds": 4.859} +PASS: failover preserved confirmed data and existing session. Hook scope needs operator evidence. +lab3-clean-api-1 running +lab3-clean-api-2 exited +lab3-clean-lb-1 running +lab3-clean-migrate-1 exited +lab3-clean-postgres-1 running +lab3-clean-redis-1 running diff --git a/evidence/failover-api-1.txt b/evidence/failover-api-1.txt index 3ef92aef..4a54361b 100644 --- a/evidence/failover-api-1.txt +++ b/evidence/failover-api-1.txt @@ -1,24 +1,24 @@ # before NAME CONTAINER ID STATE STATUS -mtusi-messenger-lab3-api-1 236cb759e825 running Up About a minute (healthy) -mtusi-messenger-lab3-api-2 787a253aa6a6 running Up 8 seconds (healthy) +mtusi-messenger-lab3-api-1 d1ff13561537 running Up 24 seconds (healthy) +mtusi-messenger-lab3-api-2 ac9723acebaa running Up 24 seconds (healthy) $ make test-failover ACTION_SCRIPT=scripts/stop-one.sh Executing explicit failover hook; hook output suppressed to avoid leaking secrets. -{"observed_instances_before": 2, "successful_writes": 119, "failed_attempts": 1, "first_recovery_seconds": 6.508} +{"observed_instances_before": 2, "successful_writes": 121, "failed_attempts": 0, "first_recovery_seconds": 5.385} PASS: failover preserved confirmed data and existing session. Hook scope needs operator evidence. # after: the stopped container is the replica whose id the test passed as TARGET_INSTANCE_ID NAME CONTAINER ID STATE STATUS -mtusi-messenger-lab3-api-1 236cb759e825 exited Exited (143) 8 seconds ago -mtusi-messenger-lab3-api-2 787a253aa6a6 running Up 24 seconds (healthy) +mtusi-messenger-lab3-api-1 d1ff13561537 exited Exited (143) 9 seconds ago +mtusi-messenger-lab3-api-2 ac9723acebaa running Up 40 seconds (healthy) # HAProxy log around the failure (non-2xx and state changes) -[WARNING] (8) : Server api/api1 was DOWN and now enters maintenance (No IP for server ). -Server api/api1 ('api') is UP/READY (resolves again). -[WARNING] (8) : Server api/api1 ('api') is UP/READY (resolves again). -172.24.0.1:55062 [22/Oct/2026:17:44:22.431] http api/api2 0/0/0/-1/93 502 209 - - SH-- 1/1/0/0/0 0/0 "POST /api/v1/chats/43312e52-5c0b-41af-9981-2379d372b382/messages HTTP/1.1" -[WARNING] (8) : Server api/api2 is DOWN, reason: Layer4 connection problem, info: "Connection refused", check duration: 0ms. 1 active and 0 backup servers left. 0 sessions active, 0 requeued, 0 remaining in queue. -Server api/api2 is DOWN, reason: Layer4 connection problem, info: "Connection refused", check duration: 0ms. 1 active and 0 backup servers left. 0 sessions active, 0 requeued, 0 remaining in queue. -Server api/api2 was DOWN and now enters maintenance (No IP for server ). +172.24.0.1:57032 [23/Oct/2026:11:37:38.388] http api/api2 0/0/0/97/97 201 500 - - ---- 1/1/0/0/0 0/0 "POST /api/v1/auth/sessions HTTP/1.1" +172.24.0.1:58552 [23/Oct/2026:11:37:53.795] http api/api2 0/0/0/86/86 201 504 - - ---- 1/1/0/0/0 0/0 "POST /api/v1/auth/sessions HTTP/1.1" +172.24.0.1:58572 [23/Oct/2026:11:37:53.942] http api/api2 0/0/0/78/78 201 500 - - ---- 1/1/0/0/0 0/0 "POST /api/v1/auth/sessions HTTP/1.1" +172.24.0.1:58586 [23/Oct/2026:11:37:54.055] http api/api2 0/0/0/81/81 201 500 - - ---- 1/1/0/0/0 0/0 "POST /api/v1/auth/sessions HTTP/1.1" +Server api/api2 is DOWN, reason: Layer7 wrong status, code: 503, info: "Service Unavailable", check duration: 5ms. 1 active and 0 backup servers left. 0 sessions active, 0 requeued, 0 remaining in queue. +[WARNING] (8) : Server api/api2 is DOWN, reason: Layer7 wrong status, code: 503, info: "Service Unavailable", check duration: 5ms. 1 active and 0 backup servers left. 0 sessions active, 0 requeued, 0 remaining in queue. [WARNING] (8) : Server api/api2 was DOWN and now enters maintenance (No IP for server ). +Server api/api2 was DOWN and now enters maintenance (No IP for server ). diff --git a/evidence/failover-api-2.txt b/evidence/failover-api-2.txt index 232bad25..8e1cc861 100644 --- a/evidence/failover-api-2.txt +++ b/evidence/failover-api-2.txt @@ -1,24 +1,24 @@ # before NAME CONTAINER ID STATE STATUS -mtusi-messenger-lab3-api-1 236cb759e825 running Up 8 seconds (healthy) -mtusi-messenger-lab3-api-2 787a253aa6a6 running Up About a minute (healthy) +mtusi-messenger-lab3-api-1 d1ff13561537 running Up 8 seconds (healthy) +mtusi-messenger-lab3-api-2 ac9723acebaa running Up About a minute (healthy) $ make test-failover ACTION_SCRIPT=scripts/stop-one.sh Executing explicit failover hook; hook output suppressed to avoid leaking secrets. -{"observed_instances_before": 2, "successful_writes": 120, "failed_attempts": 1, "first_recovery_seconds": 6.537} +{"observed_instances_before": 2, "successful_writes": 121, "failed_attempts": 0, "first_recovery_seconds": 5.125} PASS: failover preserved confirmed data and existing session. Hook scope needs operator evidence. # after: the stopped container is the replica whose id the test passed as TARGET_INSTANCE_ID NAME CONTAINER ID STATE STATUS -mtusi-messenger-lab3-api-1 236cb759e825 running Up 24 seconds (healthy) -mtusi-messenger-lab3-api-2 787a253aa6a6 exited Exited (143) 8 seconds ago +mtusi-messenger-lab3-api-1 d1ff13561537 running Up 24 seconds (healthy) +mtusi-messenger-lab3-api-2 ac9723acebaa exited Exited (143) 10 seconds ago # HAProxy log around the failure (non-2xx and state changes) -[WARNING] (8) : Server api/api2 was DOWN and now enters maintenance (No IP for server ). -Server api/api2 ('api') is UP/READY (resolves again). -[WARNING] (8) : Server api/api2 ('api') is UP/READY (resolves again). -172.24.0.1:62054 [22/Oct/2026:17:45:16.133] http api/api1 0/0/0/-1/87 502 209 - - SH-- 1/1/0/0/0 0/0 "POST /api/v1/chats/43529cee-e036-4e88-a744-c3fd0e23ce65/messages HTTP/1.1" -Server api/api1 is DOWN, reason: Layer4 connection problem, info: "Connection refused", check duration: 0ms. 1 active and 0 backup servers left. 0 sessions active, 0 requeued, 0 remaining in queue. -[WARNING] (8) : Server api/api1 is DOWN, reason: Layer4 connection problem, info: "Connection refused", check duration: 0ms. 1 active and 0 backup servers left. 0 sessions active, 0 requeued, 0 remaining in queue. +[WARNING] (8) : Server api/api2 is UP, reason: Layer7 check passed, code: 200, check duration: 9ms. 2 active and 0 backup servers online. 0 sessions requeued, 0 total in queue. +172.24.0.1:64862 [23/Oct/2026:11:38:51.915] http api/api1 0/0/0/69/69 201 504 - - ---- 1/1/0/0/0 0/0 "POST /api/v1/auth/sessions HTTP/1.1" +172.24.0.1:64886 [23/Oct/2026:11:38:52.074] http api/api1 0/0/0/26/26 201 500 - - ---- 1/1/0/0/0 0/0 "POST /api/v1/auth/sessions HTTP/1.1" +172.24.0.1:64892 [23/Oct/2026:11:38:52.179] http api/api1 0/0/0/24/24 201 500 - - ---- 1/1/0/0/0 0/0 "POST /api/v1/auth/sessions HTTP/1.1" +[WARNING] (8) : Server api/api1 is DOWN, reason: Layer7 wrong status, code: 503, info: "Service Unavailable", check duration: 3ms. 1 active and 0 backup servers left. 1 sessions active, 0 requeued, 0 remaining in queue. +Server api/api1 is DOWN, reason: Layer7 wrong status, code: 503, info: "Service Unavailable", check duration: 3ms. 1 active and 0 backup servers left. 1 sessions active, 0 requeued, 0 remaining in queue. [WARNING] (8) : Server api/api1 was DOWN and now enters maintenance (No IP for server ). Server api/api1 was DOWN and now enters maintenance (No IP for server ). diff --git a/evidence/gradle-tests.txt b/evidence/gradle-tests.txt index 7411d123..7bba1aa6 100644 --- a/evidence/gradle-tests.txt +++ b/evidence/gradle-tests.txt @@ -1,7 +1,7 @@ # ./gradlew test (Testcontainers: postgres:17.6-alpine3.22, redis:8.4.0-alpine) -total: 66 tests, 0 failed +total: 68 tests, 0 failed -infrastructure.controllers.authentication.AuthenticationControllerTest: 9 tests, 0 failed, 7.774 s +infrastructure.controllers.authentication.AuthenticationControllerTest: 9 tests, 0 failed, 7.132 s - logout revokes only the current token - Bearer token cannot open a session - password containing a colon and non-ASCII characters works @@ -11,19 +11,19 @@ infrastructure.controllers.authentication.AuthenticationControllerTest: 9 tests, - valid Basic credentials open a session - missing or malformed Basic header returns 401 - wrong password and unknown user get the same 401 -infrastructure.controllers.chat.ChatControllerTest: 6 tests, 0 failed, 2.101 s +infrastructure.controllers.chat.ChatControllerTest: 6 tests, 0 failed, 2.173 s - member can read own chat and members keep their order - unknown member is rejected before anything is written - foreign chat returns 404 for non-member - cursor issued to another user is rejected - chat list contains only own chats and is paginated - invalid member lists are rejected with 400 -infrastructure.controllers.health.HealthControllerTest: 2 tests, 0 failed, 0.134 s +infrastructure.controllers.health.HealthControllerTest: 2 tests, 0 failed, 0.127 s - live returns 200 - ready returns 200 when database is reachable -infrastructure.controllers.message.MessageConcurrencyTest: 1 tests, 0 failed, 0.335 s +infrastructure.controllers.message.MessageConcurrencyTest: 1 tests, 0 failed, 0.285 s - parallel senders produce exactly N unique messages -infrastructure.controllers.message.MessageControllerTest: 7 tests, 0 failed, 1.946 s +infrastructure.controllers.message.MessageControllerTest: 7 tests, 0 failed, 1.826 s - foreign chat returns 404 when sending - last page has null next_cursor - pagination walks all messages exactly once @@ -31,7 +31,7 @@ infrastructure.controllers.message.MessageControllerTest: 7 tests, 0 failed, 1.9 - empty text returns 400 invalid_request - history that is an exact multiple of limit ends with null next_cursor - foreign cursor returns 400 -infrastructure.controllers.message.MessageIdempotencyTest: 7 tests, 0 failed, 3.266 s +infrastructure.controllers.message.MessageIdempotencyTest: 7 tests, 0 failed, 3.269 s - expired key can be used for a new message - key scope is user and chat - same key with another body is a conflict @@ -39,7 +39,7 @@ infrastructure.controllers.message.MessageIdempotencyTest: 7 tests, 0 failed, 3. - retry with the same key and body returns the original message - retry by a former outsider is still checked for access - concurrent retries create exactly one message -infrastructure.controllers.user.UserControllerTest: 11 tests, 0 failed, 1.638 s +infrastructure.controllers.user.UserControllerTest: 11 tests, 0 failed, 1.668 s - password shorter than 12 code points returns 400 - concurrent registrations of one username create exactly one user - X-User-Id alone gives no access @@ -51,34 +51,37 @@ infrastructure.controllers.user.UserControllerTest: 11 tests, 0 failed, 1.638 s - Basic credentials are rejected on business endpoints - me returns the session owner - X-User-Id does not override bearer identity -infrastructure.repositories.authentication.session.cache.RedisSessionCacheRepositoryTest: 3 tests, 0 failed, 0.102 s +infrastructure.repositories.authentication.session.cache.RedisSessionCacheRepositoryTest: 3 tests, 0 failed, 0.091 s - cached session round-trips and expires together with the session - revoke replaces a cached session with a tombstone - late cache fill cannot overwrite a tombstone -infrastructure.repositories.chat.ExposedChatRepositoryTest: 2 tests, 0 failed, 0.514 s +infrastructure.repositories.chat.ExposedChatRepositoryTest: 2 tests, 0 failed, 0.498 s - chat row is rolled back when inserting members fails - successful creation commits the chat and every member -infrastructure.services.authentication.SessionLookupSingleFlightTest: 4 tests, 0 failed, 1.120 s +infrastructure.services.authentication.SessionLookupSingleFlightTest: 4 tests, 0 failed, 1.122 s - request arriving after logout does not join a lookup started before it - without single-flight every concurrent miss queries the database - with single-flight concurrent misses share one database lookup - lookup that finished before a request arrived is not reused -infrastructure.services.hashing.DefaultHashingServiceTest: 4 tests, 0 failed, 0.421 s +infrastructure.services.hashing.DefaultHashingServiceTest: 4 tests, 0 failed, 0.418 s - passwords differing only after 72 bytes are distinguished - validates the right password and rejects a wrong one - malformed hash is rejected instead of throwing - hash is a salted Argon2id PHC string -plugins.DatabaseMigrationTest: 1 tests, 0 failed, 0.209 s +plugins.CorsTest: 2 tests, 0 failed, 0.119 s + - page of the API itself may call it + - unknown origin is rejected +plugins.DatabaseMigrationTest: 1 tests, 0 failed, 0.188 s - re-running migrations applies nothing and keeps data -plugins.DependencyFailureTest: 5 tests, 0 failed, 13.326 s +plugins.DependencyFailureTest: 5 tests, 0 failed, 13.637 s - without PostgreSQL requests fail with a bounded 503 - logout during a Redis outage survives an API restart - logout during a Redis outage is not undone by a stale cached copy - without Redis requests bypass the cache - hanging Redis costs one command timeout and recovers -plugins.InstanceIdTest: 1 tests, 0 failed, 0.231 s +plugins.InstanceIdTest: 1 tests, 0 failed, 0.245 s - every response names the replica -plugins.SessionCacheTest: 3 tests, 0 failed, 0.928 s +plugins.SessionCacheTest: 3 tests, 0 failed, 0.953 s - emptied cache falls back to PostgreSQL - first authenticated request fills the cache - logout leaves a tombstone and the token is rejected diff --git a/evidence/idempotency-race.txt b/evidence/idempotency-race.txt index 2720d6fa..2aa14a6d 100644 --- a/evidence/idempotency-race.txt +++ b/evidence/idempotency-race.txt @@ -6,8 +6,8 @@ $ python3 scripts/idempotency-race.py "201": 640 }, "requests_per_instance": { - "236cb759e825": 320, - "787a253aa6a6": 320 + "ac9723acebaa": 320, + "d1ff13561537": 320 }, "rounds_with_more_than_one_message_id": 0, "messages_in_history": 20, diff --git a/evidence/instances.txt b/evidence/instances.txt index 440fc6ba..489d5fc8 100644 --- a/evidence/instances.txt +++ b/evidence/instances.txt @@ -1,21 +1,21 @@ $ docker compose ps -a NAME IMAGE STATE STATUS PORTS -mtusi-messenger-lab3-api-1 mtusi-messenger:lab3 running Up 35 seconds (healthy) 8080/tcp -mtusi-messenger-lab3-api-2 mtusi-messenger:lab3 running Up 35 seconds (healthy) 8080/tcp -mtusi-messenger-lab3-lb-1 haproxy:3.2.4-alpine running Up 29 seconds 127.0.0.1:8080->8080/tcp -mtusi-messenger-lab3-migrate-1 mtusi-messenger:lab3 exited Exited (0) 36 seconds ago -mtusi-messenger-lab3-postgres-1 postgres:17.6-alpine3.22 running Up 42 seconds (healthy) 5432/tcp -mtusi-messenger-lab3-redis-1 redis:8.4.0-alpine running Up 42 seconds (healthy) 6379/tcp +mtusi-messenger-lab3-api-1 mtusi-messenger:lab3 running Up 10 seconds (healthy) 8080/tcp +mtusi-messenger-lab3-api-2 mtusi-messenger:lab3 running Up 9 seconds (healthy) 8080/tcp +mtusi-messenger-lab3-lb-1 haproxy:3.2.4-alpine running Up 7 seconds (healthy) 127.0.0.1:8080->8080/tcp +mtusi-messenger-lab3-migrate-1 mtusi-messenger:lab3 exited Exited (0) 10 seconds ago +mtusi-messenger-lab3-postgres-1 postgres:17.6-alpine3.22 running Up 20 seconds (healthy) 5432/tcp +mtusi-messenger-lab3-redis-1 redis:8.4.0-alpine running Up 20 seconds (healthy) 6379/tcp $ for i in 1..6: curl -sD - http://localhost:8080/health/ready | grep X-Instance-Id -x-instance-id: 236cb759e825 -x-instance-id: 787a253aa6a6 -x-instance-id: 236cb759e825 -x-instance-id: 787a253aa6a6 -x-instance-id: 236cb759e825 -x-instance-id: 787a253aa6a6 +x-instance-id: ac9723acebaa +x-instance-id: d1ff13561537 +x-instance-id: ac9723acebaa +x-instance-id: d1ff13561537 +x-instance-id: ac9723acebaa +x-instance-id: d1ff13561537 # X-Instance-Id = HOSTNAME = short container id of the replica NAME CONTAINER ID STATE STATUS -mtusi-messenger-lab3-api-1 236cb759e825 running Up 35 seconds (healthy) -mtusi-messenger-lab3-api-2 787a253aa6a6 running Up 35 seconds (healthy) +mtusi-messenger-lab3-api-1 d1ff13561537 running Up 10 seconds (healthy) +mtusi-messenger-lab3-api-2 ac9723acebaa running Up 10 seconds (healthy) diff --git a/evidence/limits.txt b/evidence/limits.txt new file mode 100644 index 00000000..cf52a9dd --- /dev/null +++ b/evidence/limits.txt @@ -0,0 +1,44 @@ +$ docker compose ps +NAME IMAGE STATUS PORTS +mtusi-messenger-lab3-api-1 mtusi-messenger:lab3 Up 57 seconds (healthy) 8080/tcp +mtusi-messenger-lab3-api-2 mtusi-messenger:lab3 Up 57 seconds (healthy) 8080/tcp +mtusi-messenger-lab3-lb-1 haproxy:3.2.4-alpine Up 54 seconds (healthy) 127.0.0.1:8080->8080/tcp +mtusi-messenger-lab3-postgres-1 postgres:17.6-alpine3.22 Up About a minute (healthy) 5432/tcp +mtusi-messenger-lab3-redis-1 redis:8.4.0-alpine Up About a minute (healthy) 6379/tcp + +# limits (NanoCpus / Memory) from docker inspect +/mtusi-messenger-lab3-api-1 cpus=1000000000 memory=536870912 restart=unless-stopped +/mtusi-messenger-lab3-api-2 cpus=1000000000 memory=536870912 restart=unless-stopped +/mtusi-messenger-lab3-lb-1 cpus=500000000 memory=134217728 restart=unless-stopped +/mtusi-messenger-lab3-postgres-1 cpus=1000000000 memory=1073741824 restart=unless-stopped +/mtusi-messenger-lab3-redis-1 cpus=500000000 memory=134217728 restart=unless-stopped + +$ docker stats --no-stream +NAME CPU % MEM USAGE / LIMIT +mtusi-messenger-lab3-lb-1 0.21% 13.65MiB / 128MiB +mtusi-messenger-lab3-api-1 2.36% 183.7MiB / 512MiB +mtusi-messenger-lab3-api-2 1.42% 184.4MiB / 512MiB +mtusi-messenger-lab3-postgres-1 0.13% 67.29MiB / 1GiB +mtusi-messenger-lab3-redis-1 0.26% 12.44MiB / 128MiB + +# published ports: only the balancer +mtusi-messenger-lab3-api-1 [{ 8080 0 tcp}] +mtusi-messenger-lab3-api-2 [{ 8080 0 tcp}] +mtusi-messenger-lab3-lb-1 [{127.0.0.1 8080 8080 tcp}] +mtusi-messenger-lab3-postgres-1 [{ 5432 0 tcp}] +mtusi-messenger-lab3-redis-1 [{ 6379 0 tcp}] + +# secrets per service +api ['db_password', 'redis_password'] +lb [] +migrate ['db_password'] +postgres ['db_password'] +redis ['redis_password'] + +# HAProxy backend table +# pxname,svname,status,check_status +api,api1,UP,L7OK +api,api2,UP,L7OK +api,api3,MAINT (resolution), +api,api4,MAINT (resolution), +api,BACKEND,UP, diff --git a/evidence/load/README.md b/evidence/load/README.md new file mode 100644 index 00000000..a21780fe --- /dev/null +++ b/evidence/load/README.md @@ -0,0 +1,20 @@ +# Нагрузочные прогоны + +Дата: 2026-10-23. Код: commit 92c2fdc + незакоммиченные изменения уровня 4 (тот же код, что в PR). + +Стенд: Apple M4 (10 ядер), 16 ГБ, macOS 27; Docker Desktop 28.4 (VM 10 CPU, 8 ГБ), Compose 2.39; k6 2.3 на той же машине. +Лимиты контейнеров — как в `compose.yaml`: api 1 CPU / 512 МБ ×2, postgres 1 CPU / 1 ГБ, redis 0.5 CPU / 128 МБ, lb 0.5 CPU / 128 МБ. + +Профиль (`scripts/load/mixed.js`): открытая модель, 150 запросов/с через `localhost:8080`, 10 пользователей, один общий чат. +70 % `GET /api/v1/users/me`, 30 % `POST /api/v1/chats/{id}/messages` с уникальным `Idempotency-Key`. Таймаут запроса 5 с, повторов нет. +Ошибка — любой ответ не 2xx, включая status 0 (обрыв, таймаут). + +| Каталог | Команда | Что происходит | +| --- | --- | --- | +| `failover-stop-api-1`, `failover-stop-api-2` | `MODE=stop TARGET=api-N scripts/load/failover-under-load.sh` | 45 с нагрузки, на 10-й с `docker stop` реплики (SIGTERM), на 25-й `docker start` | +| `failover-kill-api-1`, `failover-kill-api-2` | `MODE=kill TARGET=api-N scripts/load/failover-under-load.sh` | то же, но `docker kill` (SIGKILL, падение процесса) | +| `rolling-update` | `scripts/load/rolling-under-load.sh` | 70 с нагрузки, с 10-й с `scripts/rolling-update.sh` | + +В каждом каталоге: `k6.txt` (итог k6), `events.json` (моменты действий, epoch ms), `haproxy.log` (смены состояния backend и ответы 5xx), +`per-second.csv` (по секундам: успешные, ошибки, p99, max, сколько ответила каждая реплика), `summary.json` (итог, считает `scripts/load/summarize.py`). +Сырые данные по каждому запросу в Git не кладутся; `KEEP_RAW=1` оставляет `requests.csv` локально. diff --git a/evidence/load/failover-kill-api-1/events.json b/evidence/load/failover-kill-api-1/events.json new file mode 100644 index 00000000..41dbbbd7 --- /dev/null +++ b/evidence/load/failover-kill-api-1/events.json @@ -0,0 +1,2 @@ +{"mode": "kill", "target": "api-1", "target_instance": "7b89cf61597b", "restored_instance": "7b89cf61597b", + "load_start": 1792755242253, "fault": 1792755252286, "fault_done": 1792755252443, "restore_begin": 1792755267305, "restore_healthy": 1792755269813} diff --git a/evidence/load/failover-kill-api-1/k6.txt b/evidence/load/failover-kill-api-1/k6.txt new file mode 100644 index 00000000..e6635170 --- /dev/null +++ b/evidence/load/failover-kill-api-1/k6.txt @@ -0,0 +1,26 @@ + + + █ TOTAL RESULTS + + CUSTOM + served_by......................: 6726 146.724721/s + + HTTP + http_req_duration..............: avg=24.62ms med=1.73ms p(95)=6.23ms p(99)=1s max=1.01s + { expected_response:true }...: avg=24.62ms med=1.73ms p(95)=6.23ms p(99)=1s max=1.01s + http_req_failed................: 0.00% 0 out of 6747 + http_reqs......................: 6747 147.182826/s + + EXECUTION + dropped_iterations.............: 25 0.545364/s + iteration_duration.............: avg=24.77ms med=1.92ms p(95)=6.16ms p(99)=1s max=1.01s + iterations.....................: 6726 146.724721/s + vus............................: 0 min=0 max=66 + vus_max........................: 75 min=50 max=75 + + NETWORK + data_received..................: 2.6 MB 57 kB/s + data_sent......................: 1.3 MB 29 kB/s + + + diff --git a/evidence/load/failover-kill-api-1/per-second.csv b/evidence/load/failover-kill-api-1/per-second.csv new file mode 100644 index 00000000..8e5d98b5 --- /dev/null +++ b/evidence/load/failover-kill-api-1/per-second.csv @@ -0,0 +1,46 @@ +second,ok,errors,p99_ms,max_ms,4fa49e9e1a53,7b89cf61597b +0,151,0,11.9,12.3,75,76 +1,149,0,5.9,6.7,75,74 +2,150,0,9.8,10.5,75,75 +3,150,0,6.4,7.3,75,75 +4,150,0,7.0,7.9,75,75 +5,151,0,5.8,7.8,75,76 +6,150,0,3.9,7.1,75,75 +7,149,0,6.2,6.5,75,74 +8,150,0,6.2,6.4,75,75 +9,151,0,6.1,7.3,75,76 +10,97,0,7.6,7.6,77,20 +11,104,0,1007.5,1009.4,104,0 +12,224,0,1006.6,1011.5,224,0 +13,150,0,7.1,15.8,150,0 +14,150,0,8.9,22.4,150,0 +15,150,0,4.3,5.1,150,0 +16,150,0,6.2,7.4,150,0 +17,150,0,5.2,6.2,150,0 +18,149,0,5.1,5.9,149,0 +19,151,0,5.4,6.8,151,0 +20,150,0,5.7,5.8,150,0 +21,150,0,5.6,5.7,150,0 +22,150,0,11.5,14.7,150,0 +23,150,0,5.7,6.0,150,0 +24,150,0,5.5,6.2,150,0 +25,150,0,34.2,43.0,150,0 +26,150,0,4.1,4.4,150,0 +27,149,0,5.9,6.1,149,0 +28,136,0,7.4,8.0,136,0 +29,164,0,714.7,777.3,75,89 +30,151,0,8.4,20.8,75,76 +31,149,0,32.0,41.6,74,75 +32,151,0,12.8,15.2,76,75 +33,150,0,5.6,5.8,75,75 +34,150,0,5.4,5.5,75,75 +35,150,0,10.5,12.2,75,75 +36,150,0,5.7,6.5,75,75 +37,150,0,5.5,5.9,75,75 +38,150,0,5.4,6.6,75,75 +39,150,0,6.4,6.5,75,75 +40,150,0,5.7,6.2,75,75 +41,149,0,5.2,5.5,74,75 +42,150,0,26.9,29.4,75,75 +43,151,0,6.9,7.1,76,75 +44,150,0,17.8,18.8,75,75 diff --git a/evidence/load/failover-kill-api-1/summary.json b/evidence/load/failover-kill-api-1/summary.json new file mode 100644 index 00000000..e6f71a3f --- /dev/null +++ b/evidence/load/failover-kill-api-1/summary.json @@ -0,0 +1,26 @@ +{ + "requests": 6726, + "ok": 6726, + "errors": 0, + "error_codes": {}, + "ok_rps": 149.5, + "p50_ms": 1.7, + "p95_ms": 5.9, + "p99_ms": 1003.5, + "max_ms": 1011.5, + "requests_per_instance": { + "7b89cf61597b": 1986, + "4fa49e9e1a53": 4740 + }, + "event_load_start_s": 0.22, + "event_fault_s": 10.26, + "event_fault_done_s": 10.41, + "event_restore_begin_s": 25.27, + "event_restore_healthy_s": 27.78, + "errors_after_fault": 0, + "last_error_after_fault_s": null, + "target_last_response_after_fault_s": 0.01, + "restored_replica_first_response_after_start_s": 3.85, + "lb_marked_down_after_fault_s": 1.74, + "lb_marked_up_after_start_s": 3.52 +} \ No newline at end of file diff --git a/evidence/load/failover-kill-api-2/events.json b/evidence/load/failover-kill-api-2/events.json new file mode 100644 index 00000000..23365925 --- /dev/null +++ b/evidence/load/failover-kill-api-2/events.json @@ -0,0 +1,2 @@ +{"mode": "kill", "target": "api-2", "target_instance": "4fa49e9e1a53", "restored_instance": "4fa49e9e1a53", + "load_start": 1792755292111, "fault": 1792755302165, "fault_done": 1792755302329, "restore_begin": 1792755317163, "restore_healthy": 1792755319645} diff --git a/evidence/load/failover-kill-api-2/k6.txt b/evidence/load/failover-kill-api-2/k6.txt new file mode 100644 index 00000000..d9541d25 --- /dev/null +++ b/evidence/load/failover-kill-api-2/k6.txt @@ -0,0 +1,26 @@ + + + █ TOTAL RESULTS + + CUSTOM + served_by......................: 6722 146.537002/s + + HTTP + http_req_duration..............: avg=25.2ms med=1.69ms p(95)=5.68ms p(99)=1s max=1.01s + { expected_response:true }...: avg=25.2ms med=1.69ms p(95)=5.68ms p(99)=1s max=1.01s + http_req_failed................: 0.00% 0 out of 6743 + http_reqs......................: 6743 146.994794/s + + EXECUTION + dropped_iterations.............: 29 0.632189/s + iteration_duration.............: avg=25.35ms med=1.88ms p(95)=5.77ms p(99)=1s max=1.01s + iterations.....................: 6722 146.537002/s + vus............................: 1 min=0 max=78 + vus_max........................: 79 min=50 max=79 + + NETWORK + data_received..................: 2.6 MB 57 kB/s + data_sent......................: 1.3 MB 29 kB/s + + + diff --git a/evidence/load/failover-kill-api-2/per-second.csv b/evidence/load/failover-kill-api-2/per-second.csv new file mode 100644 index 00000000..d811ae40 --- /dev/null +++ b/evidence/load/failover-kill-api-2/per-second.csv @@ -0,0 +1,46 @@ +second,ok,errors,p99_ms,max_ms,4fa49e9e1a53,7b89cf61597b +0,151,0,4.9,6.7,76,75 +1,150,0,6.1,6.7,75,75 +2,150,0,8.3,9.0,75,75 +3,150,0,5.8,6.2,75,75 +4,150,0,5.5,6.4,75,75 +5,150,0,5.4,5.7,75,75 +6,150,0,5.4,6.1,75,75 +7,150,0,5.5,6.1,75,75 +8,150,0,6.8,7.2,75,75 +9,150,0,7.0,7.8,75,75 +10,96,0,9.1,9.1,19,77 +11,104,0,1010.4,1012.0,0,104 +12,209,0,1006.0,1006.3,0,209 +13,162,0,1004.9,1005.5,0,162 +14,149,0,5.8,6.0,0,149 +15,151,0,3.7,3.8,0,151 +16,150,0,4.6,6.1,0,150 +17,150,0,5.4,6.2,0,150 +18,150,0,5.5,7.0,0,150 +19,150,0,6.0,7.1,0,150 +20,149,0,5.8,7.3,0,149 +21,151,0,6.5,6.9,0,151 +22,150,0,5.5,5.7,0,150 +23,149,0,6.4,6.6,0,149 +24,151,0,11.2,13.3,0,151 +25,150,0,11.7,14.0,0,150 +26,150,0,4.3,5.2,0,150 +27,150,0,6.2,6.2,0,150 +28,133,0,6.0,7.3,0,133 +29,167,0,694.4,717.1,92,75 +30,150,0,5.9,7.7,75,75 +31,148,0,8.0,33.2,74,74 +32,152,0,6.2,23.0,76,76 +33,150,0,5.5,6.5,75,75 +34,150,0,29.7,35.8,75,75 +35,150,0,4.9,6.4,75,75 +36,150,0,5.1,5.2,75,75 +37,150,0,4.9,5.2,75,75 +38,150,0,4.9,5.7,75,75 +39,149,0,5.3,5.7,75,74 +40,151,0,5.9,6.7,75,76 +41,149,0,4.4,4.4,75,74 +42,151,0,9.9,10.7,75,76 +43,150,0,8.5,8.9,75,75 +44,150,0,5.5,6.2,75,75 diff --git a/evidence/load/failover-kill-api-2/summary.json b/evidence/load/failover-kill-api-2/summary.json new file mode 100644 index 00000000..e3c7eba0 --- /dev/null +++ b/evidence/load/failover-kill-api-2/summary.json @@ -0,0 +1,26 @@ +{ + "requests": 6722, + "ok": 6722, + "errors": 0, + "error_codes": {}, + "ok_rps": 149.4, + "p50_ms": 1.7, + "p95_ms": 5.4, + "p99_ms": 1003.5, + "max_ms": 1012.0, + "requests_per_instance": { + "4fa49e9e1a53": 1987, + "7b89cf61597b": 4735 + }, + "event_load_start_s": 0.18, + "event_fault_s": 10.23, + "event_fault_done_s": 10.4, + "event_restore_begin_s": 25.23, + "event_restore_healthy_s": 27.71, + "errors_after_fault": 0, + "last_error_after_fault_s": null, + "target_last_response_after_fault_s": 0.02, + "restored_replica_first_response_after_start_s": 3.86, + "lb_marked_down_after_fault_s": 1.92, + "lb_marked_up_after_start_s": 3.54 +} \ No newline at end of file diff --git a/evidence/load/failover-stop-api-1/events.json b/evidence/load/failover-stop-api-1/events.json new file mode 100644 index 00000000..1018d8e1 --- /dev/null +++ b/evidence/load/failover-stop-api-1/events.json @@ -0,0 +1,2 @@ +{"mode": "stop", "target": "api-1", "target_instance": "7b89cf61597b", "restored_instance": "7b89cf61597b", + "load_start": 1792755143191, "fault": 1792755153238, "fault_done": 1792755158479, "restore_begin": 1792755168242, "restore_healthy": 1792755170683} diff --git a/evidence/load/failover-stop-api-1/k6.txt b/evidence/load/failover-stop-api-1/k6.txt new file mode 100644 index 00000000..3a89b661 --- /dev/null +++ b/evidence/load/failover-stop-api-1/k6.txt @@ -0,0 +1,25 @@ + + + █ TOTAL RESULTS + + CUSTOM + served_by......................: 6750 143.513142/s + + HTTP + http_req_duration..............: avg=5.21ms med=2.03ms p(95)=5.28ms p(99)=66.29ms max=608.68ms + { expected_response:true }...: avg=5.21ms med=2.03ms p(95)=5.28ms p(99)=66.29ms max=608.68ms + http_req_failed................: 0.00% 0 out of 6771 + http_reqs......................: 6771 143.959628/s + + EXECUTION + iteration_duration.............: avg=5.13ms med=2.21ms p(95)=5.47ms p(99)=48.43ms max=608.87ms + iterations.....................: 6750 143.513142/s + vus............................: 2 min=0 max=26 + vus_max........................: 50 min=50 max=50 + + NETWORK + data_received..................: 2.6 MB 56 kB/s + data_sent......................: 1.4 MB 29 kB/s + + + diff --git a/evidence/load/failover-stop-api-1/per-second.csv b/evidence/load/failover-stop-api-1/per-second.csv new file mode 100644 index 00000000..48d500a8 --- /dev/null +++ b/evidence/load/failover-stop-api-1/per-second.csv @@ -0,0 +1,46 @@ +second,ok,errors,p99_ms,max_ms,4fa49e9e1a53,7b89cf61597b +0,153,0,205.2,220.8,77,76 +1,150,0,7.0,7.7,75,75 +2,150,0,7.3,16.6,75,75 +3,150,0,5.6,6.1,75,75 +4,150,0,6.3,6.6,75,75 +5,150,0,30.2,41.5,75,75 +6,150,0,7.4,7.8,75,75 +7,150,0,7.0,7.3,75,75 +8,150,0,58.5,73.3,75,75 +9,150,0,5.7,7.0,75,75 +10,150,0,5.7,7.6,75,75 +11,150,0,5.8,6.1,75,75 +12,150,0,25.5,29.9,134,16 +13,150,0,5.8,6.6,150,0 +14,150,0,4.9,5.5,150,0 +15,150,0,4.6,5.3,150,0 +16,150,0,11.3,14.1,150,0 +17,150,0,4.4,5.2,150,0 +18,150,0,5.0,6.8,150,0 +19,150,0,6.2,7.2,150,0 +20,150,0,6.6,6.9,150,0 +21,150,0,6.7,8.5,150,0 +22,151,0,7.8,12.3,151,0 +23,150,0,5.0,11.3,150,0 +24,149,0,20.5,27.7,149,0 +25,150,0,5.7,6.3,150,0 +26,150,0,7.8,8.4,150,0 +27,150,0,6.6,10.4,150,0 +28,151,0,4.4,8.2,151,0 +29,120,0,543.2,554.2,103,17 +30,180,0,602.9,608.7,75,105 +31,149,0,5.9,8.8,74,75 +32,150,0,18.6,31.4,75,75 +33,150,0,5.2,5.6,75,75 +34,150,0,5.9,6.0,75,75 +35,150,0,7.6,9.4,75,75 +36,150,0,4.6,4.7,75,75 +37,150,0,4.0,5.1,75,75 +38,150,0,5.5,7.1,75,75 +39,151,0,4.9,5.0,76,75 +40,149,0,7.3,7.6,74,75 +41,150,0,7.4,16.1,75,75 +42,150,0,6.8,13.7,75,75 +43,150,0,5.7,9.3,75,75 +44,147,0,45.7,53.5,74,73 diff --git a/evidence/load/failover-stop-api-1/summary.json b/evidence/load/failover-stop-api-1/summary.json new file mode 100644 index 00000000..39fd1562 --- /dev/null +++ b/evidence/load/failover-stop-api-1/summary.json @@ -0,0 +1,26 @@ +{ + "requests": 6750, + "ok": 6750, + "errors": 0, + "error_codes": {}, + "ok_rps": 150.0, + "p50_ms": 2.0, + "p95_ms": 5.2, + "p99_ms": 48.3, + "max_ms": 608.7, + "requests_per_instance": { + "7b89cf61597b": 2087, + "4fa49e9e1a53": 4663 + }, + "event_load_start_s": 1.08, + "event_fault_s": 11.13, + "event_fault_done_s": 16.37, + "event_restore_begin_s": 26.13, + "event_restore_healthy_s": 28.57, + "errors_after_fault": 0, + "last_error_after_fault_s": null, + "target_last_response_after_fault_s": 1.07, + "restored_replica_first_response_after_start_s": 3.8, + "lb_marked_down_after_fault_s": 1.08, + "lb_marked_up_after_start_s": 3.24 +} \ No newline at end of file diff --git a/evidence/load/failover-stop-api-2/events.json b/evidence/load/failover-stop-api-2/events.json new file mode 100644 index 00000000..8da27b82 --- /dev/null +++ b/evidence/load/failover-stop-api-2/events.json @@ -0,0 +1,2 @@ +{"mode": "stop", "target": "api-2", "target_instance": "4fa49e9e1a53", "restored_instance": "4fa49e9e1a53", + "load_start": 1792755193214, "fault": 1792755203249, "fault_done": 1792755207464, "restore_begin": 1792755218279, "restore_healthy": 1792755220771} diff --git a/evidence/load/failover-stop-api-2/k6.txt b/evidence/load/failover-stop-api-2/k6.txt new file mode 100644 index 00000000..3e5f1084 --- /dev/null +++ b/evidence/load/failover-stop-api-2/k6.txt @@ -0,0 +1,26 @@ + + + █ TOTAL RESULTS + + CUSTOM + served_by......................: 6743 145.744963/s + + HTTP + http_req_duration..............: avg=8.51ms med=1.69ms p(95)=5.01ms p(99)=161.63ms max=1.04s + { expected_response:true }...: avg=8.51ms med=1.69ms p(95)=5.01ms p(99)=161.63ms max=1.04s + http_req_failed................: 0.00% 0 out of 6764 + http_reqs......................: 6764 146.198862/s + + EXECUTION + dropped_iterations.............: 8 0.172914/s + iteration_duration.............: avg=8.54ms med=1.88ms p(95)=5.16ms p(99)=156.59ms max=1.04s + iterations.....................: 6743 145.744963/s + vus............................: 0 min=0 max=28 + vus_max........................: 58 min=50 max=58 + + NETWORK + data_received..................: 2.6 MB 56 kB/s + data_sent......................: 1.4 MB 29 kB/s + + + diff --git a/evidence/load/failover-stop-api-2/per-second.csv b/evidence/load/failover-stop-api-2/per-second.csv new file mode 100644 index 00000000..e0c8fef4 --- /dev/null +++ b/evidence/load/failover-stop-api-2/per-second.csv @@ -0,0 +1,46 @@ +second,ok,errors,p99_ms,max_ms,4fa49e9e1a53,7b89cf61597b +0,151,0,5.3,5.3,76,75 +1,150,0,5.6,6.0,75,75 +2,150,0,10.9,11.6,75,75 +3,150,0,9.9,10.0,75,75 +4,150,0,10.2,12.3,75,75 +5,150,0,6.3,7.4,75,75 +6,150,0,5.7,6.3,75,75 +7,150,0,8.4,16.2,75,75 +8,149,0,6.0,7.9,74,75 +9,151,0,4.2,5.4,76,75 +10,150,0,4.3,4.4,75,75 +11,150,0,8.1,12.1,75,75 +12,150,0,6.8,10.4,44,106 +13,150,0,5.7,5.9,0,150 +14,150,0,5.6,6.2,0,150 +15,150,0,4.9,5.9,0,150 +16,150,0,4.4,4.9,0,150 +17,150,0,4.4,4.8,0,150 +18,150,0,5.9,6.1,0,150 +19,150,0,5.7,10.8,0,150 +20,150,0,5.8,5.8,0,150 +21,149,0,6.2,7.7,0,149 +22,150,0,8.5,11.4,0,150 +23,151,0,5.0,5.4,0,151 +24,150,0,5.1,5.1,0,150 +25,150,0,6.0,8.8,0,150 +26,150,0,4.9,6.9,0,150 +27,119,0,4.0,5.5,0,119 +28,172,0,1038.9,1043.4,101,71 +29,151,0,53.1,64.8,76,75 +30,150,0,6.5,7.6,75,75 +31,150,0,6.1,7.2,75,75 +32,150,0,7.6,8.6,75,75 +33,150,0,5.7,11.9,75,75 +34,150,0,6.1,8.2,75,75 +35,150,0,7.8,10.4,75,75 +36,150,0,5.1,5.1,75,75 +37,150,0,5.0,6.6,75,75 +38,150,0,7.3,8.7,75,75 +39,150,0,5.8,5.8,75,75 +40,150,0,5.3,5.5,75,75 +41,150,0,4.2,4.6,75,75 +42,150,0,10.8,11.4,75,75 +43,150,0,5.5,5.6,75,75 +44,150,0,7.1,8.6,75,75 diff --git a/evidence/load/failover-stop-api-2/summary.json b/evidence/load/failover-stop-api-2/summary.json new file mode 100644 index 00000000..35a7c355 --- /dev/null +++ b/evidence/load/failover-stop-api-2/summary.json @@ -0,0 +1,26 @@ +{ + "requests": 6743, + "ok": 6743, + "errors": 0, + "error_codes": {}, + "ok_rps": 149.8, + "p50_ms": 1.7, + "p95_ms": 4.9, + "p99_ms": 161.6, + "max_ms": 1043.4, + "requests_per_instance": { + "4fa49e9e1a53": 2247, + "7b89cf61597b": 4496 + }, + "event_load_start_s": 0.87, + "event_fault_s": 10.9, + "event_fault_done_s": 15.12, + "event_restore_begin_s": 25.93, + "event_restore_healthy_s": 28.43, + "errors_after_fault": 0, + "last_error_after_fault_s": null, + "target_last_response_after_fault_s": 1.68, + "restored_replica_first_response_after_start_s": 2.41, + "lb_marked_down_after_fault_s": 1.69, + "lb_marked_up_after_start_s": null +} \ No newline at end of file diff --git a/evidence/load/rolling-update/events.json b/evidence/load/rolling-update/events.json new file mode 100644 index 00000000..0cf24cf1 --- /dev/null +++ b/evidence/load/rolling-update/events.json @@ -0,0 +1 @@ +{"load_start": 1792755359464, "rolling_begin": 1792755369523, "rolling_end": 1792755395558} diff --git a/evidence/load/rolling-update/k6.txt b/evidence/load/rolling-update/k6.txt new file mode 100644 index 00000000..41182e99 --- /dev/null +++ b/evidence/load/rolling-update/k6.txt @@ -0,0 +1,25 @@ + + + █ TOTAL RESULTS + + CUSTOM + served_by......................: 10501 148.101961/s + + HTTP + http_req_duration..............: avg=3.73ms med=1.88ms p(95)=4.77ms p(99)=14.85ms max=625.43ms + { expected_response:true }...: avg=3.73ms med=1.88ms p(95)=4.77ms p(99)=14.85ms max=625.43ms + http_req_failed................: 0.00% 0 out of 10522 + http_reqs......................: 10522 148.398137/s + + EXECUTION + iteration_duration.............: avg=3.84ms med=2.06ms p(95)=4.98ms p(99)=12ms max=625.53ms + iterations.....................: 10501 148.101961/s + vus............................: 0 min=0 max=27 + vus_max........................: 50 min=50 max=50 + + NETWORK + data_received..................: 4.1 MB 57 kB/s + data_sent......................: 2.1 MB 30 kB/s + + + diff --git a/evidence/load/rolling-update/per-second.csv b/evidence/load/rolling-update/per-second.csv new file mode 100644 index 00000000..057e1193 --- /dev/null +++ b/evidence/load/rolling-update/per-second.csv @@ -0,0 +1,71 @@ +second,ok,errors,p99_ms,max_ms,1239a2b734c0,4fa49e9e1a53,7b89cf61597b,d23287559687 +0,151,0,5.5,9.0,0,75,76,0 +1,150,0,5.1,7.0,0,75,75,0 +2,150,0,9.8,10.3,0,75,75,0 +3,150,0,5.7,6.4,0,75,75,0 +4,150,0,6.9,7.0,0,75,75,0 +5,150,0,6.3,9.4,0,75,75,0 +6,150,0,4.6,6.8,0,75,75,0 +7,150,0,5.6,6.0,0,75,75,0 +8,150,0,17.0,22.8,0,75,75,0 +9,150,0,7.7,9.3,0,75,75,0 +10,150,0,4.6,5.3,0,75,75,0 +11,150,0,4.5,6.2,0,75,75,0 +12,150,0,4.3,4.4,0,75,75,0 +13,150,0,6.1,10.7,0,75,75,0 +14,150,0,17.3,25.9,0,75,75,0 +15,150,0,9.2,16.0,0,75,75,0 +16,150,0,4.2,4.5,0,75,75,0 +17,149,0,13.0,21.3,0,75,74,0 +18,151,0,13.5,13.8,0,75,76,0 +19,150,0,4.6,4.6,0,75,75,0 +20,149,0,6.1,11.1,0,75,74,0 +21,129,0,8.7,11.5,0,64,65,0 +22,172,0,586.0,625.4,0,50,50,72 +23,150,0,8.1,10.9,0,68,14,68 +24,150,0,5.0,5.4,0,75,0,75 +25,150,0,7.6,12.0,0,75,0,75 +26,150,0,9.6,10.2,0,75,0,75 +27,150,0,20.6,22.0,0,75,0,75 +28,150,0,5.1,7.4,0,75,0,75 +29,150,0,24.8,27.6,0,75,0,75 +30,149,0,354.8,406.4,28,61,0,60 +31,151,0,6.2,6.3,51,50,0,50 +32,150,0,6.2,7.9,74,1,0,75 +33,150,0,5.6,6.0,75,0,0,75 +34,150,0,6.7,7.1,75,0,0,75 +35,150,0,11.7,13.0,75,0,0,75 +36,150,0,20.0,28.9,75,0,0,75 +37,150,0,5.5,6.0,75,0,0,75 +38,150,0,6.0,6.4,75,0,0,75 +39,150,0,5.5,5.8,75,0,0,75 +40,150,0,5.1,5.3,75,0,0,75 +41,150,0,24.6,37.4,75,0,0,75 +42,150,0,4.6,7.6,75,0,0,75 +43,150,0,5.0,6.1,75,0,0,75 +44,150,0,6.6,7.5,75,0,0,75 +45,150,0,7.7,11.6,75,0,0,75 +46,150,0,5.8,5.9,75,0,0,75 +47,150,0,34.1,39.4,75,0,0,75 +48,150,0,5.3,5.5,75,0,0,75 +49,150,0,5.2,6.0,75,0,0,75 +50,150,0,5.3,5.5,75,0,0,75 +51,150,0,5.7,6.7,75,0,0,75 +52,150,0,5.8,5.9,75,0,0,75 +53,150,0,5.7,6.7,75,0,0,75 +54,150,0,5.5,7.1,75,0,0,75 +55,150,0,6.5,6.7,75,0,0,75 +56,149,0,6.7,6.9,75,0,0,74 +57,151,0,8.0,11.5,75,0,0,76 +58,150,0,5.3,5.4,75,0,0,75 +59,150,0,5.6,5.7,75,0,0,75 +60,150,0,4.3,4.6,75,0,0,75 +61,150,0,5.9,6.2,75,0,0,75 +62,150,0,6.1,7.5,75,0,0,75 +63,150,0,4.5,4.8,75,0,0,75 +64,150,0,5.5,6.9,75,0,0,75 +65,150,0,7.2,7.7,75,0,0,75 +66,150,0,5.0,5.2,75,0,0,75 +67,150,0,4.2,4.9,75,0,0,75 +68,150,0,8.6,8.9,75,0,0,75 +69,150,0,5.8,7.4,75,0,0,75 diff --git a/evidence/load/rolling-update/summary.json b/evidence/load/rolling-update/summary.json new file mode 100644 index 00000000..735fae5a --- /dev/null +++ b/evidence/load/rolling-update/summary.json @@ -0,0 +1,20 @@ +{ + "requests": 10501, + "ok": 10501, + "errors": 0, + "error_codes": {}, + "ok_rps": 150.0, + "p50_ms": 1.9, + "p95_ms": 4.7, + "p99_ms": 11.7, + "max_ms": 625.4, + "requests_per_instance": { + "7b89cf61597b": 1704, + "4fa49e9e1a53": 2319, + "d23287559687": 3550, + "1239a2b734c0": 2928 + }, + "event_load_start_s": 0.33, + "event_rolling_begin_s": 10.38, + "event_rolling_end_s": 36.42 +} \ No newline at end of file diff --git a/evidence/persistence.txt b/evidence/persistence.txt index d33c8104..4ba9d2f7 100644 --- a/evidence/persistence.txt +++ b/evidence/persistence.txt @@ -1,24 +1,24 @@ # before NAME STATE STATUS -mtusi-messenger-lab3-api-1 running Up 35 seconds (healthy) -mtusi-messenger-lab3-api-2 running Up 8 seconds (healthy) -mtusi-messenger-lab3-lb-1 running Up 2 minutes -mtusi-messenger-lab3-migrate-1 exited Exited (0) 7 seconds ago +mtusi-messenger-lab3-api-1 running Up 37 seconds (healthy) +mtusi-messenger-lab3-api-2 running Up 7 seconds (healthy) +mtusi-messenger-lab3-lb-1 running Up About a minute (healthy) +mtusi-messenger-lab3-migrate-1 exited Exited (0) 4 seconds ago mtusi-messenger-lab3-postgres-1 running Up 2 minutes (healthy) mtusi-messenger-lab3-redis-1 running Up 2 minutes (healthy) -/mtusi-messenger-lab3-api-1 StartedAt=2026-10-22T17:45:06.396826175Z -/mtusi-messenger-lab3-api-2 StartedAt=2026-10-22T17:45:33.184696798Z -/mtusi-messenger-lab3-lb-1 StartedAt=2026-10-22T17:43:17.31840918Z -/mtusi-messenger-lab3-postgres-1 StartedAt=2026-10-22T17:43:04.928814758Z -/mtusi-messenger-lab3-redis-1 StartedAt=2026-10-22T17:43:04.927049216Z +/mtusi-messenger-lab3-api-1 StartedAt=2026-10-23T11:38:43.02725971Z +/mtusi-messenger-lab3-api-2 StartedAt=2026-10-23T11:39:12.251618502Z +/mtusi-messenger-lab3-lb-1 StartedAt=2026-10-23T11:37:31.902111428Z +/mtusi-messenger-lab3-postgres-1 StartedAt=2026-10-23T11:37:18.99589288Z +/mtusi-messenger-lab3-redis-1 StartedAt=2026-10-23T11:37:18.995508005Z $ make test-persistence ACTION_SCRIPT=scripts/restart.sh PASS: persistence preserved confirmed data and existing session. Hook scope needs operator evidence. # after: every container has a new StartedAt, volume postgres-data is kept -/mtusi-messenger-lab3-api-1 StartedAt=2026-10-22T17:45:53.47890296Z -/mtusi-messenger-lab3-api-2 StartedAt=2026-10-22T17:45:53.585460419Z -/mtusi-messenger-lab3-lb-1 StartedAt=2026-10-22T17:45:59.18815863Z -/mtusi-messenger-lab3-postgres-1 StartedAt=2026-10-22T17:45:46.762570055Z -/mtusi-messenger-lab3-redis-1 StartedAt=2026-10-22T17:45:46.760974013Z +/mtusi-messenger-lab3-api-1 StartedAt=2026-10-23T11:39:37.089275763Z +/mtusi-messenger-lab3-api-2 StartedAt=2026-10-23T11:39:37.18606118Z +/mtusi-messenger-lab3-lb-1 StartedAt=2026-10-23T11:39:39.805556042Z +/mtusi-messenger-lab3-postgres-1 StartedAt=2026-10-23T11:39:26.389951592Z +/mtusi-messenger-lab3-redis-1 StartedAt=2026-10-23T11:39:26.38860105Z mtusi-messenger-lab3_postgres-data diff --git a/infra/haproxy/haproxy.cfg b/infra/haproxy/haproxy.cfg index b3abf039..66edd0a1 100644 --- a/infra/haproxy/haproxy.cfg +++ b/infra/haproxy/haproxy.cfg @@ -3,6 +3,8 @@ global log stdout format raw local0 info + # Without it HAProxy sizes buffers from the file descriptor limit and uses ~100 MB. + maxconn 4096 defaults mode http @@ -37,6 +39,14 @@ frontend http bind :8080 default_backend api +# Not published: container healthcheck and the backend table (wget -qO- "http://127.0.0.1:8404/stats;csv"). +frontend internal + bind :8404 + monitor-uri /healthz + stats enable + stats uri /stats + stats refresh 5s + backend api balance roundrobin option httpchk GET /health/ready diff --git a/run/_template/config/authentication.conf b/run/_template/config/authentication.conf index 8debebf3..83968198 100644 --- a/run/_template/config/authentication.conf +++ b/run/_template/config/authentication.conf @@ -1,4 +1,7 @@ authentication { realm = "messenger" sessionTtlSeconds = 3600 + sessionCacheTtlSeconds = 60 + # Collapse concurrent cache misses for one token into a single database lookup + sessionCacheSingleFlight = true } diff --git a/run/_template/config/database.conf b/run/_template/config/database.conf index 6de16a67..2f27e6f8 100644 --- a/run/_template/config/database.conf +++ b/run/_template/config/database.conf @@ -6,4 +6,7 @@ database { password = "password" maxPoolSize = 10 connectionTimeoutMs = 2000 + statementTimeoutMs = 5000 + # A single local process migrates itself; replicas in compose leave it to the `migrate` service + migrateOnStart = true } diff --git a/run/_template/config/instance.conf b/run/_template/config/instance.conf new file mode 100644 index 00000000..1029f35d --- /dev/null +++ b/run/_template/config/instance.conf @@ -0,0 +1,4 @@ +instance { + # X-Instance-Id of this process. Defaults to HOSTNAME (the short container id in Docker), else a random alias + #id = "dev" +} diff --git a/run/_template/config/messages.conf b/run/_template/config/messages.conf new file mode 100644 index 00000000..ced68696 --- /dev/null +++ b/run/_template/config/messages.conf @@ -0,0 +1,4 @@ +messages { + # How long a stored Idempotency-Key answers a retry with the original message (contract: at least 24 h) + idempotencyTtlSeconds = 86400 +} diff --git a/run/_template/config/redis.conf b/run/_template/config/redis.conf index f6a9b183..d2f835f0 100644 --- a/run/_template/config/redis.conf +++ b/run/_template/config/redis.conf @@ -1,6 +1,8 @@ -redis { + redis { host = "localhost" port = 6379 + # Only if the local Redis requires AUTH + #password = "" connectTimeoutMs = 500 commandTimeoutMs = 500 } diff --git a/scripts/load/failover-under-load.sh b/scripts/load/failover-under-load.sh new file mode 100755 index 00000000..b142f6e4 --- /dev/null +++ b/scripts/load/failover-under-load.sh @@ -0,0 +1,55 @@ +#!/bin/sh +# One replica fault under constant load through the balancer, then its restoration. +# MODE=stop docker stop (SIGTERM: drain, graceful shutdown) MODE=kill docker kill (SIGKILL: crash) +# TARGET=api-1|api-2 RATE=150 req/s DURATION=45 s fault at 10 s, restore at 25 s +# Output: evidence/load/failover--/{k6.txt,events.json,haproxy.log,per-second.csv,summary.json} +set -eu +cd "$(dirname "$0")/../.." + +MODE=${MODE:-stop} +TARGET=${TARGET:-api-1} +RATE=${RATE:-150} +DURATION=${DURATION:-45} +FAULT_AT=${FAULT_AT:-10} +RESTORE_AT=${RESTORE_AT:-25} + +out=evidence/load/failover-$MODE-$TARGET +rm -rf "$out" && mkdir -p "$out" +now() { python3 -c 'import time; print(int(time.time() * 1000))'; } +# Sleeps until after the load started, so the schedule does not drift with slow docker commands. +sleep_until() { python3 -c "import time; time.sleep(max(0, $start / 1000 + $1 - time.time()))"; } +container=mtusi-messenger-lab3-$TARGET +target_instance=$(docker inspect -f '{{.Config.Hostname}}' "$container") + +since=$(date -u +%Y-%m-%dT%H:%M:%SZ) +K6_CSV_TIME_FORMAT=unix_milli k6 run --quiet --out csv="$out/requests.csv" \ + -e RATE="$RATE" -e DURATION="${DURATION}s" scripts/load/mixed.js > "$out/k6.txt" 2>&1 & +k6_pid=$! + +# Load starts after k6 setup (users, sessions, chat): wait for the first request of the scenario. +until grep -q ',load,' "$out/requests.csv" 2>/dev/null; do sleep 0.2; done +start=$(now) + +sleep_until "$FAULT_AT" +fault=$(now) +if [ "$MODE" = kill ]; then docker kill "$container" >/dev/null; else docker stop --time 9 "$container" >/dev/null; fi +fault_done=$(now) + +sleep_until "$RESTORE_AT" +restore_begin=$(now) +docker start "$container" >/dev/null +until [ "$(docker inspect -f '{{.State.Health.Status}}' "$container")" = healthy ]; do sleep 0.2; done +restore_healthy=$(now) +restored_instance=$(docker inspect -f '{{.Config.Hostname}}' "$container") + +wait "$k6_pid" || true +docker compose logs --timestamps --no-log-prefix --since "$since" lb 2>/dev/null | grep -E 'Server api/|SH--|5[0-9][0-9] ' > "$out/haproxy.log" || true + +cat > "$out/events.json" < /dev/null +# Raw per-request data stays out of Git (evidence keeps aggregates only); KEEP_RAW=1 keeps it for analysis. +[ "${KEEP_RAW:-0}" = 1 ] || rm -f "$out/requests.csv" +cat "$out/summary.json" diff --git a/scripts/load/mixed.js b/scripts/load/mixed.js new file mode 100644 index 00000000..1cdf57dc --- /dev/null +++ b/scripts/load/mixed.js @@ -0,0 +1,67 @@ +// Open-model load through the balancer: RATE requests per second regardless of response time. +// 70 % GET /users/me (session lookup), 30 % POST message with a unique Idempotency-Key. +// Every response adds a `served_by` sample tagged with X-Instance-Id and status, so the summary can show +// which replica answered each second. Tokens live only in this process. +import http from 'k6/http'; +import encoding from 'k6/encoding'; +import { Counter } from 'k6/metrics'; + +const BASE = __ENV.BASE_URL || 'http://localhost:8080'; +const RATE = Number(__ENV.RATE || 150); +const DURATION = __ENV.DURATION || '40s'; +const USERS = 10; +const PASSWORD = 'load-test-password'; + +const servedBy = new Counter('served_by'); + +export const options = { + scenarios: { + load: { + executor: 'constant-arrival-rate', + rate: RATE, + timeUnit: '1s', + duration: DURATION, + preAllocatedVUs: 50, + maxVUs: 300, + }, + }, + summaryTrendStats: ['avg', 'med', 'p(95)', 'p(99)', 'max'], +}; + +export function setup() { + const json = { headers: { 'Content-Type': 'application/json' } }; + const users = []; + for (let i = 0; i < USERS; i++) { + const username = `load_${Date.now().toString(36)}_${i}`; + const user = http.post(`${BASE}/api/v1/users`, JSON.stringify({ username, display_name: 'load', password: PASSWORD }), json).json(); + const basic = encoding.b64encode(`${username}:${PASSWORD}`); + const session = http.post(`${BASE}/api/v1/auth/sessions`, null, { headers: { Authorization: `Basic ${basic}` } }).json(); + users.push({ id: user.id, token: session.token }); + } + const chat = http.post(`${BASE}/api/v1/chats`, JSON.stringify({ title: 'load', member_ids: users.map((u) => u.id) }), { + headers: { 'Content-Type': 'application/json', Authorization: `Bearer ${users[0].token}` }, + }).json(); + return { users, chatId: chat.id }; +} + +export default function (data) { + const user = data.users[Math.floor(Math.random() * data.users.length)]; + const auth = { Authorization: `Bearer ${user.token}` }; + let response; + + if (Math.random() < 0.7) { + response = http.get(`${BASE}/api/v1/users/me`, { headers: auth, tags: { name: 'me' }, timeout: '5s' }); + } else { + response = http.post( + `${BASE}/api/v1/chats/${data.chatId}/messages`, + JSON.stringify({ text: `load ${__VU}-${__ITER}` }), + { + headers: { ...auth, 'Content-Type': 'application/json', 'Idempotency-Key': `load-${__VU}-${__ITER}-${Date.now()}` }, + tags: { name: 'send' }, + timeout: '5s', + }, + ); + } + + servedBy.add(1, { instance: response.headers['X-Instance-Id'] || 'none', code: String(response.status) }); +} diff --git a/scripts/load/rolling-under-load.sh b/scripts/load/rolling-under-load.sh new file mode 100755 index 00000000..b326bb04 --- /dev/null +++ b/scripts/load/rolling-under-load.sh @@ -0,0 +1,34 @@ +#!/bin/sh +# scripts/rolling-update.sh while k6 keeps RATE req/s through the balancer. +# Output: evidence/load/rolling-update/{k6.txt,rolling.log,events.json,per-second.csv,summary.json} +set -eu +cd "$(dirname "$0")/../.." + +RATE=${RATE:-150} +DURATION=${DURATION:-70} +out=evidence/load/rolling-update +rm -rf "$out" && mkdir -p "$out" +now() { python3 -c 'import time; print(int(time.time() * 1000))'; } + +# Build outside the measured window: compiling would compete with the API for CPU. +docker compose build --quiet api + +{ echo "# before"; docker compose ps api --format '{{.Name}} {{.ID}} {{.Image}}'; } > "$out/rolling.log" +K6_CSV_TIME_FORMAT=unix_milli k6 run --quiet --out csv="$out/requests.csv" \ + -e RATE="$RATE" -e DURATION="${DURATION}s" scripts/load/mixed.js > "$out/k6.txt" 2>&1 & +k6_pid=$! +until grep -q ',load,' "$out/requests.csv" 2>/dev/null; do sleep 0.2; done +start=$(now) + +sleep 10 +begin=$(now) +scripts/rolling-update.sh >> "$out/rolling.log" 2>&1 +end=$(now) +wait "$k6_pid" || true + +{ echo "# after"; docker compose ps api --format '{{.Name}} {{.ID}} {{.Image}}'; } >> "$out/rolling.log" +echo "{\"load_start\": $start, \"rolling_begin\": $begin, \"rolling_end\": $end}" > "$out/events.json" +python3 scripts/load/summarize.py "$out" > /dev/null +# Raw per-request data stays out of Git (evidence keeps aggregates only); KEEP_RAW=1 keeps it for analysis. +[ "${KEEP_RAW:-0}" = 1 ] || rm -f "$out/requests.csv" +cat "$out/rolling.log" "$out/summary.json" diff --git a/scripts/load/summarize.py b/scripts/load/summarize.py new file mode 100755 index 00000000..a3a2d04b --- /dev/null +++ b/scripts/load/summarize.py @@ -0,0 +1,110 @@ +#!/usr/bin/env python3 +"""Per-second view of one k6 run (requests.csv) plus the events of the experiment (events.json). + +Writes per-second.csv and summary.json next to the input. An error is any response that is not 2xx +(including k6 status 0: connection reset or timeout). Times are seconds from the start of the load. +""" +import csv +import json +import math +import sys +from collections import Counter, defaultdict +from pathlib import Path +from urllib.parse import parse_qsl + +run = Path(sys.argv[1]) +events = json.loads((run / 'events.json').read_text()) if (run / 'events.json').exists() else {} + +durations = [] # (t_ms, duration_ms, status) +served = [] # (t_ms, instance, status) +with open(run / 'requests.csv') as f: + for row in csv.DictReader(f): + if row['metric_name'] == 'http_req_duration' and row['scenario'] == 'load': + durations.append((int(row['timestamp']), float(row['metric_value']), int(row['status'] or 0))) + elif row['metric_name'] == 'served_by': + tags = dict(parse_qsl(row['extra_tags'])) + served.append((int(row['timestamp']), tags.get('instance', 'none'), int(tags.get('code', 0)))) + +t0 = min(t for t, _, _ in durations) +rel = lambda ms: (ms - t0) / 1000 + + +def percentile(values, p): + if not values: + return None + values = sorted(values) + return values[min(len(values) - 1, math.ceil(p / 100 * len(values)) - 1)] + + +per_second = defaultdict(lambda: {'ok': 0, 'errors': 0, 'durations': [], 'instances': Counter()}) +for t, d, status in durations: + second = per_second[math.floor(rel(t))] + second['durations'].append(d) + if 200 <= status < 300: + second['ok'] += 1 + else: + second['errors'] += 1 +for t, instance, status in served: + if 200 <= status < 300: + per_second[math.floor(rel(t))]['instances'][instance] += 1 + +instances = sorted({i for s in per_second.values() for i in s['instances']}) +with open(run / 'per-second.csv', 'w', newline='') as f: + writer = csv.writer(f) + writer.writerow(['second', 'ok', 'errors', 'p99_ms', 'max_ms'] + instances) + for second in sorted(per_second): + s = per_second[second] + writer.writerow([second, s['ok'], s['errors'], round(percentile(s['durations'], 99), 1), round(max(s['durations']), 1)] + + [s['instances'].get(i, 0) for i in instances]) + +errors = sorted(rel(t) for t, _, status in durations if not 200 <= status < 300) +seconds = max(per_second) + 1 +summary = { + 'requests': len(durations), + 'ok': len(durations) - len(errors), + 'errors': len(errors), + 'error_codes': dict(Counter(str(status) for _, _, status in durations if not 200 <= status < 300)), + 'ok_rps': round((len(durations) - len(errors)) / seconds, 1), + 'p50_ms': round(percentile([d for _, d, _ in durations], 50), 1), + 'p95_ms': round(percentile([d for _, d, _ in durations], 95), 1), + 'p99_ms': round(percentile([d for _, d, _ in durations], 99), 1), + 'max_ms': round(max(d for _, d, _ in durations), 1), + 'requests_per_instance': dict(Counter(i for _, i, status in served if 200 <= status < 300)), +} +for name, value in events.items(): + if isinstance(value, (int, float)): + summary[f'event_{name}_s'] = round(rel(value), 2) +if 'fault' in events: + fault = rel(events['fault']) + after = [e - fault for e in errors if e >= fault - 0.5] + summary['errors_after_fault'] = len(after) + summary['last_error_after_fault_s'] = round(max(after), 2) if after else None + target = events.get('target_instance') + end = rel(events['restore_begin']) if 'restore_begin' in events else float('inf') + last = [rel(t) - fault for t, i, status in served if i == target and fault <= rel(t) < end] + summary['target_last_response_after_fault_s'] = round(max(last), 2) if last else None +if 'restore_begin' in events and events.get('restored_instance'): + begin = rel(events['restore_begin']) + first = [rel(t) - begin for t, i, status in served + if i == events['restored_instance'] and 200 <= status < 300 and rel(t) >= begin] + summary['restored_replica_first_response_after_start_s'] = round(min(first), 2) if first else None + +# HAProxy state changes (docker log timestamps): when the balancer took the target out and put it back. +log = run / 'haproxy.log' +if log.exists() and 'fault' in events: + from datetime import datetime + + def at(line): + stamp = line.split()[0].rstrip('Z') + whole, _, fraction = stamp.partition('.') + return datetime.fromisoformat(whole + '+00:00').timestamp() * 1000 + float('0.' + (fraction or '0')) * 1000 + + changes = [(at(line), line) for line in log.read_text().splitlines() if 'Server api/' in line and '[WARNING]' not in line] + down = [t for t, line in changes if ('is DOWN' in line or 'going DOWN' in line) and t >= events['fault']] + summary['lb_marked_down_after_fault_s'] = round((min(down) - events['fault']) / 1000, 2) if down else None + if 'restore_begin' in events: + up = [t for t, line in changes if 'is UP, reason' in line and t >= events['restore_begin']] + summary['lb_marked_up_after_start_s'] = round((min(up) - events['restore_begin']) / 1000, 2) if up else None + +(run / 'summary.json').write_text(json.dumps(summary, indent=2, ensure_ascii=False)) +print(json.dumps(summary, indent=2, ensure_ascii=False)) diff --git a/scripts/rolling-update.sh b/scripts/rolling-update.sh new file mode 100755 index 00000000..7952b143 --- /dev/null +++ b/scripts/rolling-update.sh @@ -0,0 +1,40 @@ +#!/usr/bin/env bash +# Replaces the API replicas one by one with a freshly built image while the balancer keeps serving. +# 1. build the new image, 2. apply migrations once (they must be compatible with the running version), +# 3. for every old replica: start one new replica, wait until HAProxy has it UP, then stop (drain) and remove the old. +# The number of serving replicas never drops below the configured count. +set -euo pipefail +cd "$(dirname "$0")/.." + +build_id=${BUILD_ID:-$(git rev-parse --short HEAD)-$(date +%s)} +log() { echo "$(date -u +%H:%M:%S) $*"; } + +up_in_lb() { + docker compose exec -T lb wget -qO- 'http://127.0.0.1:8404/stats;csv' | awk -F, '$1 == "api" && $2 != "BACKEND" && $18 == "UP"' | wc -l +} + +log "build image (BUILD_ID=$build_id)" +docker compose build --quiet --build-arg BUILD_ID="$build_id" api + +log "migrate" +docker compose run --rm --no-deps migrate > /dev/null + +old=$(docker compose ps -q api) +count=$(echo "$old" | wc -l | tr -d ' ') + +for container in $old; do + before=$(docker compose ps -q api | sort) + docker compose up -d --no-deps --no-recreate --scale api=$((count + 1)) api 2> /dev/null + new=$(comm -13 <(echo "$before") <(docker compose ps -q api | sort)) + log "started $(docker inspect -f '{{.Name}}' "$new") ($(echo "$new" | cut -c1-12))" + + until [ "$(docker inspect -f '{{.State.Health.Status}}' "$new")" = healthy ]; do sleep 0.5; done + until [ "$(up_in_lb)" -ge $((count + 1)) ]; do sleep 0.5; done + log "new replica is UP in HAProxy" + + docker stop --time 9 "$container" > /dev/null + docker rm "$container" > /dev/null + log "stopped and removed $(echo "$container" | cut -c1-12)" +done + +log "done: $(docker compose ps -q api | while read -r c; do docker inspect -f '{{.Name}} {{index .Config.Labels "org.opencontainers.image.revision"}}' "$c"; done | tr '\n' ' ')" diff --git a/scripts/stop-one.sh b/scripts/stop-one.sh index b848e733..f8e65527 100755 --- a/scripts/stop-one.sh +++ b/scripts/stop-one.sh @@ -19,4 +19,4 @@ if [ -z "$container" ] || [ "$(printf '%s\n' "$container" | wc -l)" -ne 1 ]; the exit 1 fi -docker stop --time 8 "$container" >/dev/null +docker stop --time 9 "$container" >/dev/null diff --git a/src/main/kotlin/com/mtusi/messenger/main/App.kt b/src/main/kotlin/com/mtusi/messenger/main/App.kt index 4115fd77..69bd4634 100644 --- a/src/main/kotlin/com/mtusi/messenger/main/App.kt +++ b/src/main/kotlin/com/mtusi/messenger/main/App.kt @@ -6,6 +6,7 @@ import com.mtusi.messenger.main.plugins.configureContentNegotiation import com.mtusi.messenger.main.plugins.configureCors import com.mtusi.messenger.main.plugins.configureDatabase import com.mtusi.messenger.main.plugins.configureDefaultHeaders +import com.mtusi.messenger.main.plugins.configureGracefulShutdown import com.mtusi.messenger.main.plugins.configureInstanceId import com.mtusi.messenger.main.plugins.configureKoin import com.mtusi.messenger.main.plugins.configureRedis @@ -29,6 +30,7 @@ fun Application.module() { configureKoin() configureDatabase() configureRedis() + configureGracefulShutdown() configureContentNegotiation() configureDefaultHeaders() diff --git a/src/main/kotlin/com/mtusi/messenger/main/infrastructure/controllers/health/HealthController.kt b/src/main/kotlin/com/mtusi/messenger/main/infrastructure/controllers/health/HealthController.kt index 51465719..543b30e4 100644 --- a/src/main/kotlin/com/mtusi/messenger/main/infrastructure/controllers/health/HealthController.kt +++ b/src/main/kotlin/com/mtusi/messenger/main/infrastructure/controllers/health/HealthController.kt @@ -3,6 +3,7 @@ package com.mtusi.messenger.main.infrastructure.controllers.health import com.mtusi.messenger.main.extensions.respondError import com.mtusi.messenger.main.infrastructure.controllers.health.responses.HealthResponse import com.mtusi.messenger.main.infrastructure.types.ErrorCode +import com.mtusi.messenger.main.plugins.isDraining import com.mtusi.messenger.main.plugins.suspendedTransaction import io.ktor.http.HttpStatusCode import io.ktor.server.application.log @@ -20,6 +21,12 @@ fun Routing.configureHealthRouting() = route("/health") { // PostgreSQL is the only dependency of the synchronous path: without it nothing can be served. get("ready") { + // SIGTERM received: leave the balancer's rotation while requests in flight are still being finished. + if (call.application.isDraining) { + call.respondError(ErrorCode.UNAVAILABLE, "shutting down") + return@get + } + val isDatabaseReachable = try { suspendedTransaction { exec("SELECT 1") diff --git a/src/main/kotlin/com/mtusi/messenger/main/plugins/GracefulShutdown.kt b/src/main/kotlin/com/mtusi/messenger/main/plugins/GracefulShutdown.kt new file mode 100644 index 00000000..9e6eec03 --- /dev/null +++ b/src/main/kotlin/com/mtusi/messenger/main/plugins/GracefulShutdown.kt @@ -0,0 +1,38 @@ +package com.mtusi.messenger.main.plugins + +import io.ktor.server.application.Application +import io.ktor.server.application.ApplicationStopPreparing +import io.ktor.server.application.log +import io.ktor.util.AttributeKey +import java.util.concurrent.atomic.AtomicBoolean + +private val DrainingKey = AttributeKey("Draining") + +/** + * True once the application received SIGTERM: /health/ready answers 503 from then on. + */ +val Application.isDraining: Boolean + get() = attributes.getOrNull(DrainingKey)?.get() == true + +/** + * On SIGTERM the replica first fails its readiness check and keeps serving for `shutdown.drainDelayMs`, so the + * balancer takes it out of rotation while it still answers. Only then Ktor closes the listening socket and waits + * for requests in flight (`shutdownGracePeriod` / `shutdownTimeout`). + * + * ApplicationStopPreparing is raised synchronously before the engine closes its channels, so blocking here delays + * the close itself. + */ +fun Application.configureGracefulShutdown() { + + val drainDelayMs = environment.config.propertyOrNull("shutdown.drainDelayMs")?.getString()?.toLong() ?: 0 + val draining = AtomicBoolean(false) + + attributes.put(DrainingKey, draining) + + monitor.subscribe(ApplicationStopPreparing) { + draining.set(true) + log.info("Shutting down: readiness is 503, still serving for $drainDelayMs ms") + Thread.sleep(drainDelayMs) + log.info("Drain delay is over, closing the listening socket") + } +} diff --git a/src/main/resources/application.conf b/src/main/resources/application.conf index 7460517c..956da0f5 100644 --- a/src/main/resources/application.conf +++ b/src/main/resources/application.conf @@ -8,11 +8,19 @@ ktor { host = ${?APP_HOST} port = 8080 port = ${?APP_PORT} - shutdownGracePeriod = 3000 - shutdownTimeout = 10000 + # After the drain (see `shutdown`): Netty waits for 1 s without new activity, at most 5 s in total. + shutdownGracePeriod = 1000 + shutdownTimeout = 5000 } } +shutdown { + # Time between SIGTERM and closing the socket while /health/ready is already 503. + # Behind HAProxy (check every 1 s, 2 failures) 3 s is enough to leave rotation; a single local process needs none. + drainDelayMs = 0 + drainDelayMs = ${?SHUTDOWN_DRAIN_DELAY_MS} +} + database { host = "localhost" host = ${?DB_HOST} diff --git a/src/test/kotlin/com/mtusi/messenger/main/plugins/DependencyFailureTest.kt b/src/test/kotlin/com/mtusi/messenger/main/plugins/DependencyFailureTest.kt index e221736d..4db94965 100644 --- a/src/test/kotlin/com/mtusi/messenger/main/plugins/DependencyFailureTest.kt +++ b/src/test/kotlin/com/mtusi/messenger/main/plugins/DependencyFailureTest.kt @@ -191,6 +191,7 @@ class DependencyFailureTest { @Test fun `without PostgreSQL requests fail with a bounded 503`() { val database = TestDatabase.create().also { it.start() } + TestDatabase.awaitConnectable(database) try { runApp(database = database, databaseConnectionTimeoutMs = 2000) { client -> diff --git a/src/test/kotlin/com/mtusi/messenger/main/support/TestDatabase.kt b/src/test/kotlin/com/mtusi/messenger/main/support/TestDatabase.kt index e9a29cd4..9453a1ef 100644 --- a/src/test/kotlin/com/mtusi/messenger/main/support/TestDatabase.kt +++ b/src/test/kotlin/com/mtusi/messenger/main/support/TestDatabase.kt @@ -1,6 +1,8 @@ package com.mtusi.messenger.main.support import org.testcontainers.containers.PostgreSQLContainer +import java.sql.DriverManager +import java.sql.SQLException import org.testcontainers.utility.DockerImageName /** @@ -20,6 +22,22 @@ object TestDatabase { /** * A separate, not yet started container for tests that stop the database. */ + /** + * Docker Desktop may refuse the first connections through a fresh port mapping for a moment after the container + * reported ready; tests with a short pool timeout wait for a real connection first. + */ + fun awaitConnectable(container: PostgreSQLContainer<*>, timeoutMs: Long = 15000) { + val deadline = System.currentTimeMillis() + timeoutMs + while (true) { + try { + DriverManager.getConnection(container.jdbcUrl, container.username, container.password).use { return } + } catch (e: SQLException) { + if (System.currentTimeMillis() > deadline) throw e + Thread.sleep(200) + } + } + } + fun create(): PostgreSQLContainer<*> { return PostgreSQLContainer(DockerImageName.parse("postgres:17.6-alpine3.22").asCompatibleSubstituteFor("postgres")) .withDatabaseName(NAME)