forked from mtusi2026/mtusi2026lab3
feat: add evidence collection, experiment results and report
This commit is contained in:
@@ -1,37 +1,201 @@
|
||||
# Отчёт — лабораторная 3
|
||||
|
||||
- Автор, группа: TODO
|
||||
- Целевая оценка; выбранный трек 5, если нужен: TODO
|
||||
- Commit/PR: TODO после публикации
|
||||
- Использованные источники, библиотеки и помощь ИИ: TODO
|
||||
- Автор, группа: Антонов Егор, БПИ2301
|
||||
- Целевая оценка; выбранный трек 5, если нужен: **4**, трек 5 не заявляется
|
||||
- Commit/PR: ветка `solution/БПИ2301-Antonov`; ссылка на PR — после публикации
|
||||
- Использованные источники, библиотеки и помощь ИИ: документация Docker Compose (services, deploy, volumes subpath), HAProxy 3.0 (resolvers, server-template, health checks, retry-on, http-error), NestJS/Fastify (lifecycle, close), Prisma (migrate deploy, transactions), PostgreSQL (`INSERT … ON CONFLICT`). Библиотеки — как в lab2: `@nestjs/*` 10, `prisma` 6.1.0, `ioredis` 5.4.1, `argon2` 0.41.1, `jest` + `supertest`. ИИ-ассистент использовался как парный программист: код, тесты, скрипты экспериментов и текст отчёта по моим решениям (Compose + HAProxy, Redis остаётся кэшем, идемпотентность в PostgreSQL) с последующим ревью; все проверки воспроизведены мной на своём стенде.
|
||||
|
||||
## Запуск из чистого clone
|
||||
|
||||
TODO: версии runtime/образов, prerequisites, команды создания локальных secrets/.env, build, миграций, запуска, ожидания готовности, тестов и остановки. Указать необходимые действия оператора. Не вставлять секреты. Отдельно указать безопасную остановку и команду намеренного удаления учебных данных.
|
||||
На хосте нужен **только Docker** (Engine + Compose v2); python/node/make/sh на хосте не требуются, команды одинаковы в PowerShell и bash. Проверено: Docker 29.3.1, Compose v5.1.1 (внутри `tools` — v2.31.0), Docker Desktop (WSL2), 12 vCPU, 8 GiB RAM.
|
||||
|
||||
| Компонент | Версия |
|
||||
| --- | --- |
|
||||
| API runtime | `node:20.17.0-slim` + openssl, NestJS 10 / Fastify, Prisma 6.1.0 |
|
||||
| Балансировщик | `haproxy:3.0.6-alpine` |
|
||||
| PostgreSQL | `postgres:17.2-alpine` |
|
||||
| Redis | `redis:7.4.1-alpine` |
|
||||
| secrets-init | `alpine:3.20.3` |
|
||||
| tools (проверки) | `docker:27.3.1-cli` + python3, make, git |
|
||||
|
||||
```sh
|
||||
# 1. Запуск: secrets-init → postgres, redis → migrate (один раз) → api ×2 → lb; ждёт healthcheck
|
||||
docker compose up -d --build --wait
|
||||
|
||||
# 2. Публичные проверки внутри контейнера tools (BASE_URL=http://lb:8080)
|
||||
docker compose run --rm --build tools make check
|
||||
docker compose run --rm tools make test
|
||||
docker compose run --rm tools make test-persistence ACTION_SCRIPT=scripts/restart.sh
|
||||
docker compose run --rm tools make test-failover ACTION_SCRIPT=scripts/stop-one.sh
|
||||
# вернуть остановленную реплику (без пересоздания остальных)
|
||||
docker compose up -d --no-deps --wait api
|
||||
|
||||
# 3. Эксперименты уровня 4 (JSON в stdout или --output)
|
||||
docker compose run --rm tools python3 scripts/experiment.py idempotency
|
||||
docker compose run --rm tools python3 scripts/experiment.py failover # docker stop каждой реплики по очереди
|
||||
docker compose run --rm tools python3 scripts/experiment.py failover --kill # SIGKILL каждой реплики по очереди
|
||||
docker compose build api
|
||||
docker compose run --rm tools python3 scripts/experiment.py rolling
|
||||
|
||||
# 4. Собственные тесты: отдельные postgres (tmpfs) и redis
|
||||
docker compose -f compose.test.yaml run --rm --build tests
|
||||
docker compose -f compose.test.yaml down
|
||||
|
||||
# 5. Все доказательства в evidence/ одной командой (~7 минут)
|
||||
docker compose run --rm tools sh scripts/collect-evidence.sh
|
||||
|
||||
# Безопасная остановка (данные и секреты сохраняются)
|
||||
docker compose stop # или: docker compose down
|
||||
# Намеренное удаление учебных данных и сгенерированных секретов
|
||||
docker compose down -v
|
||||
```
|
||||
|
||||
- **`.env` необязателен**: в `compose.yaml` те же значения по умолчанию. Для своих: `cp .env.example .env`, затем `docker compose --env-file .env up -d --build --wait`.
|
||||
- **Число реплик**: `API_REPLICAS` (по умолчанию 2) или `docker compose up -d --scale api=3`; HAProxy принимает до 4 реплик без правки конфигурации.
|
||||
- **Секреты** создаёт one-shot сервис `secrets-init`: случайные пароли PostgreSQL и Redis (24 байта из `/dev/urandom`) и строки подключения в именованном volume `secrets`, разложенные по подкаталогам. Каждый сервис монтирует read-only только свой подкаталог (`volume.subpath`). Уже созданные пароли не перезаписываются; файлы из плоской раскладки lab2 переносятся. Действий оператора не требуется; секреты не попадают в Git, образы и логи.
|
||||
- **Наружу опубликован только LB** на `127.0.0.1:8080`. API, PostgreSQL и Redis доступны только во внутренней сети compose.
|
||||
- **Swagger UI**: http://localhost:8080/docs (через LB). Это обязательный контракт `contracts/openapi.json` 1.3.0 без изменений, дополненный в памяти инструкцией и именованными примерами (`src/docs/examples.ts`), включая `Idempotency-Key`; примеры проверяются по JSON Schema контракта в `test/docs.e2e-spec.ts`.
|
||||
|
||||
## Архитектура и решения
|
||||
|
||||
TODO: схема процессов/хранилищ, источник истины, транзакционные границы, ограничения. Что перенесено из lab2, что изменено в этой работе. Соответствие переменных из .env.example реальной конфигурации.
|
||||
```
|
||||
client ──HTTP──▶ lb (HAProxy, 127.0.0.1:8080) ──round robin, без sticky──▶ api ×2 (без опубликованных портов)
|
||||
│ проверка GET /health/ready каждые 1 s │
|
||||
│ адреса реплик — Docker DNS (имя сервиса api) ├──SQL (pool 10 на реплику)──▶ postgres ── volume pgdata
|
||||
└──кэш сессий──▶ redis (без persistence)
|
||||
|
||||
secrets-init ──▶ volume secrets: postgres/ redis/ api/ migrate/ (каждому сервису — свой подкаталог, ro)
|
||||
migrate ── prisma migrate deploy (один раз, до api) ──▶ postgres
|
||||
```
|
||||
|
||||
| Роль | Service | Health/readiness | Volume | Сеть/порт | Credentials | Лимиты |
|
||||
| --- | --- | --- | --- | --- | --- | --- |
|
||||
| Балансировщик | `lb` | — (проверяет backends сам) | — | `127.0.0.1:8080` | — | 0.25 CPU, 64M |
|
||||
| API ×2 | `api` | Docker HEALTHCHECK и HAProxy: `/health/ready` (`SELECT 1`, при остановке — 503) | — (stateless) | внутренняя, 8080 | `DATABASE_URL_FILE`, `CACHE_URL_FILE` из `secrets/api` | 0.5 CPU, 256M каждая |
|
||||
| БД | `postgres` | `pg_isready` | `pgdata` | внутренняя | `POSTGRES_PASSWORD_FILE` из `secrets/postgres` | 1 CPU, 512M |
|
||||
| Кэш сессий | `redis` | `redis-cli ping` | — | внутренняя | `requirepass` из `secrets/redis` | 0.25 CPU, 128M |
|
||||
| Миграции | `migrate` | exit 0 | — | внутренняя | `secrets/migrate` | 0.5 CPU, 512M |
|
||||
| Bootstrap секретов | `secrets-init` | exit 0 | `secrets` | — | генерирует | 0.1 CPU, 32M |
|
||||
|
||||
`container_name` нигде не задан, поэтому один compose-service масштабируется (`api-1`, `api-2`, … — имена назначает Compose).
|
||||
|
||||
**Общее состояние, а не локальное.** Реплики API ничего не хранят у себя: пользователи, чаты, сообщения, сессии и ключи идемпотентности — в PostgreSQL (источник истины), кэш проверки сессий — в одном общем Redis. Поэтому любой запрос пользователя может обслужить любая реплика без повторного входа, и sticky session не нужна (`balance roundrobin`; в `evidence/smoke.txt` одна сессия чередует две реплики).
|
||||
|
||||
**X-Instance-Id.** Хук Fastify `onRequest` ставит заголовок во все ответы API, включая ошибки и health. Значение — hostname контейнера, который Docker делает равным короткому id контейнера: оно стабильно на всё время жизни процесса и однозначно указывает на контейнер (`docker stop <X-Instance-Id>`). Ответы, созданные самим LB (502/503/504), этого заголовка не имеют, как разрешает контракт, но приходят в общем формате ошибки с `X-Request-Id`.
|
||||
|
||||
**Идемпотентность отправки сообщения** (`src/messages/messages.service.ts`, миграция `20261101000000_idempotency_keys`).
|
||||
- Таблица `idempotency_keys`: PK `(user_id, chat_id, key)` — область уникальности контракта (пользователь + путь чата + ключ; метод с ключом один — POST), `request_hash` = sha256 разобранного тела (порядок ключей JSON не влияет; `attachment_ids: []` равен отсутствию поля, как требует `contracts/README.md`, — вложений до lab4 нет, поэтому непустой список, `null` или не массив дают `400`), `message_id` → `messages` (CASCADE), `created_at`. CHECK формата ключа дублирует проверку API.
|
||||
- Ключ проверяется в контроллере: нет или не `[A-Za-z0-9._:-]{1,128}` → `400`. Аутентификация и членство в чате проверяются до ключа при каждом запросе, в том числе при повторе.
|
||||
- Одна транзакция: удалить этот ключ, если он старше `IDEMPOTENCY_TTL_SECONDS` (24 ч) → `INSERT` сообщения → `INSERT` ключа `ON CONFLICT DO NOTHING`. Если ключ уже занят, транзакция откатывается вместе с лишним сообщением, и ответ строится по сохранённой записи: то же тело → тот же `201` и то же Message, другое → `409`.
|
||||
- Параллельные повторы через разные реплики: второй `INSERT` того же PK ждёт фиксации первой транзакции в PostgreSQL, затем получает конфликт — сообщение создаётся ровно одно. Сообщение и ключ фиксируются атомарно: транзиентная ошибка (5xx) откатывает обе записи, и повтор выполняется заново.
|
||||
- Ключ обязателен только для сообщений; HAProxy сам повторяет запрос только при `conn-failure`, когда запрос до API не дошёл, поэтому прозрачных повторов POST без ключа нет.
|
||||
|
||||
**Logout согласованно на всех репликах** (`src/auth/auth.service.ts`). Сначала в общий Redis записывается tombstone `revoked` (60 с, дольше любой записи кэша), и только затем удаляется строка сессии. Если Redis для этой реплики недоступен, ответ `503 unavailable`, сессия не удаляется. Иначе другая реплика, у которой сессия лежит в кэше, принимала бы отозванный токен до 60 с (автотест «logout через реплику без связи с Redis…»). Остальное поведение кэша — как в lab2: read-through, `SET NX`, TTL ≤ 60 с, при ошибке Redis — обход кэша через PostgreSQL и `FLUSHDB` перед повторным использованием.
|
||||
|
||||
**Проверки готовности, таймауты и остановка** (согласованы между собой):
|
||||
|
||||
| Параметр | Значение | Где |
|
||||
| --- | --- | --- |
|
||||
| Период проверки backend | `inter 1s`, `timeout check 1s` | `infra/haproxy/haproxy.cfg` |
|
||||
| Исключение / возврат backend | `fall 2` / `rise 2` | там же |
|
||||
| **Макс. время обнаружения отказа** | внезапный отказ (процесс убит, readiness не отвечает): ≤ 2 × 1 s + 1 s = **3 s**; штатная остановка: readiness 503 сразу → исключение ≤ 2 s | там же |
|
||||
| Повтор запроса LB | `retries 2`, `option redispatch`, `retry-on conn-failure` — только если соединение не установлено | там же |
|
||||
| Таймауты LB | connect 1 s, server 10 s, client 30 s, http-request 10 s, queue 5 s | там же |
|
||||
| Обновление адресов | Docker DNS `127.0.0.11`, `hold valid/obsolete 5s`, `server-template api 1-4` | там же |
|
||||
| Остановка API (SIGTERM) | readiness → 503 сразу, через `SHUTDOWN_DELAY_MS=3000` закрытие сервера с ожиданием текущих запросов, `exit 0` | `src/health/shutdown.ts` |
|
||||
| Grace period | `stop_grace_period: 10s`; `stop-one.sh` — `docker stop -t 8` | `compose.yaml`, `scripts/stop-one.sh` |
|
||||
| БД | `pool_timeout=5`, `connect_timeout=5`, `socket_timeout=10`, `statement_timeout=5000 ms`, `connection_limit=10` на реплику | строка подключения в `secrets/api/database_url` |
|
||||
| Redis | `commandTimeout 200 ms`, `connectTimeout 1 s`, без offline-очереди | `src/cache/cache.service.ts` |
|
||||
| Docker HEALTHCHECK | `/health/ready` каждые 5 s (для `--wait` и rolling update) | `Dockerfile` |
|
||||
|
||||
Задержка закрытия 3 s больше времени исключения при штатной остановке (≤ 2 s), поэтому к моменту закрытия LB уже не отправляет на реплику новые запросы, а начатые завершаются.
|
||||
|
||||
**Критичные зависимости readiness.** `/health/ready` проверяет только PostgreSQL (`SELECT 1`) и состояние остановки процесса: без БД обязательный путь невозможен. Redis не критичен — при его недоступности вход, проверка токена и бизнес-запросы идут через PostgreSQL, недоступен только logout (`503`, см. выше). `/health/live` проверяет только жизнь процесса.
|
||||
|
||||
**Миграции.** Отдельный one-shot сервис `migrate` выполняет `prisma migrate deploy` до запуска API (`depends_on: service_completed_successfully`); реплики API миграции не запускают, гонки нет. Повторный запуск безопасен: применённые миграции записаны в `_prisma_migrations`, Prisma берёт advisory lock на время применения. Миграция lab3 только добавляет таблицу (expand), поэтому совместима с работающей предыдущей версией API; rolling update выполняет миграцию один раз перед заменой реплик. Ограничение: несовместимые изменения схемы (удаление или переименование колонок) потребовали бы двух релизов expand → contract; в этой работе их нет.
|
||||
|
||||
**Rolling update** (`scripts/experiment.py rolling`): `docker compose run migrate` → для каждой старой реплики `docker compose up -d --no-deps --no-recreate --scale api=3 --wait api` (новая реплика с новым образом, ждём healthy) → `docker stop` (graceful) и `docker rm` старой. Compose не делает rolling update сам (`deploy.update_config` — только Swarm), поэтому замена выполняется поочерёдно этой процедурой.
|
||||
|
||||
**Перенесено из lab2:** весь API, Prisma/PostgreSQL, сессии с Redis-кэшем, Argon2id, Dockerfile, `secrets-init`, `migrate`, тесты, Swagger. **Изменено:** `X-Instance-Id`; `member_ids` приводятся к нижнему регистру до проверки дублей (один UUID в разных регистрах — `400`, а не ошибка вставки); повторённые `limit`/`cursor` — `400`; обязательный `Idempotency-Key` и таблица ключей; graceful shutdown и readiness 503 при остановке; logout сначала пишет tombstone; HEALTHCHECK образа — `/health/ready`; compose: LB, реплики без портов, лимиты, раздельные секреты; `restart.sh` перезапускает и LB; новые `stop-one.sh`, `experiment.py`.
|
||||
|
||||
**Соответствие `.env.example`:**
|
||||
|
||||
| Переменная | Где используется |
|
||||
| --- | --- |
|
||||
| `APP_HOST`, `APP_PORT` | API слушает `0.0.0.0:8080` внутри сети; `APP_PORT` в `.env` — опубликованный порт LB на `127.0.0.1` |
|
||||
| `APP_ENV` | передаётся в API, поведение не меняет |
|
||||
| `SESSION_TTL_SECONDS` | TTL сессии, по умолчанию 3600 |
|
||||
| `DATABASE_URL_FILE` | `/run/secrets/database_url` (подкаталог `api` или `migrate` тома `secrets`); в тестах — `DATABASE_URL` |
|
||||
| `SESSION_STORE=postgres` | фиксировано: источник истины сессий — PostgreSQL |
|
||||
| `CACHE_URL_FILE` | `/run/secrets/cache_url`; в тестах — `CACHE_URL` |
|
||||
| `API_REPLICAS` | `deploy.replicas` сервиса `api`, по умолчанию 2 |
|
||||
| `IDEMPOTENCY_TTL_SECONDS` | срок хранения ключа, по умолчанию 86400 |
|
||||
|
||||
## Доказательства критериев
|
||||
|
||||
Файлы собраны `docker compose run --rm tools sh scripts/collect-evidence.sh`; в заголовке каждого `.txt` — дата и commit, в `.json` — дата.
|
||||
|
||||
| Критерий README | Команда/сценарий | Наблюдаемый результат | Файл доказательства |
|
||||
| --- | --- | --- | --- |
|
||||
| Публичный smoke | make test | TODO | TODO |
|
||||
| Остальные пункты уровня 3 | TODO | TODO | TODO |
|
||||
| Все пункты уровня 4, если заявлен | TODO | TODO | TODO |
|
||||
| Выбранный трек 5, если заявлен | TODO | TODO | TODO |
|
||||
| Публичный smoke | `make test` через LB | `PASS: lab3 public API scenario` | [evidence/smoke.txt](evidence/smoke.txt) |
|
||||
| Структура контракта | `make check` | `PASS: offline skeleton structure` | [evidence/smoke.txt](evidence/smoke.txt) |
|
||||
| **3**: стенд одной командой; ≥2 реплики, одна точка входа, общие БД и хранилище сессий | `docker compose up -d --build --wait` | `api-N` ×2 без портов, `lb` — `127.0.0.1:8080`, один `postgres`, один `redis` | [evidence/container.txt](evidence/container.txt) |
|
||||
| **3**: разные запросы одного пользователя — разные реплики без повторного входа | `probe.py instances 6` | одна сессия, `X-Instance-Id` чередуется между двумя id контейнеров | [evidence/smoke.txt](evidence/smoke.txt) |
|
||||
| **3**: остановка любой реплики, чтение/запись продолжаются ≤ 10 s | `make test-failover ACTION_SCRIPT=scripts/stop-one.sh` дважды, вторая реплика после восстановления первой | оба PASS; 0 ошибок, запись через 3,43–3,48 s от старта hook; остановлены разные контейнеры (`Exited (0)`); HAProxy: `is DOWN … code: 503` | [evidence/failover.txt](evidence/failover.txt) |
|
||||
| **3**: повтор POST с тем же ключом без дубля, в т. ч. конкурентно и через другую реплику | smoke; тесты `idempotency.e2e-spec.ts`; `experiment.py idempotency` | 20 параллельных запросов через LB → все `201`, один id, обслужены обеими репликами, в истории одно сообщение; другое тело → `409` | [evidence/idempotency.json](evidence/idempotency.json), [evidence/tests.txt](evidence/tests.txt) |
|
||||
| **3**: persistence | `make test-persistence ACTION_SCRIPT=scripts/restart.sh` | PASS; `started=` сменился у postgres, redis, обеих api, lb | [evidence/persistence.txt](evidence/persistence.txt) |
|
||||
| **3**: миграции отдельно, без гонки реплик | сервис `migrate`, повторный запуск | `No pending migrations to apply`; `migrate diff` — `No difference detected`; 3 миграции | [evidence/container.txt](evidence/container.txt) |
|
||||
| **4**: health/readiness, таймауты, прекращение приёма по SIGTERM; LB исключает недоступный backend; период и время обнаружения | таблица выше; `docker stop` и `docker kill` реплик; живая реплика без доступа к PostgreSQL (`pg_hba reject` только для её IP) | при SIGTERM реплика исключается до закрытия: 0 ошибок, `Exited (0)`; при SIGKILL — 2–3 ошибки и пауза записи ≤ 0,99 s; реплика без БД (`live 200`, `ready 503`) исключена (`is DOWN … 503`), 0 из 10 бизнес-запросов, после возврата доступа снова в ротации; все реплики остановлены → LB `503` в формате контракта | [evidence/failover-stop.json](evidence/failover-stop.json), [evidence/failover-kill.json](evidence/failover-kill.json), [evidence/failures.txt](evidence/failures.txt) §4–5 |
|
||||
| **4**: последовательная остановка каждой реплики с восстановлением; RPS, ошибки, время восстановления | `experiment.py failover` и `failover --kill` | см. «Эксперименты»; потерь и дублей подтверждённых сообщений 0 | [evidence/failover-stop.json](evidence/failover-stop.json), [evidence/failover-kill.json](evidence/failover-kill.json) |
|
||||
| **4**: параллельные запросы с одним ключом | `experiment.py idempotency`; тест «20 параллельных запросов… через два экземпляра» | одно сообщение | [evidence/idempotency.json](evidence/idempotency.json), [evidence/tests.txt](evidence/tests.txt) |
|
||||
| **4**: CPU/RAM-лимиты; API без портов в обход LB; секреты общие только где нужно; нет `container_name` | `docker inspect`, `docker compose ps`, `ls /run/secrets` в каждом сервисе | лимиты у всех контейнеров; порт только у `lb`; postgres видит только `pg_password`, redis — `redis_password`, api — `database_url` и `cache_url`, lb — ничего; `container_name` — 0 | [evidence/container.txt](evidence/container.txt) |
|
||||
| **4**: rolling update под нагрузкой | `experiment.py rolling` после `docker compose build api` | реплики заменены на новый образ по одной; 0 ошибок, пауза записи ≤ 0,17 s; 0 потерь и дублей; после замены и при `--scale` 2→3→4→2 LB обслуживает все реплики через 0–1 s (Docker DNS) | [evidence/rolling.json](evidence/rolling.json) |
|
||||
| **4**: миграции однократно и совместимы | см. «Миграции» | expand-only миграция, применяется до замены реплик | [evidence/rolling.json](evidence/rolling.json), [evidence/container.txt](evidence/container.txt) |
|
||||
| lab2: logout, expiry, отказы Redis/БД | `probe.py logout`, `probe.py expiry 2`, остановка redis/postgres | без Redis: вход и `/me` работают, logout `503`, токен действует; с Redis: `204` → `401`; без БД: `503` без деталей, аноним `401`; TTL 2 s: `200` → `401` | [evidence/failures.txt](evidence/failures.txt) |
|
||||
| Собственные тесты | `docker compose -f compose.test.yaml run --rm --build tests` | `Tests: 80 passed, 80 total` | [evidence/tests.txt](evidence/tests.txt) |
|
||||
|
||||
TODO: добавить отдельную строку для каждого заявленного критерия. PASS без команды и наблюдения не является доказательством. Проверка инфраструктурного hook требует подтверждения, какие реальные процессы/хранилища перезапущены.
|
||||
Какие процессы реально остановлены, видно не по заголовку, а по `docker inspect`: в `failover.txt` до/после каждого прогона указаны имя, id и `exit`/`finished` контейнера, а в журнале HAProxy — исключение соответствующего backend.
|
||||
|
||||
## Эксперименты и отказы
|
||||
|
||||
TODO: гипотеза, hardware/лимиты, версии, объём данных, профиль нагрузки, concurrency/arrival rate, длительность/прогрев, повторы, успешные RPS, ошибки, p50/p95/p99, CPU/RAM. Сохранить raw summary без tokens и объяснить ограничения измерения.
|
||||
**Методика.** `scripts/experiment.py` (stdlib, HTTP-клиент из `tests/client.py`) в контейнере `tools` создаёт пользователей и чат и запускает 4 потока closed-loop `POST` сообщений через LB (таймаут клиента 2 s). Неудачный запрос повторяется **с тем же `Idempotency-Key`** до успеха. Окна: 5 s до воздействия, 10 s после команды остановки плюс время самой команды, 5 s после восстановления. «Пауза записи» — максимальный интервал между соседними успешными ответами в окне; это и есть время восстановления записи для клиента. В конце вся история чата читается постранично и сверяется с подтверждёнными ответами. Для каждого окна считаются успешные RPS, ошибки и их доля, p50/p95/p99 задержки **успешных** запросов; после прогрева снимается `docker stats` (CPU/RAM). Стенд: лимиты из таблицы выше (API 0.5 CPU на реплику), Docker Desktop WSL2, 12 vCPU, 8 GiB. Объём данных: в таблице `messages` 72 994 строки перед первым экспериментом, 93 308 после последнего. Один прогон каждого сценария.
|
||||
|
||||
**Ресурсы под нагрузкой** (4 потока, обе реплики, `docker stats` после прогрева): каждая api 43–51 % CPU (лимит 0.5 CPU, то есть у предела) и 95–130 MiB из 256 MiB; postgres 24–25 % CPU, 61–81 MiB; lb 12–14 % CPU, 14–18 MiB; redis 2–5 % CPU, 10 MiB. Узкое место этого профиля — CPU реплик API.
|
||||
|
||||
| Сценарий, окно | Успешных RPS | Ошибки (доля) | p50 / p95 / p99, ms: до → отказ | Макс. пауза записи |
|
||||
| --- | --- | --- | --- | --- |
|
||||
| `docker stop` api-10: до / отказ / после возврата | 157 / 130 / 179 | 0 / 0 / 0 | 10,6/78,0/171 → 11,1/85,7/172 | 0,46 s |
|
||||
| `docker stop` api-9: до / отказ / после возврата | 180 / 133 / 170 | 0 / 0 / 0 | 9,8/73,4/88,6 → 11,0/87,3/103 | 0,10 s |
|
||||
| `docker kill` api-10: до / отказ / после | 155 / 81 / 153 | 0 / 3 (0,35 %) / 0 | 10,6/83,1/159 → 11,7/88,5/1013 | 0,99 s |
|
||||
| `docker kill` api-9: до / отказ / после | 154 / 67 / 165 | 0 / 2 (0,28 %) / 0 | 11,2/80,5/152 → 13,6/98,1/1012 | 0,99 s |
|
||||
| Rolling update, всё время замены (30,8 s) | 173 | 0 | 11,2 / 73,5 / 95,2 | 0,17 s |
|
||||
|
||||
Окно «отказ» начинается с команды остановки и длится 10 s после её завершения, поэтому при `docker stop` в него входят ~3,4 s штатного дренажа, когда реплика ещё обслуживает начатые запросы.
|
||||
|
||||
| Воздействие | Что ожидаем | Что наблюдали | Время восстановления / потеря данных |
|
||||
| --- | --- | --- | --- |
|
||||
| TODO | TODO | TODO | TODO |
|
||||
| `docker stop` api-10, затем (после возврата) api-9 | реплика исключается до закрытия, ошибок нет | ошибок 0 / 0; остановленная реплика дообслуживала начатые запросы 1,4–2,0 s, команда `docker stop` — 3,5 s, контейнер `Exited (0)` | пауза записи ≤ 0,46 s; вернувшаяся реплика снова получает запросы через 3,6–4,0 s после `docker start`; потерь и дублей 0 из 8025 |
|
||||
| `docker kill` (SIGKILL) каждой реплики по очереди | обрыв начатых запросов, обнаружение ≤ 3 s, повтор с ключом без дубля | ошибок 3 / 2; p99 в окне ~1 s (повторы после обрыва) | пауза записи 0,99 / 0,99 s; потерь и дублей 0 из 5780 |
|
||||
| Rolling update двух реплик на новый образ | замена без ошибок | ошибок 0; в ответах 4 разных реплики (2 старых, 2 новых); новая реплика готова за 6,5–6,7 s, шаг ~10,2 s | пауза записи ≤ 0,17 s; потерь и дублей 0 из 6509 |
|
||||
| 20 параллельных `POST` с одним ключом | одно сообщение | все `201`, 1 id, обслужены 2 репликами | 1 сообщение в истории |
|
||||
| Одна живая реплика без доступа к PostgreSQL (`pg_hba reject` для её IP) | LB исключает её по readiness | `live 200`, `ready 503`; HAProxy `is DOWN … 503`; 10 из 10 запросов обслужила вторая реплика | после возврата доступа `ready 200`, реплика снова в ротации без перезапуска |
|
||||
| `make test-failover` ×2 (разные реплики) | ≤ 10 s, без дублей | 0 ошибок, первая успешная запись после hook через 3,43–3,48 s | PASS |
|
||||
| `restart.sh`: рестарт postgres, redis, api ×2, lb | данные и токен сохраняются | PASS | потерь нет |
|
||||
| `docker compose stop redis` | вход и Bearer через PostgreSQL; logout не может отозвать токен на всех репликах | `/me` `200`, logout `503`, токен действует | после `start` logout `204` → `401` |
|
||||
| `docker compose stop postgres` | `503` без деталей | `/chats` с токеном `503 database unavailable`; аноним `401` | готов после `start` |
|
||||
| `docker compose stop api` (все реплики) | LB отвечает сам | `503 no API replica available` в формате контракта | после `start` готов |
|
||||
|
||||
Почему падает RPS при одной реплике: каждая реплика ограничена 0.5 CPU и под этой нагрузкой работает у предела, поэтому с одной репликой успешных записей меньше (−17…−26 % в окне штатной остановки, куда входит ещё и дренаж). При SIGKILL падение сильнее: начатые запросы оборваны, клиент ждёт ответа до разрыва, повторяет с тем же ключом (отсюда p99 ~1 s), а до исключения HAProxy (≤ 3 s) новые соединения к убитому контейнеру сразу получают отказ и перенаправляются на живую реплику (`retry-on conn-failure`). Повторы не дали дублей.
|
||||
|
||||
Ограничения измерения: closed-loop генератор (coordinated omission), клиент на том же хосте, один прогон каждого сценария, ноутбук — абсолютные RPS не переносятся на другое железо. Образ в rolling update собран из того же commit; id образа отличается, потому что сборка не побайтно воспроизводима. Замена процедуры при этом та же, что и для нового кода.
|
||||
|
||||
## Ограничения и следующие шаги
|
||||
|
||||
TODO: какие отказы выдерживаются и какие нет; что не реализовано; где учебное упрощение; какое улучшение подтверждено, а какое пока гипотеза.
|
||||
- **Отказ процесса, а не узла.** Все контейнеры на одном хосте Docker: отказ хоста останавливает весь стенд. LB, PostgreSQL и Redis — по одному экземпляру (SPOF); выдерживается отказ одной реплики API. Отказ узла и перенос — трек 5.2, не заявлен.
|
||||
- **Redis как зависимость logout.** Пока реплика не может записать tombstone в Redis, logout через неё отвечает `503`: согласованность отзыва выбрана вместо доступности logout. Вход, проверка токена и бизнес-запросы без Redis работают.
|
||||
- **Очистка ключей идемпотентности.** Просроченный ключ удаляется при повторном использовании, фоновой очистки нет — таблица растёт, на корректность не влияет. Аналогично для истёкших сессий.
|
||||
- **`FLUSHDB` при переподключении** одной реплики очищает общий кэш для всех: безопасно (кэш прогревается из PostgreSQL), но кратко увеличивает число SQL-запросов.
|
||||
- **Compose не делает rolling update сам**: поочерёдная замена выполняется скриптом; при `docker compose up -d` с изменённой конфигурацией Compose пересоздаёт реплики без этой процедуры.
|
||||
- **Несовместимые миграции** (expand → contract в два релиза) в этой работе не понадобились и не проверялись.
|
||||
- HTTP без TLS — допустимо только для локального стенда с синтетическими данными (TLS — lab7). `X-Instance-Id` раскрывает короткий id контейнера; в lab7 по контракту нужен непрозрачный alias.
|
||||
- Подтверждено измерением: продолжение записи без потерь и дублей при штатной и аварийной остановке каждой реплики и при rolling update. Гипотеза, не измерена: насыщение БД/LB/пула при росте числа реплик (трек 5.1).
|
||||
|
||||
@@ -0,0 +1,82 @@
|
||||
# Стенд: сервисы, порты, лимиты, секреты, миграции
|
||||
# date: 2026-11-01T14:23:40Z
|
||||
# commit: 210ff67 (dirty)
|
||||
|
||||
$ docker compose ps -a --format table {{.Service}}\t{{.Name}}\t{{.Image}}\t{{.Status}}\t{{.Ports}}
|
||||
SERVICE NAME IMAGE STATUS PORTS
|
||||
api messenger-lab3-api-10 mtusi-messenger-lab3-api:dev Up 6 minutes (healthy) 8080/tcp
|
||||
api messenger-lab3-api-9 mtusi-messenger-lab3-api:dev Up 6 minutes (healthy) 8080/tcp
|
||||
lb messenger-lab3-lb-1 haproxy:3.0.6-alpine Up 11 minutes 127.0.0.1:8080->8080/tcp
|
||||
migrate messenger-lab3-migrate-1 mtusi-messenger-lab3-migrate:dev Exited (0) 7 minutes ago
|
||||
postgres messenger-lab3-postgres-1 postgres:17.2-alpine Up 7 minutes (healthy) 5432/tcp
|
||||
redis messenger-lab3-redis-1 redis:7.4.1-alpine Up 8 minutes (healthy) 6379/tcp
|
||||
secrets-init messenger-lab3-secrets-init-1 alpine:3.20.3 Exited (0) 7 minutes ago
|
||||
tools messenger-lab3-tools-run-d623204458ed mtusi-messenger-lab3-tools:dev Up Less than a second
|
||||
|
||||
## CPU/RAM-лимиты (NanoCpus: 1e9 = 1 CPU; Memory в байтах)
|
||||
$ sh -c docker inspect -f '{{.Name}} cpus={{.HostConfig.NanoCpus}} memory={{.HostConfig.Memory}}' $(docker compose ps -q)
|
||||
/messenger-lab3-api-10 cpus=500000000 memory=268435456
|
||||
/messenger-lab3-api-9 cpus=500000000 memory=268435456
|
||||
/messenger-lab3-lb-1 cpus=250000000 memory=67108864
|
||||
/messenger-lab3-postgres-1 cpus=1000000000 memory=536870912
|
||||
/messenger-lab3-redis-1 cpus=250000000 memory=134217728
|
||||
|
||||
## container_name не задан (одно имя сервиса масштабируется)
|
||||
$ sh -c docker compose config | grep -c container_name || true
|
||||
0
|
||||
|
||||
## Секреты: каждый сервис видит только свои файлы
|
||||
$ docker compose exec -T postgres ls /run/secrets
|
||||
pg_password
|
||||
|
||||
$ docker compose exec -T redis ls /run/secrets
|
||||
redis_password
|
||||
|
||||
$ docker compose exec -T api ls /run/secrets
|
||||
cache_url
|
||||
database_url
|
||||
|
||||
$ docker compose exec -T lb sh -c ls /run/secrets 2>/dev/null || echo "no /run/secrets"
|
||||
no /run/secrets
|
||||
|
||||
$ docker compose exec -T lb haproxy -v
|
||||
HAProxy version 3.0.6-c2c0090 2024/11/07 - https://haproxy.org/
|
||||
Status: long-term supported branch - will stop receiving fixes around Q2 2029.
|
||||
Known bugs: http://www.haproxy.org/bugs/bugs-3.0.6.html
|
||||
Running on: Linux 5.15.153.1-microsoft-standard-WSL2 #1 SMP Fri Mar 29 23:14:13 UTC 2024 x86_64
|
||||
|
||||
$ docker compose exec -T postgres postgres --version
|
||||
postgres (PostgreSQL) 17.2
|
||||
|
||||
$ docker compose exec -T redis redis-server --version
|
||||
Redis server v=7.4.1 sha=00000000:0 malloc=jemalloc-5.3.0 bits=64 build=a93ce81042b3a6d7
|
||||
|
||||
## Миграции: отдельный one-shot сервис, повторный запуск ничего не применяет
|
||||
$ docker compose run --rm migrate
|
||||
Container messenger-lab3-secrets-init-1 Created
|
||||
Container messenger-lab3-postgres-1 Running
|
||||
Container messenger-lab3-secrets-init-1 Starting
|
||||
Container messenger-lab3-secrets-init-1 Started
|
||||
Container messenger-lab3-secrets-init-1 Waiting
|
||||
Container messenger-lab3-secrets-init-1 Exited
|
||||
Prisma schema loaded from prisma/schema.prisma
|
||||
Datasource "db": PostgreSQL database "messenger", schema "public" at "postgres:5432"
|
||||
|
||||
3 migrations found in prisma/migrations
|
||||
|
||||
|
||||
No pending migrations to apply.
|
||||
|
||||
$ docker compose run --rm --no-deps migrate sh -c export DATABASE_URL="$(cat "$DATABASE_URL_FILE")"; npx prisma migrate diff --from-url "$DATABASE_URL" --to-schema-datamodel prisma/schema.prisma --exit-code
|
||||
No difference detected.
|
||||
|
||||
|
||||
$ docker compose exec -T postgres psql -U messenger -d messenger -c SELECT migration_name, finished_at FROM _prisma_migrations ORDER BY started_at
|
||||
migration_name | finished_at
|
||||
---------------------------------+-------------------------------
|
||||
20261021000000_init | 2026-11-01 10:26:06.913822+00
|
||||
20261021010000_auth_sessions | 2026-11-01 10:26:06.924458+00
|
||||
20261101000000_idempotency_keys | 2026-11-01 11:03:29.670935+00
|
||||
(3 rows)
|
||||
|
||||
|
||||
@@ -0,0 +1,147 @@
|
||||
{
|
||||
"scenario": "sequential failover of each api replica",
|
||||
"resources_under_load": [
|
||||
"messenger-lab3-api-10 cpu=45.52% mem=115.8MiB / 256MiB",
|
||||
"messenger-lab3-api-9 cpu=47.28% mem=96.32MiB / 256MiB",
|
||||
"messenger-lab3-lb-1 cpu=13.68% mem=16.25MiB / 64MiB",
|
||||
"messenger-lab3-postgres-1 cpu=24.15% mem=77.63MiB / 512MiB",
|
||||
"messenger-lab3-redis-1 cpu=2.08% mem=9.832MiB / 128MiB"
|
||||
],
|
||||
"replicas": [
|
||||
{
|
||||
"container": "/messenger-lab3-api-10 running image=f80c910ed3d1",
|
||||
"action": "docker kill (SIGKILL)",
|
||||
"before": {
|
||||
"seconds": 5.0,
|
||||
"successful_writes": 777,
|
||||
"failed_attempts": 0,
|
||||
"error_ratio": 0.0,
|
||||
"successful_rps": 155.4,
|
||||
"latency_ms_successful": {
|
||||
"p50": 10.6,
|
||||
"p95": 83.1,
|
||||
"p99": 158.6
|
||||
},
|
||||
"max_write_gap_seconds": 0.096,
|
||||
"instances": [
|
||||
"2701b0d53e0f",
|
||||
"75ad096eed0a"
|
||||
]
|
||||
},
|
||||
"stop_command_seconds": 0.478,
|
||||
"target_last_success_after_stop_seconds": null,
|
||||
"outage_window": {
|
||||
"seconds": 10.478,
|
||||
"successful_writes": 847,
|
||||
"failed_attempts": 3,
|
||||
"error_ratio": 0.0035,
|
||||
"successful_rps": 80.8,
|
||||
"latency_ms_successful": {
|
||||
"p50": 11.7,
|
||||
"p95": 88.5,
|
||||
"p99": 1012.5
|
||||
},
|
||||
"max_write_gap_seconds": 0.989,
|
||||
"instances": [
|
||||
"75ad096eed0a"
|
||||
]
|
||||
},
|
||||
"restore_until_healthy_seconds": 5.506,
|
||||
"restore_until_serving_seconds": 3.616,
|
||||
"after_restore": {
|
||||
"seconds": 5.036,
|
||||
"successful_writes": 771,
|
||||
"failed_attempts": 0,
|
||||
"error_ratio": 0.0,
|
||||
"successful_rps": 153.1,
|
||||
"latency_ms_successful": {
|
||||
"p50": 11.2,
|
||||
"p95": 80.5,
|
||||
"p99": 152.1
|
||||
},
|
||||
"max_write_gap_seconds": 0.147,
|
||||
"instances": [
|
||||
"2701b0d53e0f",
|
||||
"75ad096eed0a"
|
||||
]
|
||||
}
|
||||
},
|
||||
{
|
||||
"container": "/messenger-lab3-api-9 running image=f80c910ed3d1",
|
||||
"action": "docker kill (SIGKILL)",
|
||||
"before": {
|
||||
"seconds": 5.0,
|
||||
"successful_writes": 769,
|
||||
"failed_attempts": 0,
|
||||
"error_ratio": 0.0,
|
||||
"successful_rps": 153.8,
|
||||
"latency_ms_successful": {
|
||||
"p50": 11.2,
|
||||
"p95": 80.5,
|
||||
"p99": 152.1
|
||||
},
|
||||
"max_write_gap_seconds": 0.147,
|
||||
"instances": [
|
||||
"2701b0d53e0f",
|
||||
"75ad096eed0a"
|
||||
]
|
||||
},
|
||||
"stop_command_seconds": 0.503,
|
||||
"target_last_success_after_stop_seconds": 0.001,
|
||||
"outage_window": {
|
||||
"seconds": 10.503,
|
||||
"successful_writes": 706,
|
||||
"failed_attempts": 2,
|
||||
"error_ratio": 0.0028,
|
||||
"successful_rps": 67.2,
|
||||
"latency_ms_successful": {
|
||||
"p50": 13.6,
|
||||
"p95": 98.1,
|
||||
"p99": 1012.2
|
||||
},
|
||||
"max_write_gap_seconds": 0.994,
|
||||
"instances": [
|
||||
"2701b0d53e0f",
|
||||
"75ad096eed0a"
|
||||
]
|
||||
},
|
||||
"restore_until_healthy_seconds": 5.898,
|
||||
"restore_until_serving_seconds": 3.356,
|
||||
"after_restore": {
|
||||
"seconds": 5.021,
|
||||
"successful_writes": 827,
|
||||
"failed_attempts": 0,
|
||||
"error_ratio": 0.0,
|
||||
"successful_rps": 164.7,
|
||||
"latency_ms_successful": {
|
||||
"p50": 11.2,
|
||||
"p95": 73.8,
|
||||
"p99": 87.4
|
||||
},
|
||||
"max_write_gap_seconds": 0.092,
|
||||
"instances": [
|
||||
"2701b0d53e0f",
|
||||
"75ad096eed0a"
|
||||
]
|
||||
}
|
||||
}
|
||||
],
|
||||
"dataset": {
|
||||
"messages_in_db_before": 81019,
|
||||
"messages_in_db_after": 86799
|
||||
},
|
||||
"history": {
|
||||
"confirmed": 5780,
|
||||
"stored": 5780,
|
||||
"lost_confirmed": 0,
|
||||
"duplicates": 0
|
||||
},
|
||||
"load": {
|
||||
"workers": 4,
|
||||
"model": "closed loop, POST message",
|
||||
"warmup_seconds": 5,
|
||||
"client_timeout_seconds": 2,
|
||||
"retry": "same Idempotency-Key until success"
|
||||
},
|
||||
"date": "2026-11-01T14:26:57Z"
|
||||
}
|
||||
@@ -0,0 +1,148 @@
|
||||
{
|
||||
"scenario": "sequential failover of each api replica",
|
||||
"resources_under_load": [
|
||||
"messenger-lab3-api-10 cpu=50.96% mem=95.24MiB / 256MiB",
|
||||
"messenger-lab3-api-9 cpu=43.28% mem=130.2MiB / 256MiB",
|
||||
"messenger-lab3-lb-1 cpu=12.66% mem=13.96MiB / 64MiB",
|
||||
"messenger-lab3-postgres-1 cpu=24.59% mem=60.97MiB / 512MiB",
|
||||
"messenger-lab3-redis-1 cpu=2.19% mem=9.832MiB / 128MiB"
|
||||
],
|
||||
"replicas": [
|
||||
{
|
||||
"container": "/messenger-lab3-api-10 running image=f80c910ed3d1",
|
||||
"action": "docker stop (SIGTERM, graceful)",
|
||||
"before": {
|
||||
"seconds": 5.0,
|
||||
"successful_writes": 784,
|
||||
"failed_attempts": 0,
|
||||
"error_ratio": 0.0,
|
||||
"successful_rps": 156.8,
|
||||
"latency_ms_successful": {
|
||||
"p50": 10.6,
|
||||
"p95": 78.0,
|
||||
"p99": 170.9
|
||||
},
|
||||
"max_write_gap_seconds": 0.088,
|
||||
"instances": [
|
||||
"2701b0d53e0f",
|
||||
"75ad096eed0a"
|
||||
]
|
||||
},
|
||||
"stop_command_seconds": 3.464,
|
||||
"target_last_success_after_stop_seconds": 1.353,
|
||||
"outage_window": {
|
||||
"seconds": 13.464,
|
||||
"successful_writes": 1746,
|
||||
"failed_attempts": 0,
|
||||
"error_ratio": 0.0,
|
||||
"successful_rps": 129.7,
|
||||
"latency_ms_successful": {
|
||||
"p50": 11.1,
|
||||
"p95": 85.7,
|
||||
"p99": 172.3
|
||||
},
|
||||
"max_write_gap_seconds": 0.457,
|
||||
"instances": [
|
||||
"2701b0d53e0f",
|
||||
"75ad096eed0a"
|
||||
]
|
||||
},
|
||||
"restore_until_healthy_seconds": 5.621,
|
||||
"restore_until_serving_seconds": 3.995,
|
||||
"after_restore": {
|
||||
"seconds": 5.026,
|
||||
"successful_writes": 898,
|
||||
"failed_attempts": 0,
|
||||
"error_ratio": 0.0,
|
||||
"successful_rps": 178.7,
|
||||
"latency_ms_successful": {
|
||||
"p50": 9.8,
|
||||
"p95": 73.4,
|
||||
"p99": 88.6
|
||||
},
|
||||
"max_write_gap_seconds": 0.088,
|
||||
"instances": [
|
||||
"2701b0d53e0f",
|
||||
"75ad096eed0a"
|
||||
]
|
||||
}
|
||||
},
|
||||
{
|
||||
"container": "/messenger-lab3-api-9 running image=f80c910ed3d1",
|
||||
"action": "docker stop (SIGTERM, graceful)",
|
||||
"before": {
|
||||
"seconds": 5.0,
|
||||
"successful_writes": 898,
|
||||
"failed_attempts": 0,
|
||||
"error_ratio": 0.0,
|
||||
"successful_rps": 179.6,
|
||||
"latency_ms_successful": {
|
||||
"p50": 9.8,
|
||||
"p95": 73.4,
|
||||
"p99": 88.6
|
||||
},
|
||||
"max_write_gap_seconds": 0.088,
|
||||
"instances": [
|
||||
"2701b0d53e0f",
|
||||
"75ad096eed0a"
|
||||
]
|
||||
},
|
||||
"stop_command_seconds": 3.471,
|
||||
"target_last_success_after_stop_seconds": 1.969,
|
||||
"outage_window": {
|
||||
"seconds": 13.471,
|
||||
"successful_writes": 1791,
|
||||
"failed_attempts": 0,
|
||||
"error_ratio": 0.0,
|
||||
"successful_rps": 132.9,
|
||||
"latency_ms_successful": {
|
||||
"p50": 11.0,
|
||||
"p95": 87.3,
|
||||
"p99": 102.5
|
||||
},
|
||||
"max_write_gap_seconds": 0.103,
|
||||
"instances": [
|
||||
"2701b0d53e0f",
|
||||
"75ad096eed0a"
|
||||
]
|
||||
},
|
||||
"restore_until_healthy_seconds": 5.753,
|
||||
"restore_until_serving_seconds": 3.591,
|
||||
"after_restore": {
|
||||
"seconds": 5.032,
|
||||
"successful_writes": 854,
|
||||
"failed_attempts": 0,
|
||||
"error_ratio": 0.0,
|
||||
"successful_rps": 169.7,
|
||||
"latency_ms_successful": {
|
||||
"p50": 10.3,
|
||||
"p95": 76.0,
|
||||
"p99": 92.6
|
||||
},
|
||||
"max_write_gap_seconds": 0.078,
|
||||
"instances": [
|
||||
"2701b0d53e0f",
|
||||
"75ad096eed0a"
|
||||
]
|
||||
}
|
||||
}
|
||||
],
|
||||
"dataset": {
|
||||
"messages_in_db_before": 72994,
|
||||
"messages_in_db_after": 81019
|
||||
},
|
||||
"history": {
|
||||
"confirmed": 8025,
|
||||
"stored": 8025,
|
||||
"lost_confirmed": 0,
|
||||
"duplicates": 0
|
||||
},
|
||||
"load": {
|
||||
"workers": 4,
|
||||
"model": "closed loop, POST message",
|
||||
"warmup_seconds": 5,
|
||||
"client_timeout_seconds": 2,
|
||||
"retry": "same Idempotency-Key until success"
|
||||
},
|
||||
"date": "2026-11-01T14:26:05Z"
|
||||
}
|
||||
@@ -0,0 +1,49 @@
|
||||
# make test-failover: stop-one.sh останавливает реплику, обслужившую тест; затем вторую
|
||||
# date: 2026-11-01T14:24:26Z
|
||||
# commit: 210ff67 (dirty)
|
||||
|
||||
## Прогон 1
|
||||
### до
|
||||
/messenger-lab3-api-10 id=2701b0d53e0f running exit=0 finished=2026-11-01T14:24:22.65057843Z
|
||||
/messenger-lab3-api-9 id=75ad096eed0a running exit=0 finished=2026-11-01T14:24:22.658060985Z
|
||||
|
||||
$ make test-failover ACTION_SCRIPT=scripts/stop-one.sh
|
||||
python3 tests/resilience.py --mode failover --action-script "scripts/stop-one.sh" --base-url "http://lb:8080"
|
||||
Executing explicit failover hook; hook output suppressed to avoid leaking secrets.
|
||||
{"observed_instances_before": 2, "successful_writes": 126, "failed_attempts": 0, "first_recovery_seconds": 3.475}
|
||||
PASS: failover preserved confirmed data and existing session. Hook scope needs operator evidence.
|
||||
|
||||
### после: остановленная реплика Exited (0) — штатное завершение по SIGTERM
|
||||
/messenger-lab3-api-10 id=2701b0d53e0f running exit=0 finished=2026-11-01T14:24:22.65057843Z
|
||||
/messenger-lab3-api-9 id=75ad096eed0a exited exit=0 finished=2026-11-01T14:24:30.362206587Z
|
||||
|
||||
### журнал HAProxy
|
||||
Server api/api2 is UP, reason: Layer7 check passed, code: 200, check duration: 2ms. 1 active and 0 backup servers online. 0 sessions requeued, 0 total in queue.
|
||||
Server api/api1 is UP, reason: Layer7 check passed, code: 200, check duration: 1ms. 2 active and 0 backup servers online. 0 sessions requeued, 0 total in queue.
|
||||
Server api/api2 is DOWN, reason: Layer7 wrong status, code: 503, info: "Service Unavailable", check duration: 1ms. 1 active and 0 backup servers left. 0 sessions active, 0 requeued, 0 remaining in queue.
|
||||
Server api/api2 was DOWN and now enters maintenance (No IP for server ).
|
||||
|
||||
## Прогон 2
|
||||
### до
|
||||
/messenger-lab3-api-10 id=2701b0d53e0f running exit=0 finished=2026-11-01T14:24:22.65057843Z
|
||||
/messenger-lab3-api-9 id=75ad096eed0a running exit=0 finished=2026-11-01T14:24:30.362206587Z
|
||||
|
||||
$ make test-failover ACTION_SCRIPT=scripts/stop-one.sh
|
||||
python3 tests/resilience.py --mode failover --action-script "scripts/stop-one.sh" --base-url "http://lb:8080"
|
||||
Executing explicit failover hook; hook output suppressed to avoid leaking secrets.
|
||||
{"observed_instances_before": 2, "successful_writes": 131, "failed_attempts": 0, "first_recovery_seconds": 3.43}
|
||||
PASS: failover preserved confirmed data and existing session. Hook scope needs operator evidence.
|
||||
|
||||
### после: остановленная реплика Exited (0) — штатное завершение по SIGTERM
|
||||
/messenger-lab3-api-10 id=2701b0d53e0f exited exit=0 finished=2026-11-01T14:24:49.840732823Z
|
||||
/messenger-lab3-api-9 id=75ad096eed0a running exit=0 finished=2026-11-01T14:24:30.362206587Z
|
||||
|
||||
### журнал HAProxy
|
||||
Server api/api1 is DOWN, reason: Layer7 wrong status, code: 503, info: "Service Unavailable", check duration: 1ms. 1 active and 0 backup servers left. 0 sessions active, 0 requeued, 0 remaining in queue.
|
||||
Server api/api1 was DOWN and now enters maintenance (No IP for server ).
|
||||
|
||||
## Проверка guard: stop-one.sh отказывается останавливать не api
|
||||
$ env TARGET_INSTANCE_ID=eb4e6be5ba1d sh scripts/stop-one.sh
|
||||
refusing to stop eb4e6be5ba1d: not an api replica of messenger-lab3 (messenger-lab3/postgres)
|
||||
EXIT CODE 1
|
||||
|
||||
@@ -0,0 +1,135 @@
|
||||
# Отказы зависимостей, ошибки LB, expiry
|
||||
# date: 2026-11-01T14:27:40Z
|
||||
# commit: 210ff67 (dirty)
|
||||
|
||||
## 1. Redis остановлен: вход и Bearer через PostgreSQL; logout — 503 без отзыва (токен остаётся действующим)
|
||||
$ docker compose stop redis
|
||||
Container messenger-lab3-redis-1 Stopping
|
||||
Container messenger-lab3-redis-1 Stopped
|
||||
|
||||
$ python3 scripts/probe.py logout
|
||||
register -> 201
|
||||
login -> 201 expires_at: 2026-11-01T15:27:41.083Z
|
||||
GET /api/v1/users/me -> 200
|
||||
DELETE /api/v1/auth/sessions/current -> 503 {"error": {"code": "unavailable", "message": "session cache unavailable", "request_id": "7aff0b0d-d263-4bad-ae24-534ed11e5885"}}
|
||||
GET /api/v1/users/me -> 200
|
||||
|
||||
$ docker compose start redis
|
||||
Container messenger-lab3-secrets-init-1 Starting
|
||||
Container messenger-lab3-secrets-init-1 Started
|
||||
Container messenger-lab3-secrets-init-1 Waiting
|
||||
Container messenger-lab3-secrets-init-1 Exited
|
||||
Container messenger-lab3-redis-1 Starting
|
||||
Container messenger-lab3-redis-1 Started
|
||||
|
||||
## 2. Redis снова доступен: logout отзывает токен на всех репликах
|
||||
$ python3 scripts/probe.py logout
|
||||
register -> 201
|
||||
login -> 201 expires_at: 2026-11-01T15:27:46.084Z
|
||||
GET /api/v1/users/me -> 200
|
||||
DELETE /api/v1/auth/sessions/current -> 204
|
||||
GET /api/v1/users/me -> 401
|
||||
|
||||
## 3. PostgreSQL остановлен: live 200, запрос с токеном — 503 без внутренних деталей, аноним — 401
|
||||
$ docker compose stop postgres
|
||||
Container messenger-lab3-postgres-1 Stopping
|
||||
Container messenger-lab3-postgres-1 Stopped
|
||||
|
||||
$ python3 scripts/probe.py status GET /health/live
|
||||
GET /health/live (anonymous) -> 200 {"status": "ok"}
|
||||
|
||||
$ python3 scripts/probe.py status GET /api/v1/chats Bearer unknown-token
|
||||
GET /api/v1/chats (Bearer unknown-token) -> 503 {"error": {"code": "unavailable", "message": "database unavailable", "request_id": "084e5aa0-f8c4-44c2-91a6-5672ab0fe7f9"}}
|
||||
|
||||
$ python3 scripts/probe.py status GET /api/v1/users/me
|
||||
GET /api/v1/users/me (anonymous) -> 503 {"error": {"code": "unavailable", "message": "no API replica available", "request_id": "f041cada-528c-4d13-bf1e-fefc33ec422e"}}
|
||||
|
||||
$ docker compose start postgres
|
||||
Container messenger-lab3-secrets-init-1 Starting
|
||||
Container messenger-lab3-secrets-init-1 Started
|
||||
Container messenger-lab3-secrets-init-1 Waiting
|
||||
Container messenger-lab3-secrets-init-1 Exited
|
||||
Container messenger-lab3-postgres-1 Starting
|
||||
Container messenger-lab3-postgres-1 Started
|
||||
|
||||
$ python3 scripts/probe.py ready
|
||||
ready
|
||||
|
||||
## 4. Все реплики API остановлены: LB отвечает 503 в формате ошибки контракта
|
||||
$ docker compose stop api
|
||||
Container messenger-lab3-api-11 Stopping
|
||||
Container messenger-lab3-api-12 Stopping
|
||||
Container messenger-lab3-api-12 Stopped
|
||||
Container messenger-lab3-api-11 Stopped
|
||||
|
||||
$ python3 scripts/probe.py status GET /api/v1/users/me
|
||||
GET /api/v1/users/me (anonymous) -> 503 {"error": {"code": "unavailable", "message": "no API replica available", "request_id": "4e1d1184-174b-47c6-9406-6d5e3e7457de"}}
|
||||
|
||||
$ docker compose start api
|
||||
Container messenger-lab3-secrets-init-1 Starting
|
||||
Container messenger-lab3-secrets-init-1 Started
|
||||
Container messenger-lab3-secrets-init-1 Waiting
|
||||
Container messenger-lab3-secrets-init-1 Waiting
|
||||
Container messenger-lab3-secrets-init-1 Exited
|
||||
Container messenger-lab3-secrets-init-1 Exited
|
||||
Container messenger-lab3-postgres-1 Waiting
|
||||
Container messenger-lab3-postgres-1 Healthy
|
||||
Container messenger-lab3-migrate-1 Starting
|
||||
Container messenger-lab3-migrate-1 Started
|
||||
Container messenger-lab3-migrate-1 Waiting
|
||||
Container messenger-lab3-migrate-1 Exited
|
||||
Container messenger-lab3-api-12 Starting
|
||||
Container messenger-lab3-api-12 Started
|
||||
Container messenger-lab3-api-11 Starting
|
||||
Container messenger-lab3-api-11 Started
|
||||
|
||||
$ python3 scripts/probe.py ready
|
||||
ready
|
||||
|
||||
## 5. Живая, но неготовая реплика: PostgreSQL отклоняет подключения только от одной API (pg_hba reject)
|
||||
target=b446d5242566 ip=172.25.0.6
|
||||
$ docker exec b446d5242566 node -e let n=0;const g=p=>require('http').get('http://127.0.0.1:8080'+p,r=>{console.log(p,r.statusCode);r.resume();if(++n===2)process.exit(0)});g('/health/live');g('/health/ready')
|
||||
/health/live 200
|
||||
/health/ready 503
|
||||
|
||||
$ python3 scripts/probe.py instances 10
|
||||
register -> 201
|
||||
login -> 201 expires_at: 2026-11-01T15:28:12.845Z
|
||||
GET /api/v1/users/me -> 200 X-Instance-Id: 18dde5d7e3c7
|
||||
GET /api/v1/users/me -> 200 X-Instance-Id: 18dde5d7e3c7
|
||||
GET /api/v1/users/me -> 200 X-Instance-Id: 18dde5d7e3c7
|
||||
GET /api/v1/users/me -> 200 X-Instance-Id: 18dde5d7e3c7
|
||||
GET /api/v1/users/me -> 200 X-Instance-Id: 18dde5d7e3c7
|
||||
GET /api/v1/users/me -> 200 X-Instance-Id: 18dde5d7e3c7
|
||||
GET /api/v1/users/me -> 200 X-Instance-Id: 18dde5d7e3c7
|
||||
GET /api/v1/users/me -> 200 X-Instance-Id: 18dde5d7e3c7
|
||||
GET /api/v1/users/me -> 200 X-Instance-Id: 18dde5d7e3c7
|
||||
GET /api/v1/users/me -> 200 X-Instance-Id: 18dde5d7e3c7
|
||||
|
||||
Server api/api2 is UP, reason: Layer7 check passed, code: 200, check duration: 2ms. 2 active and 0 backup servers online. 0 sessions requeued, 0 total in queue.
|
||||
Server api/api2 is DOWN, reason: Layer7 wrong status, code: 503, info: "Service Unavailable", check duration: 4ms. 1 active and 0 backup servers left. 0 sessions active, 0 requeued, 0 remaining in queue.
|
||||
|
||||
### доступ возвращён: реплика снова готова и получает запросы
|
||||
$ python3 scripts/probe.py instances 6
|
||||
register -> 201
|
||||
login -> 201 expires_at: 2026-11-01T15:28:17.742Z
|
||||
GET /api/v1/users/me -> 200 X-Instance-Id: 18dde5d7e3c7
|
||||
GET /api/v1/users/me -> 200 X-Instance-Id: b446d5242566
|
||||
GET /api/v1/users/me -> 200 X-Instance-Id: 18dde5d7e3c7
|
||||
GET /api/v1/users/me -> 200 X-Instance-Id: b446d5242566
|
||||
GET /api/v1/users/me -> 200 X-Instance-Id: 18dde5d7e3c7
|
||||
GET /api/v1/users/me -> 200 X-Instance-Id: b446d5242566
|
||||
|
||||
## 6. Expiry: реплики пересозданы с SESSION_TTL_SECONDS=2
|
||||
$ sh -c docker exec $(docker compose ps -q api | head -1) printenv SESSION_TTL_SECONDS
|
||||
2
|
||||
|
||||
$ python3 scripts/probe.py expiry 2
|
||||
register -> 201
|
||||
login -> 201 expires_at: 2026-11-01T14:28:30.603Z
|
||||
GET /api/v1/users/me (fresh) -> 200
|
||||
GET /api/v1/users/me (after 3s) -> 401
|
||||
|
||||
$ python3 scripts/probe.py ready
|
||||
ready
|
||||
|
||||
@@ -0,0 +1,12 @@
|
||||
{
|
||||
"scenario": "parallel POST with one Idempotency-Key through LB",
|
||||
"requests": 20,
|
||||
"all_201": true,
|
||||
"distinct_message_ids": 1,
|
||||
"instances": [
|
||||
"2701b0d53e0f",
|
||||
"75ad096eed0a"
|
||||
],
|
||||
"messages_in_history": 1,
|
||||
"date": "2026-11-01T14:25:07Z"
|
||||
}
|
||||
@@ -0,0 +1,22 @@
|
||||
# make test-persistence: restart.sh перезапускает postgres, redis, api, lb с сохранением volumes
|
||||
# date: 2026-11-01T14:24:18Z
|
||||
# commit: 210ff67 (dirty)
|
||||
|
||||
## до
|
||||
/messenger-lab3-api-10 running started=2026-11-01T14:17:40.379508837Z
|
||||
/messenger-lab3-api-9 running started=2026-11-01T14:17:40.671088423Z
|
||||
/messenger-lab3-lb-1 running started=2026-11-01T14:12:03.995670618Z
|
||||
/messenger-lab3-postgres-1 running started=2026-11-01T14:15:47.035908462Z
|
||||
/messenger-lab3-redis-1 running started=2026-11-01T14:15:35.848126753Z
|
||||
|
||||
$ make test-persistence ACTION_SCRIPT=scripts/restart.sh
|
||||
python3 tests/resilience.py --mode persistence --action-script "scripts/restart.sh" --base-url "http://lb:8080"
|
||||
Executing explicit persistence hook; hook output suppressed to avoid leaking secrets.
|
||||
PASS: persistence preserved confirmed data and existing session. Hook scope needs operator evidence.
|
||||
|
||||
## после
|
||||
/messenger-lab3-api-10 running started=2026-11-01T14:24:23.200745127Z
|
||||
/messenger-lab3-api-9 running started=2026-11-01T14:24:23.330709545Z
|
||||
/messenger-lab3-lb-1 running started=2026-11-01T14:24:20.477359115Z
|
||||
/messenger-lab3-postgres-1 running started=2026-11-01T14:24:20.361554543Z
|
||||
/messenger-lab3-redis-1 running started=2026-11-01T14:24:20.157181787Z
|
||||
@@ -0,0 +1,67 @@
|
||||
{
|
||||
"scenario": "rolling replacement: migrate once, then add new replica, wait healthy, stop old one",
|
||||
"resources_under_load": [
|
||||
"messenger-lab3-api-10 cpu=49.91% mem=96.44MiB / 256MiB",
|
||||
"messenger-lab3-api-9 cpu=44.95% mem=113.9MiB / 256MiB",
|
||||
"messenger-lab3-lb-1 cpu=12.30% mem=17.51MiB / 64MiB",
|
||||
"messenger-lab3-postgres-1 cpu=23.73% mem=81.37MiB / 512MiB",
|
||||
"messenger-lab3-redis-1 cpu=5.40% mem=9.848MiB / 128MiB"
|
||||
],
|
||||
"before": [
|
||||
"/messenger-lab3-api-10 running image=f80c910ed3d1",
|
||||
"/messenger-lab3-api-9 running image=f80c910ed3d1"
|
||||
],
|
||||
"after": [
|
||||
"/messenger-lab3-api-11 running image=be7b642a4d66",
|
||||
"/messenger-lab3-api-12 running image=be7b642a4d66"
|
||||
],
|
||||
"steps": [
|
||||
{
|
||||
"replaced": "2701b0d53e0f",
|
||||
"new_replica_ready_seconds": 6.531,
|
||||
"step_seconds": 10.169
|
||||
},
|
||||
{
|
||||
"replaced": "75ad096eed0a",
|
||||
"new_replica_ready_seconds": 6.667,
|
||||
"step_seconds": 10.21
|
||||
}
|
||||
],
|
||||
"during_update": {
|
||||
"seconds": 30.809,
|
||||
"successful_writes": 5340,
|
||||
"failed_attempts": 0,
|
||||
"error_ratio": 0.0,
|
||||
"successful_rps": 173.3,
|
||||
"latency_ms_successful": {
|
||||
"p50": 11.2,
|
||||
"p95": 73.5,
|
||||
"p99": 95.2
|
||||
},
|
||||
"max_write_gap_seconds": 0.17,
|
||||
"instances": [
|
||||
"18dde5d7e3c7",
|
||||
"2701b0d53e0f",
|
||||
"75ad096eed0a",
|
||||
"b446d5242566"
|
||||
]
|
||||
},
|
||||
"dataset": {
|
||||
"messages_in_db_before": 86799,
|
||||
"messages_in_db_after": 93308
|
||||
},
|
||||
"history": {
|
||||
"confirmed": 6509,
|
||||
"stored": 6509,
|
||||
"lost_confirmed": 0,
|
||||
"duplicates": 0
|
||||
},
|
||||
"load": {
|
||||
"workers": 4,
|
||||
"model": "closed loop, POST message",
|
||||
"warmup_seconds": 5,
|
||||
"client_timeout_seconds": 2,
|
||||
"retry": "same Idempotency-Key until success"
|
||||
},
|
||||
"date": "2026-11-01T14:27:40Z"
|
||||
}
|
||||
@@ -0,0 +1,26 @@
|
||||
# Публичные проверки через LB; разные реплики обслуживают одну сессию
|
||||
# date: 2026-11-01T14:24:16Z
|
||||
# commit: 210ff67 (dirty)
|
||||
|
||||
$ make check
|
||||
python3 scripts/check_contract.py
|
||||
PASS: offline skeleton structure, local refs and Python syntax; application NOT tested.
|
||||
|
||||
$ make test
|
||||
python3 tests/smoke.py --base-url "http://lb:8080"
|
||||
PASS: lab3 public API scenario; infrastructure and grading evidence remain separate.
|
||||
|
||||
$ sh -c docker compose ps -q api | cut -c1-12
|
||||
2701b0d53e0f
|
||||
75ad096eed0a
|
||||
|
||||
$ python3 scripts/probe.py instances 6
|
||||
register -> 201
|
||||
login -> 201 expires_at: 2026-11-01T15:24:18.673Z
|
||||
GET /api/v1/users/me -> 200 X-Instance-Id: 75ad096eed0a
|
||||
GET /api/v1/users/me -> 200 X-Instance-Id: 2701b0d53e0f
|
||||
GET /api/v1/users/me -> 200 X-Instance-Id: 75ad096eed0a
|
||||
GET /api/v1/users/me -> 200 X-Instance-Id: 2701b0d53e0f
|
||||
GET /api/v1/users/me -> 200 X-Instance-Id: 75ad096eed0a
|
||||
GET /api/v1/users/me -> 200 X-Instance-Id: 2701b0d53e0f
|
||||
|
||||
@@ -0,0 +1,156 @@
|
||||
# Собственные e2e-тесты (PostgreSQL + Redis из compose.test.yaml)
|
||||
# date: 2026-11-01T14:23:50Z
|
||||
# commit: 210ff67 (dirty)
|
||||
|
||||
$ docker compose -f compose.test.yaml run --rm tests npx jest --config ./test/jest-e2e.json --verbose
|
||||
Network messenger-lab3-test_default Creating
|
||||
Network messenger-lab3-test_default Created
|
||||
Container messenger-lab3-test-redis-1 Creating
|
||||
Container messenger-lab3-test-postgres-1 Creating
|
||||
Container messenger-lab3-test-redis-1 Created
|
||||
Container messenger-lab3-test-postgres-1 Created
|
||||
Container messenger-lab3-test-postgres-1 Starting
|
||||
Container messenger-lab3-test-redis-1 Starting
|
||||
Container messenger-lab3-test-redis-1 Started
|
||||
Container messenger-lab3-test-postgres-1 Started
|
||||
Prisma schema loaded from prisma/schema.prisma
|
||||
Datasource "db": PostgreSQL database "messenger_test", schema "public" at "postgres:5432"
|
||||
|
||||
3 migrations found in prisma/migrations
|
||||
|
||||
Applying migration `20261021000000_init`
|
||||
Applying migration `20261021010000_auth_sessions`
|
||||
Applying migration `20261101000000_idempotency_keys`
|
||||
|
||||
The following migration(s) have been applied:
|
||||
|
||||
migrations/
|
||||
└─ 20261021000000_init/
|
||||
└─ migration.sql
|
||||
└─ 20261021010000_auth_sessions/
|
||||
└─ migration.sql
|
||||
└─ 20261101000000_idempotency_keys/
|
||||
└─ migration.sql
|
||||
|
||||
All migrations have been successfully applied.
|
||||
PASS test/docs.e2e-spec.ts (8.076 s)
|
||||
Swagger UI и примеры (e2e)
|
||||
✓ отдаёт Swagger UI и документ контракта со всеми путями (79 ms)
|
||||
✓ каждый пример запроса и ответа проходит JSON Schema контракта (458 ms)
|
||||
|
||||
PASS test/concurrency.e2e-spec.ts (9.302 s)
|
||||
Безопасность при конкурентном доступе (e2e)
|
||||
✓ принимает 100 конкурентных сообщений от 10 клиентов и сохраняет ровно 100 уникальных (1567 ms)
|
||||
✓ регистрирует ровно одного пользователя при гонке 10 запросов за один и тот же username (248 ms)
|
||||
|
||||
PASS test/auth.e2e-spec.ts (9.345 s)
|
||||
Аутентификация и сессии (e2e)
|
||||
регистрация
|
||||
✓ требует password (68 ms)
|
||||
✓ отклоняет password короче 12 code points (29 ms)
|
||||
✓ хранит пароль как Argon2id-хеш, а не открытым текстом (154 ms)
|
||||
POST /api/v1/auth/sessions
|
||||
✓ выдаёт непрозрачный Bearer-токен с expires_at и пользователем (298 ms)
|
||||
✓ принимает пароль с двоеточием и не-ASCII символами (81 ms)
|
||||
✓ отвечает одинаковым 401 на неверный пароль и неизвестного пользователя (452 ms)
|
||||
✓ отклоняет JSON body при входе даже с верным Basic (133 ms)
|
||||
✓ отвечает 401 без заголовка Authorization (13 ms)
|
||||
защищённые endpoint
|
||||
✓ не принимают Basic (126 ms)
|
||||
✓ не принимают X-User-Id сам по себе (114 ms)
|
||||
✓ игнорируют X-User-Id рядом с Bearer (219 ms)
|
||||
✓ отвечают 401 на неизвестный токен (13 ms)
|
||||
DELETE /api/v1/auth/sessions/current
|
||||
✓ отзывает только текущий токен: 204, затем 401 на повтор (211 ms)
|
||||
|
||||
PASS test/idempotency.e2e-spec.ts (11.29 s)
|
||||
Идемпотентность отправки и X-Instance-Id (e2e)
|
||||
✓ требует Idempotency-Key правильного формата (429 ms)
|
||||
✓ повтор с тем же ключом и телом возвращает тот же 201 и то же сообщение (402 ms)
|
||||
✓ тот же ключ с другим телом — 409, сообщение не создаётся (586 ms)
|
||||
✓ 20 параллельных запросов с одним ключом через два экземпляра создают ровно одно сообщение (363 ms)
|
||||
✓ область ключа — пользователь и чат: одинаковый ключ у разных пользователей и чатов независим (182 ms)
|
||||
✓ повтор заново проверяет сессию (94 ms)
|
||||
✓ после IDEMPOTENCY_TTL_SECONDS ключ можно использовать заново (1676 ms)
|
||||
✓ X-Instance-Id есть в успешных ответах, ошибках и health и стабилен в процессе (9 ms)
|
||||
|
||||
[31m[Nest] 175 - [39m11/01/2026, 2:24:12 PM [31m ERROR[39m [38;5;3m[HttpExceptionFilter] [39m[31mDELETE /api/v1/auth/sessions/current -> 503: session cache unavailable[39m
|
||||
[31m[Nest] 175 - [39m11/01/2026, 2:24:12 PM [31m ERROR[39m [38;5;3m[HttpExceptionFilter] [39m[31mDELETE /api/v1/auth/sessions/current -> 503: session cache unavailable[39m
|
||||
[31m[Nest] 175 - [39m11/01/2026, 2:24:13 PM [31m ERROR[39m [38;5;3m[HttpExceptionFilter] [39m[31mGET /health/ready -> 503: database unavailable[39m
|
||||
[31m[Nest] 175 - [39m11/01/2026, 2:24:13 PM [31m ERROR[39m [38;5;3m[HttpExceptionFilter] [39m[31mGET /api/v1/chats -> 503: database unavailable[39m
|
||||
[31m[Nest] 175 - [39m11/01/2026, 2:24:13 PM [31m ERROR[39m [38;5;3m[HttpExceptionFilter] [39m[31mGET /api/v1/chats -> 503: database unavailable[39m
|
||||
[31m[Nest] 175 - [39m11/01/2026, 2:24:13 PM [31m ERROR[39m [38;5;3m[HttpExceptionFilter] [39m[31mPOST /api/v1/users -> 503: database unavailable[39m
|
||||
PASS test/api.e2e-spec.ts (12.31 s)
|
||||
API мессенджера (e2e) — граничные случаи сверх публичного smoke
|
||||
POST /api/v1/users
|
||||
✓ отклоняет некорректный JSON с кодом 400 (75 ms)
|
||||
✓ отклоняет тело с лишними полями (26 ms)
|
||||
✓ отклоняет username с заглавными буквами (7 ms)
|
||||
✓ отклоняет display_name из одних пробелов (6 ms)
|
||||
✓ отклоняет дубликат username с кодом 409 (319 ms)
|
||||
✓ никогда не возвращает поле пароля или его хэша (57 ms)
|
||||
✓ отклоняет username короче 3 символов (6 ms)
|
||||
✓ отклоняет username длиннее 32 символов (6 ms)
|
||||
✓ отклоняет username с недопустимыми символами (дефис) (6 ms)
|
||||
✓ принимает username ровно на границах длины 3 и 32 символа (81 ms)
|
||||
✓ отклоняет display_name длиннее 100 Unicode code points (5 ms)
|
||||
✓ принимает display_name ровно из 100 code points, считая эмодзи вне BMP за один символ (47 ms)
|
||||
✓ отклоняет display_name из 101 code point, состоящий из эмодзи вне BMP (3 ms)
|
||||
контроль доступа
|
||||
✓ возвращает 401 раньше 404, если и актор, и ресурс невалидны (8 ms)
|
||||
✓ возвращает 404 (не 403), когда чат запрашивает не его участник (844 ms)
|
||||
✓ отклоняет создание чата, если вызывающий не входит в member_ids (267 ms)
|
||||
✓ отклоняет создание чата с дублирующимися member_ids (113 ms)
|
||||
✓ считает один UUID в разном регистре дубликатом и узнаёт вызывающего в верхнем регистре (81 ms)
|
||||
✓ принимает ровно 100 участников и отклоняет 101 (108 ms)
|
||||
✓ отклоняет создание чата с неизвестным участником (81 ms)
|
||||
✓ отклоняет создание чата с пустым/пробельным title (77 ms)
|
||||
✓ возвращает 400 для синтаксически некорректного chat_id (не UUID) (89 ms)
|
||||
✓ возвращает 404 для корректного по формату, но несуществующего chat_id (86 ms)
|
||||
GET /api/v1/chats (пагинация)
|
||||
✓ использует limit=50 по умолчанию, если limit не передан (83 ms)
|
||||
✓ отклоняет нечисловой limit (60 ms)
|
||||
✓ отклоняет limit=0 (65 ms)
|
||||
✓ отклоняет повторённые limit и cursor (67 ms)
|
||||
✓ отклоняет cursor, не являющийся корректным base64url JSON (65 ms)
|
||||
✓ отклоняет корректно закодированный cursor с id чата, который никогда не существовал (63 ms)
|
||||
✓ обходит весь список чатов по страницам без пропусков и дублей (102 ms)
|
||||
сообщения
|
||||
✓ не принимает sender_id, переданный клиентом (124 ms)
|
||||
✓ считает attachment_ids: [] равным отсутствию поля, непустой список отклоняет (145 ms)
|
||||
✓ отклоняет пустое сообщение (101 ms)
|
||||
✓ отклоняет сообщение из одних пробелов (114 ms)
|
||||
✓ отклоняет отправку в чат, где вызывающий не участник (158 ms)
|
||||
✓ отклоняет limit=0 при чтении истории (98 ms)
|
||||
✓ отклоняет limit=101 при чтении истории (115 ms)
|
||||
✓ отклоняет нечисловой limit (111 ms)
|
||||
✓ отклоняет текст сообщения длиннее 4000 Unicode code points (99 ms)
|
||||
✓ принимает текст сообщения ровно из 4000 Unicode code points (110 ms)
|
||||
✓ отклоняет текст сообщения свыше 4000 code points, состоящий из эмодзи вне BMP (112 ms)
|
||||
✓ отклоняет cursor, не являющийся корректным base64url JSON (112 ms)
|
||||
✓ отклоняет корректно закодированный cursor с id сообщения, которое никогда не существовало в этом чате (120 ms)
|
||||
✓ возвращает 400 для синтаксически некорректного chat_id при отправке сообщения (47 ms)
|
||||
✓ возвращает 400 для синтаксически некорректного chat_id при чтении истории (49 ms)
|
||||
✓ отклоняет cursor, взятый из другого чата (137 ms)
|
||||
✓ обходит всю историю по страницам без пропусков и дублей (158 ms)
|
||||
X-Request-Id
|
||||
✓ присутствует и уникален для независимых запросов (2 ms)
|
||||
✓ совпадает с request_id внутри тела ошибки (2 ms)
|
||||
|
||||
[31m[Nest] 175 - [39m11/01/2026, 2:24:13 PM [31m ERROR[39m [38;5;3m[HttpExceptionFilter] [39m[31mGET /api/v1/chats -> 500: Internal server error[39m
|
||||
PASS test/failures.e2e-spec.ts (12.501 s)
|
||||
Уровень 4: expiry, отказы зависимостей, rollback (e2e)
|
||||
✓ сессия истекает при коротком SESSION_TTL_SECONDS, в том числе из кэша (3629 ms)
|
||||
✓ без Redis вход и проверка сессии работают через PostgreSQL, logout — 503 без отзыва (162 ms)
|
||||
✓ logout через реплику без связи с Redis не создаёт расхождения с репликой, у которой сессия в кэше (343 ms)
|
||||
✓ без PostgreSQL отвечает ограниченным 503 и не пускает анонима (269 ms)
|
||||
✓ неожиданное исключение — 500 internal_error без деталей, с X-Request-Id и X-Instance-Id (89 ms)
|
||||
✓ откатывает создание чата целиком, если один из участников не существует (105 ms)
|
||||
|
||||
A worker process has failed to exit gracefully and has been force exited. This is likely caused by tests leaking due to improper teardown. Try running with --detectOpenHandles to find leaks. Active timers can also cause this, ensure that .unref() was called on them.
|
||||
Test Suites: 6 passed, 6 total
|
||||
Tests: 80 passed, 80 total
|
||||
Snapshots: 0 total
|
||||
Time: 13.518 s
|
||||
Ran all test suites.
|
||||
|
||||
@@ -38,11 +38,12 @@ echo 'container.txt'
|
||||
echo '## CPU/RAM-лимиты (NanoCpus: 1e9 = 1 CPU; Memory в байтах)'
|
||||
run sh -c "docker inspect -f '{{.Name}} cpus={{.HostConfig.NanoCpus}} memory={{.HostConfig.Memory}}' \$(docker compose ps -q)"
|
||||
echo '## container_name не задан (одно имя сервиса масштабируется)'
|
||||
run sh -c "docker compose config | grep -c container_name"
|
||||
run sh -c "docker compose config | grep -c container_name || true"
|
||||
echo '## Секреты: каждый сервис видит только свои файлы'
|
||||
for service in postgres redis api lb; do
|
||||
for service in postgres redis api; do
|
||||
run docker compose exec -T "$service" ls /run/secrets
|
||||
done
|
||||
run docker compose exec -T lb sh -c 'ls /run/secrets 2>/dev/null || echo "no /run/secrets"'
|
||||
run docker compose exec -T lb haproxy -v
|
||||
run docker compose exec -T postgres postgres --version
|
||||
run docker compose exec -T redis redis-server --version
|
||||
@@ -120,7 +121,7 @@ echo 'failures.txt'
|
||||
sleep 3
|
||||
echo '## 2. Redis снова доступен: logout отзывает токен на всех репликах'
|
||||
run python3 scripts/probe.py logout
|
||||
echo '## 3. PostgreSQL остановлен: readiness реплик 503 → LB исключает их и сам отвечает 503 без внутренних деталей'
|
||||
echo '## 3. PostgreSQL остановлен: live 200, запрос с токеном — 503 без внутренних деталей, аноним — 401'
|
||||
run docker compose stop postgres
|
||||
run python3 scripts/probe.py status GET /health/live
|
||||
run python3 scripts/probe.py status GET /api/v1/chats 'Bearer unknown-token'
|
||||
@@ -132,7 +133,25 @@ echo 'failures.txt'
|
||||
run python3 scripts/probe.py status GET /api/v1/users/me
|
||||
run docker compose start api
|
||||
run python3 scripts/probe.py ready
|
||||
echo '## 5. Expiry: реплики пересозданы с SESSION_TTL_SECONDS=2'
|
||||
echo '## 5. Живая, но неготовая реплика: PostgreSQL отклоняет подключения только от одной API (pg_hba reject)'
|
||||
target=$(docker compose ps -q api | head -1 | cut -c1-12)
|
||||
ip=$(docker inspect -f '{{range .NetworkSettings.Networks}}{{.IPAddress}}{{end}}' "$target")
|
||||
hba=/var/lib/postgresql/data/pg_hba.conf
|
||||
echo "target=$target ip=$ip"
|
||||
since=$(date -u +%Y-%m-%dT%H:%M:%SZ)
|
||||
docker compose exec -T postgres sh -c "cp $hba /tmp/pg_hba.bak && { echo 'host all all $ip/32 reject'; cat /tmp/pg_hba.bak; } > $hba && chown postgres:postgres $hba && chmod 600 $hba"
|
||||
docker compose exec -T postgres psql -U messenger -d messenger -tAc "SELECT pg_reload_conf(); SELECT pg_terminate_backend(pid) FROM pg_stat_activity WHERE client_addr = '$ip'" >/dev/null
|
||||
sleep 4
|
||||
run docker exec "$target" node -e "let n=0;const g=p=>require('http').get('http://127.0.0.1:8080'+p,r=>{console.log(p,r.statusCode);r.resume();if(++n===2)process.exit(0)});g('/health/live');g('/health/ready')"
|
||||
run python3 scripts/probe.py instances 10
|
||||
docker compose logs --no-log-prefix --since "$since" lb 2>&1 | grep -E 'is DOWN|is UP' | grep -v '^\[WARNING\]'
|
||||
echo
|
||||
docker compose exec -T postgres sh -c "cp /tmp/pg_hba.bak $hba && chown postgres:postgres $hba && chmod 600 $hba"
|
||||
docker compose exec -T postgres psql -U messenger -d messenger -tAc "SELECT pg_reload_conf()" >/dev/null
|
||||
sleep 4
|
||||
echo '### доступ возвращён: реплика снова готова и получает запросы'
|
||||
run python3 scripts/probe.py instances 6
|
||||
echo '## 6. Expiry: реплики пересозданы с SESSION_TTL_SECONDS=2'
|
||||
SESSION_TTL_SECONDS=2 docker compose up -d --no-deps --wait api >/dev/null 2>&1
|
||||
run sh -c "docker exec \$(docker compose ps -q api | head -1) printenv SESSION_TTL_SECONDS"
|
||||
run python3 scripts/probe.py expiry 2
|
||||
|
||||
+27
-5
@@ -1,6 +1,7 @@
|
||||
#!/usr/bin/env python3
|
||||
import argparse
|
||||
import json
|
||||
import math
|
||||
import os
|
||||
import subprocess
|
||||
import sys
|
||||
@@ -57,12 +58,12 @@ class Load:
|
||||
try:
|
||||
response = local.message(self.actor, self.chat, 'load ' + key, key=key)
|
||||
with self.lock:
|
||||
self.events.append((time.monotonic(), True, response['headers']['X-Instance-Id']))
|
||||
self.events.append((time.monotonic(), True, response['headers']['X-Instance-Id'], response['elapsed']))
|
||||
self.confirmed.append(response['json'])
|
||||
key = uuid.uuid4().hex
|
||||
except Failure:
|
||||
with self.lock:
|
||||
self.events.append((time.monotonic(), False, None))
|
||||
self.events.append((time.monotonic(), False, None, None))
|
||||
time.sleep(0.05)
|
||||
|
||||
def __enter__(self):
|
||||
@@ -80,12 +81,19 @@ class Load:
|
||||
with self.lock:
|
||||
events = [e for e in self.events if start <= e[0] < end]
|
||||
ok = sorted(e[0] for e in events if e[1])
|
||||
latencies = sorted(e[3] for e in events if e[1])
|
||||
points = [start, *ok, end]
|
||||
|
||||
def percentile(p):
|
||||
return round(1000 * latencies[max(0, math.ceil(p * len(latencies)) - 1)], 1) if latencies else None
|
||||
|
||||
return {
|
||||
'seconds': round(end - start, 3),
|
||||
'successful_writes': len(ok),
|
||||
'failed_attempts': sum(1 for e in events if not e[1]),
|
||||
'failed_attempts': len(events) - len(ok),
|
||||
'error_ratio': round((len(events) - len(ok)) / len(events), 4) if events else None,
|
||||
'successful_rps': round(len(ok) / (end - start), 1),
|
||||
'latency_ms_successful': {'p50': percentile(0.5), 'p95': percentile(0.95), 'p99': percentile(0.99)},
|
||||
'max_write_gap_seconds': round(max(b - a for a, b in zip(points, points[1:])), 3),
|
||||
'instances': sorted({e[2] for e in events if e[1]}),
|
||||
}
|
||||
@@ -120,10 +128,20 @@ def verify_history(client, actor, chat, confirmed):
|
||||
}
|
||||
|
||||
|
||||
def resources():
|
||||
ids = docker('compose', 'ps', '-q').split()
|
||||
return docker('stats', '--no-stream', '--format', '{{.Name}} cpu={{.CPUPerc}} mem={{.MemUsage}}', *ids).splitlines()
|
||||
|
||||
|
||||
def messages_in_db():
|
||||
return int(docker('compose', 'exec', '-T', 'postgres', 'psql', '-U', 'messenger', '-d', 'messenger', '-tAc', 'SELECT count(*) FROM messages'))
|
||||
|
||||
|
||||
def failover(load, args):
|
||||
results = []
|
||||
with load:
|
||||
time.sleep(args.warmup)
|
||||
usage = resources()
|
||||
for cid in api_containers():
|
||||
t0 = time.monotonic()
|
||||
docker('kill' if args.kill else 'stop', cid)
|
||||
@@ -148,7 +166,7 @@ def failover(load, args):
|
||||
'restore_until_serving_seconds': round(rejoined - restore, 3) if rejoined else None,
|
||||
'after_restore': load.window(healthy, time.monotonic()),
|
||||
})
|
||||
return {'scenario': 'sequential failover of each api replica', 'replicas': results}
|
||||
return {'scenario': 'sequential failover of each api replica', 'resources_under_load': usage, 'replicas': results}
|
||||
|
||||
|
||||
def rolling(load, args):
|
||||
@@ -157,6 +175,7 @@ def rolling(load, args):
|
||||
steps = []
|
||||
with load:
|
||||
time.sleep(args.warmup)
|
||||
usage = resources()
|
||||
t_start = time.monotonic()
|
||||
docker('compose', 'run', '--rm', '--no-deps', 'migrate')
|
||||
for cid in old:
|
||||
@@ -170,6 +189,7 @@ def rolling(load, args):
|
||||
total = load.window(t_start, time.monotonic())
|
||||
return {
|
||||
'scenario': 'rolling replacement: migrate once, then add new replica, wait healthy, stop old one',
|
||||
'resources_under_load': usage,
|
||||
'before': before,
|
||||
'after': [describe(cid) for cid in api_containers()],
|
||||
'steps': steps,
|
||||
@@ -216,9 +236,11 @@ def main():
|
||||
scenarios = {'failover': failover, 'rolling': rolling}
|
||||
if args.scenario in scenarios:
|
||||
load = Load(client, alice, chat, args.workers)
|
||||
dataset = messages_in_db()
|
||||
report = scenarios[args.scenario](load, args)
|
||||
report['dataset'] = {'messages_in_db_before': dataset, 'messages_in_db_after': messages_in_db()}
|
||||
report['history'] = verify_history(client, bob, chat, load.confirmed)
|
||||
report['load'] = {'workers': args.workers, 'client_timeout_seconds': 2, 'retry': 'same Idempotency-Key until success'}
|
||||
report['load'] = {'workers': args.workers, 'model': 'closed loop, POST message', 'warmup_seconds': args.warmup, 'client_timeout_seconds': 2, 'retry': 'same Idempotency-Key until success'}
|
||||
else:
|
||||
report = idempotency(client, alice, chat, args)
|
||||
report['date'] = time.strftime('%Y-%m-%dT%H:%M:%SZ', time.gmtime())
|
||||
|
||||
+37
-13
@@ -11,17 +11,45 @@ import uuid
|
||||
BASE = os.environ.get('BASE_URL', 'http://localhost:8080')
|
||||
|
||||
|
||||
def call(method, path, body=None, headers=None):
|
||||
def call(method, path, body=None, headers=None, with_headers=False):
|
||||
data = json.dumps(body).encode() if body is not None else None
|
||||
content_type = {'Content-Type': 'application/json'} if data else {}
|
||||
request = urllib.request.Request(BASE + path, data=data, method=method, headers={**content_type, **(headers or {})})
|
||||
try:
|
||||
with urllib.request.urlopen(request, timeout=15) as response:
|
||||
return response.status, json.loads(response.read() or b'null')
|
||||
result = response.status, json.loads(response.read() or b'null'), response.headers
|
||||
except urllib.error.HTTPError as error:
|
||||
return error.code, json.loads(error.read() or b'null')
|
||||
result = error.code, json.loads(error.read() or b'null'), error.headers
|
||||
except OSError as error:
|
||||
return 0, str(error)
|
||||
result = 0, str(error), {}
|
||||
return result if with_headers else result[:2]
|
||||
|
||||
|
||||
def login():
|
||||
username = 'probe_' + uuid.uuid4().hex[:8]
|
||||
password = 'Probe-check-' + uuid.uuid4().hex
|
||||
print('register ->', call('POST', '/api/v1/users', {'username': username, 'display_name': 'Probe', 'password': password})[0])
|
||||
credential = base64.b64encode((username + ':' + password).encode()).decode()
|
||||
code, session = call('POST', '/api/v1/auth/sessions', headers={'Authorization': 'Basic ' + credential})
|
||||
if code != 201:
|
||||
sys.exit('login failed: %s %s' % (code, session))
|
||||
print('login ->', code, 'expires_at:', session['expires_at'])
|
||||
return {'Authorization': 'Bearer ' + session['token']}
|
||||
|
||||
|
||||
def instances(count):
|
||||
auth = login()
|
||||
for _ in range(count):
|
||||
code, _, headers = call('GET', '/api/v1/users/me', headers=auth, with_headers=True)
|
||||
print('GET /api/v1/users/me ->', code, 'X-Instance-Id:', headers.get('X-Instance-Id'))
|
||||
|
||||
|
||||
def logout():
|
||||
auth = login()
|
||||
print('GET /api/v1/users/me ->', call('GET', '/api/v1/users/me', headers=auth)[0])
|
||||
code, body = call('DELETE', '/api/v1/auth/sessions/current', headers=auth)
|
||||
print('DELETE /api/v1/auth/sessions/current ->', code, json.dumps(body, ensure_ascii=False) if body else '')
|
||||
print('GET /api/v1/users/me ->', call('GET', '/api/v1/users/me', headers=auth)[0])
|
||||
|
||||
|
||||
def ready(timeout=90):
|
||||
@@ -40,15 +68,7 @@ def status(method, path, authorization=None):
|
||||
|
||||
|
||||
def expiry(ttl):
|
||||
username = 'expiry_' + uuid.uuid4().hex[:8]
|
||||
password = 'Expiry-check-' + uuid.uuid4().hex
|
||||
print('register ->', call('POST', '/api/v1/users', {'username': username, 'display_name': 'Expiry', 'password': password})[0])
|
||||
credential = base64.b64encode((username + ':' + password).encode()).decode()
|
||||
code, session = call('POST', '/api/v1/auth/sessions', headers={'Authorization': 'Basic ' + credential})
|
||||
if code != 201:
|
||||
sys.exit('login failed: %s %s' % (code, session))
|
||||
print('login ->', code, 'expires_at:', session['expires_at'])
|
||||
auth = {'Authorization': 'Bearer ' + session['token']}
|
||||
auth = login()
|
||||
print('GET /api/v1/users/me (fresh) ->', call('GET', '/api/v1/users/me', headers=auth)[0])
|
||||
time.sleep(ttl + 1)
|
||||
print('GET /api/v1/users/me (after %ds) ->' % (ttl + 1), call('GET', '/api/v1/users/me', headers=auth)[0])
|
||||
@@ -62,3 +82,7 @@ if __name__ == '__main__':
|
||||
status(*sys.argv[2:5])
|
||||
elif command == 'expiry':
|
||||
expiry(int(sys.argv[2]))
|
||||
elif command == 'instances':
|
||||
instances(int(sys.argv[2]))
|
||||
elif command == 'logout':
|
||||
logout()
|
||||
|
||||
Reference in New Issue
Block a user