202 lines
35 KiB
Markdown
202 lines
35 KiB
Markdown
# Отчёт — лабораторная 3
|
||
|
||
- Автор, группа: Антонов Егор, БПИ2301
|
||
- Целевая оценка; выбранный трек 5, если нужен: **4**, трек 5 не заявляется
|
||
- Commit/PR: ветка `solution/БПИ2301-Antonov`; ссылка на PR — после публикации
|
||
- Использованные источники, библиотеки и помощь ИИ: документация Docker Compose (services, deploy, volumes subpath), HAProxy 3.0 (resolvers, server-template, health checks, retry-on, http-error), NestJS/Fastify (lifecycle, close), Prisma (migrate deploy, transactions), PostgreSQL (`INSERT … ON CONFLICT`). Библиотеки — как в lab2: `@nestjs/*` 10, `prisma` 6.1.0, `ioredis` 5.4.1, `argon2` 0.41.1, `jest` + `supertest`. ИИ-ассистент использовался как парный программист: код, тесты, скрипты экспериментов и текст отчёта по моим решениям (Compose + HAProxy, Redis остаётся кэшем, идемпотентность в PostgreSQL) с последующим ревью; все проверки воспроизведены мной на своём стенде.
|
||
|
||
## Запуск из чистого clone
|
||
|
||
На хосте нужен **только Docker** (Engine + Compose v2); python/node/make/sh на хосте не требуются, команды одинаковы в PowerShell и bash. Проверено: Docker 29.3.1, Compose v5.1.1 (внутри `tools` — v2.31.0), Docker Desktop (WSL2), 12 vCPU, 8 GiB RAM.
|
||
|
||
| Компонент | Версия |
|
||
| --- | --- |
|
||
| API runtime | `node:20.17.0-slim` + openssl, NestJS 10 / Fastify, Prisma 6.1.0 |
|
||
| Балансировщик | `haproxy:3.0.6-alpine` |
|
||
| PostgreSQL | `postgres:17.2-alpine` |
|
||
| Redis | `redis:7.4.1-alpine` |
|
||
| secrets-init | `alpine:3.20.3` |
|
||
| tools (проверки) | `docker:27.3.1-cli` + python3, make, git |
|
||
|
||
```sh
|
||
# 1. Запуск: secrets-init → postgres, redis → migrate (один раз) → api ×2 → lb; ждёт healthcheck
|
||
docker compose up -d --build --wait
|
||
|
||
# 2. Публичные проверки внутри контейнера tools (BASE_URL=http://lb:8080)
|
||
docker compose run --rm --build tools make check
|
||
docker compose run --rm tools make test
|
||
docker compose run --rm tools make test-persistence ACTION_SCRIPT=scripts/restart.sh
|
||
docker compose run --rm tools make test-failover ACTION_SCRIPT=scripts/stop-one.sh
|
||
# вернуть остановленную реплику (без пересоздания остальных)
|
||
docker compose up -d --no-deps --wait api
|
||
|
||
# 3. Эксперименты уровня 4 (JSON в stdout или --output)
|
||
docker compose run --rm tools python3 scripts/experiment.py idempotency
|
||
docker compose run --rm tools python3 scripts/experiment.py failover # docker stop каждой реплики по очереди
|
||
docker compose run --rm tools python3 scripts/experiment.py failover --kill # SIGKILL каждой реплики по очереди
|
||
docker compose build api
|
||
docker compose run --rm tools python3 scripts/experiment.py rolling
|
||
|
||
# 4. Собственные тесты: отдельные postgres (tmpfs) и redis
|
||
docker compose -f compose.test.yaml run --rm --build tests
|
||
docker compose -f compose.test.yaml down
|
||
|
||
# 5. Все доказательства в evidence/ одной командой (~7 минут)
|
||
docker compose run --rm tools sh scripts/collect-evidence.sh
|
||
|
||
# Безопасная остановка (данные и секреты сохраняются)
|
||
docker compose stop # или: docker compose down
|
||
# Намеренное удаление учебных данных и сгенерированных секретов
|
||
docker compose down -v
|
||
```
|
||
|
||
- **`.env` необязателен**: в `compose.yaml` те же значения по умолчанию. Для своих: `cp .env.example .env`, затем `docker compose --env-file .env up -d --build --wait`.
|
||
- **Число реплик**: `API_REPLICAS` (по умолчанию 2) или `docker compose up -d --scale api=3`; HAProxy принимает до 4 реплик без правки конфигурации.
|
||
- **Секреты** создаёт one-shot сервис `secrets-init`: случайные пароли PostgreSQL и Redis (24 байта из `/dev/urandom`) и строки подключения в именованном volume `secrets`, разложенные по подкаталогам. Каждый сервис монтирует read-only только свой подкаталог (`volume.subpath`). Уже созданные пароли не перезаписываются; файлы из плоской раскладки lab2 переносятся. Действий оператора не требуется; секреты не попадают в Git, образы и логи.
|
||
- **Наружу опубликован только LB** на `127.0.0.1:8080`. API, PostgreSQL и Redis доступны только во внутренней сети compose.
|
||
- **Swagger UI**: http://localhost:8080/docs (через LB). Это обязательный контракт `contracts/openapi.json` 1.3.0 без изменений, дополненный в памяти инструкцией и именованными примерами (`src/docs/examples.ts`), включая `Idempotency-Key`; примеры проверяются по JSON Schema контракта в `test/docs.e2e-spec.ts`.
|
||
|
||
## Архитектура и решения
|
||
|
||
```
|
||
client ──HTTP──▶ lb (HAProxy, 127.0.0.1:8080) ──round robin, без sticky──▶ api ×2 (без опубликованных портов)
|
||
│ проверка GET /health/ready каждые 1 s │
|
||
│ адреса реплик — Docker DNS (имя сервиса api) ├──SQL (pool 10 на реплику)──▶ postgres ── volume pgdata
|
||
└──кэш сессий──▶ redis (без persistence)
|
||
|
||
secrets-init ──▶ volume secrets: postgres/ redis/ api/ migrate/ (каждому сервису — свой подкаталог, ro)
|
||
migrate ── prisma migrate deploy (один раз, до api) ──▶ postgres
|
||
```
|
||
|
||
| Роль | Service | Health/readiness | Volume | Сеть/порт | Credentials | Лимиты |
|
||
| --- | --- | --- | --- | --- | --- | --- |
|
||
| Балансировщик | `lb` | — (проверяет backends сам) | — | `127.0.0.1:8080` | — | 0.25 CPU, 64M |
|
||
| API ×2 | `api` | Docker HEALTHCHECK и HAProxy: `/health/ready` (`SELECT 1`, при остановке — 503) | — (stateless) | внутренняя, 8080 | `DATABASE_URL_FILE`, `CACHE_URL_FILE` из `secrets/api` | 0.5 CPU, 256M каждая |
|
||
| БД | `postgres` | `pg_isready` | `pgdata` | внутренняя | `POSTGRES_PASSWORD_FILE` из `secrets/postgres` | 1 CPU, 512M |
|
||
| Кэш сессий | `redis` | `redis-cli ping` | — | внутренняя | `requirepass` из `secrets/redis` | 0.25 CPU, 128M |
|
||
| Миграции | `migrate` | exit 0 | — | внутренняя | `secrets/migrate` | 0.5 CPU, 512M |
|
||
| Bootstrap секретов | `secrets-init` | exit 0 | `secrets` | — | генерирует | 0.1 CPU, 32M |
|
||
|
||
`container_name` нигде не задан, поэтому один compose-service масштабируется (`api-1`, `api-2`, … — имена назначает Compose).
|
||
|
||
**Общее состояние, а не локальное.** Реплики API ничего не хранят у себя: пользователи, чаты, сообщения, сессии и ключи идемпотентности — в PostgreSQL (источник истины), кэш проверки сессий — в одном общем Redis. Поэтому любой запрос пользователя может обслужить любая реплика без повторного входа, и sticky session не нужна (`balance roundrobin`; в `evidence/smoke.txt` одна сессия чередует две реплики).
|
||
|
||
**X-Instance-Id.** Хук Fastify `onRequest` ставит заголовок во все ответы API, включая ошибки и health. Значение — hostname контейнера, который Docker делает равным короткому id контейнера: оно стабильно на всё время жизни процесса и однозначно указывает на контейнер (`docker stop <X-Instance-Id>`). Ответы, созданные самим LB (502/503/504), этого заголовка не имеют, как разрешает контракт, но приходят в общем формате ошибки с `X-Request-Id`.
|
||
|
||
**Идемпотентность отправки сообщения** (`src/messages/messages.service.ts`, миграция `20261101000000_idempotency_keys`).
|
||
- Таблица `idempotency_keys`: PK `(user_id, chat_id, key)` — область уникальности контракта (пользователь + путь чата + ключ; метод с ключом один — POST), `request_hash` = sha256 разобранного тела (порядок ключей JSON не влияет; `attachment_ids: []` равен отсутствию поля, как требует `contracts/README.md`, — вложений до lab4 нет, поэтому непустой список, `null` или не массив дают `400`), `message_id` → `messages` (CASCADE), `created_at`. CHECK формата ключа дублирует проверку API.
|
||
- Ключ проверяется в контроллере: нет или не `[A-Za-z0-9._:-]{1,128}` → `400`. Аутентификация и членство в чате проверяются до ключа при каждом запросе, в том числе при повторе.
|
||
- Одна транзакция: удалить этот ключ, если он старше `IDEMPOTENCY_TTL_SECONDS` (24 ч) → `INSERT` сообщения → `INSERT` ключа `ON CONFLICT DO NOTHING`. Если ключ уже занят, транзакция откатывается вместе с лишним сообщением, и ответ строится по сохранённой записи: то же тело → тот же `201` и то же Message, другое → `409`.
|
||
- Параллельные повторы через разные реплики: второй `INSERT` того же PK ждёт фиксации первой транзакции в PostgreSQL, затем получает конфликт — сообщение создаётся ровно одно. Сообщение и ключ фиксируются атомарно: транзиентная ошибка (5xx) откатывает обе записи, и повтор выполняется заново.
|
||
- Ключ обязателен только для сообщений; HAProxy сам повторяет запрос только при `conn-failure`, когда запрос до API не дошёл, поэтому прозрачных повторов POST без ключа нет.
|
||
|
||
**Logout согласованно на всех репликах** (`src/auth/auth.service.ts`). Сначала в общий Redis записывается tombstone `revoked` (60 с, дольше любой записи кэша), и только затем удаляется строка сессии. Если Redis для этой реплики недоступен, ответ `503 unavailable`, сессия не удаляется. Иначе другая реплика, у которой сессия лежит в кэше, принимала бы отозванный токен до 60 с (автотест «logout через реплику без связи с Redis…»). Остальное поведение кэша — как в lab2: read-through, `SET NX`, TTL ≤ 60 с, при ошибке Redis — обход кэша через PostgreSQL и `FLUSHDB` перед повторным использованием.
|
||
|
||
**Проверки готовности, таймауты и остановка** (согласованы между собой):
|
||
|
||
| Параметр | Значение | Где |
|
||
| --- | --- | --- |
|
||
| Период проверки backend | `inter 1s`, `timeout check 1s` | `infra/haproxy/haproxy.cfg` |
|
||
| Исключение / возврат backend | `fall 2` / `rise 2` | там же |
|
||
| **Макс. время обнаружения отказа** | внезапный отказ (процесс убит, readiness не отвечает): ≤ 2 × 1 s + 1 s = **3 s**; штатная остановка: readiness 503 сразу → исключение ≤ 2 s | там же |
|
||
| Повтор запроса LB | `retries 2`, `option redispatch`, `retry-on conn-failure` — только если соединение не установлено | там же |
|
||
| Таймауты LB | connect 1 s, server 10 s, client 30 s, http-request 10 s, queue 5 s | там же |
|
||
| Обновление адресов | Docker DNS `127.0.0.11`, `hold valid/obsolete 5s`, `server-template api 1-4` | там же |
|
||
| Остановка API (SIGTERM) | readiness → 503 сразу, через `SHUTDOWN_DELAY_MS=3000` закрытие сервера с ожиданием текущих запросов, `exit 0` | `src/health/shutdown.ts` |
|
||
| Grace period | `stop_grace_period: 10s`; `stop-one.sh` — `docker stop -t 8` | `compose.yaml`, `scripts/stop-one.sh` |
|
||
| БД | `pool_timeout=5`, `connect_timeout=5`, `socket_timeout=10`, `statement_timeout=5000 ms`, `connection_limit=10` на реплику | строка подключения в `secrets/api/database_url` |
|
||
| Redis | `commandTimeout 200 ms`, `connectTimeout 1 s`, без offline-очереди | `src/cache/cache.service.ts` |
|
||
| Docker HEALTHCHECK | `/health/ready` каждые 5 s (для `--wait` и rolling update) | `Dockerfile` |
|
||
|
||
Задержка закрытия 3 s больше времени исключения при штатной остановке (≤ 2 s), поэтому к моменту закрытия LB уже не отправляет на реплику новые запросы, а начатые завершаются.
|
||
|
||
**Критичные зависимости readiness.** `/health/ready` проверяет только PostgreSQL (`SELECT 1`) и состояние остановки процесса: без БД обязательный путь невозможен. Redis не критичен — при его недоступности вход, проверка токена и бизнес-запросы идут через PostgreSQL, недоступен только logout (`503`, см. выше). `/health/live` проверяет только жизнь процесса.
|
||
|
||
**Миграции.** Отдельный one-shot сервис `migrate` выполняет `prisma migrate deploy` до запуска API (`depends_on: service_completed_successfully`); реплики API миграции не запускают, гонки нет. Повторный запуск безопасен: применённые миграции записаны в `_prisma_migrations`, Prisma берёт advisory lock на время применения. Миграция lab3 только добавляет таблицу (expand), поэтому совместима с работающей предыдущей версией API; rolling update выполняет миграцию один раз перед заменой реплик. Ограничение: несовместимые изменения схемы (удаление или переименование колонок) потребовали бы двух релизов expand → contract; в этой работе их нет.
|
||
|
||
**Rolling update** (`scripts/experiment.py rolling`): `docker compose run migrate` → для каждой старой реплики `docker compose up -d --no-deps --no-recreate --scale api=3 --wait api` (новая реплика с новым образом, ждём healthy) → `docker stop` (graceful) и `docker rm` старой. Compose не делает rolling update сам (`deploy.update_config` — только Swarm), поэтому замена выполняется поочерёдно этой процедурой.
|
||
|
||
**Перенесено из lab2:** весь API, Prisma/PostgreSQL, сессии с Redis-кэшем, Argon2id, Dockerfile, `secrets-init`, `migrate`, тесты, Swagger. **Изменено:** `X-Instance-Id`; `member_ids` приводятся к нижнему регистру до проверки дублей (один UUID в разных регистрах — `400`, а не ошибка вставки); повторённые `limit`/`cursor` — `400`; обязательный `Idempotency-Key` и таблица ключей; graceful shutdown и readiness 503 при остановке; logout сначала пишет tombstone; HEALTHCHECK образа — `/health/ready`; compose: LB, реплики без портов, лимиты, раздельные секреты; `restart.sh` перезапускает и LB; новые `stop-one.sh`, `experiment.py`.
|
||
|
||
**Соответствие `.env.example`:**
|
||
|
||
| Переменная | Где используется |
|
||
| --- | --- |
|
||
| `APP_HOST`, `APP_PORT` | API слушает `0.0.0.0:8080` внутри сети; `APP_PORT` в `.env` — опубликованный порт LB на `127.0.0.1` |
|
||
| `APP_ENV` | передаётся в API, поведение не меняет |
|
||
| `SESSION_TTL_SECONDS` | TTL сессии, по умолчанию 3600 |
|
||
| `DATABASE_URL_FILE` | `/run/secrets/database_url` (подкаталог `api` или `migrate` тома `secrets`); в тестах — `DATABASE_URL` |
|
||
| `SESSION_STORE=postgres` | фиксировано: источник истины сессий — PostgreSQL |
|
||
| `CACHE_URL_FILE` | `/run/secrets/cache_url`; в тестах — `CACHE_URL` |
|
||
| `API_REPLICAS` | `deploy.replicas` сервиса `api`, по умолчанию 2 |
|
||
| `IDEMPOTENCY_TTL_SECONDS` | срок хранения ключа, по умолчанию 86400 |
|
||
|
||
## Доказательства критериев
|
||
|
||
Файлы собраны `docker compose run --rm tools sh scripts/collect-evidence.sh`; в заголовке каждого `.txt` — дата и commit, в `.json` — дата.
|
||
|
||
| Критерий README | Команда/сценарий | Наблюдаемый результат | Файл доказательства |
|
||
| --- | --- | --- | --- |
|
||
| Публичный smoke | `make test` через LB | `PASS: lab3 public API scenario` | [evidence/smoke.txt](evidence/smoke.txt) |
|
||
| Структура контракта | `make check` | `PASS: offline skeleton structure` | [evidence/smoke.txt](evidence/smoke.txt) |
|
||
| **3**: стенд одной командой; ≥2 реплики, одна точка входа, общие БД и хранилище сессий | `docker compose up -d --build --wait` | `api-N` ×2 без портов, `lb` — `127.0.0.1:8080`, один `postgres`, один `redis` | [evidence/container.txt](evidence/container.txt) |
|
||
| **3**: разные запросы одного пользователя — разные реплики без повторного входа | `probe.py instances 6` | одна сессия, `X-Instance-Id` чередуется между двумя id контейнеров | [evidence/smoke.txt](evidence/smoke.txt) |
|
||
| **3**: остановка любой реплики, чтение/запись продолжаются ≤ 10 s | `make test-failover ACTION_SCRIPT=scripts/stop-one.sh` дважды, вторая реплика после восстановления первой | оба PASS; 0 ошибок, запись через 3,51–3,67 s от старта hook; остановлены разные контейнеры (`Exited (0)`); HAProxy: `is DOWN … code: 503` | [evidence/failover.txt](evidence/failover.txt) |
|
||
| **3**: повтор POST с тем же ключом без дубля, в т. ч. конкурентно и через другую реплику | smoke; тесты `idempotency.e2e-spec.ts`; `experiment.py idempotency` | 20 параллельных запросов через LB → все `201`, один id, обслужены обеими репликами, в истории одно сообщение; другое тело → `409` | [evidence/idempotency.json](evidence/idempotency.json), [evidence/tests.txt](evidence/tests.txt) |
|
||
| **3**: persistence | `make test-persistence ACTION_SCRIPT=scripts/restart.sh` | PASS; `started=` сменился у postgres, redis, обеих api, lb | [evidence/persistence.txt](evidence/persistence.txt) |
|
||
| **3**: миграции отдельно, без гонки реплик | сервис `migrate`, повторный запуск | `No pending migrations to apply`; `migrate diff` — `No difference detected`; 3 миграции | [evidence/container.txt](evidence/container.txt) |
|
||
| **4**: health/readiness, таймауты, прекращение приёма по SIGTERM; LB исключает недоступный backend; период и время обнаружения | таблица выше; `docker stop` и `docker kill` реплик; живая реплика без доступа к PostgreSQL (`pg_hba reject` только для её IP) | при SIGTERM реплика исключается до закрытия: 0 ошибок, `Exited (0)`; при SIGKILL — 0–3 ошибки и пауза записи ≤ 0,99 s; реплика без БД (`live 200`, `ready 503`) исключена (`is DOWN … 503`), 0 из 10 бизнес-запросов, после возврата доступа снова в ротации; все реплики остановлены → LB `503` в формате контракта | [evidence/failover-stop.json](evidence/failover-stop.json), [evidence/failover-kill.json](evidence/failover-kill.json), [evidence/failures.txt](evidence/failures.txt) §4–5 |
|
||
| **4**: последовательная остановка каждой реплики с восстановлением; RPS, ошибки, время восстановления | `experiment.py failover` и `failover --kill` | см. «Эксперименты»; потерь и дублей подтверждённых сообщений 0 | [evidence/failover-stop.json](evidence/failover-stop.json), [evidence/failover-kill.json](evidence/failover-kill.json) |
|
||
| **4**: параллельные запросы с одним ключом | `experiment.py idempotency`; тест «20 параллельных запросов… через два экземпляра» | одно сообщение | [evidence/idempotency.json](evidence/idempotency.json), [evidence/tests.txt](evidence/tests.txt) |
|
||
| **4**: CPU/RAM-лимиты; API без портов в обход LB; секреты общие только где нужно; нет `container_name` | `docker inspect`, `docker compose ps`, `ls /run/secrets` в каждом сервисе | лимиты у всех контейнеров; порт только у `lb`; postgres видит только `pg_password`, redis — `redis_password`, api — `database_url` и `cache_url`, lb — ничего; `container_name` — 0 | [evidence/container.txt](evidence/container.txt) |
|
||
| **4**: rolling update под нагрузкой | `experiment.py rolling` после `docker compose build api` | реплики заменены на новый образ по одной; 0 ошибок, пауза записи ≤ 0,16 s; 0 потерь и дублей; после замены и при `--scale` 2→3→4→2 LB обслуживает все реплики через 0–1 s (Docker DNS) | [evidence/rolling.json](evidence/rolling.json) |
|
||
| **4**: миграции однократно и совместимы | см. «Миграции» | expand-only миграция, применяется до замены реплик | [evidence/rolling.json](evidence/rolling.json), [evidence/container.txt](evidence/container.txt) |
|
||
| lab2: logout, expiry, отказы Redis/БД | `probe.py logout`, `probe.py expiry 2`, остановка redis/postgres | без Redis: вход и `/me` работают, logout `503`, токен действует; с Redis: `204` → `401`; без БД: `503` без деталей, аноним `401`; TTL 2 s: `200` → `401` | [evidence/failures.txt](evidence/failures.txt) |
|
||
| Собственные тесты | `docker compose -f compose.test.yaml run --rm --build tests` | `Tests: 80 passed, 80 total` | [evidence/tests.txt](evidence/tests.txt) |
|
||
|
||
Какие процессы реально остановлены, видно не по заголовку, а по `docker inspect`: в `failover.txt` до/после каждого прогона указаны имя, id и `exit`/`finished` контейнера, а в журнале HAProxy — исключение соответствующего backend.
|
||
|
||
## Эксперименты и отказы
|
||
|
||
**Методика.** `scripts/experiment.py` (stdlib, HTTP-клиент из `tests/client.py`) в контейнере `tools` создаёт пользователей и чат и запускает 4 потока closed-loop `POST` сообщений через LB (таймаут клиента 2 s). Неудачный запрос повторяется **с тем же `Idempotency-Key`** до успеха. Окна: 5 s до воздействия, 10 s после команды остановки плюс время самой команды, 5 s после восстановления. «Пауза записи» — максимальный интервал между соседними успешными ответами в окне; это и есть время восстановления записи для клиента. В конце вся история чата читается постранично и сверяется с подтверждёнными ответами. Для каждого окна считаются успешные RPS, ошибки и их доля, p50/p95/p99 задержки **успешных** запросов; после прогрева снимается `docker stats` (CPU/RAM). Стенд: лимиты из таблицы выше (API 0.5 CPU на реплику), Docker Desktop WSL2, 12 vCPU, 8 GiB. Объём данных: в таблице `messages` 93 579 строк перед первым экспериментом, 112 337 после последнего. Один прогон каждого сценария.
|
||
|
||
**Ресурсы под нагрузкой** (4 потока, обе реплики, `docker stats` после прогрева): каждая api 41–50 % CPU (лимит 0.5 CPU, то есть у предела) и 93–131 MiB из 256 MiB; postgres 26–27 % CPU, 70–85 MiB; lb 14–15 % CPU, 13–16 MiB; redis 2 % CPU, 10 MiB. Узкое место этого профиля — CPU реплик API.
|
||
|
||
| Сценарий, окно | Успешных RPS | Ошибки (доля) | p50 / p95 / p99, ms: до → отказ | Макс. пауза записи |
|
||
| --- | --- | --- | --- | --- |
|
||
| `docker stop` api-11: до / отказ / после возврата | 150 / 117 / 141 | 0 / 0 / 0 | 11,4/80,2/164 → 12,0/89,6/107 | 0,18 s |
|
||
| `docker stop` api-12: до / отказ / после возврата | 140 / 100 / 148 | 0 / 0 / 0 | 12,7/81,5/96,2 → 15,2/95,8/105 | 0,18 s |
|
||
| `docker kill` api-11: до / отказ / после | 149 / 70 / 149 | 0 / 3 (0,41 %) / 0 | 11,4/80,5/171 → 12,7/100/1014 | 0,99 s |
|
||
| `docker kill` api-12: до / отказ / после | 149 / 92 / 152 | 0 / 0 / 0 | 11,1/82,7/140 → 11,6/93,7/185 | 0,99 s |
|
||
| Rolling update, всё время замены (31,0 s) | 156 | 0 | 12,3 / 78,8 / 105 | 0,16 s |
|
||
|
||
Окно «отказ» начинается с команды остановки и длится 10 s после её завершения, поэтому при `docker stop` в него входят ~3,4 s штатного дренажа, когда реплика ещё обслуживает начатые запросы.
|
||
|
||
| Воздействие | Что ожидаем | Что наблюдали | Время восстановления / потеря данных |
|
||
| --- | --- | --- | --- |
|
||
| `docker stop` api-11, затем (после возврата) api-12 | реплика исключается до закрытия, ошибок нет | ошибок 0 / 0; остановленная реплика дообслуживала начатые запросы 1,7–2,0 s, команда `docker stop` — 3,5 s, контейнер `Exited (0)` | пауза записи ≤ 0,18 s; вернувшаяся реплика снова получает запросы через 3,5 s после `docker start`; потерь и дублей 0 из 6945 |
|
||
| `docker kill` (SIGKILL) каждой реплики по очереди | обрыв начатых запросов, обнаружение ≤ 3 s, повтор с ключом без дубля | ошибок 3 / 0; p99 в окне до ~1 s (повторы после обрыва) | пауза записи 0,99 / 0,99 s; потерь и дублей 0 из 5749 |
|
||
| Rolling update двух реплик на новый образ | замена без ошибок | ошибок 0; в ответах 4 разных реплики (2 старых, 2 новых); новая реплика готова за 6,6–6,8 s, шаг ~10,3 s | пауза записи ≤ 0,16 s; потерь и дублей 0 из 6064 |
|
||
| 20 параллельных `POST` с одним ключом | одно сообщение | все `201`, 1 id, обслужены 2 репликами | 1 сообщение в истории |
|
||
| Одна живая реплика без доступа к PostgreSQL (`pg_hba reject` для её IP) | LB исключает её по readiness | `live 200`, `ready 503`; HAProxy `is DOWN … 503`; 10 из 10 запросов обслужила вторая реплика | после возврата доступа `ready 200`, реплика снова в ротации без перезапуска |
|
||
| `make test-failover` ×2 (разные реплики) | ≤ 10 s, без дублей | 0 ошибок, первая успешная запись после hook через 3,51–3,67 s | PASS |
|
||
| `restart.sh`: рестарт postgres, redis, api ×2, lb | данные и токен сохраняются | PASS | потерь нет |
|
||
| `docker compose stop redis` | вход и Bearer через PostgreSQL; logout не может отозвать токен на всех репликах | `/me` `200`, logout `503`, токен действует | после `start` logout `204` → `401` |
|
||
| `docker compose stop postgres` | `503` без деталей | `/chats` с токеном `503 database unavailable`; аноним `401` | готов после `start` |
|
||
| `docker compose stop api` (все реплики) | LB отвечает сам | `503 no API replica available` в формате контракта | после `start` готов |
|
||
|
||
Почему падает RPS при одной реплике: каждая реплика ограничена 0.5 CPU и под этой нагрузкой работает у предела, поэтому с одной репликой успешных записей меньше (−22…−29 % в окне штатной остановки, куда входит ещё и дренаж). При SIGKILL падение сильнее: начатые запросы оборваны, клиент ждёт ответа до разрыва, повторяет с тем же ключом (отсюда p99 ~1 s), а до исключения HAProxy (≤ 3 s) новые соединения к убитому контейнеру сразу получают отказ и перенаправляются на живую реплику (`retry-on conn-failure`). Повторы не дали дублей.
|
||
|
||
Ограничения измерения: closed-loop генератор (coordinated omission), клиент на том же хосте, один прогон каждого сценария, ноутбук — абсолютные RPS не переносятся на другое железо. Образ в rolling update собран из того же commit; id образа отличается, потому что сборка не побайтно воспроизводима. Замена процедуры при этом та же, что и для нового кода.
|
||
|
||
## Ограничения и следующие шаги
|
||
|
||
- **Отказ процесса, а не узла.** Все контейнеры на одном хосте Docker: отказ хоста останавливает весь стенд. LB, PostgreSQL и Redis — по одному экземпляру (SPOF); выдерживается отказ одной реплики API. Отказ узла и перенос — трек 5.2, не заявлен.
|
||
- **Redis как зависимость logout.** Пока реплика не может записать tombstone в Redis, logout через неё отвечает `503`: согласованность отзыва выбрана вместо доступности logout. Вход, проверка токена и бизнес-запросы без Redis работают.
|
||
- **Очистка ключей идемпотентности.** Просроченный ключ удаляется при повторном использовании, фоновой очистки нет — таблица растёт, на корректность не влияет. Аналогично для истёкших сессий.
|
||
- **`FLUSHDB` при переподключении** одной реплики очищает общий кэш для всех: безопасно (кэш прогревается из PostgreSQL), но кратко увеличивает число SQL-запросов.
|
||
- **Compose не делает rolling update сам**: поочерёдная замена выполняется скриптом; при `docker compose up -d` с изменённой конфигурацией Compose пересоздаёт реплики без этой процедуры.
|
||
- **Несовместимые миграции** (expand → contract в два релиза) в этой работе не понадобились и не проверялись.
|
||
- HTTP без TLS — допустимо только для локального стенда с синтетическими данными (TLS — lab7). `X-Instance-Id` раскрывает короткий id контейнера; в lab7 по контракту нужен непрозрачный alias.
|
||
- Подтверждено измерением: продолжение записи без потерь и дублей при штатной и аварийной остановке каждой реплики и при rolling update. Гипотеза, не измерена: насыщение БД/LB/пула при росте числа реплик (трек 5.1).
|