docs: sync report with refreshed evidence
This commit is contained in:
@@ -141,15 +141,15 @@ migrate ── prisma migrate deploy (один раз, до api) ──▶ postg
|
||||
| Структура контракта | `make check` | `PASS: offline skeleton structure` | [evidence/smoke.txt](evidence/smoke.txt) |
|
||||
| **3**: стенд одной командой; ≥2 реплики, одна точка входа, общие БД и хранилище сессий | `docker compose up -d --build --wait` | `api-N` ×2 без портов, `lb` — `127.0.0.1:8080`, один `postgres`, один `redis` | [evidence/container.txt](evidence/container.txt) |
|
||||
| **3**: разные запросы одного пользователя — разные реплики без повторного входа | `probe.py instances 6` | одна сессия, `X-Instance-Id` чередуется между двумя id контейнеров | [evidence/smoke.txt](evidence/smoke.txt) |
|
||||
| **3**: остановка любой реплики, чтение/запись продолжаются ≤ 10 s | `make test-failover ACTION_SCRIPT=scripts/stop-one.sh` дважды, вторая реплика после восстановления первой | оба PASS; 0 ошибок, запись через 3,43–3,48 s от старта hook; остановлены разные контейнеры (`Exited (0)`); HAProxy: `is DOWN … code: 503` | [evidence/failover.txt](evidence/failover.txt) |
|
||||
| **3**: остановка любой реплики, чтение/запись продолжаются ≤ 10 s | `make test-failover ACTION_SCRIPT=scripts/stop-one.sh` дважды, вторая реплика после восстановления первой | оба PASS; 0 ошибок, запись через 3,51–3,67 s от старта hook; остановлены разные контейнеры (`Exited (0)`); HAProxy: `is DOWN … code: 503` | [evidence/failover.txt](evidence/failover.txt) |
|
||||
| **3**: повтор POST с тем же ключом без дубля, в т. ч. конкурентно и через другую реплику | smoke; тесты `idempotency.e2e-spec.ts`; `experiment.py idempotency` | 20 параллельных запросов через LB → все `201`, один id, обслужены обеими репликами, в истории одно сообщение; другое тело → `409` | [evidence/idempotency.json](evidence/idempotency.json), [evidence/tests.txt](evidence/tests.txt) |
|
||||
| **3**: persistence | `make test-persistence ACTION_SCRIPT=scripts/restart.sh` | PASS; `started=` сменился у postgres, redis, обеих api, lb | [evidence/persistence.txt](evidence/persistence.txt) |
|
||||
| **3**: миграции отдельно, без гонки реплик | сервис `migrate`, повторный запуск | `No pending migrations to apply`; `migrate diff` — `No difference detected`; 3 миграции | [evidence/container.txt](evidence/container.txt) |
|
||||
| **4**: health/readiness, таймауты, прекращение приёма по SIGTERM; LB исключает недоступный backend; период и время обнаружения | таблица выше; `docker stop` и `docker kill` реплик; живая реплика без доступа к PostgreSQL (`pg_hba reject` только для её IP) | при SIGTERM реплика исключается до закрытия: 0 ошибок, `Exited (0)`; при SIGKILL — 2–3 ошибки и пауза записи ≤ 0,99 s; реплика без БД (`live 200`, `ready 503`) исключена (`is DOWN … 503`), 0 из 10 бизнес-запросов, после возврата доступа снова в ротации; все реплики остановлены → LB `503` в формате контракта | [evidence/failover-stop.json](evidence/failover-stop.json), [evidence/failover-kill.json](evidence/failover-kill.json), [evidence/failures.txt](evidence/failures.txt) §4–5 |
|
||||
| **4**: health/readiness, таймауты, прекращение приёма по SIGTERM; LB исключает недоступный backend; период и время обнаружения | таблица выше; `docker stop` и `docker kill` реплик; живая реплика без доступа к PostgreSQL (`pg_hba reject` только для её IP) | при SIGTERM реплика исключается до закрытия: 0 ошибок, `Exited (0)`; при SIGKILL — 0–3 ошибки и пауза записи ≤ 0,99 s; реплика без БД (`live 200`, `ready 503`) исключена (`is DOWN … 503`), 0 из 10 бизнес-запросов, после возврата доступа снова в ротации; все реплики остановлены → LB `503` в формате контракта | [evidence/failover-stop.json](evidence/failover-stop.json), [evidence/failover-kill.json](evidence/failover-kill.json), [evidence/failures.txt](evidence/failures.txt) §4–5 |
|
||||
| **4**: последовательная остановка каждой реплики с восстановлением; RPS, ошибки, время восстановления | `experiment.py failover` и `failover --kill` | см. «Эксперименты»; потерь и дублей подтверждённых сообщений 0 | [evidence/failover-stop.json](evidence/failover-stop.json), [evidence/failover-kill.json](evidence/failover-kill.json) |
|
||||
| **4**: параллельные запросы с одним ключом | `experiment.py idempotency`; тест «20 параллельных запросов… через два экземпляра» | одно сообщение | [evidence/idempotency.json](evidence/idempotency.json), [evidence/tests.txt](evidence/tests.txt) |
|
||||
| **4**: CPU/RAM-лимиты; API без портов в обход LB; секреты общие только где нужно; нет `container_name` | `docker inspect`, `docker compose ps`, `ls /run/secrets` в каждом сервисе | лимиты у всех контейнеров; порт только у `lb`; postgres видит только `pg_password`, redis — `redis_password`, api — `database_url` и `cache_url`, lb — ничего; `container_name` — 0 | [evidence/container.txt](evidence/container.txt) |
|
||||
| **4**: rolling update под нагрузкой | `experiment.py rolling` после `docker compose build api` | реплики заменены на новый образ по одной; 0 ошибок, пауза записи ≤ 0,17 s; 0 потерь и дублей; после замены и при `--scale` 2→3→4→2 LB обслуживает все реплики через 0–1 s (Docker DNS) | [evidence/rolling.json](evidence/rolling.json) |
|
||||
| **4**: rolling update под нагрузкой | `experiment.py rolling` после `docker compose build api` | реплики заменены на новый образ по одной; 0 ошибок, пауза записи ≤ 0,16 s; 0 потерь и дублей; после замены и при `--scale` 2→3→4→2 LB обслуживает все реплики через 0–1 s (Docker DNS) | [evidence/rolling.json](evidence/rolling.json) |
|
||||
| **4**: миграции однократно и совместимы | см. «Миграции» | expand-only миграция, применяется до замены реплик | [evidence/rolling.json](evidence/rolling.json), [evidence/container.txt](evidence/container.txt) |
|
||||
| lab2: logout, expiry, отказы Redis/БД | `probe.py logout`, `probe.py expiry 2`, остановка redis/postgres | без Redis: вход и `/me` работают, logout `503`, токен действует; с Redis: `204` → `401`; без БД: `503` без деталей, аноним `401`; TTL 2 s: `200` → `401` | [evidence/failures.txt](evidence/failures.txt) |
|
||||
| Собственные тесты | `docker compose -f compose.test.yaml run --rm --build tests` | `Tests: 80 passed, 80 total` | [evidence/tests.txt](evidence/tests.txt) |
|
||||
@@ -158,34 +158,34 @@ migrate ── prisma migrate deploy (один раз, до api) ──▶ postg
|
||||
|
||||
## Эксперименты и отказы
|
||||
|
||||
**Методика.** `scripts/experiment.py` (stdlib, HTTP-клиент из `tests/client.py`) в контейнере `tools` создаёт пользователей и чат и запускает 4 потока closed-loop `POST` сообщений через LB (таймаут клиента 2 s). Неудачный запрос повторяется **с тем же `Idempotency-Key`** до успеха. Окна: 5 s до воздействия, 10 s после команды остановки плюс время самой команды, 5 s после восстановления. «Пауза записи» — максимальный интервал между соседними успешными ответами в окне; это и есть время восстановления записи для клиента. В конце вся история чата читается постранично и сверяется с подтверждёнными ответами. Для каждого окна считаются успешные RPS, ошибки и их доля, p50/p95/p99 задержки **успешных** запросов; после прогрева снимается `docker stats` (CPU/RAM). Стенд: лимиты из таблицы выше (API 0.5 CPU на реплику), Docker Desktop WSL2, 12 vCPU, 8 GiB. Объём данных: в таблице `messages` 72 994 строки перед первым экспериментом, 93 308 после последнего. Один прогон каждого сценария.
|
||||
**Методика.** `scripts/experiment.py` (stdlib, HTTP-клиент из `tests/client.py`) в контейнере `tools` создаёт пользователей и чат и запускает 4 потока closed-loop `POST` сообщений через LB (таймаут клиента 2 s). Неудачный запрос повторяется **с тем же `Idempotency-Key`** до успеха. Окна: 5 s до воздействия, 10 s после команды остановки плюс время самой команды, 5 s после восстановления. «Пауза записи» — максимальный интервал между соседними успешными ответами в окне; это и есть время восстановления записи для клиента. В конце вся история чата читается постранично и сверяется с подтверждёнными ответами. Для каждого окна считаются успешные RPS, ошибки и их доля, p50/p95/p99 задержки **успешных** запросов; после прогрева снимается `docker stats` (CPU/RAM). Стенд: лимиты из таблицы выше (API 0.5 CPU на реплику), Docker Desktop WSL2, 12 vCPU, 8 GiB. Объём данных: в таблице `messages` 93 579 строк перед первым экспериментом, 112 337 после последнего. Один прогон каждого сценария.
|
||||
|
||||
**Ресурсы под нагрузкой** (4 потока, обе реплики, `docker stats` после прогрева): каждая api 43–51 % CPU (лимит 0.5 CPU, то есть у предела) и 95–130 MiB из 256 MiB; postgres 24–25 % CPU, 61–81 MiB; lb 12–14 % CPU, 14–18 MiB; redis 2–5 % CPU, 10 MiB. Узкое место этого профиля — CPU реплик API.
|
||||
**Ресурсы под нагрузкой** (4 потока, обе реплики, `docker stats` после прогрева): каждая api 41–50 % CPU (лимит 0.5 CPU, то есть у предела) и 93–131 MiB из 256 MiB; postgres 26–27 % CPU, 70–85 MiB; lb 14–15 % CPU, 13–16 MiB; redis 2 % CPU, 10 MiB. Узкое место этого профиля — CPU реплик API.
|
||||
|
||||
| Сценарий, окно | Успешных RPS | Ошибки (доля) | p50 / p95 / p99, ms: до → отказ | Макс. пауза записи |
|
||||
| --- | --- | --- | --- | --- |
|
||||
| `docker stop` api-10: до / отказ / после возврата | 157 / 130 / 179 | 0 / 0 / 0 | 10,6/78,0/171 → 11,1/85,7/172 | 0,46 s |
|
||||
| `docker stop` api-9: до / отказ / после возврата | 180 / 133 / 170 | 0 / 0 / 0 | 9,8/73,4/88,6 → 11,0/87,3/103 | 0,10 s |
|
||||
| `docker kill` api-10: до / отказ / после | 155 / 81 / 153 | 0 / 3 (0,35 %) / 0 | 10,6/83,1/159 → 11,7/88,5/1013 | 0,99 s |
|
||||
| `docker kill` api-9: до / отказ / после | 154 / 67 / 165 | 0 / 2 (0,28 %) / 0 | 11,2/80,5/152 → 13,6/98,1/1012 | 0,99 s |
|
||||
| Rolling update, всё время замены (30,8 s) | 173 | 0 | 11,2 / 73,5 / 95,2 | 0,17 s |
|
||||
| `docker stop` api-11: до / отказ / после возврата | 150 / 117 / 141 | 0 / 0 / 0 | 11,4/80,2/164 → 12,0/89,6/107 | 0,18 s |
|
||||
| `docker stop` api-12: до / отказ / после возврата | 140 / 100 / 148 | 0 / 0 / 0 | 12,7/81,5/96,2 → 15,2/95,8/105 | 0,18 s |
|
||||
| `docker kill` api-11: до / отказ / после | 149 / 70 / 149 | 0 / 3 (0,41 %) / 0 | 11,4/80,5/171 → 12,7/100/1014 | 0,99 s |
|
||||
| `docker kill` api-12: до / отказ / после | 149 / 92 / 152 | 0 / 0 / 0 | 11,1/82,7/140 → 11,6/93,7/185 | 0,99 s |
|
||||
| Rolling update, всё время замены (31,0 s) | 156 | 0 | 12,3 / 78,8 / 105 | 0,16 s |
|
||||
|
||||
Окно «отказ» начинается с команды остановки и длится 10 s после её завершения, поэтому при `docker stop` в него входят ~3,4 s штатного дренажа, когда реплика ещё обслуживает начатые запросы.
|
||||
|
||||
| Воздействие | Что ожидаем | Что наблюдали | Время восстановления / потеря данных |
|
||||
| --- | --- | --- | --- |
|
||||
| `docker stop` api-10, затем (после возврата) api-9 | реплика исключается до закрытия, ошибок нет | ошибок 0 / 0; остановленная реплика дообслуживала начатые запросы 1,4–2,0 s, команда `docker stop` — 3,5 s, контейнер `Exited (0)` | пауза записи ≤ 0,46 s; вернувшаяся реплика снова получает запросы через 3,6–4,0 s после `docker start`; потерь и дублей 0 из 8025 |
|
||||
| `docker kill` (SIGKILL) каждой реплики по очереди | обрыв начатых запросов, обнаружение ≤ 3 s, повтор с ключом без дубля | ошибок 3 / 2; p99 в окне ~1 s (повторы после обрыва) | пауза записи 0,99 / 0,99 s; потерь и дублей 0 из 5780 |
|
||||
| Rolling update двух реплик на новый образ | замена без ошибок | ошибок 0; в ответах 4 разных реплики (2 старых, 2 новых); новая реплика готова за 6,5–6,7 s, шаг ~10,2 s | пауза записи ≤ 0,17 s; потерь и дублей 0 из 6509 |
|
||||
| `docker stop` api-11, затем (после возврата) api-12 | реплика исключается до закрытия, ошибок нет | ошибок 0 / 0; остановленная реплика дообслуживала начатые запросы 1,7–2,0 s, команда `docker stop` — 3,5 s, контейнер `Exited (0)` | пауза записи ≤ 0,18 s; вернувшаяся реплика снова получает запросы через 3,5 s после `docker start`; потерь и дублей 0 из 6945 |
|
||||
| `docker kill` (SIGKILL) каждой реплики по очереди | обрыв начатых запросов, обнаружение ≤ 3 s, повтор с ключом без дубля | ошибок 3 / 0; p99 в окне до ~1 s (повторы после обрыва) | пауза записи 0,99 / 0,99 s; потерь и дублей 0 из 5749 |
|
||||
| Rolling update двух реплик на новый образ | замена без ошибок | ошибок 0; в ответах 4 разных реплики (2 старых, 2 новых); новая реплика готова за 6,6–6,8 s, шаг ~10,3 s | пауза записи ≤ 0,16 s; потерь и дублей 0 из 6064 |
|
||||
| 20 параллельных `POST` с одним ключом | одно сообщение | все `201`, 1 id, обслужены 2 репликами | 1 сообщение в истории |
|
||||
| Одна живая реплика без доступа к PostgreSQL (`pg_hba reject` для её IP) | LB исключает её по readiness | `live 200`, `ready 503`; HAProxy `is DOWN … 503`; 10 из 10 запросов обслужила вторая реплика | после возврата доступа `ready 200`, реплика снова в ротации без перезапуска |
|
||||
| `make test-failover` ×2 (разные реплики) | ≤ 10 s, без дублей | 0 ошибок, первая успешная запись после hook через 3,43–3,48 s | PASS |
|
||||
| `make test-failover` ×2 (разные реплики) | ≤ 10 s, без дублей | 0 ошибок, первая успешная запись после hook через 3,51–3,67 s | PASS |
|
||||
| `restart.sh`: рестарт postgres, redis, api ×2, lb | данные и токен сохраняются | PASS | потерь нет |
|
||||
| `docker compose stop redis` | вход и Bearer через PostgreSQL; logout не может отозвать токен на всех репликах | `/me` `200`, logout `503`, токен действует | после `start` logout `204` → `401` |
|
||||
| `docker compose stop postgres` | `503` без деталей | `/chats` с токеном `503 database unavailable`; аноним `401` | готов после `start` |
|
||||
| `docker compose stop api` (все реплики) | LB отвечает сам | `503 no API replica available` в формате контракта | после `start` готов |
|
||||
|
||||
Почему падает RPS при одной реплике: каждая реплика ограничена 0.5 CPU и под этой нагрузкой работает у предела, поэтому с одной репликой успешных записей меньше (−17…−26 % в окне штатной остановки, куда входит ещё и дренаж). При SIGKILL падение сильнее: начатые запросы оборваны, клиент ждёт ответа до разрыва, повторяет с тем же ключом (отсюда p99 ~1 s), а до исключения HAProxy (≤ 3 s) новые соединения к убитому контейнеру сразу получают отказ и перенаправляются на живую реплику (`retry-on conn-failure`). Повторы не дали дублей.
|
||||
Почему падает RPS при одной реплике: каждая реплика ограничена 0.5 CPU и под этой нагрузкой работает у предела, поэтому с одной репликой успешных записей меньше (−22…−29 % в окне штатной остановки, куда входит ещё и дренаж). При SIGKILL падение сильнее: начатые запросы оборваны, клиент ждёт ответа до разрыва, повторяет с тем же ключом (отсюда p99 ~1 s), а до исключения HAProxy (≤ 3 s) новые соединения к убитому контейнеру сразу получают отказ и перенаправляются на живую реплику (`retry-on conn-failure`). Повторы не дали дублей.
|
||||
|
||||
Ограничения измерения: closed-loop генератор (coordinated omission), клиент на том же хосте, один прогон каждого сценария, ноутбук — абсолютные RPS не переносятся на другое железо. Образ в rolling update собран из того же commit; id образа отличается, потому что сборка не побайтно воспроизводима. Замена процедуры при этом та же, что и для нового кода.
|
||||
|
||||
|
||||
Reference in New Issue
Block a user