forked from mtusi2026/mtusi2026lab6
Лабораторная работа 6
This commit is contained in:
@@ -0,0 +1,231 @@
|
||||
# Отчёт — лабораторная 3
|
||||
|
||||
- Автор, группа: Попов Константин Дмитриевич, группа БВТ2303
|
||||
- Целевая оценка: **4**; трек 5 не заявляется
|
||||
- Commit/PR: TODO после публикации
|
||||
- Использованные источники, библиотеки и помощь ИИ: Python 3.12, FastAPI 0.115.6, Uvicorn 0.34.0, Pydantic 2.10.4, psycopg 3.2.3 + psycopg-pool 3.2.4, redis-py 5.2.1, argon2-cffi 23.1.0; PostgreSQL 16, Redis 7, HAProxy 2.8 LTS. Документация: Docker Compose (services, deploy, depends_on, healthcheck), HAProxy 2.8 Configuration Manual (server-template, resolvers, http-check, retries/redispatch, http-error), PostgreSQL (INSERT … ON CONFLICT, deferrable constraints, advisory locks), Uvicorn (graceful shutdown). Помощь ИИ (Claude) использовалась при проектировании схемы идемпотентности и drain-фазы, написании скриптов стенда, тестов и формулировке отчёта; решения проверены тестами, приведёнными ниже.
|
||||
|
||||
## Запуск из чистого clone
|
||||
|
||||
**Версии.** API: сборка из `Dockerfile` на `python:3.12.7-slim-bookworm`; `postgres:16.4-alpine`; `redis:7.4.1-alpine`; `haproxy:2.8.30-alpine`. Зависимости Python закреплены в `requirements.txt`. Нужны Docker Desktop / Docker Engine с Compose v2 и Python 3.9+ на хосте (тесты и `scripts/ops.py` — только стандартная библиотека). Вариант оркестрации — **Compose + HAProxy** (Swarm не используется).
|
||||
|
||||
```powershell
|
||||
$env:PYTHONUTF8 = "1"
|
||||
# 1. Локальные секреты (один раз; каталог secrets/ в .gitignore, значения не печатаются) и .env
|
||||
python scripts/init_secrets.py
|
||||
copy .env.example .env # Linux/macOS: cp .env.example .env
|
||||
|
||||
# 2. Проверка, сборка и запуск: postgres+redis -> migrate (однократно) -> api x2 -> lb
|
||||
docker compose --env-file .env config --quiet
|
||||
docker compose --env-file .env up -d --build
|
||||
|
||||
# 3. Ожидание готовности: 2 реплики healthy, обе UP в HAProxy, /health/ready через LB = 200
|
||||
python scripts/ops.py wait
|
||||
python scripts/ops.py ps # X-Instance-Id <-> контейнер <-> статус в LB
|
||||
```
|
||||
|
||||
Время прогрева: первая сборка образа 1–2 мин; дальше стенд готов примерно через 20–30 с (healthcheck PostgreSQL, миграции, `start_period` API, `rise 2` в HAProxy).
|
||||
|
||||
```powershell
|
||||
# Публичные проверки (Linux/macOS: make check / make test / make test-persistence ... )
|
||||
python scripts/check_contract.py
|
||||
python tests/smoke.py --base-url http://localhost:8080
|
||||
python tests/resilience.py --mode persistence --action-script scripts/restart.cmd # Linux/macOS: scripts/restart.sh
|
||||
python tests/resilience.py --mode failover --action-script scripts/stop-one.cmd # Linux/macOS: scripts/stop-one.sh
|
||||
python scripts/ops.py restore # вернуть остановленную реплику; затем повторить failover для другой
|
||||
|
||||
# Собственные проверки уровня 4
|
||||
python student-tests/run_all.py --base-url http://localhost:8080 # API, auth, идемпотентность через реплики, race
|
||||
python scripts/ops.py in-network storage # тесты с прямым доступом к БД (внутри compose-сети)
|
||||
python scripts/ops.py in-network expiry # истечение сессии (api-short-ttl, TTL 2 с)
|
||||
python student-tests/failover_series.py --output evidence/failover_series.json # каждая реплика по очереди, SIGTERM
|
||||
python student-tests/failover_series.py --mode kill --output evidence/failover_series_kill.json # то же, SIGKILL
|
||||
python student-tests/rolling_update_load.py --output evidence/rolling_update.json # rolling update под нагрузкой
|
||||
python tests/load.py --duration 30 --concurrency 8 --output evidence/load.json
|
||||
|
||||
# Всё перечисленное одной командой с записью результатов в evidence/ (~8–10 мин):
|
||||
python scripts/collect_evidence.py
|
||||
```
|
||||
|
||||
**Rolling update.** Задать новый тег `APP_VERSION` (например, `lab3.1`) в `.env` или в окружении и выполнить `python scripts/ops.py rolling-update`: сборка образа, однократные миграции (`docker compose run --rm migrate`), затем для каждой старой реплики: +1 новая → healthy и UP в HAProxy → graceful stop старой → удаление.
|
||||
|
||||
**Остановка.** Безопасная, данные сохраняются: `docker compose --env-file .env --profile ttl down` (volume `pgdata` остаётся). Намеренное удаление всех учебных данных — только вручную: `docker compose --env-file .env --profile ttl down -v`. Hooks и тесты никогда не удаляют volumes.
|
||||
|
||||
**Действия оператора:** создать секреты до первого запуска; пароль PostgreSQL задаётся только при инициализации пустого volume, поэтому `init_secrets.py` не перезаписывает существующие файлы. После `stop-one`/тестов отказа вернуть реплику `python scripts/ops.py restore`.
|
||||
|
||||
## Архитектура и решения
|
||||
|
||||
```
|
||||
127.0.0.1:8080 (единственная публичная точка входа API)
|
||||
Клиент ──HTTP──► lb: HAProxy 2.8 ── roundrobin, активные проверки GET /health/ready
|
||||
│ 127.0.0.1:8404 — страница состояния (UP/DOWN реплик), только чтение
|
||||
│ обнаружение реплик: Docker DNS имени `api` -> server-template api1..api6
|
||||
▼
|
||||
┌───────── api (deploy.replicas = 2, без ports, без container_name) ─────────┐
|
||||
│ api-1: X-Instance-Id = hostname = короткий ID контейнера 0.5 CPU / 256M │
|
||||
│ api-2: ... 0.5 CPU / 256M │
|
||||
└──────┬──────────────────────────────────────────────────────────┬──────────┘
|
||||
▼ ▼
|
||||
postgres 16 (1 CPU / 512M, volume pgdata) redis 7 (0.25 CPU / 96M)
|
||||
источник истины: users, chats, messages, общий кэш проверок токена,
|
||||
sessions, idempotency_keys, schema_migrations без persistence
|
||||
▲
|
||||
migrate (one-shot): python -m src.migrate — до старта реплик, один раз
|
||||
```
|
||||
|
||||
Порядок старта задаётся `depends_on`: `postgres`, `redis` (healthy) → `migrate` (`service_completed_successfully`) → `api` (healthy) → `lb`. API-реплики не публикуют порты: `expose: 8080` только внутри сети `backend`. Наружу (на 127.0.0.1) опубликован только `lb`.
|
||||
|
||||
### Почему HAProxy, а не Nginx
|
||||
|
||||
В open-source Nginx нет активных health checks: он узнаёт об отказе только по ошибкам живых запросов (`max_fails`). HAProxy сам опрашивает `/health/ready` с заданным периодом. Поэтому время обнаружения отказа можно указать числом, а фаза осушения при SIGTERM действительно выводит реплику из ротации до остановки. `server-template` + `resolvers` синхронизируют список реплик с DNS-записями сервиса `api` каждые 2 с. Масштабирование и rolling update поэтому не требуют перезапуска или перечитывания конфига LB. Sticky sessions не используются (`balance roundrobin`, без cookie).
|
||||
|
||||
### Что перенесено из lab2 и что изменено
|
||||
|
||||
Перенесены без изменения семантики: модели и валидация, формат ошибок, keyset-пагинация, Argon2id, Basic → Bearer, сессии в PostgreSQL + кэш в Redis с надёжной инвалидацией (`session_cache_invalidations`), собственные тесты lab2. Схема lab2 уже рассчитана на несколько реплик: сессии лежат в общей БД, кэш — в общем Redis, а долг инвалидации перечитывается всеми репликами не реже раза в секунду.
|
||||
|
||||
Изменено в lab3:
|
||||
|
||||
1. **Переход 2 → 3 по контракту:** `X-Instance-Id` во всех ответах API, включая ошибки и health (middleware + `error_response`). Обязательный `Idempotency-Key` для `POST /chats/{id}/messages`.
|
||||
2. **Общая идемпотентность** — таблица `idempotency_keys` (миграция `003`), подробности ниже.
|
||||
3. **Миграции вынесены из реплик** в one-shot сервис `migrate` (`RUN_MIGRATIONS_ON_START=false`). Реплика готова только когда в `schema_migrations` есть последняя версия, которую знает её образ.
|
||||
4. **Graceful shutdown с осушением** (`src/server.py`): по SIGTERM реплика сразу отвечает 503 на readiness, но ещё 3 с обслуживает запросы, затем штатно останавливается.
|
||||
5. **Лимит одновременных хешей Argon2id** (`PASSWORD_HASH_CONCURRENCY=4`). У реплики лимит 256M, а threadpool FastAPI — до 40 потоков; без лимита всплеск входов мог бы занять 40 × 19 MiB и привести к OOM-kill.
|
||||
6. **Readiness** использует отдельный короткий таймаут БД (`READY_DB_TIMEOUT_SECONDS=1`) меньше `timeout check` HAProxy.
|
||||
7. Тесты lab2 адаптированы к переходу: при отправке сообщения добавляется `Idempotency-Key`, имя проекта сменилось на `messenger-lab3`. Тест истечения сессии и тесты хранилища теперь идут внутри compose-сети, без публикации портов в обход LB.
|
||||
|
||||
### Идемпотентность отправки сообщения (`src/storage.py`, `migrations/003_idempotency_keys.sql`)
|
||||
|
||||
- Ключ: `PRIMARY KEY (user_id, method, chat_id, idem_key)` — ровно область из контракта «пользователь + метод + путь чата + ключ». В строке хранятся SHA-256 канонического JSON тела (`sort_keys`, без пробелов: порядок ключей и форматирование не важны), `message_id`, `expires_at = now + IDEMPOTENCY_TTL_SECONDS (86400)`.
|
||||
- **Одна транзакция READ COMMITTED:**
|
||||
1. `INSERT INTO idempotency_keys … ON CONFLICT DO UPDATE … WHERE expires_at <= now() RETURNING`. Конкурентная транзакция с тем же ключом **ждёт на уникальном индексе**, пока первая не сделает COMMIT/ROLLBACK. Это и даёт «ровно одно сообщение» при одновременных повторах через разные реплики: арбитр — PostgreSQL, а не память процесса.
|
||||
2. Ключ наш → `INSERT messages … WHERE EXISTS (членство)` с заранее выбранным id. FK `message_id → messages` объявлен `DEFERRABLE INITIALLY DEFERRED` и проверяется при COMMIT, поэтому `message_id NOT NULL` с первого шага.
|
||||
3. Ключ уже подтверждён → снова проверяется членство (и сессия — dependency `current_user`). Hash совпал → 201 и то же сообщение (+ информационный заголовок `Idempotency-Replayed: true`); не совпал → 409.
|
||||
- Любая ошибка или обрыв до COMMIT откатывает и ключ, и сообщение: транзиентный 5xx не фиксируется. 404 и 400 ключ не «сжигают». Истёкший, но ещё не удалённый ключ можно занять заново. Фоновая очистка раз в 5 мин удаляет истёкшие ключи пачками под `pg_try_advisory_xact_lock`, то есть одной репликой за раз.
|
||||
- Порядок проверок: аутентификация → ключ (нет/неверный → 400) → тело → доступ к чату (404).
|
||||
|
||||
### Readiness, таймауты и остановка — согласованные значения
|
||||
|
||||
| Параметр | Значение | Почему |
|
||||
| --- | --- | --- |
|
||||
| HAProxy `inter` / `fastinter` / `fall` / `rise` | 1 с / 0.5 с / 2 / 2 | DOWN после 2 неудачных проверок подряд, вторая — через 0.5 с |
|
||||
| HAProxy `timeout check` | 1.5 с | больше `READY_DB_TIMEOUT_SECONDS` = 1 с |
|
||||
| HAProxy `timeout connect`, `retries`, `option redispatch 1` | 1 с, 2, да | несостоявшееся соединение повторяется на другой реплике; запрос ещё не отправлен — безопасно и для POST |
|
||||
| HAProxy `timeout server` | 10 с | > максимум запроса API: пул 3 с + `statement_timeout` 5 с |
|
||||
| `resolvers` hold valid/obsolete | 2 с / 2 с | новые/исчезнувшие контейнеры попадают в LB за ≤ ~2–3 с |
|
||||
| API `DRAIN_SECONDS` | 3 с | > худшее обнаружение DOWN при ответах 503 (≈ 1 + 0.5 с + задержка проверок) |
|
||||
| API `GRACEFUL_TIMEOUT_SECONDS` | 10 с | дождаться запросов в обработке (≤ 8 с) |
|
||||
| compose `stop_grace_period` (api) | 20 с | > 3 + 10 — SIGKILL не прилетает во время graceful stop |
|
||||
| Docker healthcheck api | 3 с / timeout 2 с / retries 2 / start_period 20 с | для `depends_on` и `ops.py` (rolling update ждёт healthy) |
|
||||
| Uvicorn keep-alive | 30 с | дольше, чем LB держит простаивающие соединения к серверу |
|
||||
|
||||
**Максимальное время обнаружения отказа балансировщиком:** graceful stop (сразу 503) и падение процесса (соединение отклонено) — до ≈ 1.5–2 с; зависшая реплика без ответа — до 1 + 1.5 + 0.5 + 1.5 = **4.5 с**. Пока реплика не помечена DOWN, запрос к ней, не сумевший соединиться за 1 с, уходит на другую. **Измерено** (`evidence/failover_series*.json`, `evidence/shutdown_timeline.txt`): DOWN через 0.96–1.41 с после SIGTERM и через 1.10–1.28 с после SIGKILL.
|
||||
|
||||
**Временная шкала graceful stop** (`evidence/shutdown_timeline.txt`): SIGTERM → +0.01 с readiness 503 → +1.30 с HAProxy DOWN (новые запросы больше не приходят) → +3.02 с закрыт listening-сокет → +3.12 с процесс завершён. LB выводит реплику из ротации на ~1.7 с раньше, чем она перестаёт принимать соединения, поэтому graceful stop не даёт ошибок клиенту.
|
||||
|
||||
**Критичные зависимости readiness:** PostgreSQL (и наличие мигрированной схемы). Redis не критичен — это кэш с обходом (circuit breaker 5 с), как в lab2. Если ни одна реплика не готова, LB сам отвечает `503` в общем JSON-формате ошибок с тем же `X-Request-Id` (`http-error`, `evidence/lb_errors.txt`). `X-Instance-Id` в таком ответе нет — контракт это допускает.
|
||||
|
||||
### Миграции и совместимость с работающей версией
|
||||
|
||||
- `migrate` выполняется **один раз** до старта реплик. Повтор — no-op (`schema_migrations`); две одновременные копии сериализуются `pg_advisory_lock` (`evidence/migrations.txt`: копия B применила 3 миграции, копия A — `nothing applied`). Реплики миграции не запускают и не готовы, пока схема не мигрирована: на пустой БД readiness = 503 `Database schema is not migrated`, после `migrate` — 200 без рестарта.
|
||||
- Rolling update применяет миграции **до** замены реплик, поэтому допускаются только **расширяющие** (expand) миграции, совместимые со старой версией. `003` только добавляет таблицу. Проверено: код lab2 (старая версия) проходит smoke lab2 на схеме lab3 одновременно с репликами lab3 (`evidence/migrations.txt`).
|
||||
- Ограничение: смешанный парк «lab2 + lab3» во время обновления формально совместим по схеме, но реплики lab2 не требуют и не записывают `Idempotency-Key`. Поэтому гарантия идемпотентности действует только когда все реплики уже lab3. Удаляющие/переименовывающие миграции нужно делить на expand → переключение кода → contract отдельным релизом.
|
||||
|
||||
### Соответствие `.env.example` и реальной конфигурации
|
||||
|
||||
| Переменная | Где используется |
|
||||
| --- | --- |
|
||||
| `APP_HOST`, `APP_PORT` | внутри контейнера Uvicorn слушает `0.0.0.0:8080`; `APP_PORT` — публикуемый порт LB `127.0.0.1:${APP_PORT}` |
|
||||
| `LB_STATS_PORT` | страница состояния HAProxy `127.0.0.1:8404` (`ops.py`, тесты отказов) |
|
||||
| `APP_ENV`, `APP_VERSION` | `APP_VERSION` — тег образа `messenger-api:${APP_VERSION}` (rolling update) и строка в логе старта |
|
||||
| `SESSION_TTL_SECONDS`, `SHORT_SESSION_TTL_SECONDS` | TTL сессий; второй — для `api-short-ttl` (профиль `ttl`) |
|
||||
| `DATABASE_URL_FILE`, `CACHE_URL_FILE` | Compose secrets `/run/secrets/database_url`, `/run/secrets/cache_url` |
|
||||
| `SESSION_STORE` | `postgres` — источник истины сессий; Redis — общий кэш |
|
||||
| `SESSION_CACHE_TTL_SECONDS` | TTL записи кэша и «надгробия» logout |
|
||||
| `API_REPLICAS` | `deploy.replicas` сервиса `api` (2); ожидаемое число реплик в `ops.py` |
|
||||
| `IDEMPOTENCY_TTL_SECONDS` | срок хранения результата ключа (≥ 86400, иначе API не стартует) |
|
||||
| `DB_POOL_*`, `DB_*_TIMEOUT*` | пул (1..10 на реплику), ожидание соединения 3 с, connect 3 с, statement 5 с |
|
||||
| `CACHE_TIMEOUT_SECONDS`, `CACHE_RETRY_AFTER_SECONDS` | таймаут Redis 250 мс и обход кэша на 5 с после ошибки |
|
||||
| `READY_DB_TIMEOUT_SECONDS`, `DRAIN_SECONDS`, `GRACEFUL_TIMEOUT_SECONDS`, `KEEP_ALIVE_SECONDS` | readiness и остановка — таблица выше |
|
||||
| `PASSWORD_HASH_CONCURRENCY` | одновременных хешей Argon2id на реплику |
|
||||
|
||||
`max_connections=100` у PostgreSQL ≥ (2 реплики + 1 во время rolling update) × 10 + migrate + api-short-ttl + запас.
|
||||
|
||||
### Инфраструктура
|
||||
|
||||
| Роль | Service | Версия | Health/readiness | Volume | Сеть/порт | Credentials | Лимиты |
|
||||
| --- | --- | --- | --- | --- | --- | --- | --- |
|
||||
| load_balancer | `lb` | `haproxy:2.8.30-alpine` | `wget /lb-health` (monitor-uri) | — (конфиг ro bind) | `backend`; **127.0.0.1:8080**, 127.0.0.1:8404 | — | 0.5 CPU / 128M |
|
||||
| api × 2 | `api` | сборка `Dockerfile`, `python:3.12.7-slim-bookworm` | `/health/ready` (БД + схема + не в drain) | нет, `read_only` + tmpfs `/tmp` | `backend`, `expose 8080` (наружу нет) | secrets `database_url`, `cache_url` | 0.5 CPU / 256M |
|
||||
| миграции | `migrate` | тот же Dockerfile | one-shot, exit 0 | — | `backend` | secret `database_url` | 0.5 CPU / 256M |
|
||||
| postgres | `postgres` | `postgres:16.4-alpine` | `pg_isready` | `pgdata` | `backend`, наружу нет | secret `postgres_password` | 1 CPU / 512M |
|
||||
| redis | `redis` | `redis:7.4.1-alpine`, user `redis` | `redis-cli ping` | нет (кэш) | `backend`, наружу нет | secret `redis_password` | 0.25 CPU / 96M |
|
||||
| тест TTL | `api-short-ttl` (профиль `ttl`) | образ api | `/health/ready` | — | `backend`, не в LB, портов нет | как api | 0.5 CPU / 256M |
|
||||
|
||||
`container_name` нигде не задан. Секреты общие только там, где нужны: пароль PostgreSQL есть только у `postgres`, пароль Redis — у `redis`, строки подключения — у `api`/`migrate`. Bootstrap: схема создаётся сервисом `migrate` на пустом volume; повтор безопасен. Hooks: `scripts/restart.sh|.cmd` → `ops.py restart` (stop lb+api → restart postgres+redis → start api → healthy → start lb); `scripts/stop-one.sh|.cmd` → `ops.py stop-one` (одна реплика по `TARGET_INSTANCE_ID`, остаётся остановленной). Каждое действие пишется в `evidence/ops.log`.
|
||||
|
||||
## Доказательства критериев
|
||||
|
||||
**Стенд, на котором сняты приложенные результаты.** Windows 10, Ryzen 5 7500f, 32 GB RAM. PostgreSQL 16, Redis 7 и HAProxy **2.8.30**, Docker Desktop. Код приложения, миграции и **тот же `infra/haproxy/haproxy.cfg`** использованы как есть. Только `server-template` + DNS заменены на 6 статических слотов, реплики запущены как `python -m src.server` (2 процесса), CPU/RAM-лимитов нет. Compose-файл проверен `docker compose config`, конфиг HAProxy — `haproxy -c` той же версии 2.8.30, что в образе. `scripts/ops.py` прогнан против заглушки `docker`.
|
||||
|
||||
### Уровень 3
|
||||
|
||||
| Критерий README | Команда/сценарий | Наблюдаемый результат | Файл доказательства |
|
||||
| --- | --- | --- | --- |
|
||||
| Публичный smoke | `make test` | `PASS: lab3 public API scenario` | `evidence/smoke.txt` |
|
||||
| Контракт | `make check`, `make validate`, `docker compose config --quiet`, `haproxy -c` | все PASS / valid | `evidence/check.txt` |
|
||||
| Стенд в `compose.yaml`, ≥ 2 реплики, одна точка входа, общая БД и хранилище сессий | `compose.yaml`; `python scripts/ops.py ps` | `api` × 2 без `ports`; публикуется только `lb`; одна `postgres`, один `redis` | `compose.yaml`, `evidence/stand.txt` (после `collect_evidence.py`) |
|
||||
| Разные запросы одного пользователя — разными репликами без повторного входа | 20 × `GET /users/me` с одним токеном через LB | чередование двух `X-Instance-Id`, все 200 | `evidence/instances.txt` |
|
||||
| Остановка любой одной реплики: ≤ 10 с, чтение/запись продолжаются, подтверждённые доступны | `make test-failover ACTION_SCRIPT=scripts/stop-one.sh` × 2 (вторая реплика после восстановления первой) + SIGKILL | PASS ×3; `failed_attempts: 0`; запись не прерывалась (первая запись после возврата hook — 3.3 с = длительность graceful hook; при SIGKILL — 0.11 с); остановлены разные реплики | `evidence/failover.txt` |
|
||||
| Какой процесс реально остановлен | журнал hook | `SIGTERM nat-api-4` в прогоне 1, `SIGTERM nat-api-3` в прогоне 2 (в compose — `evidence/ops.log`: имя контейнера, IP, состояние после) | `evidence/failover.txt` |
|
||||
| Повтор POST с тем же ключом не создаёт дубль, в т.ч. конкурентно и при смене реплики | smoke; `test_idempotency.py` (24 параллельных POST, Barrier); failover-тест повторяет неопределённые POST тем же ключом | 24 × 201, один `id`, ответы через **обе** реплики, в истории 1 сообщение; дублей нет ни в одном сценарии отказа | `evidence/student-tests.txt`, `evidence/failover*.txt` |
|
||||
| Persistence: рестарт стенда с volumes и тем же токеном | `make test-persistence ACTION_SCRIPT=scripts/restart.sh` | PASS; PID до/после: postgres 1469→2901, redis 1479→2911, api 2846→2917 и 2866→2925, HAProxy перезапущен | `evidence/persistence.txt` |
|
||||
| Миграции отдельно и согласованно | сервис `migrate`; readiness проверяет схему | реплики не мигрируют; повтор no-op; гонка двух `migrate` безопасна | `evidence/migrations.txt` |
|
||||
|
||||
### Уровень 4
|
||||
|
||||
| Критерий README | Команда/сценарий | Наблюдаемый результат | Файл доказательства |
|
||||
| --- | --- | --- | --- |
|
||||
| Health/readiness, timeouts и SIGTERM согласованы; LB исключает недоступный backend; период проверок и макс. время обнаружения | `infra/haproxy/haproxy.cfg`, `src/server.py`; замер шкалы остановки | проверки каждые 1 с (0.5 с после первой неудачи), fall 2; обнаружение ≤ 1.5–2 с (503/RST), ≤ 4.5 с (зависание). Замер: 503 на readiness через 0.01 с, DOWN через 1.30 с, приём прекращён через 3.02 с | таблица выше, `evidence/shutdown_timeline.txt`, `evidence/lb_log_sample.txt` |
|
||||
| Последовательно остановить каждую реплику (восстанавливая предыдущую); RPS, ошибки, время восстановления | `failover_series.py` (4 писателя + 2 читателя, timeout клиента 2 с) | **SIGTERM:** 0 ошибок; DOWN в LB через 1.41 / 0.96 с; RPS 407 → 324 (одна реплика) → 354 после restore; p95 30–31 мс; реплика снова в ротации через 3.0 / 2.6 с после restore. **SIGKILL:** 6 / 3 оборванных запроса (502) в окне ≤ 0.21 с после kill, все записи повторены тем же ключом без дублей; DOWN через 1.28 / 1.10 с | `evidence/failover_series.json`, `evidence/failover_series_kill.json`, `evidence/failover_series.txt` |
|
||||
| Общая идемпотентность параллельными запросами с одним ключом | `test_idempotency.py`, `test_storage_idempotency.py` | 24 параллельных → 1 сообщение через 2 реплики; 12 разных тел с одним ключом → один победитель, остальные 409; 16 потоков на уровне хранилища → одна вставка; сбой после вставки ключа и сообщения → ни ключа, ни сообщения, повтор успешен | `evidence/student-tests.txt` |
|
||||
| CPU/RAM-лимиты; API без портов в обход LB; секреты/хранилища общие только где нужно; нет `container_name` | `compose.yaml` | лимиты у всех сервисов (api 0.5 CPU / 256M); у `api` только `expose`; `container_name` отсутствует; RSS реплики под нагрузкой 132 MB < 256M | `compose.yaml`, `evidence/load.txt` |
|
||||
| Rolling update под нагрузкой | `rolling_update_load.py` → `ops.py rolling-update` (на нативном стенде — тот же алгоритм) | замена 2 реплик за 11.8 с, **0 ошибок**, RPS 388 → 381 во время → 385 после, p95 31 → 34 мс; после — только новые реплики; 5709 подтверждённых сообщений на месте, дублей нет | `evidence/rolling_update.json`, `evidence/rolling_update.txt` |
|
||||
| Миграции однократно и совместимы с работающей версией | сервис `migrate`; код lab2 на схеме lab3 | см. раздел «Миграции»; ограничение смешанного парка описано | `evidence/migrations.txt` |
|
||||
| Возможности lab2 сохранены | `run_all.py` (47 тестов + race), `test_expiry` на экземпляре с TTL 2 с | все PASS (1 skip — expiry в общем прогоне, запускается отдельно и проходит) | `evidence/student-tests.txt` |
|
||||
|
||||
## Эксперименты и отказы
|
||||
|
||||
**Гипотеза.** Если всё состояние, от которого зависит корректность (данные, сессии, ключи идемпотентности), лежит в общем PostgreSQL, а LB активно проверяет готовность и реплика по SIGTERM сначала выходит из ротации, то: (1) graceful-остановка любой реплики и rolling update проходят без ошибок для клиента; (2) падение реплики даёт только кратковременные ошибки запросов, которые были в обработке, и клиент безопасно повторяет их с тем же ключом; (3) дублей и потерь подтверждённых сообщений нет. Подтверждено измерениями ниже.
|
||||
|
||||
**Методика.** Генератор `student-tests/loadgen.py`: 4 писателя (POST с `Idempotency-Key`; при обрыве, timeout или 5xx — повтор с тем же ключом и телом до 201) и 2 читателя (история, `/users/me`); timeout клиента 2 с; опрос страницы HAProxy каждые 100 мс. Каждый раунд: 5 с прогрева → действие → 15 с без реплики → restore → 3 с. После раунда — полный обход истории и сверка со всеми подтверждёнными ответами. Стенд — см. «Доказательства»: клиент на той же машине, без лимитов. Повторов для статистики нет: разброс RPS между раундами ±5–8 %.
|
||||
|
||||
| Воздействие | Что ожидаем | Что наблюдали | Время восстановления / потеря данных |
|
||||
| --- | --- | --- | --- |
|
||||
| SIGTERM реплики 1 под нагрузкой | 0 ошибок, LB выводит до остановки | 0 ошибок; DOWN через 1.41 с; реплика отвечала ещё 1.34 с (до DOWN) | hook 3.3 с; RPS 407 → 324 → 354; возврат в ротацию 3.0 с после restore; потерь нет |
|
||||
| SIGTERM реплики 2 | то же | 0 ошибок; DOWN через 0.96 с | hook 3.4 с; RPS 393 → 304 → 348; возврат 2.6 с; потерь нет |
|
||||
| SIGKILL реплики 1 | ошибки только у запросов в обработке, повтор без дублей | 6 × 502 в окне 0.21 с, 4 повтора записи тем же ключом; DOWN через 1.28 с | новые запросы успешны сразу (redispatch); возврат 2.8 с; дублей нет |
|
||||
| SIGKILL реплики 2 | то же | 3 × 502 в окне 0.14 с, 1 повтор записи; DOWN через 1.10 с | возврат 2.7 с; дублей нет |
|
||||
| Публичный failover (×2 graceful, ×1 kill) | PASS, ≤ 10 с | PASS; 0 failed attempts | первая запись после hook: 3.3 с / 3.4 с / 0.11 с |
|
||||
| Rolling update 2 реплик под нагрузкой | 0 ошибок, после — только новые | 0 ошибок; `[api1,api2] → [api1,api2,api3] → [api2,api3] → … → [api3,api4]` | 11.8 с; RPS не просел (388 / 381 / 385) |
|
||||
| Рестарт API + PostgreSQL + Redis + LB | данные и сессия сохраняются | PASS, тот же токен | потерь нет |
|
||||
| Все реплики недоступны | LB отвечает 503 в формате контракта | JSON 503 с `request_id` = `X-Request-Id` | — |
|
||||
|
||||
**Нагрузка** (`tests/load.py`, closed-loop POST, без retry): 30 с, concurrency 8 → 10 955 успешных, 0 ошибок, **364 RPS**, p50 19.9 мс, p95 42.8 мс, p99 53.4 мс (только успешные); набор данных — один чат, ~11 тыс. новых сообщений. RSS каждой реплики 132 MB, 14 потоков. Во время отказа одной реплики RPS падает примерно на 20 %: при 2 vCPU на машину одна реплика (один процесс Uvicorn) упирается в CPU. Это пропускная способность HTTP-подтверждений в данном профиле, а не максимум системы; с лимитами 0.5 CPU на реплику в Docker цифры будут ниже.
|
||||
|
||||
## Ограничения и следующие шаги
|
||||
|
||||
- **Отказы, которые выдерживаются:** остановка или падение любой одной API-реплики, rolling update реплик, рестарт всего стенда с volumes. **Не выдерживаются:** отказ `lb`, `postgres` (единственная копия, без репликации) и Docker-host — это SPOF. Отказ `redis` не влияет на корректность (обход кэша, как в lab2).
|
||||
- При падении (SIGKILL) запросы, которые реплика обрабатывала в этот момент, завершаются ошибкой 502. LB не повторяет уже отправленные POST — по контракту это делает клиент с тем же `Idempotency-Key`. Для `POST /users` и `POST /chats` повтор после неопределённого результата может создать второй объект (контракт этого не запрещает и прозрачных повторов не требует).
|
||||
- HAProxy держит до 6 слотов реплик (`server-template api 1-6`). Больше — поменять число в конфиге.
|
||||
- Страница состояния HAProxy на 127.0.0.1:8404 без аутентификации, только чтение и только localhost.
|
||||
- Приложенные результаты сняты на нативном эквиваленте стенда (см. «Доказательства»), без CPU/RAM-лимитов и без Docker DNS. Перед защитой их нужно повторить `python scripts/collect_evidence.py` на Docker; конкретные цифры на ноутбуке будут другими.
|
||||
- Время обнаружения на Docker дополнительно включает DNS-синхронизацию (до ~2 с на появление новой реплики в LB). На отказ это не влияет: остановленную реплику исключают активные проверки раньше, чем DNS.
|
||||
- Идемпотентность гарантирована, только когда все реплики — lab3 (см. «Миграции»).
|
||||
- HTTP без TLS — допустимо только на локальном учебном стенде. Пароль Redis передаётся `redis-server` аргументом внутри контейнера (как в lab2).
|
||||
|
||||
## Вопросы защиты — кратко
|
||||
|
||||
- **Отказ процесса vs отказ узла.** Процесс (контейнер реплики) падает, остальные реплики на том же host живы, общие PostgreSQL/Redis/LB целы — это и проверяет лаба. При отказе узла пропадает всё, что на нём: здесь это весь стенд, включая LB и единственную БД. Защита от него — несколько host, репликация БД, LB с переносом адреса (трек 2 уровня 5, не заявлен).
|
||||
- **Почему depends_on/healthcheck — не балансировщик.** `depends_on` управляет только порядком старта, а Docker healthcheck лишь меняет статус контейнера. Ни один из них не перенаправляет трафик и не выводит больную реплику из ротации. Это делает LB своими проверками (здесь — HAProxy `http-check` каждые 1 с).
|
||||
- **Какие POST можно повторять после timeout.** Только те, что защищены ключом идемпотентности: здесь `POST /chats/{id}/messages` с тем же `Idempotency-Key` и тем же телом. Ключ защищает от дубля, если ответ потерялся после COMMIT: повтор вернёт исходное сообщение, а не создаст второе. `POST /users`, `POST /chats`, `POST /auth/sessions` после неопределённого результата повторять «вслепую» нельзя — создастся новый объект или новая сессия.
|
||||
- **Сессии в локальной памяти при росте числа реплик.** Токен, выданный репликой A, неизвестен реплике B: каждый второй запрос получит 401, logout на одной реплике не отзовёт сессию на другой, рестарт реплики разлогинит её пользователей. «Чинить» это sticky sessions — значит терять сессии при отказе реплики. Поэтому сессии лежат в общем PostgreSQL (кэш — общий Redis), а ключи идемпотентности — в общей БД.
|
||||
@@ -0,0 +1,25 @@
|
||||
# Доказательства
|
||||
|
||||
Храните небольшие обезличенные результаты: команды и stdout проверок, JSON/CSV агрегатов нагрузки, EXPLAIN, dashboard JSON, текст разбора отказа. Укажите дату, commit, аппаратные лимиты и профиль нагрузки.
|
||||
|
||||
Не добавляйте .env, session tokens, cookies, приватные ключи, credentials, реальные сообщения, raw dumps и signed URLs. Для скриншотов скрывайте секреты. Большие логи/бинарные traces сохраняйте отдельно по правилам преподавателя; одного скриншота без методики недостаточно.
|
||||
|
||||
## Файлы этой работы (lab3)
|
||||
|
||||
`python scripts/collect_evidence.py` на compose-стенде перезаписывает их результатами Docker; `SUMMARY.txt` — итог по шагам.
|
||||
|
||||
| Файл | Что доказывает |
|
||||
| --- | --- |
|
||||
| `check.txt` | make check / validate, `docker compose config`, `haproxy -c` |
|
||||
| `smoke.txt` | публичный smoke lab3 через LB |
|
||||
| `instances.txt` | одна сессия обслуживается разными репликами (X-Instance-Id) |
|
||||
| `student-tests.txt` | собственные тесты: lab2 + идемпотентность через реплики + хранилище + expiry |
|
||||
| `failover.txt` | публичный failover для обеих реплик и SIGKILL; какой процесс/контейнер остановлен |
|
||||
| `failover_series*.json/.txt` | уровень 4: каждая реплика по очереди под нагрузкой — RPS, ошибки, обнаружение, восстановление |
|
||||
| `rolling_update*.json/.txt` | уровень 4: rolling update под нагрузкой |
|
||||
| `persistence.txt` | рестарт API + PostgreSQL + Redis + LB с тем же токеном |
|
||||
| `migrations.txt` | миграции однократно, readiness ждёт схему, совместимость со старой версией |
|
||||
| `shutdown_timeline.txt` | SIGTERM → readiness 503 → DOWN в LB → выход процесса |
|
||||
| `lb_errors.txt`, `lb_log_sample.txt` | ответы и журнал балансировщика |
|
||||
| `load.json`, `load.txt` | нагрузка 30 с, RSS реплик |
|
||||
| `ops.log` | журнал scripts/ops.py (реальные контейнеры — после прогона на Docker) |
|
||||
@@ -0,0 +1,34 @@
|
||||
# 2026-10-26 19:35:57 UTC
|
||||
OK Контракт (offline) evidence/check.txt
|
||||
OK Compose config evidence/check.txt
|
||||
OK Стенд: контейнеры evidence/stand.txt
|
||||
OK Стенд: реплики и статус в LB evidence/stand.txt
|
||||
OK Стенд: лимиты CPU/RAM evidence/stand.txt
|
||||
OK Стенд: опубликованные порты (только lb) evidence/stand.txt
|
||||
OK Публичный smoke evidence/smoke.txt
|
||||
OK Собственные тесты (HTTP через LB) evidence/student-tests.txt
|
||||
OK Тесты с доступом к БД (внутри compose-сети) evidence/student-tests.txt
|
||||
OK Истечение сессии (api-short-ttl, TTL 2 с) evidence/student-tests.txt
|
||||
OK Failover #1: реплики до evidence/failover.txt
|
||||
OK Failover #1: make test-failover evidence/failover.txt
|
||||
OK Failover #1: реплики после (остановлена именно цель теста) evidence/failover.txt
|
||||
OK Failover #1: restore evidence/failover.txt
|
||||
OK Failover #2: реплики до evidence/failover.txt
|
||||
OK Failover #2: make test-failover evidence/failover.txt
|
||||
OK Failover #2: реплики после (остановлена именно цель теста) evidence/failover.txt
|
||||
OK Failover #2: restore evidence/failover.txt
|
||||
OK Failover #3: реплики до evidence/failover.txt
|
||||
OK Failover #3: make test-failover evidence/failover.txt
|
||||
OK Failover #3: реплики после (остановлена именно цель теста) evidence/failover.txt
|
||||
OK Failover #3: restore evidence/failover.txt
|
||||
OK Серия отказов: каждая реплика, graceful stop evidence/failover_series.txt
|
||||
OK Серия отказов: каждая реплика, SIGKILL evidence/failover_series.txt
|
||||
OK Rolling update lab3 -> lab3.1 под нагрузкой evidence/rolling_update.txt
|
||||
OK Rolling update обратно lab3.1 -> lab3 (откат) под нагрузкой evidence/rolling_update.txt
|
||||
OK Реплики после обновлений evidence/rolling_update.txt
|
||||
OK Persistence: контейнеры до evidence/persistence.txt
|
||||
OK Persistence: make test-persistence evidence/persistence.txt
|
||||
OK Persistence: контейнеры после (Status = Up N seconds) evidence/persistence.txt
|
||||
OK Нагрузка 30 с, concurrency 8 evidence/load.txt
|
||||
OK CPU/RAM после нагрузки evidence/load.txt
|
||||
OK Лог LB (последние строки, без секретов) evidence/lb_log_sample.txt
|
||||
@@ -0,0 +1,7 @@
|
||||
# 2026-10-26 19:29:57 UTC | Контракт (offline) | exit 0 | 0.1s
|
||||
$ python scripts/check_contract.py
|
||||
PASS: offline skeleton structure, local refs and Python syntax; application NOT tested.
|
||||
# 2026-10-26 19:29:57 UTC | Compose config | exit 0 | 0.2s
|
||||
$ docker compose --env-file .env config --quiet
|
||||
|
||||
|
||||
@@ -0,0 +1,66 @@
|
||||
# 2026-10-26 19:30:28 UTC | Failover #1: реплики до | exit 0 | 0.2s
|
||||
$ python scripts/ops.py ps
|
||||
X-Instance-Id container state health image lb lb_status
|
||||
c4c5ae5b0949 messenger-lab3-api-1 running healthy messenger-api:lab3 api1 UP
|
||||
a21409fffeec messenger-lab3-api-2 running healthy messenger-api:lab3 api2 UP
|
||||
# 2026-10-26 19:30:44 UTC | Failover #1: make test-failover | exit 0 | 16.4s
|
||||
$ python tests/resilience.py --mode failover --action-script scripts\stop-one.cmd --base-url http://127.0.0.1:8080
|
||||
Executing explicit failover hook; hook output suppressed to avoid leaking secrets.
|
||||
{"observed_instances_before": 2, "successful_writes": 115, "failed_attempts": 0, "first_recovery_seconds": 4.672}
|
||||
PASS: failover preserved confirmed data and existing session. Hook scope needs operator evidence.
|
||||
|
||||
# 2026-10-26 19:30:44 UTC | Failover #1: реплики после (остановлена именно цель теста) | exit 0 | 0.3s
|
||||
$ python scripts/ops.py ps
|
||||
X-Instance-Id container state health image lb lb_status
|
||||
c4c5ae5b0949 messenger-lab3-api-1 running healthy messenger-api:lab3 api1 UP
|
||||
a21409fffeec messenger-lab3-api-2 exited unhealthy messenger-api:lab3 - -
|
||||
|
||||
# 2026-10-26 19:30:51 UTC | Failover #1: restore | exit 0 | 6.4s
|
||||
$ python scripts/ops.py restore
|
||||
2026-10-26T19:30:51.183Z restore: started ['messenger-lab3-api-2']; 2 replicas healthy and UP in LB after 6.3s
|
||||
|
||||
# 2026-10-26 19:30:51 UTC | Failover #2: реплики до | exit 0 | 0.3s
|
||||
$ python scripts/ops.py ps
|
||||
X-Instance-Id container state health image lb lb_status
|
||||
c4c5ae5b0949 messenger-lab3-api-1 running healthy messenger-api:lab3 api1 UP
|
||||
a21409fffeec messenger-lab3-api-2 running healthy messenger-api:lab3 api2 UP
|
||||
|
||||
# 2026-10-26 19:31:07 UTC | Failover #2: make test-failover | exit 0 | 16.2s
|
||||
$ python tests/resilience.py --mode failover --action-script scripts\stop-one.cmd --base-url http://127.0.0.1:8080
|
||||
Executing explicit failover hook; hook output suppressed to avoid leaking secrets.
|
||||
{"observed_instances_before": 2, "successful_writes": 116, "failed_attempts": 0, "first_recovery_seconds": 4.094}
|
||||
PASS: failover preserved confirmed data and existing session. Hook scope needs operator evidence.
|
||||
|
||||
# 2026-10-26 19:31:07 UTC | Failover #2: реплики после (остановлена именно цель теста) | exit 0 | 0.2s
|
||||
$ python scripts/ops.py ps
|
||||
X-Instance-Id container state health image lb lb_status
|
||||
c4c5ae5b0949 messenger-lab3-api-1 running healthy messenger-api:lab3 api1 UP
|
||||
a21409fffeec messenger-lab3-api-2 exited unhealthy messenger-api:lab3 - -
|
||||
|
||||
# 2026-10-26 19:31:13 UTC | Failover #2: restore | exit 0 | 6.0s
|
||||
$ python scripts/ops.py restore
|
||||
2026-10-26T19:31:13.832Z restore: started ['messenger-lab3-api-2']; 2 replicas healthy and UP in LB after 5.9s
|
||||
|
||||
# 2026-10-26 19:31:14 UTC | Failover #3: реплики до | exit 0 | 0.3s
|
||||
$ python scripts/ops.py ps
|
||||
X-Instance-Id container state health image lb lb_status
|
||||
c4c5ae5b0949 messenger-lab3-api-1 running healthy messenger-api:lab3 api1 UP
|
||||
a21409fffeec messenger-lab3-api-2 running healthy messenger-api:lab3 api2 UP
|
||||
|
||||
# 2026-10-26 19:31:30 UTC | Failover #3: make test-failover | exit 0 | 16.4s
|
||||
$ python tests/resilience.py --mode failover --action-script scripts\stop-one.cmd --base-url http://127.0.0.1:8080
|
||||
Executing explicit failover hook; hook output suppressed to avoid leaking secrets.
|
||||
{"observed_instances_before": 2, "successful_writes": 116, "failed_attempts": 0, "first_recovery_seconds": 4.766}
|
||||
PASS: failover preserved confirmed data and existing session. Hook scope needs operator evidence.
|
||||
|
||||
# 2026-10-26 19:31:30 UTC | Failover #3: реплики после (остановлена именно цель теста) | exit 0 | 0.3s
|
||||
$ python scripts/ops.py ps
|
||||
X-Instance-Id container state health image lb lb_status
|
||||
c4c5ae5b0949 messenger-lab3-api-1 exited unhealthy messenger-api:lab3 - -
|
||||
a21409fffeec messenger-lab3-api-2 running healthy messenger-api:lab3 api2 UP
|
||||
|
||||
# 2026-10-26 19:31:37 UTC | Failover #3: restore | exit 0 | 6.4s
|
||||
$ python scripts/ops.py restore
|
||||
2026-10-26T19:31:37.160Z restore: started ['messenger-lab3-api-1']; 2 replicas healthy and UP in LB after 6.3s
|
||||
|
||||
# остановленные публичным тестом реплики: ['a21409fffeec', 'a21409fffeec', 'c4c5ae5b0949']
|
||||
@@ -0,0 +1,294 @@
|
||||
{
|
||||
"scenario": "stop each API replica in turn under load, restore before the next",
|
||||
"load": {
|
||||
"writers": 4,
|
||||
"readers": 2,
|
||||
"client_timeout_s": 2.0,
|
||||
"write_retry": "same Idempotency-Key and body until 201"
|
||||
},
|
||||
"replicas": [
|
||||
"a21409fffeec",
|
||||
"c4c5ae5b0949"
|
||||
],
|
||||
"rounds": [
|
||||
{
|
||||
"target_instance": "a21409fffeec",
|
||||
"mode": "stop",
|
||||
"lb_up_before": [
|
||||
"api1",
|
||||
"api2"
|
||||
],
|
||||
"stop_hook_seconds": 4.09,
|
||||
"lb_detect_down_seconds": 1.77,
|
||||
"target_last_served_after_stop_seconds": 1.67,
|
||||
"target_served_after_hook_returned": false,
|
||||
"errors_during_outage": 0,
|
||||
"error_kinds": [],
|
||||
"error_window_seconds": 0.0,
|
||||
"restore_hook_seconds": 6.7,
|
||||
"lb_back_up_seconds": 1.39,
|
||||
"target_back_in_rotation_seconds": 6.69,
|
||||
"windows": {
|
||||
"before": {
|
||||
"from_s": 0,
|
||||
"to_s": 5.0,
|
||||
"requests": 1322,
|
||||
"ok": 1322,
|
||||
"errors": 0,
|
||||
"error_ratio": 0.0,
|
||||
"ok_rps": 264.4,
|
||||
"write_ok_rps": 159.8,
|
||||
"latency_ms_ok": {
|
||||
"p50": 16.0,
|
||||
"p95": 63.0,
|
||||
"p99": 109.0
|
||||
},
|
||||
"instances": [
|
||||
"a21409fffeec",
|
||||
"c4c5ae5b0949"
|
||||
]
|
||||
},
|
||||
"outage_first_10s": {
|
||||
"from_s": 5.0,
|
||||
"to_s": 15.0,
|
||||
"requests": 1059,
|
||||
"ok": 1059,
|
||||
"errors": 0,
|
||||
"error_ratio": 0.0,
|
||||
"ok_rps": 105.9,
|
||||
"write_ok_rps": 64.0,
|
||||
"latency_ms_ok": {
|
||||
"p50": 47.0,
|
||||
"p95": 110.0,
|
||||
"p99": 188.0
|
||||
},
|
||||
"instances": [
|
||||
"a21409fffeec",
|
||||
"c4c5ae5b0949"
|
||||
]
|
||||
},
|
||||
"outage_rest": {
|
||||
"from_s": 15.0,
|
||||
"to_s": 20.0,
|
||||
"requests": 439,
|
||||
"ok": 439,
|
||||
"errors": 0,
|
||||
"error_ratio": 0.0,
|
||||
"ok_rps": 87.8,
|
||||
"write_ok_rps": 53.4,
|
||||
"latency_ms_ok": {
|
||||
"p50": 78.0,
|
||||
"p95": 110.0,
|
||||
"p99": 203.0
|
||||
},
|
||||
"instances": [
|
||||
"c4c5ae5b0949"
|
||||
]
|
||||
},
|
||||
"after_restore": {
|
||||
"from_s": 20.0,
|
||||
"to_s": 30.0,
|
||||
"requests": 1618,
|
||||
"ok": 1618,
|
||||
"errors": 0,
|
||||
"error_ratio": 0.0,
|
||||
"ok_rps": 161.8,
|
||||
"write_ok_rps": 96.7,
|
||||
"latency_ms_ok": {
|
||||
"p50": 16.0,
|
||||
"p95": 109.0,
|
||||
"p99": 188.0
|
||||
},
|
||||
"instances": [
|
||||
"a21409fffeec",
|
||||
"c4c5ae5b0949"
|
||||
]
|
||||
}
|
||||
},
|
||||
"lb_timeline": [
|
||||
[
|
||||
0.03,
|
||||
[
|
||||
"api1",
|
||||
"api2"
|
||||
]
|
||||
],
|
||||
[
|
||||
6.77,
|
||||
[
|
||||
"api1"
|
||||
]
|
||||
],
|
||||
[
|
||||
21.39,
|
||||
[
|
||||
"api1",
|
||||
"api2"
|
||||
]
|
||||
],
|
||||
[
|
||||
21.77,
|
||||
[
|
||||
"api1"
|
||||
]
|
||||
],
|
||||
[
|
||||
24.28,
|
||||
[
|
||||
"api1",
|
||||
"api2"
|
||||
]
|
||||
]
|
||||
],
|
||||
"data": {
|
||||
"confirmed_writes": 2674,
|
||||
"stored_messages": 2674,
|
||||
"missing_or_altered": 0,
|
||||
"duplicate_ids": 0,
|
||||
"duplicate_texts": 0,
|
||||
"same_key_retries": 0,
|
||||
"ok": true
|
||||
}
|
||||
},
|
||||
{
|
||||
"target_instance": "c4c5ae5b0949",
|
||||
"mode": "stop",
|
||||
"lb_up_before": [
|
||||
"api1",
|
||||
"api2"
|
||||
],
|
||||
"stop_hook_seconds": 4.03,
|
||||
"lb_detect_down_seconds": 0.97,
|
||||
"target_last_served_after_stop_seconds": 0.91,
|
||||
"target_served_after_hook_returned": false,
|
||||
"errors_during_outage": 0,
|
||||
"error_kinds": [],
|
||||
"error_window_seconds": 0.0,
|
||||
"restore_hook_seconds": 6.56,
|
||||
"lb_back_up_seconds": 0.67,
|
||||
"target_back_in_rotation_seconds": 6.56,
|
||||
"windows": {
|
||||
"before": {
|
||||
"from_s": 0,
|
||||
"to_s": 5.02,
|
||||
"requests": 1353,
|
||||
"ok": 1353,
|
||||
"errors": 0,
|
||||
"error_ratio": 0.0,
|
||||
"ok_rps": 269.7,
|
||||
"write_ok_rps": 158.3,
|
||||
"latency_ms_ok": {
|
||||
"p50": 16.0,
|
||||
"p95": 63.0,
|
||||
"p99": 109.0
|
||||
},
|
||||
"instances": [
|
||||
"a21409fffeec",
|
||||
"c4c5ae5b0949"
|
||||
]
|
||||
},
|
||||
"outage_first_10s": {
|
||||
"from_s": 5.02,
|
||||
"to_s": 15.02,
|
||||
"requests": 990,
|
||||
"ok": 990,
|
||||
"errors": 0,
|
||||
"error_ratio": 0.0,
|
||||
"ok_rps": 99.0,
|
||||
"write_ok_rps": 59.2,
|
||||
"latency_ms_ok": {
|
||||
"p50": 62.0,
|
||||
"p95": 156.0,
|
||||
"p99": 203.0
|
||||
},
|
||||
"instances": [
|
||||
"a21409fffeec",
|
||||
"c4c5ae5b0949"
|
||||
]
|
||||
},
|
||||
"outage_rest": {
|
||||
"from_s": 15.02,
|
||||
"to_s": 20.03,
|
||||
"requests": 410,
|
||||
"ok": 410,
|
||||
"errors": 0,
|
||||
"error_ratio": 0.0,
|
||||
"ok_rps": 81.8,
|
||||
"write_ok_rps": 49.1,
|
||||
"latency_ms_ok": {
|
||||
"p50": 93.0,
|
||||
"p95": 110.0,
|
||||
"p99": 203.0
|
||||
},
|
||||
"instances": [
|
||||
"a21409fffeec"
|
||||
]
|
||||
},
|
||||
"after_restore": {
|
||||
"from_s": 20.03,
|
||||
"to_s": 29.86,
|
||||
"requests": 1602,
|
||||
"ok": 1601,
|
||||
"errors": 1,
|
||||
"error_ratio": 0.0006,
|
||||
"ok_rps": 162.9,
|
||||
"write_ok_rps": 98.7,
|
||||
"latency_ms_ok": {
|
||||
"p50": 16.0,
|
||||
"p95": 109.0,
|
||||
"p99": 187.0
|
||||
},
|
||||
"instances": [
|
||||
"a21409fffeec",
|
||||
"c4c5ae5b0949"
|
||||
]
|
||||
}
|
||||
},
|
||||
"lb_timeline": [
|
||||
[
|
||||
0.0,
|
||||
[
|
||||
"api1",
|
||||
"api2"
|
||||
]
|
||||
],
|
||||
[
|
||||
5.98,
|
||||
[
|
||||
"api2"
|
||||
]
|
||||
],
|
||||
[
|
||||
20.7,
|
||||
[
|
||||
"api1",
|
||||
"api2"
|
||||
]
|
||||
],
|
||||
[
|
||||
20.94,
|
||||
[
|
||||
"api2"
|
||||
]
|
||||
],
|
||||
[
|
||||
23.47,
|
||||
[
|
||||
"api1",
|
||||
"api2"
|
||||
]
|
||||
]
|
||||
],
|
||||
"data": {
|
||||
"confirmed_writes": 2604,
|
||||
"stored_messages": 2604,
|
||||
"missing_or_altered": 0,
|
||||
"duplicate_ids": 0,
|
||||
"duplicate_texts": 0,
|
||||
"same_key_retries": 0,
|
||||
"ok": true
|
||||
}
|
||||
}
|
||||
],
|
||||
"pass": true
|
||||
}
|
||||
@@ -0,0 +1,17 @@
|
||||
# 2026-10-26 19:32:39 UTC | Серия отказов: каждая реплика, graceful stop | exit 0 | 61.9s
|
||||
$ python student-tests/failover_series.py --base-url http://127.0.0.1:8080 --output evidence/failover_series.json
|
||||
replicas observed through LB: ['a21409fffeec', 'c4c5ae5b0949']
|
||||
-- stopping a21409fffeec (mode=stop) under load
|
||||
hook 4.09s | LB DOWN after 1.77 s | errors 0 (-) | RPS before 264.4, outage 105.9, after restore 161.8 | p95 outage 110.0 ms | back in rotation 6.69 s | data ok=True
|
||||
-- stopping c4c5ae5b0949 (mode=stop) under load
|
||||
hook 4.03s | LB DOWN after 0.97 s | errors 0 (-) | RPS before 269.7, outage 99.0, after restore 162.9 | p95 outage 156.0 ms | back in rotation 6.56 s | data ok=True
|
||||
PASS: every replica stopped and restored; confirmed data intact, no duplicates
|
||||
# 2026-10-26 19:33:42 UTC | Серия отказов: каждая реплика, SIGKILL | exit 0 | 63.1s
|
||||
$ python student-tests/failover_series.py --base-url http://127.0.0.1:8080 --mode kill --output evidence/failover_series_kill.json
|
||||
replicas observed through LB: ['a21409fffeec', 'c4c5ae5b0949']
|
||||
-- stopping a21409fffeec (mode=kill) under load
|
||||
hook 1.01s | LB DOWN after 2.53 s | errors 0 (-) | RPS before 235.6, outage 76.1, after restore 146.5 | p95 outage 187.0 ms | back in rotation 7.06 s | data ok=True
|
||||
-- stopping c4c5ae5b0949 (mode=kill) under load
|
||||
hook 0.92s | LB DOWN after 2.38 s | errors 0 (-) | RPS before 270.1, outage 78.3, after restore 149.7 | p95 outage 187.0 ms | back in rotation 7.19 s | data ok=True
|
||||
PASS: every replica stopped and restored; confirmed data intact, no duplicates
|
||||
|
||||
@@ -0,0 +1,294 @@
|
||||
{
|
||||
"scenario": "stop each API replica in turn under load, restore before the next",
|
||||
"load": {
|
||||
"writers": 4,
|
||||
"readers": 2,
|
||||
"client_timeout_s": 2.0,
|
||||
"write_retry": "same Idempotency-Key and body until 201"
|
||||
},
|
||||
"replicas": [
|
||||
"a21409fffeec",
|
||||
"c4c5ae5b0949"
|
||||
],
|
||||
"rounds": [
|
||||
{
|
||||
"target_instance": "a21409fffeec",
|
||||
"mode": "kill",
|
||||
"lb_up_before": [
|
||||
"api1",
|
||||
"api2"
|
||||
],
|
||||
"stop_hook_seconds": 1.01,
|
||||
"lb_detect_down_seconds": 2.53,
|
||||
"target_last_served_after_stop_seconds": 0.5,
|
||||
"target_served_after_hook_returned": false,
|
||||
"errors_during_outage": 0,
|
||||
"error_kinds": [],
|
||||
"error_window_seconds": 0.0,
|
||||
"restore_hook_seconds": 7.09,
|
||||
"lb_back_up_seconds": 1.45,
|
||||
"target_back_in_rotation_seconds": 7.06,
|
||||
"windows": {
|
||||
"before": {
|
||||
"from_s": 0,
|
||||
"to_s": 5.0,
|
||||
"requests": 1178,
|
||||
"ok": 1178,
|
||||
"errors": 0,
|
||||
"error_ratio": 0.0,
|
||||
"ok_rps": 235.6,
|
||||
"write_ok_rps": 137.8,
|
||||
"latency_ms_ok": {
|
||||
"p50": 16.0,
|
||||
"p95": 78.0,
|
||||
"p99": 110.0
|
||||
},
|
||||
"instances": [
|
||||
"a21409fffeec",
|
||||
"c4c5ae5b0949"
|
||||
]
|
||||
},
|
||||
"outage_first_10s": {
|
||||
"from_s": 5.0,
|
||||
"to_s": 15.0,
|
||||
"requests": 761,
|
||||
"ok": 761,
|
||||
"errors": 0,
|
||||
"error_ratio": 0.0,
|
||||
"ok_rps": 76.1,
|
||||
"write_ok_rps": 46.0,
|
||||
"latency_ms_ok": {
|
||||
"p50": 78.0,
|
||||
"p95": 187.0,
|
||||
"p99": 1015.0
|
||||
},
|
||||
"instances": [
|
||||
"a21409fffeec",
|
||||
"c4c5ae5b0949"
|
||||
]
|
||||
},
|
||||
"outage_rest": {
|
||||
"from_s": 15.0,
|
||||
"to_s": 20.01,
|
||||
"requests": 454,
|
||||
"ok": 454,
|
||||
"errors": 0,
|
||||
"error_ratio": 0.0,
|
||||
"ok_rps": 90.5,
|
||||
"write_ok_rps": 53.8,
|
||||
"latency_ms_ok": {
|
||||
"p50": 78.0,
|
||||
"p95": 110.0,
|
||||
"p99": 203.0
|
||||
},
|
||||
"instances": [
|
||||
"c4c5ae5b0949"
|
||||
]
|
||||
},
|
||||
"after_restore": {
|
||||
"from_s": 20.01,
|
||||
"to_s": 30.44,
|
||||
"requests": 1527,
|
||||
"ok": 1527,
|
||||
"errors": 0,
|
||||
"error_ratio": 0.0,
|
||||
"ok_rps": 146.5,
|
||||
"write_ok_rps": 85.9,
|
||||
"latency_ms_ok": {
|
||||
"p50": 16.0,
|
||||
"p95": 110.0,
|
||||
"p99": 188.0
|
||||
},
|
||||
"instances": [
|
||||
"a21409fffeec",
|
||||
"c4c5ae5b0949"
|
||||
]
|
||||
}
|
||||
},
|
||||
"lb_timeline": [
|
||||
[
|
||||
0.03,
|
||||
[
|
||||
"api1",
|
||||
"api2"
|
||||
]
|
||||
],
|
||||
[
|
||||
7.53,
|
||||
[
|
||||
"api1"
|
||||
]
|
||||
],
|
||||
[
|
||||
21.47,
|
||||
[
|
||||
"api1",
|
||||
"api2"
|
||||
]
|
||||
],
|
||||
[
|
||||
21.94,
|
||||
[
|
||||
"api1"
|
||||
]
|
||||
],
|
||||
[
|
||||
24.48,
|
||||
[
|
||||
"api1",
|
||||
"api2"
|
||||
]
|
||||
]
|
||||
],
|
||||
"data": {
|
||||
"confirmed_writes": 2318,
|
||||
"stored_messages": 2318,
|
||||
"missing_or_altered": 0,
|
||||
"duplicate_ids": 0,
|
||||
"duplicate_texts": 0,
|
||||
"same_key_retries": 0,
|
||||
"ok": true
|
||||
}
|
||||
},
|
||||
{
|
||||
"target_instance": "c4c5ae5b0949",
|
||||
"mode": "kill",
|
||||
"lb_up_before": [
|
||||
"api1",
|
||||
"api2"
|
||||
],
|
||||
"stop_hook_seconds": 0.92,
|
||||
"lb_detect_down_seconds": 2.38,
|
||||
"target_last_served_after_stop_seconds": 0.44,
|
||||
"target_served_after_hook_returned": false,
|
||||
"errors_during_outage": 0,
|
||||
"error_kinds": [],
|
||||
"error_window_seconds": 0.0,
|
||||
"restore_hook_seconds": 7.25,
|
||||
"lb_back_up_seconds": 1.45,
|
||||
"target_back_in_rotation_seconds": 7.19,
|
||||
"windows": {
|
||||
"before": {
|
||||
"from_s": 0,
|
||||
"to_s": 5.02,
|
||||
"requests": 1355,
|
||||
"ok": 1355,
|
||||
"errors": 0,
|
||||
"error_ratio": 0.0,
|
||||
"ok_rps": 270.1,
|
||||
"write_ok_rps": 156.9,
|
||||
"latency_ms_ok": {
|
||||
"p50": 16.0,
|
||||
"p95": 78.0,
|
||||
"p99": 109.0
|
||||
},
|
||||
"instances": [
|
||||
"a21409fffeec",
|
||||
"c4c5ae5b0949"
|
||||
]
|
||||
},
|
||||
"outage_first_10s": {
|
||||
"from_s": 5.02,
|
||||
"to_s": 15.02,
|
||||
"requests": 783,
|
||||
"ok": 783,
|
||||
"errors": 0,
|
||||
"error_ratio": 0.0,
|
||||
"ok_rps": 78.3,
|
||||
"write_ok_rps": 47.5,
|
||||
"latency_ms_ok": {
|
||||
"p50": 78.0,
|
||||
"p95": 187.0,
|
||||
"p99": 1016.0
|
||||
},
|
||||
"instances": [
|
||||
"a21409fffeec",
|
||||
"c4c5ae5b0949"
|
||||
]
|
||||
},
|
||||
"outage_rest": {
|
||||
"from_s": 15.02,
|
||||
"to_s": 20.02,
|
||||
"requests": 439,
|
||||
"ok": 439,
|
||||
"errors": 0,
|
||||
"error_ratio": 0.0,
|
||||
"ok_rps": 87.8,
|
||||
"write_ok_rps": 52.4,
|
||||
"latency_ms_ok": {
|
||||
"p50": 78.0,
|
||||
"p95": 125.0,
|
||||
"p99": 203.0
|
||||
},
|
||||
"instances": [
|
||||
"a21409fffeec"
|
||||
]
|
||||
},
|
||||
"after_restore": {
|
||||
"from_s": 20.02,
|
||||
"to_s": 30.56,
|
||||
"requests": 1579,
|
||||
"ok": 1579,
|
||||
"errors": 0,
|
||||
"error_ratio": 0.0,
|
||||
"ok_rps": 149.7,
|
||||
"write_ok_rps": 89.7,
|
||||
"latency_ms_ok": {
|
||||
"p50": 16.0,
|
||||
"p95": 110.0,
|
||||
"p99": 188.0
|
||||
},
|
||||
"instances": [
|
||||
"a21409fffeec",
|
||||
"c4c5ae5b0949"
|
||||
]
|
||||
}
|
||||
},
|
||||
"lb_timeline": [
|
||||
[
|
||||
0.03,
|
||||
[
|
||||
"api1",
|
||||
"api2"
|
||||
]
|
||||
],
|
||||
[
|
||||
7.39,
|
||||
[
|
||||
"api2"
|
||||
]
|
||||
],
|
||||
[
|
||||
21.47,
|
||||
[
|
||||
"api1",
|
||||
"api2"
|
||||
]
|
||||
],
|
||||
[
|
||||
21.58,
|
||||
[
|
||||
"api2"
|
||||
]
|
||||
],
|
||||
[
|
||||
24.11,
|
||||
[
|
||||
"api1",
|
||||
"api2"
|
||||
]
|
||||
]
|
||||
],
|
||||
"data": {
|
||||
"confirmed_writes": 2474,
|
||||
"stored_messages": 2474,
|
||||
"missing_or_altered": 0,
|
||||
"duplicate_ids": 0,
|
||||
"duplicate_texts": 0,
|
||||
"same_key_retries": 0,
|
||||
"ok": true
|
||||
}
|
||||
}
|
||||
],
|
||||
"pass": true
|
||||
}
|
||||
@@ -0,0 +1,22 @@
|
||||
# 2026-10-26 19:29:59 UTC | одна сессия, 20 запросов GET /users/me через LB
|
||||
1 200 X-Instance-Id=c4c5ae5b0949 X-Request-Id=AC120001C08C-1F90-6ADFAA37167-088A-0008
|
||||
2 200 X-Instance-Id=a21409fffeec X-Request-Id=AC120001C09C-1F90-6ADFAA37189-088B-0008
|
||||
3 200 X-Instance-Id=c4c5ae5b0949 X-Request-Id=AC120001C0A0-1F90-6ADFAA371A4-088C-0008
|
||||
4 200 X-Instance-Id=a21409fffeec X-Request-Id=AC120001C0A4-1F90-6ADFAA371B1-088D-0008
|
||||
5 200 X-Instance-Id=c4c5ae5b0949 X-Request-Id=AC120001C0A6-1F90-6ADFAA371B5-088E-0008
|
||||
6 200 X-Instance-Id=a21409fffeec X-Request-Id=AC120001C0AA-1F90-6ADFAA371B8-088F-0008
|
||||
7 200 X-Instance-Id=c4c5ae5b0949 X-Request-Id=AC120001C0B2-1F90-6ADFAA371D0-0890-0008
|
||||
8 200 X-Instance-Id=a21409fffeec X-Request-Id=AC120001C0BE-1F90-6ADFAA371E0-0891-0008
|
||||
9 200 X-Instance-Id=c4c5ae5b0949 X-Request-Id=AC120001C0C6-1F90-6ADFAA371E3-0892-0008
|
||||
10 200 X-Instance-Id=a21409fffeec X-Request-Id=AC120001C0CE-1F90-6ADFAA371FE-0893-0008
|
||||
11 200 X-Instance-Id=c4c5ae5b0949 X-Request-Id=AC120001C0D6-1F90-6ADFAA37202-0894-0008
|
||||
12 200 X-Instance-Id=a21409fffeec X-Request-Id=AC120001C0E4-1F90-6ADFAA3721D-0895-0008
|
||||
13 200 X-Instance-Id=c4c5ae5b0949 X-Request-Id=AC120001C0EC-1F90-6ADFAA37220-0896-0008
|
||||
14 200 X-Instance-Id=a21409fffeec X-Request-Id=AC120001C0FC-1F90-6ADFAA3723C-0897-0008
|
||||
15 200 X-Instance-Id=c4c5ae5b0949 X-Request-Id=AC120001C106-1F90-6ADFAA3724B-0898-0008
|
||||
16 200 X-Instance-Id=a21409fffeec X-Request-Id=AC120001C10E-1F90-6ADFAA3724D-0899-0008
|
||||
17 200 X-Instance-Id=c4c5ae5b0949 X-Request-Id=AC120001C11A-1F90-6ADFAA37268-089A-0008
|
||||
18 200 X-Instance-Id=a21409fffeec X-Request-Id=AC120001C126-1F90-6ADFAA3726B-089C-0008
|
||||
19 200 X-Instance-Id=c4c5ae5b0949 X-Request-Id=AC120001C130-1F90-6ADFAA37286-089D-0008
|
||||
20 200 X-Instance-Id=a21409fffeec X-Request-Id=AC120001C140-1F90-6ADFAA3728A-089E-0008
|
||||
разных реплик: 2
|
||||
@@ -0,0 +1,17 @@
|
||||
# 2026-10-24 12:39 UTC | НАТИВНЫЙ стенд (без Docker)
|
||||
# все реплики остановлены -> ответ формирует сам HAProxy (http-error): общий JSON-формат ошибок, X-Request-Id совпадает с request_id; X-Instance-Id нет (контракт это допускает)
|
||||
$ curl -si http://127.0.0.1:8080/api/v1/users/me
|
||||
HTTP/1.1 503 Service Unavailable
|
||||
x-request-id: 7F000001CD38-1F90-6ADCA7141E5-336F-0B75
|
||||
content-length: 128
|
||||
content-type: application/json
|
||||
|
||||
{"error":{"code":"unavailable","message":"No API instance is available","request_id":"7F000001CD38-1F90-6ADCA7141E5-336F-0B75"}}
|
||||
|
||||
$ curl -si -H "X-Request-Id: demo-123" http://127.0.0.1:8080/health/ready
|
||||
HTTP/1.1 503 Service Unavailable
|
||||
x-request-id: demo-123
|
||||
content-length: 97
|
||||
content-type: application/json
|
||||
|
||||
{"error":{"code":"unavailable","message":"No API instance is available","request_id":"demo-123"}}
|
||||
@@ -0,0 +1,62 @@
|
||||
# 2026-10-26 19:35:57 UTC | Лог LB (последние строки, без секретов) | exit 0 | 0.2s
|
||||
$ docker compose --env-file .env logs --no-color --tail 60 lb
|
||||
lb-1 | 172.18.0.1:34156 [26/Oct/2026:19:35:54.564] public api/api1 0/0/0/7/7 201 401 ---- 8/8/7/1/0 0/0 rid=AC120001856C-1F90-6ADFAB9A234-1128-0008 inst=c38982836a1d "POST /api/v1/chats/6afb6bc0-d1d7-463c-9bae-0d680f8b449c/messages"
|
||||
lb-1 | 172.18.0.1:34116 [26/Oct/2026:19:35:54.563] public api/api1 0/0/0/10/10 201 401 ---- 7/7/6/0/0 0/0 rid=AC1200018544-1F90-6ADFAB9A233-1126-0008 inst=c38982836a1d "POST /api/v1/chats/6afb6bc0-d1d7-463c-9bae-0d680f8b449c/messages"
|
||||
lb-1 | 172.18.0.1:34168 [26/Oct/2026:19:35:54.578] public api/api1 0/0/0/5/5 201 401 ---- 8/8/7/0/0 0/0 rid=AC1200018578-1F90-6ADFAB9A242-1129-0008 inst=c38982836a1d "POST /api/v1/chats/6afb6bc0-d1d7-463c-9bae-0d680f8b449c/messages"
|
||||
lb-1 | 172.18.0.1:34064 [26/Oct/2026:19:35:54.536] public api/api2 0/0/0/58/59 201 401 ---- 8/8/7/7/0 0/0 rid=AC1200018510-1F90-6ADFAB9A218-111F-0008 inst=ecaa2acc2a0a "POST /api/v1/chats/6afb6bc0-d1d7-463c-9bae-0d680f8b449c/messages"
|
||||
lb-1 | 172.18.0.1:34040 [26/Oct/2026:19:35:54.536] public api/api2 0/0/0/62/62 201 401 ---- 7/7/6/6/0 0/0 rid=AC12000184F8-1F90-6ADFAB9A218-111D-0008 inst=ecaa2acc2a0a "POST /api/v1/chats/6afb6bc0-d1d7-463c-9bae-0d680f8b449c/messages"
|
||||
lb-1 | 172.18.0.1:34098 [26/Oct/2026:19:35:54.537] public api/api2 0/0/0/61/62 201 401 ---- 6/6/5/5/0 0/0 rid=AC1200018532-1F90-6ADFAB9A219-1121-0008 inst=ecaa2acc2a0a "POST /api/v1/chats/6afb6bc0-d1d7-463c-9bae-0d680f8b449c/messages"
|
||||
lb-1 | 172.18.0.1:34100 [26/Oct/2026:19:35:54.538] public api/api2 0/0/0/63/63 201 401 ---- 6/6/5/4/0 0/0 rid=AC1200018534-1F90-6ADFAB9A21A-1123-0008 inst=ecaa2acc2a0a "POST /api/v1/chats/6afb6bc0-d1d7-463c-9bae-0d680f8b449c/messages"
|
||||
lb-1 | 172.18.0.1:34162 [26/Oct/2026:19:35:54.578] public api/api2 0/0/0/27/28 201 401 ---- 5/5/4/3/0 0/0 rid=AC1200018572-1F90-6ADFAB9A242-112A-0008 inst=ecaa2acc2a0a "POST /api/v1/chats/6afb6bc0-d1d7-463c-9bae-0d680f8b449c/messages"
|
||||
lb-1 | 172.18.0.1:34186 [26/Oct/2026:19:35:54.600] public api/api1 0/0/0/7/7 201 401 ---- 6/6/3/0/0 0/0 rid=AC120001858A-1F90-6ADFAB9A258-112C-0008 inst=c38982836a1d "POST /api/v1/chats/6afb6bc0-d1d7-463c-9bae-0d680f8b449c/messages"
|
||||
lb-1 | 172.18.0.1:34128 [26/Oct/2026:19:35:54.563] public api/api2 0/0/0/44/44 201 401 ---- 5/5/2/2/0 0/0 rid=AC1200018550-1F90-6ADFAB9A233-1125-0008 inst=ecaa2acc2a0a "POST /api/v1/chats/6afb6bc0-d1d7-463c-9bae-0d680f8b449c/messages"
|
||||
lb-1 | 172.18.0.1:34182 [26/Oct/2026:19:35:54.587] public api/api2 0/0/0/21/21 201 401 ---- 4/4/1/1/0 0/0 rid=AC1200018586-1F90-6ADFAB9A24B-112B-0008 inst=ecaa2acc2a0a "POST /api/v1/chats/6afb6bc0-d1d7-463c-9bae-0d680f8b449c/messages"
|
||||
lb-1 | 172.18.0.1:34142 [26/Oct/2026:19:35:54.564] public api/api2 0/0/0/45/45 201 401 ---- 3/3/0/0/0 0/0 rid=AC120001855E-1F90-6ADFAB9A234-1127-0008 inst=ecaa2acc2a0a "POST /api/v1/chats/6afb6bc0-d1d7-463c-9bae-0d680f8b449c/messages"
|
||||
lb-1 | 172.18.0.1:34198 [26/Oct/2026:19:35:54.614] public api/api1 0/0/0/14/14 201 401 ---- 8/8/6/2/0 0/0 rid=AC1200018596-1F90-6ADFAB9A25F-112E-0008 inst=c38982836a1d "POST /api/v1/chats/6afb6bc0-d1d7-463c-9bae-0d680f8b449c/messages"
|
||||
lb-1 | 172.18.0.1:34230 [26/Oct/2026:19:35:54.621] public api/api1 0/0/0/10/11 201 401 ---- 7/7/5/1/0 0/0 rid=AC12000185B6-1F90-6ADFAB9A26A-1130-0008 inst=c38982836a1d "POST /api/v1/chats/6afb6bc0-d1d7-463c-9bae-0d680f8b449c/messages"
|
||||
lb-1 | 172.18.0.1:34242 [26/Oct/2026:19:35:54.622] public api/api1 0/0/0/9/9 201 401 ---- 6/6/4/0/0 0/0 rid=AC12000185C2-1F90-6ADFAB9A26E-1132-0008 inst=c38982836a1d "POST /api/v1/chats/6afb6bc0-d1d7-463c-9bae-0d680f8b449c/messages"
|
||||
lb-1 | 172.18.0.1:34270 [26/Oct/2026:19:35:54.638] public api/api1 0/0/0/6/7 201 401 ---- 8/8/6/1/0 0/0 rid=AC12000185DE-1F90-6ADFAB9A27D-1134-0008 inst=c38982836a1d "POST /api/v1/chats/6afb6bc0-d1d7-463c-9bae-0d680f8b449c/messages"
|
||||
lb-1 | 172.18.0.1:34266 [26/Oct/2026:19:35:54.640] public api/api1 0/0/0/6/6 201 401 ---- 7/7/5/0/0 0/0 rid=AC12000185DA-1F90-6ADFAB9A26E-1136-0008 inst=c38982836a1d "POST /api/v1/chats/6afb6bc0-d1d7-463c-9bae-0d680f8b449c/messages"
|
||||
lb-1 | 172.18.0.1:34278 [26/Oct/2026:19:35:54.656] public api/api1 0/0/0/5/5 201 401 ---- 8/8/6/0/0 0/0 rid=AC12000185E6-1F90-6ADFAB9A27F-1138-0008 inst=c38982836a1d "POST /api/v1/chats/6afb6bc0-d1d7-463c-9bae-0d680f8b449c/messages"
|
||||
lb-1 | 172.18.0.1:34302 [26/Oct/2026:19:35:54.686] public api/api1 0/0/0/6/6 201 401 ---- 8/8/7/0/0 0/0 rid=AC12000185FE-1F90-6ADFAB9A299-113A-0008 inst=c38982836a1d "POST /api/v1/chats/6afb6bc0-d1d7-463c-9bae-0d680f8b449c/messages"
|
||||
lb-1 | 172.18.0.1:34282 [26/Oct/2026:19:35:54.639] public api/api2 0/0/0/66/66 201 401 ---- 8/8/7/7/0 0/0 rid=AC12000185EA-1F90-6ADFAB9A27F-1135-0008 inst=ecaa2acc2a0a "POST /api/v1/chats/6afb6bc0-d1d7-463c-9bae-0d680f8b449c/messages"
|
||||
lb-1 | 172.18.0.1:34254 [26/Oct/2026:19:35:54.622] public api/api2 0/0/0/83/84 201 401 ---- 7/7/6/6/0 0/0 rid=AC12000185CE-1F90-6ADFAB9A26E-1133-0008 inst=ecaa2acc2a0a "POST /api/v1/chats/6afb6bc0-d1d7-463c-9bae-0d680f8b449c/messages"
|
||||
lb-1 | 172.18.0.1:34294 [26/Oct/2026:19:35:54.671] public api/api2 0/0/0/36/36 201 401 ---- 6/6/5/5/0 0/0 rid=AC12000185F6-1F90-6ADFAB9A28C-1139-0008 inst=ecaa2acc2a0a "POST /api/v1/chats/6afb6bc0-d1d7-463c-9bae-0d680f8b449c/messages"
|
||||
lb-1 | 172.18.0.1:34338 [26/Oct/2026:19:35:54.715] public api/api1 0/0/0/5/5 201 401 ---- 8/8/5/0/0 0/0 rid=AC1200018622-1F90-6ADFAB9A2CB-113C-0008 inst=c38982836a1d "POST /api/v1/chats/6afb6bc0-d1d7-463c-9bae-0d680f8b449c/messages"
|
||||
lb-1 | 172.18.0.1:34346 [26/Oct/2026:19:35:54.734] public api/api1 0/0/1/6/7 201 401 ---- 8/8/7/0/0 0/0 rid=AC120001862A-1F90-6ADFAB9A2CC-113E-0008 inst=c38982836a1d "POST /api/v1/chats/6afb6bc0-d1d7-463c-9bae-0d680f8b449c/messages"
|
||||
lb-1 | 172.18.0.1:34360 [26/Oct/2026:19:35:54.745] public api/api1 0/0/0/5/5 201 401 ---- 8/8/7/0/0 0/0 rid=AC1200018638-1F90-6ADFAB9A2E9-1140-0008 inst=c38982836a1d "POST /api/v1/chats/6afb6bc0-d1d7-463c-9bae-0d680f8b449c/messages"
|
||||
lb-1 | 172.18.0.1:34290 [26/Oct/2026:19:35:54.652] public api/api2 0/0/0/56/123 201 401 ---- 8/8/7/7/0 0/0 rid=AC12000185F2-1F90-6ADFAB9A28C-1137-0008 inst=ecaa2acc2a0a "POST /api/v1/chats/6afb6bc0-d1d7-463c-9bae-0d680f8b449c/messages"
|
||||
lb-1 | 172.18.0.1:34192 [26/Oct/2026:19:35:54.609] public api/api2 0/0/0/171/172 201 401 ---- 8/8/7/6/0 0/0 rid=AC1200018590-1F90-6ADFAB9A25E-112D-0008 inst=ecaa2acc2a0a "POST /api/v1/chats/6afb6bc0-d1d7-463c-9bae-0d680f8b449c/messages"
|
||||
lb-1 | 172.18.0.1:34240 [26/Oct/2026:19:35:54.620] public api/api2 0/0/1/159/160 201 401 ---- 7/7/6/5/0 0/0 rid=AC12000185C0-1F90-6ADFAB9A26C-1131-0008 inst=ecaa2acc2a0a "POST /api/v1/chats/6afb6bc0-d1d7-463c-9bae-0d680f8b449c/messages"
|
||||
lb-1 | 172.18.0.1:34214 [26/Oct/2026:19:35:54.620] public api/api2 0/0/1/160/161 201 401 ---- 6/6/5/4/0 0/0 rid=AC12000185A6-1F90-6ADFAB9A269-112F-0008 inst=ecaa2acc2a0a "POST /api/v1/chats/6afb6bc0-d1d7-463c-9bae-0d680f8b449c/messages"
|
||||
lb-1 | 172.18.0.1:34312 [26/Oct/2026:19:35:54.698] public api/api2 0/0/0/87/87 201 401 ---- 5/5/4/3/0 0/0 rid=AC1200018608-1F90-6ADFAB9A2BA-113B-0008 inst=ecaa2acc2a0a "POST /api/v1/chats/6afb6bc0-d1d7-463c-9bae-0d680f8b449c/messages"
|
||||
lb-1 | 172.18.0.1:34374 [26/Oct/2026:19:35:54.779] public api/api1 0/0/0/8/8 201 401 ---- 4/4/3/0/0 0/0 rid=AC1200018646-1F90-6ADFAB9A30B-1142-0008 inst=c38982836a1d "POST /api/v1/chats/6afb6bc0-d1d7-463c-9bae-0d680f8b449c/messages"
|
||||
lb-1 | 172.18.0.1:34364 [26/Oct/2026:19:35:54.755] public api/api2 0/0/0/35/35 201 401 ---- 3/3/2/2/0 0/0 rid=AC120001863C-1F90-6ADFAB9A2F3-1141-0008 inst=ecaa2acc2a0a "POST /api/v1/chats/6afb6bc0-d1d7-463c-9bae-0d680f8b449c/messages"
|
||||
lb-1 | 172.18.0.1:34326 [26/Oct/2026:19:35:54.734] public api/api2 0/0/0/59/59 201 401 ---- 2/2/1/1/0 0/0 rid=AC1200018616-1F90-6ADFAB9A2CB-113F-0008 inst=ecaa2acc2a0a "POST /api/v1/chats/6afb6bc0-d1d7-463c-9bae-0d680f8b449c/messages"
|
||||
lb-1 | 172.18.0.1:34354 [26/Oct/2026:19:35:54.725] public api/api2 0/0/0/68/68 201 401 ---- 1/1/0/0/0 0/0 rid=AC1200018632-1F90-6ADFAB9A2D5-113D-0008 inst=ecaa2acc2a0a "POST /api/v1/chats/6afb6bc0-d1d7-463c-9bae-0d680f8b449c/messages"
|
||||
lb-1 | 172.18.0.1:34384 [26/Oct/2026:19:35:54.801] public api/api1 0/0/0/14/14 201 401 ---- 8/8/7/3/0 0/0 rid=AC1200018650-1F90-6ADFAB9A31B-1144-0008 inst=c38982836a1d "POST /api/v1/chats/6afb6bc0-d1d7-463c-9bae-0d680f8b449c/messages"
|
||||
lb-1 | 172.18.0.1:34426 [26/Oct/2026:19:35:54.802] public api/api1 0/0/0/15/16 201 401 ---- 7/7/6/2/0 0/0 rid=AC120001867A-1F90-6ADFAB9A322-1148-0008 inst=c38982836a1d "POST /api/v1/chats/6afb6bc0-d1d7-463c-9bae-0d680f8b449c/messages"
|
||||
lb-1 | 172.18.0.1:34392 [26/Oct/2026:19:35:54.802] public api/api1 0/0/0/16/16 201 401 ---- 6/6/5/1/0 0/0 rid=AC1200018658-1F90-6ADFAB9A31D-1146-0008 inst=c38982836a1d "POST /api/v1/chats/6afb6bc0-d1d7-463c-9bae-0d680f8b449c/messages"
|
||||
lb-1 | 172.18.0.1:34440 [26/Oct/2026:19:35:54.802] public api/api1 0/0/0/16/16 201 401 ---- 5/5/4/0/0 0/0 rid=AC1200018688-1F90-6ADFAB9A322-114A-0008 inst=c38982836a1d "POST /api/v1/chats/6afb6bc0-d1d7-463c-9bae-0d680f8b449c/messages"
|
||||
lb-1 | 172.18.0.1:34390 [26/Oct/2026:19:35:54.799] public api/api2 0/0/1/18/20 201 401 ---- 4/4/3/3/0 0/0 rid=AC1200018656-1F90-6ADFAB9A31C-1143-0008 inst=ecaa2acc2a0a "POST /api/v1/chats/6afb6bc0-d1d7-463c-9bae-0d680f8b449c/messages"
|
||||
lb-1 | 172.18.0.1:34382 [26/Oct/2026:19:35:54.801] public api/api2 0/0/0/18/18 201 401 ---- 3/3/2/2/0 0/0 rid=AC120001864E-1F90-6ADFAB9A31B-1145-0008 inst=ecaa2acc2a0a "POST /api/v1/chats/6afb6bc0-d1d7-463c-9bae-0d680f8b449c/messages"
|
||||
lb-1 | 172.18.0.1:34408 [26/Oct/2026:19:35:54.802] public api/api2 0/0/0/17/17 201 401 ---- 2/2/1/1/0 0/0 rid=AC1200018668-1F90-6ADFAB9A322-1147-0008 inst=ecaa2acc2a0a "POST /api/v1/chats/6afb6bc0-d1d7-463c-9bae-0d680f8b449c/messages"
|
||||
lb-1 | 172.18.0.1:34422 [26/Oct/2026:19:35:54.802] public api/api2 0/0/0/18/18 201 401 ---- 1/1/0/0/0 0/0 rid=AC1200018676-1F90-6ADFAB9A322-1149-0008 inst=ecaa2acc2a0a "POST /api/v1/chats/6afb6bc0-d1d7-463c-9bae-0d680f8b449c/messages"
|
||||
lb-1 | 172.18.0.1:34462 [26/Oct/2026:19:35:54.837] public api/api1 0/0/0/14/14 201 401 ---- 8/8/7/3/0 0/0 rid=AC120001869E-1F90-6ADFAB9A344-114E-0008 inst=c38982836a1d "POST /api/v1/chats/6afb6bc0-d1d7-463c-9bae-0d680f8b449c/messages"
|
||||
lb-1 | 172.18.0.1:34508 [26/Oct/2026:19:35:54.838] public api/api1 0/0/0/16/16 201 401 ---- 7/7/6/2/0 0/0 rid=AC12000186CC-1F90-6ADFAB9A346-1152-0008 inst=c38982836a1d "POST /api/v1/chats/6afb6bc0-d1d7-463c-9bae-0d680f8b449c/messages"
|
||||
lb-1 | 172.18.0.1:34450 [26/Oct/2026:19:35:54.834] public api/api1 0/0/0/20/20 201 401 ---- 6/6/5/1/0 0/0 rid=AC1200018692-1F90-6ADFAB9A33F-114C-0008 inst=c38982836a1d "POST /api/v1/chats/6afb6bc0-d1d7-463c-9bae-0d680f8b449c/messages"
|
||||
lb-1 | 172.18.0.1:34490 [26/Oct/2026:19:35:54.838] public api/api1 0/0/0/16/17 201 401 ---- 5/5/4/0/0 0/0 rid=AC12000186BA-1F90-6ADFAB9A346-1150-0008 inst=c38982836a1d "POST /api/v1/chats/6afb6bc0-d1d7-463c-9bae-0d680f8b449c/messages"
|
||||
lb-1 | 172.18.0.1:34534 [26/Oct/2026:19:35:54.865] public api/api1 0/0/0/10/10 201 401 ---- 8/8/7/1/0 0/0 rid=AC12000186E6-1F90-6ADFAB9A361-1156-0008 inst=c38982836a1d "POST /api/v1/chats/6afb6bc0-d1d7-463c-9bae-0d680f8b449c/messages"
|
||||
lb-1 | 172.18.0.1:34530 [26/Oct/2026:19:35:54.865] public api/api1 0/0/0/12/12 201 401 ---- 7/7/6/0/0 0/0 rid=AC12000186E2-1F90-6ADFAB9A361-1155-0008 inst=c38982836a1d "POST /api/v1/chats/6afb6bc0-d1d7-463c-9bae-0d680f8b449c/messages"
|
||||
lb-1 | 172.18.0.1:34446 [26/Oct/2026:19:35:54.834] public api/api2 0/0/0/59/59 201 401 ---- 8/8/6/6/0 0/0 rid=AC120001868E-1F90-6ADFAB9A337-114B-0008 inst=ecaa2acc2a0a "POST /api/v1/chats/6afb6bc0-d1d7-463c-9bae-0d680f8b449c/messages"
|
||||
lb-1 | 172.18.0.1:34458 [26/Oct/2026:19:35:54.836] public api/api2 0/0/0/62/62 201 401 ---- 8/8/6/5/0 0/0 rid=AC120001869A-1F90-6ADFAB9A343-114D-0008 inst=ecaa2acc2a0a "POST /api/v1/chats/6afb6bc0-d1d7-463c-9bae-0d680f8b449c/messages"
|
||||
lb-1 | 172.18.0.1:34538 [26/Oct/2026:19:35:54.897] public api/api1 0/0/1/8/9 201 401 ---- 8/8/7/1/0 0/0 rid=AC12000186EA-1F90-6ADFAB9A372-1158-0008 inst=c38982836a1d "POST /api/v1/chats/6afb6bc0-d1d7-463c-9bae-0d680f8b449c/messages"
|
||||
lb-1 | 172.18.0.1:34478 [26/Oct/2026:19:35:54.837] public api/api2 0/0/0/71/71 201 401 ---- 7/7/6/5/0 0/0 rid=AC12000186AE-1F90-6ADFAB9A345-114F-0008 inst=ecaa2acc2a0a "POST /api/v1/chats/6afb6bc0-d1d7-463c-9bae-0d680f8b449c/messages"
|
||||
lb-1 | 172.18.0.1:34570 [26/Oct/2026:19:35:54.904] public api/api1 0/0/0/9/9 201 401 ---- 8/8/5/0/0 0/0 rid=AC120001870A-1F90-6ADFAB9A388-115A-0008 inst=c38982836a1d "POST /api/v1/chats/6afb6bc0-d1d7-463c-9bae-0d680f8b449c/messages"
|
||||
lb-1 | 172.18.0.1:34594 [26/Oct/2026:19:35:54.934] public api/api1 0/0/1/5/6 201 401 ---- 7/7/6/0/0 0/0 rid=AC1200018722-1F90-6ADFAB9A391-115D-0008 inst=c38982836a1d "POST /api/v1/chats/6afb6bc0-d1d7-463c-9bae-0d680f8b449c/messages"
|
||||
lb-1 | 172.18.0.1:34498 [26/Oct/2026:19:35:54.838] public api/api2 0/0/0/71/136 201 401 ---- 6/6/5/5/0 0/0 rid=AC12000186C2-1F90-6ADFAB9A346-1151-0008 inst=ecaa2acc2a0a "POST /api/v1/chats/6afb6bc0-d1d7-463c-9bae-0d680f8b449c/messages"
|
||||
lb-1 | 172.18.0.1:34522 [26/Oct/2026:19:35:54.856] public api/api2 0/0/0/121/121 201 401 ---- 5/5/4/4/0 0/0 rid=AC12000186DA-1F90-6ADFAB9A358-1153-0008 inst=ecaa2acc2a0a "POST /api/v1/chats/6afb6bc0-d1d7-463c-9bae-0d680f8b449c/messages"
|
||||
lb-1 | 172.18.0.1:34536 [26/Oct/2026:19:35:54.882] public api/api2 0/0/0/96/96 201 401 ---- 4/4/3/3/0 0/0 rid=AC12000186E8-1F90-6ADFAB9A372-1157-0008 inst=ecaa2acc2a0a "POST /api/v1/chats/6afb6bc0-d1d7-463c-9bae-0d680f8b449c/messages"
|
||||
lb-1 | 172.18.0.1:34528 [26/Oct/2026:19:35:54.865] public api/api2 0/0/0/114/115 201 401 ---- 3/3/2/2/0 0/0 rid=AC12000186E0-1F90-6ADFAB9A361-1154-0008 inst=ecaa2acc2a0a "POST /api/v1/chats/6afb6bc0-d1d7-463c-9bae-0d680f8b449c/messages"
|
||||
lb-1 | 172.18.0.1:34556 [26/Oct/2026:19:35:54.899] public api/api2 0/0/0/86/86 201 401 ---- 2/2/1/1/0 0/0 rid=AC12000186FC-1F90-6ADFAB9A383-1159-0008 inst=ecaa2acc2a0a "POST /api/v1/chats/6afb6bc0-d1d7-463c-9bae-0d680f8b449c/messages"
|
||||
lb-1 | 172.18.0.1:34586 [26/Oct/2026:19:35:54.934] public api/api2 0/0/1/51/53 201 401 ---- 1/1/0/0/0 0/0 rid=AC120001871A-1F90-6ADFAB9A391-115C-0008 inst=ecaa2acc2a0a "POST /api/v1/chats/6afb6bc0-d1d7-463c-9bae-0d680f8b449c/messages"
|
||||
@@ -0,0 +1,17 @@
|
||||
{
|
||||
"lab": 3,
|
||||
"workload": "closed-loop POST messages; no automatic retries",
|
||||
"requested_duration_seconds": 30.0,
|
||||
"elapsed_seconds": 30.093,
|
||||
"concurrency": 8,
|
||||
"successful_requests": 4367,
|
||||
"failed_requests": 0,
|
||||
"error_ratio": 0.0,
|
||||
"successful_rps": 145.117,
|
||||
"successful_latency_ms": {
|
||||
"p50": 32.0,
|
||||
"p95": 157.0,
|
||||
"p99": 203.0
|
||||
},
|
||||
"note": "Latency percentiles cover successes only. Timeouts/errors are counted separately; closed-loop has coordinated omission and client overhead."
|
||||
}
|
||||
@@ -0,0 +1,28 @@
|
||||
# 2026-10-26 19:35:55 UTC | Нагрузка 30 с, concurrency 8 | exit 0 | 30.4s
|
||||
$ python tests/load.py --base-url http://127.0.0.1:8080 --duration 30 --concurrency 8 --output evidence/load.json
|
||||
{
|
||||
"lab": 3,
|
||||
"workload": "closed-loop POST messages; no automatic retries",
|
||||
"requested_duration_seconds": 30.0,
|
||||
"elapsed_seconds": 30.093,
|
||||
"concurrency": 8,
|
||||
"successful_requests": 4367,
|
||||
"failed_requests": 0,
|
||||
"error_ratio": 0.0,
|
||||
"successful_rps": 145.117,
|
||||
"successful_latency_ms": {
|
||||
"p50": 32.0,
|
||||
"p95": 157.0,
|
||||
"p99": 203.0
|
||||
},
|
||||
"note": "Latency percentiles cover successes only. Timeouts/errors are counted separately; closed-loop has coordinated omission and client overhead."
|
||||
}
|
||||
# 2026-10-26 19:35:57 UTC | CPU/RAM после нагрузки | exit 0 | 2.2s
|
||||
$ docker stats --no-stream --format table {{.Name}} {{.CPUPerc}} {{.MemUsage}} {{.MemPerc}}
|
||||
NAME CPU % MEM USAGE / LIMIT MEM %
|
||||
messenger-lab3-api-6 19.92% 89.26MiB / 256MiB 34.87%
|
||||
messenger-lab3-api-5 0.67% 89.33MiB / 256MiB 34.89%
|
||||
messenger-lab3-lb-1 0.14% 14.34MiB / 128MiB 11.20%
|
||||
messenger-lab3-postgres-1 11.42% 68.96MiB / 512MiB 13.47%
|
||||
messenger-lab3-redis-1 2.36% 4.148MiB / 96MiB 4.32%
|
||||
|
||||
@@ -0,0 +1,26 @@
|
||||
# 2026-10-24 12:39 UTC | НАТИВНЫЙ стенд (без Docker), те же src/ и migrations/
|
||||
## 1. Реплика не готова, пока схема не мигрирована; migrate однократный, повтор — no-op; две копии одновременно — advisory lock
|
||||
$ # реплика против ПУСТОЙ БД, миграции ещё не выполнялись (RUN_MIGRATIONS_ON_START=false)
|
||||
$ curl -s -w " %{http_code}" http://127.0.0.1:18099/health/ready
|
||||
{"error":{"code":"unavailable","message":"Database schema is not migrated","request_id":"1f3109e3-a934-4c1b-bfbd-22350e35e05d"}} 503
|
||||
$ psql -c "select to_regclass('schema_migrations')"
|
||||
NULL
|
||||
$ python -m src.migrate # = сервис migrate (one-shot)
|
||||
applied migrations: 001_init, 002_session_cache_invalidations, 003_idempotency_keys
|
||||
$ python -m src.migrate # повтор: no-op
|
||||
schema is up to date; nothing applied
|
||||
$ # две копии migrate одновременно (advisory lock) на ещё одной пустой БД
|
||||
NOTICE: database "messenger_race" does not exist, skipping
|
||||
copy A: schema is up to date; nothing applied
|
||||
copy B: applied migrations: 001_init, 002_session_cache_invalidations, 003_idempotency_keys
|
||||
schema_migrations rows: 001_init, 002_session_cache_invalidations, 003_idempotency_keys
|
||||
$ curl -s -w " %{http_code}" http://127.0.0.1:18099/health/ready # та же реплика, без рестарта
|
||||
{"status":"ok"} 200
|
||||
|
||||
## 2. Совместимость миграции 003 со старой версией (rolling update): код lab2 работает на схеме lab3 одновременно с репликами lab3
|
||||
$ # старая версия: код lab2 (без Idempotency-Key/X-Instance-Id) против БД, мигрированной до 003
|
||||
migrations applied at startup: none
|
||||
$ cd lab2 && python tests/smoke.py --base-url http://127.0.0.1:18098 # контракт lab2
|
||||
PASS: lab2 public API scenario; infrastructure and grading evidence remain separate.
|
||||
$ cd lab3 && python tests/smoke.py --base-url http://127.0.0.1:8080 # одновременно реплики lab3 за LB
|
||||
PASS: lab3 public API scenario; infrastructure and grading evidence remain separate.
|
||||
@@ -0,0 +1,24 @@
|
||||
# 2026-10-26 19:35:10 UTC | Persistence: контейнеры до | exit 0 | 0.3s
|
||||
$ docker compose --env-file .env ps -a --format table {{.Name}} {{.Status}} {{.RunningFor}}
|
||||
NAME STATUS CREATED
|
||||
messenger-lab3-api-5 Up 31 seconds (healthy) 32 seconds ago
|
||||
messenger-lab3-api-6 Up 21 seconds (healthy) 22 seconds ago
|
||||
messenger-lab3-lb-1 Up 18 minutes (healthy) 44 minutes ago
|
||||
messenger-lab3-migrate-1 Exited (0) 4 minutes ago 44 minutes ago
|
||||
messenger-lab3-postgres-1 Up 18 minutes (healthy) 44 minutes ago
|
||||
messenger-lab3-redis-1 Up 18 minutes (healthy) 44 minutes ago
|
||||
# 2026-10-26 19:35:24 UTC | Persistence: make test-persistence | exit 0 | 14.1s
|
||||
$ python tests/resilience.py --mode persistence --action-script scripts\restart.cmd --base-url http://127.0.0.1:8080
|
||||
Executing explicit persistence hook; hook output suppressed to avoid leaking secrets.
|
||||
PASS: persistence preserved confirmed data and existing session. Hook scope needs operator evidence.
|
||||
|
||||
# 2026-10-26 19:35:24 UTC | Persistence: контейнеры после (Status = Up N seconds) | exit 0 | 0.3s
|
||||
$ docker compose --env-file .env ps -a --format table {{.Name}} {{.Status}} {{.RunningFor}}
|
||||
NAME STATUS CREATED
|
||||
messenger-lab3-api-5 Up 7 seconds (healthy) 46 seconds ago
|
||||
messenger-lab3-api-6 Up 7 seconds (healthy) 36 seconds ago
|
||||
messenger-lab3-lb-1 Up Less than a second (health: starting) 44 minutes ago
|
||||
messenger-lab3-migrate-1 Exited (0) 5 minutes ago 44 minutes ago
|
||||
messenger-lab3-postgres-1 Up 7 seconds (healthy) 44 minutes ago
|
||||
messenger-lab3-redis-1 Up 7 seconds (healthy) 44 minutes ago
|
||||
|
||||
@@ -0,0 +1,147 @@
|
||||
{
|
||||
"scenario": "rolling update of all API replicas under continuous load",
|
||||
"update_command": "scripts/ops.py rolling-update",
|
||||
"update_exit_code": 0,
|
||||
"update_seconds": 27.69,
|
||||
"replicas_before": [
|
||||
"6e2f0c643449",
|
||||
"b6e350f043f3"
|
||||
],
|
||||
"replicas_after": [
|
||||
"c38982836a1d",
|
||||
"ecaa2acc2a0a"
|
||||
],
|
||||
"all_replaced": true,
|
||||
"errors_during_update": 0,
|
||||
"error_kinds": [],
|
||||
"windows": {
|
||||
"before": {
|
||||
"from_s": 0,
|
||||
"to_s": 5.02,
|
||||
"requests": 1342,
|
||||
"ok": 1342,
|
||||
"errors": 0,
|
||||
"error_ratio": 0.0,
|
||||
"ok_rps": 267.5,
|
||||
"write_ok_rps": 159.5,
|
||||
"latency_ms_ok": {
|
||||
"p50": 16.0,
|
||||
"p95": 63.0,
|
||||
"p99": 94.0
|
||||
},
|
||||
"instances": [
|
||||
"6e2f0c643449",
|
||||
"b6e350f043f3"
|
||||
]
|
||||
},
|
||||
"during_update": {
|
||||
"from_s": 5.02,
|
||||
"to_s": 32.7,
|
||||
"requests": 6993,
|
||||
"ok": 6993,
|
||||
"errors": 0,
|
||||
"error_ratio": 0.0,
|
||||
"ok_rps": 252.6,
|
||||
"write_ok_rps": 149.3,
|
||||
"latency_ms_ok": {
|
||||
"p50": 16.0,
|
||||
"p95": 78.0,
|
||||
"p99": 140.0
|
||||
},
|
||||
"instances": [
|
||||
"6e2f0c643449",
|
||||
"b6e350f043f3",
|
||||
"c38982836a1d",
|
||||
"ecaa2acc2a0a"
|
||||
]
|
||||
},
|
||||
"after": {
|
||||
"from_s": 32.7,
|
||||
"to_s": 40.77,
|
||||
"requests": 2045,
|
||||
"ok": 2045,
|
||||
"errors": 0,
|
||||
"error_ratio": 0.0,
|
||||
"ok_rps": 253.6,
|
||||
"write_ok_rps": 152.8,
|
||||
"latency_ms_ok": {
|
||||
"p50": 16.0,
|
||||
"p95": 78.0,
|
||||
"p99": 94.0
|
||||
},
|
||||
"instances": [
|
||||
"c38982836a1d",
|
||||
"ecaa2acc2a0a"
|
||||
]
|
||||
}
|
||||
},
|
||||
"lb_timeline": [
|
||||
[
|
||||
0.02,
|
||||
[
|
||||
"api1",
|
||||
"api3"
|
||||
]
|
||||
],
|
||||
[
|
||||
11.42,
|
||||
[
|
||||
"api1",
|
||||
"api2",
|
||||
"api3"
|
||||
]
|
||||
],
|
||||
[
|
||||
12.23,
|
||||
[
|
||||
"api1",
|
||||
"api3"
|
||||
]
|
||||
],
|
||||
[
|
||||
14.77,
|
||||
[
|
||||
"api1",
|
||||
"api2",
|
||||
"api3"
|
||||
]
|
||||
],
|
||||
[
|
||||
19.16,
|
||||
[
|
||||
"api1",
|
||||
"api2"
|
||||
]
|
||||
],
|
||||
[
|
||||
25.72,
|
||||
[
|
||||
"api1",
|
||||
"api2",
|
||||
"api3"
|
||||
]
|
||||
],
|
||||
[
|
||||
29.66,
|
||||
[
|
||||
"api2",
|
||||
"api3"
|
||||
]
|
||||
]
|
||||
],
|
||||
"data": {
|
||||
"confirmed_writes": 6166,
|
||||
"stored_messages": 6166,
|
||||
"missing_or_altered": 0,
|
||||
"duplicate_ids": 0,
|
||||
"duplicate_texts": 0,
|
||||
"same_key_retries": 0,
|
||||
"ok": true
|
||||
},
|
||||
"load": {
|
||||
"writers": 4,
|
||||
"readers": 2,
|
||||
"client_timeout_s": 2.0
|
||||
},
|
||||
"pass": true
|
||||
}
|
||||
@@ -0,0 +1,147 @@
|
||||
{
|
||||
"scenario": "rolling update of all API replicas under continuous load",
|
||||
"update_command": "scripts/ops.py rolling-update",
|
||||
"update_exit_code": 0,
|
||||
"update_seconds": 28.38,
|
||||
"replicas_before": [
|
||||
"a21409fffeec",
|
||||
"c4c5ae5b0949"
|
||||
],
|
||||
"replicas_after": [
|
||||
"6e2f0c643449",
|
||||
"b6e350f043f3"
|
||||
],
|
||||
"all_replaced": true,
|
||||
"errors_during_update": 0,
|
||||
"error_kinds": [],
|
||||
"windows": {
|
||||
"before": {
|
||||
"from_s": 0,
|
||||
"to_s": 5.0,
|
||||
"requests": 1161,
|
||||
"ok": 1161,
|
||||
"errors": 0,
|
||||
"error_ratio": 0.0,
|
||||
"ok_rps": 232.2,
|
||||
"write_ok_rps": 136.2,
|
||||
"latency_ms_ok": {
|
||||
"p50": 16.0,
|
||||
"p95": 78.0,
|
||||
"p99": 187.0
|
||||
},
|
||||
"instances": [
|
||||
"a21409fffeec",
|
||||
"c4c5ae5b0949"
|
||||
]
|
||||
},
|
||||
"during_update": {
|
||||
"from_s": 5.0,
|
||||
"to_s": 33.38,
|
||||
"requests": 6950,
|
||||
"ok": 6950,
|
||||
"errors": 0,
|
||||
"error_ratio": 0.0,
|
||||
"ok_rps": 244.9,
|
||||
"write_ok_rps": 145.0,
|
||||
"latency_ms_ok": {
|
||||
"p50": 16.0,
|
||||
"p95": 93.0,
|
||||
"p99": 156.0
|
||||
},
|
||||
"instances": [
|
||||
"6e2f0c643449",
|
||||
"a21409fffeec",
|
||||
"b6e350f043f3",
|
||||
"c4c5ae5b0949"
|
||||
]
|
||||
},
|
||||
"after": {
|
||||
"from_s": 33.38,
|
||||
"to_s": 41.41,
|
||||
"requests": 2008,
|
||||
"ok": 2008,
|
||||
"errors": 0,
|
||||
"error_ratio": 0.0,
|
||||
"ok_rps": 250.0,
|
||||
"write_ok_rps": 147.6,
|
||||
"latency_ms_ok": {
|
||||
"p50": 16.0,
|
||||
"p95": 78.0,
|
||||
"p99": 110.0
|
||||
},
|
||||
"instances": [
|
||||
"6e2f0c643449",
|
||||
"b6e350f043f3"
|
||||
]
|
||||
}
|
||||
},
|
||||
"lb_timeline": [
|
||||
[
|
||||
0.0,
|
||||
[
|
||||
"api1",
|
||||
"api2"
|
||||
]
|
||||
],
|
||||
[
|
||||
12.5,
|
||||
[
|
||||
"api1",
|
||||
"api2",
|
||||
"api3"
|
||||
]
|
||||
],
|
||||
[
|
||||
12.73,
|
||||
[
|
||||
"api1",
|
||||
"api2"
|
||||
]
|
||||
],
|
||||
[
|
||||
15.25,
|
||||
[
|
||||
"api1",
|
||||
"api2",
|
||||
"api3"
|
||||
]
|
||||
],
|
||||
[
|
||||
19.28,
|
||||
[
|
||||
"api2",
|
||||
"api3"
|
||||
]
|
||||
],
|
||||
[
|
||||
25.73,
|
||||
[
|
||||
"api1",
|
||||
"api2",
|
||||
"api3"
|
||||
]
|
||||
],
|
||||
[
|
||||
29.34,
|
||||
[
|
||||
"api1",
|
||||
"api3"
|
||||
]
|
||||
]
|
||||
],
|
||||
"data": {
|
||||
"confirmed_writes": 5981,
|
||||
"stored_messages": 5981,
|
||||
"missing_or_altered": 0,
|
||||
"duplicate_ids": 0,
|
||||
"duplicate_texts": 0,
|
||||
"same_key_retries": 0,
|
||||
"ok": true
|
||||
},
|
||||
"load": {
|
||||
"writers": 4,
|
||||
"readers": 2,
|
||||
"client_timeout_s": 2.0
|
||||
},
|
||||
"pass": true
|
||||
}
|
||||
@@ -0,0 +1,29 @@
|
||||
# 2026-10-26 19:34:26 UTC | Rolling update lab3 -> lab3.1 под нагрузкой | exit 0 | 44.1s
|
||||
$ python student-tests/rolling_update_load.py --base-url http://127.0.0.1:8080 --output evidence/rolling_update.json
|
||||
replicas before: ['a21409fffeec', 'c4c5ae5b0949']
|
||||
2026-10-26T19:33:48.176Z rolling-update: start; replicas=2 old=['c4c5ae5b0949', 'a21409fffeec']
|
||||
2026-10-26T19:33:51.770Z rolling-update: images built in 3.6s (tag lab3.1)
|
||||
2026-10-26T19:33:53.990Z rolling-update: migrations once in 2.2s: schema is up to date; nothing applied
|
||||
2026-10-26T19:34:04.788Z rolling-update: step 1/2 new=6e2f0c643449 (messenger-api:lab3.1, ready+UP in 6.8s) replaced old=c4c5ae5b0949 (graceful stop 3.8s)
|
||||
2026-10-26T19:34:15.884Z rolling-update: step 2/2 new=b6e350f043f3 (messenger-api:lab3.1, ready+UP in 6.7s) replaced old=a21409fffeec (graceful stop 4.3s)
|
||||
2026-10-26T19:34:16.330Z rolling-update: done in 28.1s; replicas now ['6e2f0c643449', 'b6e350f043f3']
|
||||
update 28.4s rc=0 | replicas ['a21409fffeec', 'c4c5ae5b0949'] -> ['6e2f0c643449', 'b6e350f043f3'] | errors during update 0 (-) | RPS before 232.2, during 244.9, after 250.0 | p95 during 93.0 ms | data ok=True
|
||||
PASS: rolling update under load
|
||||
# 2026-10-26 19:35:09 UTC | Rolling update обратно lab3.1 -> lab3 (откат) под нагрузкой | exit 0 | 43.4s
|
||||
$ python student-tests/rolling_update_load.py --base-url http://127.0.0.1:8080 --output evidence/rolling_back.json
|
||||
replicas before: ['6e2f0c643449', 'b6e350f043f3']
|
||||
2026-10-26T19:34:32.642Z rolling-update: start; replicas=2 old=['6e2f0c643449', 'b6e350f043f3']
|
||||
2026-10-26T19:34:35.497Z rolling-update: images built in 2.9s (tag lab3)
|
||||
2026-10-26T19:34:37.818Z rolling-update: migrations once in 2.3s: schema is up to date; nothing applied
|
||||
2026-10-26T19:34:48.605Z rolling-update: step 1/2 new=c38982836a1d (messenger-api:lab3, ready+UP in 7.0s) replaced old=6e2f0c643449 (graceful stop 3.7s)
|
||||
2026-10-26T19:34:59.414Z rolling-update: step 2/2 new=ecaa2acc2a0a (messenger-api:lab3, ready+UP in 6.8s) replaced old=b6e350f043f3 (graceful stop 3.9s)
|
||||
2026-10-26T19:34:59.817Z rolling-update: done in 27.4s; replicas now ['c38982836a1d', 'ecaa2acc2a0a']
|
||||
update 27.7s rc=0 | replicas ['6e2f0c643449', 'b6e350f043f3'] -> ['c38982836a1d', 'ecaa2acc2a0a'] | errors during update 0 (-) | RPS before 267.5, during 252.6, after 253.6 | p95 during 78.0 ms | data ok=True
|
||||
PASS: rolling update under load
|
||||
|
||||
# 2026-10-26 19:35:09 UTC | Реплики после обновлений | exit 0 | 0.3s
|
||||
$ python scripts/ops.py ps
|
||||
X-Instance-Id container state health image lb lb_status
|
||||
c38982836a1d messenger-lab3-api-5 running healthy messenger-api:lab3 api2 UP
|
||||
ecaa2acc2a0a messenger-lab3-api-6 running healthy messenger-api:lab3 api3 UP
|
||||
|
||||
@@ -0,0 +1,17 @@
|
||||
# 2026-10-24 12:39 UTC | НАТИВНЫЙ стенд (без Docker), те же src/ и migrations/
|
||||
# Настройки: HAProxy inter 1s / fastinter 500ms / fall 2 / rise 2 / timeout check 1.5s; API DRAIN_SECONDS=3, GRACEFUL_TIMEOUT_SECONDS=10
|
||||
# graceful stop timeline, t=0 — начало наблюдения; интервал опроса 50 мс
|
||||
+0.02s (от SIGTERM -0.48s) LB api3: UP
|
||||
+0.02s (от SIGTERM -0.48s) nat-api-3 /health/ready -> 200
|
||||
+0.50s (от SIGTERM -0.00s) SIGTERM -> nat-api-3 (pid 3196)
|
||||
+0.51s (от SIGTERM +0.01s) nat-api-3 /health/ready -> 503
|
||||
+1.26s (от SIGTERM +0.76s) LB api3: UP 1/2
|
||||
+1.80s (от SIGTERM +1.30s) LB api3: DOWN
|
||||
+3.52s (от SIGTERM +3.02s) nat-api-3 /health/ready -> connection refused
|
||||
+3.62s (от SIGTERM +3.12s) nat-api-3 process exited
|
||||
|
||||
# лог реплики:
|
||||
2026-10-24 15:39:19,576 INFO messenger.server signal 15: instance nat-api-3 draining for 3.0s (readiness=503), then graceful stop
|
||||
2026-10-24 15:39:22,580 INFO uvicorn.error Shutting down
|
||||
2026-10-24 15:39:22,681 INFO messenger.api shutdown: instance=nat-api-3 closing pool
|
||||
2026-10-24 15:39:22,682 INFO uvicorn.error Finished server process [3196]
|
||||
@@ -0,0 +1,3 @@
|
||||
# 2026-10-26 19:30:00 UTC | Публичный smoke | exit 0 | 0.9s
|
||||
$ python tests/smoke.py --base-url http://127.0.0.1:8080
|
||||
PASS: lab3 public API scenario; infrastructure and grading evidence remain separate.
|
||||
@@ -0,0 +1,33 @@
|
||||
# 2026-10-26 19:29:57 UTC | Стенд: контейнеры | exit 0 | 0.2s
|
||||
$ docker compose --env-file .env ps -a
|
||||
NAME IMAGE COMMAND SERVICE CREATED STATUS PORTS
|
||||
messenger-lab3-api-1 messenger-api:lab3 "python -m src.server" api 39 minutes ago Up 12 minutes (healthy) 8080/tcp
|
||||
messenger-lab3-api-2 messenger-api:lab3 "python -m src.server" api 39 minutes ago Up 13 minutes (healthy) 8080/tcp
|
||||
messenger-lab3-lb-1 haproxy:2.8.30-alpine "docker-entrypoint.s…" lb 39 minutes ago Up 13 minutes (healthy) 127.0.0.1:8080->8080/tcp, 127.0.0.1:8404->8404/tcp
|
||||
messenger-lab3-migrate-1 messenger-lab3-migrate "python -m src.migra…" migrate 39 minutes ago Exited (0) 13 minutes ago
|
||||
messenger-lab3-postgres-1 postgres:16.4-alpine "docker-entrypoint.s…" postgres 39 minutes ago Up 13 minutes (healthy) 5432/tcp
|
||||
messenger-lab3-redis-1 redis:7.4.1-alpine "docker-entrypoint.s…" redis 39 minutes ago Up 13 minutes (healthy) 6379/tcp
|
||||
# 2026-10-26 19:29:57 UTC | Стенд: реплики и статус в LB | exit 0 | 0.2s
|
||||
$ python scripts/ops.py ps
|
||||
X-Instance-Id container state health image lb lb_status
|
||||
c4c5ae5b0949 messenger-lab3-api-1 running healthy messenger-api:lab3 api1 UP
|
||||
a21409fffeec messenger-lab3-api-2 running healthy messenger-api:lab3 api2 UP
|
||||
|
||||
# 2026-10-26 19:29:59 UTC | Стенд: лимиты CPU/RAM | exit 0 | 1.2s
|
||||
$ docker stats --no-stream --format table {{.Name}} {{.CPUPerc}} {{.MemUsage}} {{.MemPerc}}
|
||||
NAME CPU % MEM USAGE / LIMIT MEM %
|
||||
messenger-lab3-lb-1 1.87% 12.87MiB / 128MiB 10.06%
|
||||
messenger-lab3-api-2 16.79% 204.4MiB / 256MiB 79.86%
|
||||
messenger-lab3-api-1 0.31% 222.9MiB / 256MiB 87.07%
|
||||
messenger-lab3-postgres-1 2.23% 58.11MiB / 512MiB 11.35%
|
||||
messenger-lab3-redis-1 0.22% 4.559MiB / 96MiB 4.75%
|
||||
|
||||
# 2026-10-26 19:29:59 UTC | Стенд: опубликованные порты (только lb) | exit 0 | 0.3s
|
||||
$ docker compose --env-file .env ps --format table {{.Service}} {{.Ports}}
|
||||
SERVICE PORTS
|
||||
api 8080/tcp
|
||||
api 8080/tcp
|
||||
lb 127.0.0.1:8080->8080/tcp, 127.0.0.1:8404->8404/tcp
|
||||
postgres 5432/tcp
|
||||
redis 6379/tcp
|
||||
|
||||
@@ -0,0 +1,134 @@
|
||||
# 2026-10-26 19:30:06 UTC | Собственные тесты (HTTP через LB) | exit 0 | 6.2s
|
||||
$ python student-tests/run_all.py --base-url http://127.0.0.1:8080
|
||||
|
||||
== API, auth, concurrency, idempotency tests (DB/expiry tests skip without their env)
|
||||
test_chat_list_pagination (test_api.ApiBehaviorTests) ... ok
|
||||
test_cursor_from_other_chat_returns_400 (test_api.ApiBehaviorTests) ... ok
|
||||
test_duplicate_username_returns_409 (test_api.ApiBehaviorTests) ... ok
|
||||
test_empty_message_returns_400 (test_api.ApiBehaviorTests) ... ok
|
||||
test_malformed_json_returns_400 (test_api.ApiBehaviorTests) ... ok
|
||||
test_naive_timestamp_cursor_returns_400 (test_api.ApiBehaviorTests) ... ok
|
||||
test_outsider_cannot_access_chat (test_api.ApiBehaviorTests) ... ok
|
||||
test_pagination_returns_all_messages_without_duplicates (test_api.ApiBehaviorTests) ... ok
|
||||
test_password_never_returned (test_api.ApiBehaviorTests) ... ok
|
||||
test_registration_without_password_returns_400 (test_api.ApiBehaviorTests) ... ok
|
||||
test_sender_id_in_body_rejected (test_api.ApiBehaviorTests) ... ok
|
||||
test_short_password_returns_400 (test_api.ApiBehaviorTests) ... ok
|
||||
test_basic_on_business_endpoint_rejected (test_auth.AuthTests) ... ok
|
||||
test_login_with_body_rejected (test_auth.AuthTests)
|
||||
Контракт: вход — только заголовок Basic, без тела. Лишний ввод -> 400, сессии нет. ... ok
|
||||
test_logout_revokes_only_current_session (test_auth.AuthTests) ... ok
|
||||
test_malformed_basic_headers (test_auth.AuthTests) ... ok
|
||||
test_password_with_colon_and_unicode (test_auth.AuthTests) ... ok
|
||||
test_session_shape_and_token_entropy (test_auth.AuthTests) ... ok
|
||||
test_unknown_and_garbage_tokens (test_auth.AuthTests) ... ok
|
||||
test_wrong_password_and_unknown_user_look_the_same (test_auth.AuthTests) ... ok
|
||||
test_x_user_id_gives_no_access (test_auth.AuthTests) ... ok
|
||||
test_duplicate_and_missing_caller_rejected (test_concurrency.ChatRollbackTests) ... ok
|
||||
test_unknown_member_rolls_back_whole_chat (test_concurrency.ChatRollbackTests)
|
||||
Чат вставляется первым, затем участники по порядку (сначала сам владелец). ... ok
|
||||
test_same_username_parallel_registration (test_concurrency.RegistrationRaceTests) ... ok
|
||||
test_session_expires_even_when_cached (test_expiry.ExpiryTests) ... skipped 'set EXPIRY_BASE_URL to the short-TTL API instance'
|
||||
test_auth_checked_before_key (test_idempotency.IdempotencyTests) ... ok
|
||||
test_concurrent_same_key_across_replicas_creates_one_message (test_idempotency.IdempotencyTests) ... ok
|
||||
test_concurrent_same_key_different_bodies_one_winner (test_idempotency.IdempotencyTests) ... ok
|
||||
test_failed_access_does_not_burn_key (test_idempotency.IdempotencyTests) ... ok
|
||||
test_json_formatting_and_key_order_do_not_matter (test_idempotency.IdempotencyTests) ... ok
|
||||
test_key_survives_new_session_of_same_user (test_idempotency.IdempotencyTests) ... ok
|
||||
test_missing_or_invalid_key_is_400 (test_idempotency.IdempotencyTests) ... ok
|
||||
test_replay_rechecks_session (test_idempotency.IdempotencyTests) ... ok
|
||||
test_scope_is_user_and_chat (test_idempotency.IdempotencyTests) ... ok
|
||||
test_sequential_replay_and_conflict (test_idempotency.IdempotencyTests) ... ok
|
||||
test_debt_survives_api_restart (test_session_cache.SessionRevocationCacheTests)
|
||||
Процесс, выполнивший logout, умер до восстановления связи — новый процесс не доверяет кэшу. ... skipped 'DATABASE_URL is not configured'
|
||||
test_normal_logout_leaves_no_debt (test_session_cache.SessionRevocationCacheTests) ... skipped 'DATABASE_URL is not configured'
|
||||
test_revoked_token_rejected_after_partition_heals (test_session_cache.SessionRevocationCacheTests) ... skipped 'DATABASE_URL is not configured'
|
||||
test_cleanup_runs_on_one_replica_at_a_time (test_storage_idempotency.StorageIdempotencyTests) ... skipped 'DATABASE_URL is not configured'
|
||||
test_conflict_on_different_body (test_storage_idempotency.StorageIdempotencyTests) ... skipped 'DATABASE_URL is not configured'
|
||||
test_expired_key_can_be_reused_and_is_cleaned (test_storage_idempotency.StorageIdempotencyTests) ... skipped 'DATABASE_URL is not configured'
|
||||
test_failure_inside_transaction_stores_nothing (test_storage_idempotency.StorageIdempotencyTests) ... skipped 'DATABASE_URL is not configured'
|
||||
test_threads_same_key_single_insert (test_storage_idempotency.StorageIdempotencyTests) ... skipped 'DATABASE_URL is not configured'
|
||||
test_failure_after_inserts_leaves_nothing (test_storage_rollback.StorageRollbackTests) ... skipped 'DATABASE_URL is not configured'
|
||||
test_migrations_are_idempotent (test_storage_rollback.StorageRollbackTests) ... skipped 'DATABASE_URL is not configured'
|
||||
test_no_orphan_chats_in_database (test_storage_rollback.StorageRollbackTests) ... skipped 'DATABASE_URL is not configured'
|
||||
test_passwords_stored_as_argon2id (test_storage_rollback.StorageRollbackTests) ... skipped 'DATABASE_URL is not configured'
|
||||
|
||||
----------------------------------------------------------------------
|
||||
Ran 47 tests in 4.640s
|
||||
|
||||
OK (skipped=13)
|
||||
|
||||
24 parallel POSTs, one key -> 1 message; replicas: ['a21409fffeec', 'c4c5ae5b0949']
|
||||
|
||||
== Concurrent write test
|
||||
PASS: concurrent write test; 10 clients x 10 messages = 100 messages; no lost or duplicate messages
|
||||
|
||||
ALL STUDENT TESTS PASSED
|
||||
# 2026-10-26 19:30:14 UTC | Тесты с доступом к БД (внутри compose-сети) | exit 0 | 7.5s
|
||||
$ python scripts/ops.py in-network storage
|
||||
Container messenger-lab3-api-run-bdc116a8fd34 Creating
|
||||
Container messenger-lab3-api-run-bdc116a8fd34 Created
|
||||
test_cleanup_runs_on_one_replica_at_a_time (test_storage_idempotency.StorageIdempotencyTests.test_cleanup_runs_on_one_replica_at_a_time) ... ok
|
||||
test_conflict_on_different_body (test_storage_idempotency.StorageIdempotencyTests.test_conflict_on_different_body) ... ok
|
||||
test_expired_key_can_be_reused_and_is_cleaned (test_storage_idempotency.StorageIdempotencyTests.test_expired_key_can_be_reused_and_is_cleaned) ... ok
|
||||
test_failure_inside_transaction_stores_nothing (test_storage_idempotency.StorageIdempotencyTests.test_failure_inside_transaction_stores_nothing) ... ok
|
||||
test_threads_same_key_single_insert (test_storage_idempotency.StorageIdempotencyTests.test_threads_same_key_single_insert) ... ok
|
||||
test_failure_after_inserts_leaves_nothing (test_storage_rollback.StorageRollbackTests.test_failure_after_inserts_leaves_nothing) ... ok
|
||||
test_migrations_are_idempotent (test_storage_rollback.StorageRollbackTests.test_migrations_are_idempotent) ... ok
|
||||
test_no_orphan_chats_in_database (test_storage_rollback.StorageRollbackTests.test_no_orphan_chats_in_database) ... ok
|
||||
test_passwords_stored_as_argon2id (test_storage_rollback.StorageRollbackTests.test_passwords_stored_as_argon2id) ... ok
|
||||
|
||||
----------------------------------------------------------------------
|
||||
Ran 9 tests in 3.223s
|
||||
|
||||
OK
|
||||
Container messenger-lab3-api-run-630b208e9588 Creating
|
||||
Container messenger-lab3-api-run-630b208e9588 Created
|
||||
test_debt_survives_api_restart (test_session_cache.SessionRevocationCacheTests.test_debt_survives_api_restart)
|
||||
Процесс, выполнивший logout, умер до восстановления связи — новый процесс не доверяет кэшу. ... logout: cache invalidation deferred; positive cache disabled
|
||||
ok
|
||||
test_normal_logout_leaves_no_debt (test_session_cache.SessionRevocationCacheTests.test_normal_logout_leaves_no_debt) ... ok
|
||||
test_revoked_token_rejected_after_partition_heals (test_session_cache.SessionRevocationCacheTests.test_revoked_token_rejected_after_partition_heals) ... logout: cache invalidation deferred; positive cache disabled
|
||||
ok
|
||||
|
||||
----------------------------------------------------------------------
|
||||
Ran 3 tests in 1.864s
|
||||
|
||||
OK
|
||||
|
||||
# 2026-10-26 19:30:27 UTC | Истечение сессии (api-short-ttl, TTL 2 с) | exit 0 | 13.7s
|
||||
$ python scripts/ops.py in-network expiry
|
||||
Container messenger-lab3-redis-1 Running
|
||||
Container messenger-lab3-postgres-1 Running
|
||||
Container messenger-lab3-api-1 Running
|
||||
Container messenger-lab3-api-2 Running
|
||||
Container messenger-lab3-api-short-ttl-1 Creating
|
||||
Container messenger-lab3-api-short-ttl-1 Created
|
||||
Container messenger-lab3-postgres-1 Waiting
|
||||
Container messenger-lab3-postgres-1 Healthy
|
||||
Container messenger-lab3-migrate-1 Starting
|
||||
Container messenger-lab3-migrate-1 Started
|
||||
Container messenger-lab3-migrate-1 Waiting
|
||||
Container messenger-lab3-postgres-1 Waiting
|
||||
Container messenger-lab3-redis-1 Waiting
|
||||
Container messenger-lab3-redis-1 Healthy
|
||||
Container messenger-lab3-postgres-1 Healthy
|
||||
Container messenger-lab3-migrate-1 Exited
|
||||
Container messenger-lab3-api-2 Waiting
|
||||
Container messenger-lab3-api-1 Waiting
|
||||
Container messenger-lab3-api-2 Healthy
|
||||
Container messenger-lab3-api-1 Healthy
|
||||
Container messenger-lab3-api-short-ttl-1 Starting
|
||||
Container messenger-lab3-api-short-ttl-1 Started
|
||||
Container messenger-lab3-api-run-a36baf72714e Creating
|
||||
Container messenger-lab3-api-run-a36baf72714e Created
|
||||
ready: http://api-short-ttl:8080/health/ready
|
||||
Container messenger-lab3-api-run-c445a7ef00cd Creating
|
||||
Container messenger-lab3-api-run-c445a7ef00cd Created
|
||||
test_session_expires_even_when_cached (test_expiry.ExpiryTests.test_session_expires_even_when_cached) ... ok
|
||||
|
||||
----------------------------------------------------------------------
|
||||
Ran 1 test in 3.620s
|
||||
|
||||
OK
|
||||
|
||||
Reference in New Issue
Block a user