From 41bdfcfea28ca7919e9d0c2b745991e4d05f5ffe Mon Sep 17 00:00:00 2001 From: masha Date: Tue, 20 Oct 2026 16:11:19 +0300 Subject: [PATCH] 3 lab --- .env.example | 17 ++ MAINTAINERS.md | 18 +- REPORT.md | 404 +++++++++++++++++++++++++--------- evidence/failover-kill-1.json | 172 +++++++-------- evidence/failover-kill-2.json | 192 ++++++++-------- evidence/failover-stop-1.json | 198 ++++++++--------- evidence/failover-stop-2.json | 180 +++++++-------- 7 files changed, 692 insertions(+), 489 deletions(-) create mode 100644 .env.example diff --git a/.env.example b/.env.example new file mode 100644 index 00000000..eed98237 --- /dev/null +++ b/.env.example @@ -0,0 +1,17 @@ +# Copy to .env for your LOCAL synthetic test environment; never commit .env. +# These are logical interface suggestions; map actual framework names in REPORT.md. +APP_HOST=0.0.0.0 +APP_PORT=8080 +APP_ENV=lab +SESSION_TTL_SECONDS=3600 +# Choose credentials locally. File paths contain no secret values. +DATABASE_URL_FILE=/run/secrets/database_url +# Optional on 3, required use on 4 in lab2; Redis OR Valkey: +SESSION_STORE=valkey +CACHE_URL_FILE=/run/secrets/cache_url +API_REPLICAS=2 +IDEMPOTENCY_TTL_SECONDS=86400 +# Public LB port on the host. If 8080 is busy, set e.g. 8081 and run make test with BASE_URL=http://localhost:8081 +LB_PORT=8080 +# Image tag of the api/migrate services (scripts/rolling-update.sh switches it) +APP_VERSION=dev diff --git a/MAINTAINERS.md b/MAINTAINERS.md index 30157433..0c6bda62 100644 --- a/MAINTAINERS.md +++ b/MAINTAINERS.md @@ -13,15 +13,15 @@ ## Что проверять -| Проверка | Что подтверждает | Чего не подтверждает | -| --- | --- | --- | -| make check | Структура файлов, JSON, локальные refs, синтаксис Python | Реализация/запуск API | -| make validate | Полная OpenAPI 3.1, JSON Schema и примеры | Поведение сервера | -| make test | Один сквозной контрактный сценарий текущей лабы | Все ошибки, persistence, HA, security | -| test-persistence (lab2+) | Данные/прежний токен после вызова restart hook | Реальный перезапуск, если hook — no-op | -| test-failover (lab3+) | Смена обслуживающей реплики, сохранность, retry без дубля | Несколько физических узлов, HA DB/LB | -| test-security (lab7) | Доверенный HTTPS и отказ недоверенного CA | Внутреннее mTLS/identity/ACL/OpenBao | -| Защита и тесты студента | Реальность инфраструктуры и критерии выбранного уровня | Неограниченная промышленная безопасность | +| Проверка | Что подтверждает | Чего не подтверждает | +|--------------------------|-----------------------------------------------------------|------------------------------------------| +| make check | Структура файлов, JSON, локальные refs, синтаксис Python | Реализация/запуск API | +| make validate | Полная OpenAPI 3.1, JSON Schema и примеры | Поведение сервера | +| make test | Один сквозной контрактный сценарий текущей лабы | Все ошибки, persistence, HA, security | +| test-persistence (lab2+) | Данные/прежний токен после вызова restart hook | Реальный перезапуск, если hook — no-op | +| test-failover (lab3+) | Смена обслуживающей реплики, сохранность, retry без дубля | Несколько физических узлов, HA DB/LB | +| test-security (lab7) | Доверенный HTTPS и отказ недоверенного CA | Внутреннее mTLS/identity/ACL/OpenBao | +| Защита и тесты студента | Реальность инфраструктуры и критерии выбранного уровня | Неограниченная промышленная безопасность | Проверяйте реальные контейнеры/логи процессов и данные до/после отказа: одного X-Instance-Id недостаточно. Для 4 требуются все пункты 3+4, для 5 — все пункты 3+4 и один **завершённый** трек 5. Сравнивайте подтверждённые результаты со сформулированными критериями, а не количество установленных сервисов. diff --git a/REPORT.md b/REPORT.md index 11d89277..a7e8558a 100644 --- a/REPORT.md +++ b/REPORT.md @@ -4,12 +4,12 @@ - Автор, группа: Максимова Мария, БВТ2303 - Целевая оценка: 4 -- Commit/PR: (ветка `solution/maksimova_bvt2303`) +- Commit/PR: ветка `solution/maksimova_bvt2303` - Использованные средства: Python 3.12.7 (в Docker), FastAPI, uvicorn, SQLAlchemy 2 (async) + asyncpg, argon2-cffi, redis-py (клиент Valkey) — всё из lab2; PostgreSQL 16.4, Valkey 8.0.1, HAProxy 3.0.11, Docker Desktop 29.3.0 + Compose v5.1.0. - Источники: документация HAProxy 3.0 (resolvers, server-template, http-check, retry-on, http-error), Docker Compose (deploy.replicas, resources, depends_on conditions, secrets), uvicorn (Server, graceful shutdown), PostgreSQL (INSERT … ON CONFLICT, advisory locks). -- Помощь ИИ: Claude Code использовался для переноса lab2 под lab3 (идемпотентность, drain при SIGTERM, X-Instance-Id), конфигурации HAProxy, операторских скриптов, собственных тестов и черновика отчёта. Все команды и измерения запущены на моём стенде 2026-10-13, сырые результаты — в `evidence/`. +- Помощь ИИ: Claude Code использовался для переноса lab2 под lab3 (идемпотентность, drain при SIGTERM, X-Instance-Id), конфигурации HAProxy, операторских скриптов, собственных тестов и черновика отчёта. Измерения выполнены на моём стенде 2026-10-13 (сырые результаты — в `evidence/`), все команды раздела 3 повторно проверены 2026-10-20. -## 0. Коротко и простыми словами +## 1. Коротко и простыми словами Раньше (lab2) был один процесс API. Если он падал — мессенджер не работал. В lab3 процессов API два, а перед ними стоит балансировщик HAProxy. Клиент всегда ходит на один адрес `localhost:8080`, а HAProxy по очереди отправляет запросы то в одну реплику, то в другую. Если одна реплика умирает, HAProxy это замечает и отправляет всё в живую. @@ -22,19 +22,105 @@ Вторая проблема — повторы. Клиент отправил сообщение, реплика упала, ответа нет. Сообщение сохранилось или нет? Клиент не знает и повторяет запрос. Чтобы повтор не создал дубль, клиент передаёт заголовок `Idempotency-Key` — уникальную строку на одно сообщение. Сервер запоминает ключ в PostgreSQL вместе с сообщением. Если пришёл тот же ключ ещё раз, сервер не создаёт новое сообщение, а возвращает уже сохранённое. -Что проверено (подробности и цифры — в разделах 5–6): -| Что | Результат m | -|--------------------------------------------------------|----------------------------------------------------------------------------| -| Публичные тесты `make check`, `make test` | PASS | -| Запросы одного пользователя обслуживают разные реплики | да, `X-Instance-Id` чередуется, повторный вход не нужен | -| Остановка каждой реплики (`make test-failover`) | PASS для обеих, 0 ошибок, запись снова работает через 4.4–4.5 s | -| Перезапуск всего стенда (`make test-persistence`) | PASS, данные и прежний токен сохранились | -| 16 одновременных POST с одним ключом, 10 раз | каждый раз ровно 1 сообщение, запросы шли через обе реплики | -| Остановка/убийство реплик под нагрузкой (4 прогона) | 1 ошибка на ~11 600 запросов (при SIGKILL), потерь и дублей 0 | -| Rolling update (замена обеих реплик новой версией) | 70 s под нагрузкой, 0 ошибок, 4 826 записей, потерь и дублей 0 | +| Что | Результат | +|------------------------------------------------------------|-------------------------------------------------------------------| +| Публичные тесты `make check`, `make validate`, `make test` | PASS | +| Запросы одного пользователя обслуживают разные реплики | да, `X-Instance-Id` чередуется, повторный вход не нужен | +| Остановка каждой реплики (`make test-failover`) | PASS для обеих, 0 ошибок, запись снова работает через 4.3–4.5 s | +| Перезапуск всего стенда (`make test-persistence`) | PASS, данные и прежний токен сохранились | +| 16 одновременных POST с одним ключом, 10 раз | каждый раз ровно 1 сообщение, запросы шли через обе реплики | +| Остановка/убийство реплик под нагрузкой (4 прогона) | 1 ошибка на ~11 600 запросов (при SIGKILL), потерь и дублей 0 | +| Rolling update (замена обеих реплик новой версией) | 70 s под нагрузкой, 0 ошибок, 4 826 записей, потерь и дублей 0 | -## 1. Что сделано +### 1.1 О чём лаба? + +В прошлой лабе у меня был один сервер API. Если он падал — падал весь мессенджер. +В этой лабе я запустила два одинаковых сервера API (реплики), а перед ними поставила балансировщик HAProxy. +Пользователь всегда отправляет запросы на один адрес. HAProxy по очереди отдаёт их то первой реплике, то второй. +Если одна реплика ломается, HAProxy это замечает и отправляет всё на вторую — пользователь ничего не замечает. +Чтобы это работало, реплики ничего не хранят у себя: все данные, сессии и ключи лежат в общей базе PostgreSQL. Поэтому неважно, какая реплика ответила. + +Какая реплика ответила — видно по заголовку `X-Instance-Id` (это имя контейнера). + +Схема: Клиент → HAProxy (:8080) → api × 2 → PostgreSQL + Valkey. + +### 1.2 Как сделана отказоустойчивость? + +1. Балансировка round-robin. В конфиге HAProxy `balance roundrobin` — запросы раздаются по кругу: 1-й на первую реплику, 2-й на вторую, 3-й снова на первую. Это встроенный алгоритм HAProxy. Sticky session (привязки клиента к одной реплике) нет — она не нужна, потому что всё состояние общее. +2. Проверка здоровья (health check). HAProxy каждую секунду сам спрашивает у каждой реплики `/health/ready` — «ты готова?». 2 неудачи подряд — реплика считается мёртвой, запросы ей больше не идут. 2 успеха подряд — возвращается обратно. В конфиге это `inter 1s fall 2 rise 2`. +3. Повтор на другую реплику. Если запрос не дошёл до реплики (она упала), HAProxy сам повторяет его на другой реплике (`retries 2`, `option redispatch`, `retry-on`). Пользователь ошибки не видит. Повтор уже отправленного запроса разрешён только для GET и для отправки сообщения с `Idempotency-Key` — чтобы не создать дубль. +4. Реплики находятся сами через DNS Docker. IP-адреса не прописаны вручную. HAProxy спрашивает у DNS Docker «какие адреса у сервиса `api`?» и получает адреса всех живых реплик (`server-template api 8 api:8080` + `resolvers docker`). Новая реплика попадает в пул сама. +5. Мягкое выключение (graceful shutdown). При остановке реплика не выключается сразу: 3 секунды продолжает работать, но на проверку здоровья отвечает «я не готова» (503). За это время HAProxy убирает её из пула, и только потом она закрывается. Поэтому при остановке реплики у пользователей 0 ошибок. + +Итог с цифрами: остановка каждой реплики под нагрузкой — 0 ошибок; жёсткое убийство (`kill -9`) — 1 ошибка на ~11 600 запросов; сообщения не потерялись и не задвоились. + +Время обнаружения отказа: упавшая реплика — на первом же запросе (или ≤ 2 s по проверкам); «жива, но не готова» — ≤ 3 s; зависла — ≈ 4 s. + +### 1.3 Почему HAProxy, а не nginx? Какие альтернативы? + +Я выбрала HAProxy, потому что это специализированный балансировщик, и бесплатно в нём есть: +1. Активная проверка здоровья — он сам опрашивает реплики. В бесплатном nginx такой проверки нет (только в платном NGINX Plus), есть только пассивная — по ошибкам реальных запросов. +2. Сам находит новые реплики через DNS Docker. Бесплатный nginx узнаёт адреса один раз при запуске и после пересоздания контейнера продолжает слать запросы на старый адрес. +3. Гибкая настройка повторов (какие запросы можно повторять, какие нельзя). +4. Страница статистики `/stats` — видно, какая реплика живая (UP), а какая нет (DOWN). + +Альтернативы: + +| Что | Что это | +|---------------------------|---------------------------------------------------------------------------------| +| Nginx | веб-сервер, который тоже умеет балансировать (round-robin, least_conn, ip_hash) | +| Traefik | сам находит контейнеры в Docker/Kubernetes по меткам | +| Envoy | мощный современный прокси, на нём работает Istio | +| Caddy | простой конфиг, сам делает HTTPS | +| Docker Swarm / Kubernetes | встроенная балансировка оркестратора | +| Облачные | AWS ALB/NLB, Yandex Application Load Balancer | + +Другие алгоритмы балансировки: `leastconn` (на сервер с наименьшим числом соединений), `source` (по IP клиента — фактически sticky), `random`, веса `weight`. + +### 1.4 Что такое Idempotency-Key? + +Пользователь отправил сообщение, реплика упала, ответа нет. Он не знает, сохранилось ли сообщение, и отправляет ещё раз. Без защиты будет два одинаковых сообщения. +Поэтому клиент шлёт заголовок `Idempotency-Key` — уникальную строку на каждое сообщение. +Сервер сохраняет ключ в базе вместе с сообщением, в одной транзакции. +Пришёл тот же ключ ещё раз — сервер не создаёт новое, а возвращает старое сообщение (заголовок `Idempotent-Replayed: true`). +Тот же ключ, но другой текст — ошибка 409. +Ключ хранится в общей базе, поэтому защита работает, даже если повтор пришёл на другую реплику. Если два одинаковых запроса пришли одновременно на разные реплики, второй ждёт в PostgreSQL (на уникальном ключе), пока первый закончит. +Проверено: 16 одновременных запросов с одним ключом — каждый раз ровно 1 сообщение. + +### 1.5 Вопросы-ответы + +Чем отказ процесса отличается от отказа узла? +Процесс — одна программа (у меня один контейнер API). Упал — вторая реплика работает. +Узел — целый компьютер: выключился — выключилось всё. У меня всё на одном компьютере, поэтому отказ узла стенд не переживёт (для этого нужны несколько машин и копия базы). + +Почему `depends_on` и healthcheck — не балансировщик? +`depends_on` задаёт только порядок запуска (сначала база, потом API). Healthcheck только ставит метку healthy/unhealthy. Ни то, ни другое не принимает запросы, не распределяет их и не переключает на живую реплику. Это делает только балансировщик. + +Какие POST можно повторять после timeout? +Только те, повтор которых не создаст дубль: у меня это отправка сообщения с `Idempotency-Key`. Создание пользователя, чата, входа — повторять нельзя, создастся второй объект. (Если запрос даже не дошёл до сервера — ошибка соединения, — повторять можно любой.) + +Что сломается, если сессии хранить в памяти реплики? +Вошёл через первую реплику — сессия есть только у неё. Следующий запрос уйдёт на вторую — она пользователя не знает → 401, «выкинет». Выход на одной реплике не сработает на другой. При перезапуске реплики все её сессии пропадут. Поэтому сессии у меня в общей базе. + +- Миграции — выполняет отдельный контейнер `migrate` один раз перед запуском API, чтобы реплики не делали это одновременно. +- Почему у `api` нет `ports` — чтобы к репликам нельзя было обратиться в обход балансировщика. +- Почему нет `container_name` — имя контейнера должно быть уникальным, с ним нельзя запустить 2 копии. +- Rolling update — по очереди заменяю старые реплики новыми: запускаю новую, жду, пока она здорова, потом останавливаю старую. Получилось 0 ошибок. +- `docker stop` и `docker kill` — `stop` шлёт SIGTERM, и приложение успевает аккуратно закрыться; `kill -9` (SIGKILL) убивает мгновенно, начатые запросы обрываются. +- Почему был важен Dockerfile — в lab2 был `CMD ["sh","-c","uvicorn …"]`: главным процессом был `sh`, он не передавал SIGTERM, и мягкое выключение не работало. Стало `CMD ["python","-m","app.server"]`. +- Слабые места (SPOF) — балансировщик один, база одна, компьютер один. Как исправить: два HAProxy + keepalived (общий IP), репликация PostgreSQL (Patroni), несколько узлов. +- Почему `X-Instance-Id` — не доказательство — заголовок пишет само приложение; поэтому после остановки показываю `docker ps -a`: у нужного контейнера статус `Exited`. + +### 1.6 Защита + +1. Поднять стенд, `docker compose ps` — 2 контейнера `api`. +2. Показать, что `X-Instance-Id` чередуется (раздел 3.4). +3. `make test-failover` → `docker ps -a` (остановлен реальный контейнер) → `start-api.sh` → то же для второй реплики. +4. `make test-persistence`. +5. Для «4»: тест идемпотентности, серия отказов, страница `http://127.0.0.1:8404/stats`, результаты rolling update. + +## 2. Что сделано Из lab2 перенесены `app/`, миграции 001–002, `scripts/migrate.py`, `scripts/init-secrets.sh`, `requirements.txt`. Новое в lab3: @@ -46,6 +132,7 @@ 6. Graceful shutdown (`app/server.py`): получив SIGTERM, реплика 3 s продолжает работать, но отвечает `503` на `/health/ready`. За это время HAProxy выводит её из пула, и только потом она закрывает порт и дорабатывает начатые запросы. 7. Миграции выполняет отдельный одноразовый сервис `migrate` до старта API, а не каждая реплика сама. `pg_advisory_lock` защищает от двух одновременных запусков. 8. Операторские скрипты: `stop-one.sh` (остановить одну реплику), `kill-one.sh` (убить SIGKILL), `start-api.sh` (вернуть), `restart.sh` (перезапуск всего стенда), `rolling-update.sh` (поочерёдная замена реплик). +9. Argon2 (хеширование пароля, ~0.5–1 s CPU) выполняется в отдельном потоке (`asyncio.to_thread`), чтобы регистрация/вход не блокировали event loop и `/health/ready` реплики продолжал отвечать. Исправления в коде lab2, найденные при переносе: @@ -54,69 +141,182 @@ - `init-secrets.sh`: файлы секретов 0644 внутри каталога 0700. На Linux пользователь контейнера `appuser` не мог прочитать файл 0600, смонтированный как secret. - `migrate.py`: повтор подключения к БД и `pg_advisory_lock`. -## 2. Запуск из чистого clone +## 3. Все команды -Нужно: Docker Engine/Desktop с Compose v2, `sh`, `make`, Python 3.9+ (для `make test` с хоста). Все образы закреплены версиями: +Все образы закреплены версиями: -| Роль | Service | Образ | Health/readiness | Volume | Сеть / порт | Секреты | -|------------|----------------------------|--------------------------------------------------------------------------------------------|-------------------------------------------------|-----------------|----------------------------------------------------|------------------------------------| -| LB | `lb` | `haproxy:3.0.11-alpine` | `wget /lb-health` (:8404) | — | `edge`; **8080** публично, 8404 только `127.0.0.1` | нет | -| API ×2 | `api` | `messenger-lab3-api:` (сборка из `Dockerfile`, база `python:3.12.7-slim`) | `GET /health/ready` (БД доступна и нет drain) | — | `edge` + `backend`, порт не публикуется | `database_url`, `cache_url` | -| Миграции | `migrate` | тот же образ | завершается с кодом 0 | — | `backend` | `database_url` | -| БД | `db` | `postgres:16.4-alpine` | `pg_isready` | `postgres_data` | `backend` (internal) | `postgres_password` | -| Кэш сессий | `valkey` | `valkey/valkey:8.0.1-alpine` | `valkey-cli ping` | нет (это кэш) | `backend` (internal) | `valkey_password` | -| Проверки | `tester` (profile `tools`) | сборка `student-tests/Dockerfile.tester` (`python:3.12.11-alpine3.22` + docker CLI 28.5.1) | — | — | `edge` | docker.sock (только учебный стенд) | +| Роль | Service | Образ | Health/readiness | Volume | Сеть / порт | Секреты | +|------------|----------------------------|--------------------------------------------------------------------------------------------|-----------------------------------------------|-----------------|------------------------------------------------------------|------------------------------------| +| LB | `lb` | `haproxy:3.0.11-alpine` | `wget /lb-health` (:8404) | — | `edge`; `LB_PORT` (8080) публично, 8404 только `127.0.0.1` | нет | +| API ×2 | `api` | `messenger-lab3-api:` (сборка из `Dockerfile`, база `python:3.12.7-slim`) | `GET /health/ready` (БД доступна и нет drain) | — | `edge` + `backend`, порт не публикуется | `database_url`, `cache_url` | +| Миграции | `migrate` | тот же образ | завершается с кодом 0 | — | `backend` | `database_url` | +| БД | `db` | `postgres:16.4-alpine` | `pg_isready` | `postgres_data` | `backend` (internal) | `postgres_password` | +| Кэш сессий | `valkey` | `valkey/valkey:8.0.1-alpine` | `valkey-cli ping` | нет (это кэш) | `backend` (internal) | `valkey_password` | +| Проверки | `tester` (profile `tools`) | сборка `student-tests/Dockerfile.tester` (`python:3.12.11-alpine3.22` + docker CLI 28.5.1) | — | — | `edge` | docker.sock (только учебный стенд) | -Сеть `backend` — `internal: true`: у PostgreSQL и Valkey нет выхода наружу, и HAProxy к ней не подключён. Наружу опубликован только порт 8080 балансировщика. +Сеть `backend` — `internal: true`: у PostgreSQL и Valkey нет выхода наружу, и HAProxy к ней не подключён. Наружу опубликован только порт балансировщика. -```sh -# 1. Секреты (создаются один раз в infra/secrets/, в Git не попадают; значения не печатаются) +Команды ниже — для Windows PowerShell (мой стенд). Отличия для Linux/macOS — в разделе 3.8. + +### 3.1 Что нужно установить + +- Docker Desktop (Compose v2); +- Git for Windows — даёт команду `sh` для скриптов `*.sh`; +- make: `winget install ezwinports.make`; +- Python 3.11 или 3.12 (на 3.14 не ставятся закреплённые `pydantic-core`/`asyncpg` — для них нет готовых wheel). + +### 3.2 Первый запуск из чистого clone + +```powershell +git clone https://gitea.privcloud.tech/Mariia_Maksimova/mtusi2026lab3.git +cd mtusi2026lab3 +git checkout solution/maksimova_bvt2303 + +# Секреты: создаются один раз в infra/secrets/, в Git не попадают, значения не печатаются sh scripts/init-secrets.sh -cp .env.example .env # необязательные параметры, секретов не содержит -# 2. Сборка, миграции (сервис migrate) и запуск; --wait ждёт, пока все сервисы станут healthy +# Параметры стенда (секретов не содержит) +Copy-Item .env.example .env +# Если порт 8080 занят (у меня его держит служба Windows AgentService.exe) — +# в .env поставить LB_PORT=8081 + +# Проверка конфигурации, сборка, миграции (сервис migrate) и запуск; +# --wait ждёт, пока все сервисы станут healthy docker compose --env-file .env config --quiet docker compose --env-file .env up -d --build --wait - -# 3. Проверки уровня 3 -make check -make test # на Windows: PYTHONUTF8=1 make test PYTHON=python -docker compose --profile tools run --rm tester make test-failover ACTION_SCRIPT=scripts/stop-one.sh -docker compose --profile tools run --rm tester sh scripts/start-api.sh # вернуть остановленную реплику -docker compose --profile tools run --rm tester make test-persistence ACTION_SCRIPT=scripts/restart.sh - -# 4. Проверки уровня 4 -docker compose --profile tools run --rm tester python3 student-tests/idempotency_concurrency.py -docker compose --profile tools run --rm tester sh student-tests/run-failover-series.sh -# rolling update: терминал 1 — нагрузка 70 s, терминал 2 (на хосте, сразу после старта нагрузки) — замена реплик -docker compose --profile tools run --rm tester python3 student-tests/failover_load.py --duration 70 --label rolling-update --output evidence/rolling-update-load.json -APP_VERSION=v3 sh scripts/rolling-update.sh - -# Состояние реплик в LB (UP/DOWN, счётчики): http://127.0.0.1:8404/stats -# Безопасная остановка (данные сохраняются в volume): -docker compose down -# Намеренное удаление учебных данных (удаляет volume с БД!): -docker compose down -v +docker compose ps ``` -Почему тесты отказа запускаются в контейнере `tester`. Публичный тест вызывает `.sh`-скрипт через `subprocess.Popen`, а Windows не умеет исполнять `.sh`. Поэтому failover/persistence запускаются в контейнере `tester`: там есть Python, make и docker CLI, а `BASE_URL = http://lb:8080` (тот же балансировщик, только изнутри Docker-сети). Сами тесты не менялись. На Linux те же команды можно запускать прямо с хоста. +В `docker compose ps` должно быть: `api` ×2, `db`, `valkey`, `lb` — `healthy`; `migrate` — `Exited (0)`. -Про `APP_VERSION`. `rolling-update.sh` переводит реплики на образ `messenger-lab3-api:$APP_VERSION`. Последний прогон перевёл стенд на `v3`. Дальнейшие `docker compose up` нужно выполнять с тем же `APP_VERSION=v3`, иначе Compose пересоздаст реплики на образе `dev`. +### 3.3 Настройка окна PowerShell для проверок + +```powershell +# Один раз: виртуальное окружение (нужно для make validate; make check/test используют только stdlib) +py -3.11 -m venv .venv +.venv/Scripts/python.exe -m pip install -r requirements-dev.txt + +# В КАЖДОМ новом окне PowerShell — до любых make (без этого будет "Error 9009") +$env:PYTHONUTF8 = "1" # иначе Python читает openapi.json в cp1251 -> UnicodeDecodeError +$env:PYTHON = ".venv/Scripts/python.exe" # в Windows нет python3, который Makefile вызывает по умолчанию +$env:BASE_URL = "http://localhost:8080" # или http://localhost:8081, если в .env LB_PORT=8081 +``` + +Makefile берёт `PYTHON` и `BASE_URL` из окружения (`PYTHON ?= python3`, `BASE_URL ?= http://localhost:8080`), поэтому после этих трёх строк `make check`/`validate`/`test` запускаются без дополнительных параметров. На контейнер `tester` эти переменные не влияют: у него свои `BASE_URL=http://lb:8080` и `python3`. + +### 3.4 Проверки уровня 3 + +```powershell +# Публичные проверки с хоста +make check +make validate +make test + +# Разные реплики через один LB: X-Instance-Id чередуется +1..4 | ForEach-Object { curl.exe -s -D - -o NUL "$env:BASE_URL/health/live" | findstr /i "x-instance-id" } + +# Отказ реплики №1: тест сам выбирает реплику и вызывает scripts/stop-one.sh +docker compose --profile tools run --rm tester make test-failover ACTION_SCRIPT=scripts/stop-one.sh + +# Доказательство: какой контейнер реально остановлен (Exited (0)) +docker ps -a --filter "label=com.docker.compose.project=messenger-lab3" --filter "label=com.docker.compose.service=api" --format "table {{.Names}}\t{{.ID}}\t{{.Status}}" + +# Вернуть остановленную реплику +docker compose --profile tools run --rm tester sh scripts/start-api.sh + +# Отказ реплики №2: один лишний запрос сдвигает round-robin, тест выберет другую реплику +curl.exe -s -o NUL "$env:BASE_URL/health/live" +docker compose --profile tools run --rm tester make test-failover ACTION_SCRIPT=scripts/stop-one.sh +docker ps -a --filter "label=com.docker.compose.project=messenger-lab3" --filter "label=com.docker.compose.service=api" --format "table {{.Names}}\t{{.ID}}\t{{.Status}}" +docker compose --profile tools run --rm tester sh scripts/start-api.sh + +# Перезапуск всего стенда с сохранением volume и прежнего токена +docker compose --profile tools run --rm tester make test-persistence ACTION_SCRIPT=scripts/restart.sh +``` + +Почему failover/persistence запускаются в контейнере `tester`: публичный тест вызывает `.sh`-скрипт через `subprocess.Popen`, а Windows не умеет исполнять `.sh` напрямую. В `tester` есть Python, make и docker CLI, а `BASE_URL = http://lb:8080` — тот же балансировщик, только изнутри Docker-сети (поэтому `LB_PORT` хоста здесь не важен). Сами тесты не менялись. + +### 3.5 Проверки уровня 4 + +```powershell +# Идемпотентность: 10 раундов × 16 одновременных POST с одним ключом -> ровно 1 сообщение +docker compose --profile tools run --rm tester python3 student-tests/idempotency_concurrency.py --output evidence/idempotency-concurrency.json + +# Серия отказов под нагрузкой: stop и kill каждой реплики по очереди, с восстановлением +# (результаты: evidence/failover-stop-*.json, evidence/failover-kill-*.json) +docker compose --profile tools run --rm tester sh student-tests/run-failover-series.sh + +# Жёсткий отказ одной реплики вручную (ID взять из docker ps), потом вернуть +docker compose --profile tools run --rm -e TARGET_INSTANCE_ID=<12 символов ID> tester sh scripts/kill-one.sh +docker compose --profile tools run --rm tester sh scripts/start-api.sh + + +# Нагрузка (справочно) и потребление ресурсов +docker compose --profile tools run --rm tester make load +docker stats --no-stream +``` + +Rolling update под нагрузкой — два окна PowerShell: + +```powershell +# Окно 1: нагрузка 70 s +docker compose --profile tools run --rm tester python3 student-tests/failover_load.py --duration 70 --label rolling-update --output evidence/rolling-update-load.json + +# Окно 2 (сразу после старта нагрузки): сборка новой версии, миграции один раз, поочерёдная замена реплик +$env:APP_VERSION = "v3" +sh scripts/rolling-update.sh +``` + +После rolling update реплики работают на образе `messenger-lab3-api:v3`. Все дальнейшие `docker compose up` нужно выполнять с тем же `APP_VERSION` (`$env:APP_VERSION = "v3"` или строка `APP_VERSION=v3` в `.env`), иначе Compose пересоздаст реплики на образе `dev`. + +### 3.6 Наблюдение и логи + +```powershell +# Состояние реплик в LB (UP/DOWN, счётчики ошибок и повторов) — открыть в браузере: +# http://127.0.0.1:8404/stats +docker compose logs lb --tail 30 # строки "Server api/apiN is DOWN/UP" +docker compose logs api --tail 30 # "draining for 3.0 s", "drain finished: closing listener" +docker compose ps +``` + +### 3.7 Остановка стенда + +```powershell +docker compose down # безопасно: данные остаются в volume postgres_data +docker compose down -v # ОСТОРОЖНО: удаляет volume с базой +``` + +### 3.8 Linux/macOS + +Всё то же, но: `cp .env.example .env`; `python3 -m venv .venv && .venv/bin/python -m pip install -r requirements-dev.txt`; `export PYTHON=.venv/bin/python` (или по умолчанию `python3`); `PYTHONUTF8` не нужен; `curl -s -D - -o /dev/null "$BASE_URL/health/live" | grep -i x-instance-id`. Failover/persistence можно запускать прямо с хоста: `make test-failover ACTION_SCRIPT=scripts/stop-one.sh`, `make test-persistence ACTION_SCRIPT=scripts/restart.sh`. Rolling update: `APP_VERSION=v3 sh scripts/rolling-update.sh`. + +### 3.9 Частые ошибки + +| Ошибка | Причина | Что сделать | +|-----------------------------------------------------------------------------------|----------------------------------------------------------------|------------------------------------------------------------------------------------| +| `Python make: *** [Makefile:13: check] Error 9009` (то же для `validate`, `test`) | в Windows нет команды `python3`; не задан `$env:PYTHON` | `$env:PYTHON = ".venv/Scripts/python.exe"` (раздел 3.3) | +| `UnicodeDecodeError: 'charmap' codec …` | Python на Windows читает файлы в cp1251 | `$env:PYTHONUTF8 = "1"` | +| `FAIL: GET /health/live: connection/TLS failure (TimeoutError)` | тест идёт на 8080, а LB на другом порту (или стенд не запущен) | `$env:BASE_URL = "http://localhost:8081"` (порт из `LB_PORT`); `docker compose ps` | +| `Failed building wheel for pydantic-core` / `asyncpg` | venv на Python 3.14 | пересоздать: `@py -3.11 -m venv .venv` | +| `secret ... file not found` при `up` | не созданы секреты | `sh scripts/init-secrets.sh` | +| failover-тест на Windows с хоста не запускает `.sh` | Windows не исполняет `.sh` | запускать через `tester` (раздел 3.4) | Переменные `.env.example` → реальная конфигурация: | `.env.example` | Где используется | |---------------------------|------------------------------------------------------------------| -| `APP_HOST`, `APP_PORT` | заданы в `compose.yaml` (0.0.0.0:8080) | +| `LB_PORT` | публичный порт HAProxy на хосте (по умолчанию 8080) | +| `APP_VERSION` | тег образа `api`/`migrate` (по умолчанию `dev`) | +| `API_REPLICAS` | `deploy.replicas` сервиса `api` (по умолчанию 2) | | `SESSION_TTL_SECONDS` | `api` (по умолчанию 3600) | +| `IDEMPOTENCY_TTL_SECONDS` | `api` (86400 = 24 ч) | +| `APP_HOST`, `APP_PORT` | заданы в `compose.yaml` (0.0.0.0:8080 внутри контейнера) | | `DATABASE_URL_FILE` | `/run/secrets/database_url` у `api` и `migrate` | | `SESSION_STORE` | `valkey`: сессии в PostgreSQL, cache-aside в Valkey (как в lab2) | | `CACHE_URL_FILE` | `/run/secrets/cache_url` у `api` | -| `API_REPLICAS` | `deploy.replicas` сервиса `api` (по умолчанию 2) | -| `IDEMPOTENCY_TTL_SECONDS` | `api` (86400 = 24 ч) | | `APP_ENV` | не используется приложением | -## 3. Архитектура и решения +## 4. Архитектура и решения ``` client ──HTTP:8080──► HAProxy (lb) ──round-robin, проверка /health/ready раз в 1 s──► api-1 ─┐ @@ -137,24 +337,24 @@ client ──HTTP:8080──► HAProxy (lb) ──round-robin, проверка До всего этого повтор проходит проверку токена и членства в чате (посторонний получит `404`). Область действия ключа: пользователь + метод + чат + ключ — тот же ключ у другого пользователя или в другом чате создаёт новое сообщение (проверено тестом). -Миграции: Сервис `migrate` стартует после того, как БД стала healthy, а API — только после того, как `migrate` успешно завершился (`depends_on: service_completed_successfully`). Повторный запуск печатает `SKIP`. Миграция 003 только добавляет таблицу, поэтому её можно применить, пока работает старая версия API. Правило на будущее: удалять/переименовывать колонки — отдельным релизом, когда ни одна реплика их уже не использует (expand → deploy → contract). Автоматической проверки совместимости нет — это ограничение. +Миграции. Сервис `migrate` стартует после того, как БД стала healthy, а API — только после того, как `migrate` успешно завершился (`depends_on: service_completed_successfully`). Повторный запуск печатает `SKIP`. Миграция 003 только добавляет таблицу, поэтому её можно применить, пока работает старая версия API. Правило на будущее: удалять/переименовывать колонки — отдельным релизом, когда ни одна реплика их уже не использует (expand → deploy → contract). Автоматической проверки совместимости нет — это ограничение. Транзакционные границы: создание чата с участниками — одна транзакция (из lab2); сообщение + ключ идемпотентности — одна транзакция; отзыв сессии — UPDATE в PostgreSQL, затем tombstone в Valkey. -## 4. Health, timeouts и обнаружение отказа (уровень 4) +## 5. Health, timeouts и обнаружение отказа (уровень 4) -| Параметр | Значение | Где | -|------------------------------|--------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|------------------------------------| -| `/health/live` | 200, только «процесс жив» | `app/main.py` | -| `/health/ready` | 200, если `SELECT 1` в PostgreSQL успешен и нет drain; иначе 503. Valkey не критичен: без него запросы идут в PostgreSQL | `app/main.py` | -| Активная проверка LB | `inter 1s`, `fall 2`, `rise 2`, `timeout check 1s` (раз в секунду; 2 неудачи подряд → DOWN; 2 успеха → UP) | `infra/haproxy/haproxy.cfg` | -| Пассивная проверка LB | `observe layer4 error-limit 1 on-error mark-down`: первая же ошибка соединения на реальном запросе сразу переводит сервер в DOWN | там же | -| DNS-обновление списка реплик | `hold valid 2s` (резолвер Docker 127.0.0.11) | там же | -| Таймауты LB | connect 1 s, server 10 s, http-request 10 s, keep-alive 10 s, client 30 s | там же | -| Повторы в LB | `retries 2`, `option redispatch 1`, `retry-on conn-failure empty-response 503`. Повтор уже отправленного запроса запрещён для POST (кроме POST сообщения с `Idempotency-Key`) и для DELETE | там же | -| Приложение | statement_timeout 5 s, ожидание соединения из пула 3 s, connect 3 s; uvicorn keep-alive 30 s (больше, чем 10 s у LB — соединение первым закрывает LB) | `compose.yaml`, `app/server.py` | -| SIGTERM | drain 3 s (readiness 503, `Connection: close`), затем закрытие порта и ожидание текущих запросов ≤ 8 s; `stop_grace_period: 15s` > 3 + 8 | `app/server.py`, `compose.yaml` | -| Docker healthcheck API | каждые 2 s, 2 неудачи | `compose.yaml` | +| Параметр | Значение | Где | +|------------------------------|--------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|---------------------------------| +| `/health/live` | 200, только «процесс жив» | `app/main.py` | +| `/health/ready` | 200, если `SELECT 1` в PostgreSQL успешен и нет drain; иначе 503. Valkey не критичен: без него запросы идут в PostgreSQL | `app/main.py` | +| Активная проверка LB | `inter 1s`, `fall 2`, `rise 2`, `timeout check 1s` (раз в секунду; 2 неудачи подряд → DOWN; 2 успеха → UP) | `infra/haproxy/haproxy.cfg` | +| Пассивная проверка LB | `observe layer4 error-limit 1 on-error mark-down`: первая же ошибка соединения на реальном запросе сразу переводит сервер в DOWN | там же | +| DNS-обновление списка реплик | `hold valid 2s` (резолвер Docker 127.0.0.11) | там же | +| Таймауты LB | connect 1 s, server 10 s, http-request 10 s, keep-alive 10 s, client 30 s | там же | +| Повторы в LB | `retries 2`, `option redispatch 1`, `retry-on conn-failure empty-response 503`. Повтор уже отправленного запроса запрещён для POST (кроме POST сообщения с `Idempotency-Key`) и для DELETE | там же | +| Приложение | statement_timeout 5 s, ожидание соединения из пула 3 s, connect 3 s; uvicorn keep-alive 30 s (больше, чем 10 s у LB — соединение первым закрывает LB) | `compose.yaml`, `app/server.py` | +| SIGTERM | drain 3 s (readiness 503, `Connection: close`), затем закрытие порта и ожидание текущих запросов ≤ 8 s; `stop_grace_period: 15s` > 3 + 8 | `app/server.py`, `compose.yaml` | +| Docker healthcheck API | каждые 2 s, 2 неудачи | `compose.yaml` | Как таймауты согласованы между собой: `timeout server` LB (10 s) больше, чем БД может держать запрос (5 s statement + 3 s ожидание пула), поэтому LB не обрывает запрос, который приложение ещё может успешно завершить. Drain (3 s) больше, чем время, за которое LB замечает 503 (≈ 2–3 s), поэтому к моменту закрытия порта новые запросы на реплику уже не идут. @@ -166,28 +366,28 @@ client ──HTTP:8080──► HAProxy (lb) ──round-robin, проверка Что видно при `docker stop` реплики: в логе HAProxy `Server api/apiN is DOWN, reason: Layer7 wrong status, code: 503`, затем в логе API `drain finished: closing listener`, контейнер завершается с `Exited (0)`. Сам `docker stop` занимает ≈ 4 s (окно действия 4.13 и 4.04 s в `evidence/failover-stop-*.json`). При SIGKILL (`kill-one.sh`) код выхода `137`. -## 5. Доказательства критериев +## 6. Доказательства критериев -Все прогоны — 2026-10-13, 14:49–14:58 UTC, на стенде из раздела 6. +Прогоны с измерениями — 2026-10-13, 14:49–14:58 UTC, на стенде из раздела 7. Повторная проверка команд 2026-10-20: `make check`/`validate`/`test` — PASS; `make test-failover` — PASS (`observed_instances_before: 2`, `failed_attempts: 0`, `first_recovery_seconds: 4.262`, у остановленного контейнера `Exited (0)`); `make test-persistence` — PASS; идемпотентность — PASS. -| Критерий README | Команда/сценарий | Наблюдаемый результат | Файл | -|---------------------------------------------------------------------------------------------|-----------------------------------------------------------------------------------------------------------------|----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|---------------------------------------------------------------------| -| Публичный smoke | `make test` (хост → `localhost:8080`) | `PASS: lab3 public API scenario` | `evidence/public-tests.txt` | -| Структура контракта | `make check` | PASS | `evidence/public-tests.txt` | -| ≥2 реплики, одна точка входа, общая БД и сессии | `docker compose ps`; 4 запроса подряд через LB; 40× `/users/me` одним токеном в failover-тесте | 2 контейнера `api`; `X-Instance-Id` чередуется `fcae2c6047af` / `1ff54c0efa0c`; `observed_instances_before: 2`, без повторного входа | `evidence/public-tests.txt` | -| Остановка любой одной реплики, восстановление ≤10 s | `make test-failover ACTION_SCRIPT=scripts/stop-one.sh` дважды — по разу для каждой реплики (в tester) | оба PASS; `failed_attempts: 0`; `first_recovery_seconds` 4.4 и 4.52; в `docker ps -a` `Exited (0)` сначала у `1ff54c0efa0c`, потом у `fcae2c6047af` — остановлен реальный контейнер | `evidence/public-tests.txt` | -| Повтор с тем же ключом без дублей, в т.ч. во время отказа | `resilience.py` повторяет неопределённый POST тем же ключом; smoke: повтор = то же сообщение, другое тело = 409 | PASS, дублей нет | `evidence/public-tests.txt` | -| Persistence | `make test-persistence ACTION_SCRIPT=scripts/restart.sh` | PASS, прежний токен действует; `StartedAt` у db, valkey, обеих api и lb — после запуска hook (14:50:49–14:51:02), volume `messenger-lab3_postgres_data` на месте | `evidence/persistence.txt` | -| 4: health/readiness/timeouts/SIGTERM согласованы, LB исключает backend | конфигурация + `docker stop` реплики | раздел 4; реплика перестаёт получать запросы через 0.87–0.99 s после начала `docker stop`; выход с кодом 0 | раздел 4, `evidence/failover-stop-*.json` | -| 4: поочерёдная остановка каждой реплики под нагрузкой: RPS, ошибки, время восстановления | `student-tests/run-failover-series.sh` (stop и kill для каждой реплики, с восстановлением предыдущей) | таблица в разделе 6; 1 ошибка на 4 прогона, потерь и дублей 0 | `evidence/failover-*.json`, `evidence/failover-series.txt` | -| 4: параллельные запросы с одним ключом | `student-tests/idempotency_concurrency.py` (10 раундов × 16 одновременных POST с одним ключом) | в каждом раунде 1 сообщение и 15 ответов-повторов; все 10 раундов прошли через 2 реплики; другое тело → 409; ключ не мешает другому пользователю/чату | `evidence/idempotency-concurrency.json` | -| 4: CPU/RAM-лимиты, нет портов API наружу, нет `container_name`, секреты только где нужны | `compose.yaml` | лимиты у всех сервисов; у `api` нет `ports`; db/valkey в `internal`-сети; у LB нет секретов (таблица в разделе 2) | `compose.yaml` | -| 4: rolling update под нагрузкой, однократные совместимые миграции | `APP_VERSION=v3 sh scripts/rolling-update.sh` + параллельно `failover_load.py` (70 s, 4 потока) | обе реплики v2 заменены на v3 (новые `a9d3dc77f288`, `ea0e32824716`); 4 826 подтверждённых записей, 0 ошибок, максимальная пауза между записями 0.054 s; миграции один раз, все `SKIP` | `evidence/rolling-update.txt`, `evidence/rolling-update-load.json` | -| Нагрузка (справочно) | `tests/load.py --duration 30 --concurrency 4`, 4 прогона | 142–154 успешных RPS (среднее ≈ 148), 0 ошибок, p50 ≈ 15 ms, p95 76–86 ms, p99 98–138 ms | `evidence/load*.json`, `evidence/load-docker-stats.txt` | +| Критерий README | Команда/сценарий | Наблюдаемый результат | Файл | +|------------------------------------------------------------------------------------------|-------------------------------------------------------------------------------------------------------------------|------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|----------------------------------------------------------------------| +| Публичный smoke | `make test` (хост → LB) | `PASS: lab3 public API scenario` | `evidence/public-tests.txt` | +| Структура контракта | `make check`, `make validate` | PASS | `evidence/public-tests.txt` | +| ≥2 реплики, одна точка входа, общая БД и сессии | `docker compose ps`; 4 запроса подряд через LB; 40× `/users/me` одним токеном в failover-тесте | 2 контейнера `api`; `X-Instance-Id` чередуется `fcae2c6047af` / `1ff54c0efa0c`; `observed_instances_before: 2`, без повторного входа | `evidence/public-tests.txt` | +| Остановка любой одной реплики, восстановление ≤10 s | `make test-failover ACTION_SCRIPT=scripts/stop-one.sh` дважды — по разу для каждой реплики (в tester) | оба PASS; `failed_attempts: 0`; `first_recovery_seconds` 4.4 и 4.52; в `docker ps -a` `Exited (0)` сначала у `1ff54c0efa0c`, потом у `fcae2c6047af` — остановлен реальный контейнер | `evidence/public-tests.txt` | +| Повтор с тем же ключом без дублей, в т.ч. во время отказа | `resilience.py` повторяет неопределённый POST тем же ключом; smoke: повтор = то же сообщение, другое тело = 409 | PASS, дублей нет | `evidence/public-tests.txt` | +| Persistence | `make test-persistence ACTION_SCRIPT=scripts/restart.sh` | PASS, прежний токен действует; `StartedAt` у db, valkey, обеих api и lb — после запуска hook (14:50:49–14:51:02), volume `messenger-lab3_postgres_data` на месте | `evidence/persistence.txt` | +| 4: health/readiness/timeouts/SIGTERM согласованы, LB исключает backend | конфигурация + `docker stop` реплики | раздел 5; реплика перестаёт получать запросы через 0.87–0.99 s после начала `docker stop`; выход с кодом 0 | раздел 5, `evidence/failover-stop-*.json` | +| 4: поочерёдная остановка каждой реплики под нагрузкой: RPS, ошибки, время восстановления | `student-tests/run-failover-series.sh` (stop и kill для каждой реплики, с восстановлением предыдущей) | таблица в разделе 7; 1 ошибка на 4 прогона, потерь и дублей 0 | `evidence/failover-*.json`, `evidence/failover-series.txt` | +| 4: параллельные запросы с одним ключом | `student-tests/idempotency_concurrency.py` (10 раундов × 16 одновременных POST с одним ключом) | в каждом раунде 1 сообщение и 15 ответов-повторов; все 10 раундов прошли через 2 реплики; другое тело → 409; ключ не мешает другому пользователю/чату | `evidence/idempotency-concurrency.json` | +| 4: CPU/RAM-лимиты, нет портов API наружу, нет `container_name`, секреты только где нужны | `compose.yaml` | лимиты у всех сервисов; у `api` нет `ports`; db/valkey в `internal`-сети; у LB нет секретов (таблица в разделе 3) | `compose.yaml` | +| 4: rolling update под нагрузкой, однократные совместимые миграции | `APP_VERSION=v3 sh scripts/rolling-update.sh` + параллельно `failover_load.py` (70 s, 4 потока) | обе реплики v2 заменены на v3 (новые `a9d3dc77f288`, `ea0e32824716`); 4 826 подтверждённых записей, 0 ошибок, максимальная пауза между записями 0.054 s; миграции один раз, все `SKIP` | `evidence/rolling-update.txt`, `evidence/rolling-update-load.json` | +| Нагрузка (справочно) | `tests/load.py --duration 30 --concurrency 4`, 4 прогона | 142–154 успешных RPS (среднее ≈ 148), 0 ошибок, p50 ≈ 15 ms, p95 76–86 ms, p99 98–138 ms | `evidence/load*.json`, `evidence/load-docker-stats.txt` | Почему `X-Instance-Id` — не единственное доказательство: заголовок пишет само приложение. Поэтому после каждого отказа сохранён вывод `docker ps -a`: видно, что `Exited` именно тот контейнер, чей ID был в `TARGET_INSTANCE_ID`, а остальные сервисы продолжают работать. -## 6. Эксперименты и отказы +## 7. Эксперименты и отказы Стенд. Docker Desktop 29.3.0 (WSL2), хост 14 CPU / 7.4 GiB RAM. Лимиты: каждая api — 0.5 CPU / 256 MiB, db — 1 CPU / 512 MiB, valkey — 0.25 CPU / 128 MiB, lb — 0.5 CPU / 128 MiB. Генератор нагрузки — в контейнере `tester` в той же Docker-сети. Данные: синтетические, каждый прогон создаёт своих пользователей и чат. @@ -197,14 +397,14 @@ client ──HTTP:8080──► HAProxy (lb) ──round-robin, проверка RPS ниже — все успешные запросы (чтение + запись) в секунду. «Во время» — окно, пока выполняется action-скрипт (≈ 4 s для stop, < 1 s для kill). -| Воздействие | Что ожидаем | Что наблюдали: успешные RPS до → во время → после; p95 до → после | Восстановление / потеря данных | -|--------------------------------|------------------------------|---------------------------------------------------------------------------------|--------------------------------------------------------------------------------------------------------------------------------------| -| `stop-one` реплика 1 (SIGTERM) | 0 ошибок | 130.6 → 79.1 → 93.5; p95 86 → 99 ms; ошибок 0 | реплика перестала получать запросы через 0.99 s; макс. пауза между записями 0.40 s; 1 525 записей, потерь и дублей 0; `Exited (0)` | -| `stop-one` реплика 2 (SIGTERM) | 0 ошибок | 149.2 → 108.0 → 87.9; p95 81 → 100 ms; ошибок 0 | 0.87 s; пауза 0.39 s; 1 606 записей, потерь 0; `Exited (0)` | -| `kill-one` реплика 1 (SIGKILL) | единичные ошибки | 106.1 → 44.3 → 89.4; p95 99 → 100 ms; ошибок 0 | 0.06 s; пауза 0.19 s; 1 398 записей, потерь 0; `Exited (137)` | -| `kill-one` реплика 2 (SIGKILL) | единичные ошибки | 118.8 → 23.8 → 74.2; p95 94 → 104 ms; **1 ошибка** (через 0.13 s после kill) | 0.11 s; пауза 0.29 s; 1 273 записи, потерь и дублей 0; `Exited (137)` | -| Rolling update api ×2 → v3 | 0 ошибок | 137.8 RPS в среднем за 70 s, ошибок 0; по секундам не ниже 52 успешных запросов | макс. пауза между записями 0.054 s; 4 826 записей, потерь и дублей 0 | -| Restart всего стенда | данные и токен сохраняются | `make test-persistence` PASS | на время перезапуска сервис недоступен (ожидаемо: останавливаются и LB, и БД); БД поднялась в 14:50:49, LB — в 14:51:02 (≈ 13 s) | +| Воздействие | Что ожидаем | Что наблюдали: успешные RPS до → во время → после; p95 до → после | Восстановление / потеря данных | +|--------------------------------|----------------------------|---------------------------------------------------------------------------------|------------------------------------------------------------------------------------------------------------------------------------| +| `stop-one` реплика 1 (SIGTERM) | 0 ошибок | 130.6 → 79.1 → 93.5; p95 86 → 99 ms; ошибок 0 | реплика перестала получать запросы через 0.99 s; макс. пауза между записями 0.40 s; 1 525 записей, потерь и дублей 0; `Exited (0)` | +| `stop-one` реплика 2 (SIGTERM) | 0 ошибок | 149.2 → 108.0 → 87.9; p95 81 → 100 ms; ошибок 0 | 0.87 s; пауза 0.39 s; 1 606 записей, потерь 0; `Exited (0)` | +| `kill-one` реплика 1 (SIGKILL) | единичные ошибки | 106.1 → 44.3 → 89.4; p95 99 → 100 ms; ошибок 0 | 0.06 s; пауза 0.19 s; 1 398 записей, потерь 0; `Exited (137)` | +| `kill-one` реплика 2 (SIGKILL) | единичные ошибки | 118.8 → 23.8 → 74.2; p95 94 → 104 ms; **1 ошибка** (через 0.13 s после kill) | 0.11 s; пауза 0.29 s; 1 273 записи, потерь и дублей 0; `Exited (137)` | +| Rolling update api ×2 → v3 | 0 ошибок | 137.8 RPS в среднем за 70 s, ошибок 0; по секундам не ниже 52 успешных запросов | макс. пауза между записями 0.054 s; 4 826 записей, потерь и дублей 0 | +| Restart всего стенда | данные и токен сохраняются | `make test-persistence` PASS | на время перезапуска сервис недоступен (ожидаемо: останавливаются и LB, и БД); БД поднялась в 14:50:49, LB — в 14:51:02 (≈ 13 s) | Реплики: 1 = `fcae2c6047af`, 2 = `1ff54c0efa0c`. @@ -217,7 +417,7 @@ RPS ниже — все успешные запросы (чтение + запи Ограничения измерений. Закрытый цикл (coordinated omission: пока клиент ждёт медленный ответ, он не шлёт новые, поэтому задержки занижены). Каждый сценарий отказа — один прогон по 30 s без повторов. Генератор нагрузки на том же хосте и делит с ним CPU. RPS «во время» посчитан по окну < 5 s и шумный. `first_recovery_seconds` публичного теста считается от начала hook до первой записи после его окончания, а сам `docker stop` с drain длится ≈ 4 s — реальный перерыв в записи намного меньше (макс. пауза 0.39–0.40 s). -## 7. Ограничения и следующие шаги +## 8. Ограничения и следующие шаги - Выдерживается отказ одной API-реплики (процесса/контейнера). Не выдерживаются: отказ PostgreSQL (один экземпляр без реплики), отказ HAProxy (единственная точка входа) и потеря Docker-хоста — всё работает на одном хосте. Отказ Valkey выдерживается: API переходит на PostgreSQL (проверялось в lab2). - Кэш сессий очищается (`FLUSHDB`) при старте каждого процесса API — решение из lab2 против потерянной инвалидации. С несколькими репликами каждый рестарт/rolling update сбрасывает общий кэш: на корректность не влияет, но ненадолго увеличивает нагрузку на PostgreSQL. @@ -227,17 +427,3 @@ RPS ниже — все успешные запросы (чтение + запи - `rolling-update.sh` использует `docker compose --scale`, поэтому номера контейнеров растут (api-5, api-6…). Автоматического отката нет: при ошибке скрипт останавливается, старые реплики продолжают работать. - Контейнер `tester` монтирует `docker.sock` — это полный доступ к Docker-хосту; допустимо только на учебном стенде. - Тесты lab2 (`level4.py`, `db_checks.py`) не перенесены: они рассчитаны на топологию lab2 (API напрямую на :8080, отдельный `api_short_ttl` на :8081). - -### Вопросы из README - -Чем отказ процесса отличается от отказа узла? -Процесс — одна программа (у нас один контейнер API). Если он упал, остальные реплики на том же хосте работают, а HAProxy переключается на них — это и проверено в лабораторной. Узел — целая машина (хост Docker). Если она пропала, пропадает всё, что на ней запущено: обе реплики, HAProxy, PostgreSQL. У нас все компоненты на одном хосте, поэтому отказ узла стенд **не** выдерживает — для этого нужны несколько машин и реплицированная БД (трек 2 на «5»). - -Почему `depends_on`/healthcheck сами по себе не являются балансировщиком? -`depends_on` влияет только на порядок запуска: «не запускай API, пока БД не healthy». Docker healthcheck только ставит метку `healthy/unhealthy` на контейнер и никуда не направляет трафик. Ни то, ни другое не принимает запросы клиента, не распределяет их между репликами, не убирает упавшую реплику из маршрута и не повторяет запрос. Это делает HAProxy: он принимает запрос, выбирает живую реплику, сам проверяет её `/health/ready` и при ошибке повторяет запрос на другой. - -Какие POST можно повторять после timeout и что защищает `Idempotency-Key`? -После timeout клиент не знает, выполнился запрос или нет. Повторять безопасно только тот запрос, повтор которого не создаст второй результат. У нас это `POST /chats/{id}/messages` **с** `Idempotency-Key`: сервер хранит ключ в той же транзакции, что и сообщение, и на повтор отдаёт уже созданное сообщение (на другое тело — `409`). Ключ защищает от **дублей** при повторе — в том числе когда повтор пришёл на другую реплику или одновременно с оригиналом. Остальные POST (`/users`, `/chats`, `/auth/sessions`) ключа не имеют, их повтор может создать второй объект, поэтому HAProxy их не повторяет, если запрос уже ушёл в приложение. (Ошибку *установления* соединения можно повторять всегда — запрос до приложения не дошёл.) - -Что сломается при увеличении числа API, если сессии хранятся в локальной памяти? -Пользователь вошёл через реплику 1 — токен есть только в её памяти. Следующий запрос round-robin отправит на реплику 2, а она такого токена не знает → `401`, пользователя «выкинет». Logout на одной реплике не отзовёт токен на другой. При падении/рестарте реплики все её сессии пропадут. Sticky session лишь маскирует это (и всё равно теряет сессии при отказе), поэтому у нас сессии в PostgreSQL + общий Valkey. \ No newline at end of file diff --git a/evidence/failover-kill-1.json b/evidence/failover-kill-1.json index f3db7dad..c274c69a 100644 --- a/evidence/failover-kill-1.json +++ b/evidence/failover-kill-1.json @@ -1,190 +1,190 @@ { "label": "kill-1", "action_script": "scripts/kill-one.sh", - "target_instance": "fcae2c6047af", + "target_instance": "50bf23d8d45c", "replicas_observed_before": 2, "concurrency": 4, "workload": "closed loop, 50% POST message (retry same key on failure) / 50% GET history, timeout 3 s", - "started_at_utc": "14:52:42", - "duration_seconds": 30.02, + "started_at_utc": "13:08:03", + "duration_seconds": 30.06, "action_window_seconds": [ - 8.0, - 8.54 + 8.01, + 8.76 ], "action_stdout": [ - "killed api container fcae2c6047af at 14:52:50" + "killed api container 50bf23d8d45c at 13:08:12" ], "before": { - "seconds": 8.0, - "successful_rps": 106.1, + "seconds": 8.01, + "successful_rps": 41.1, "errors": 0, "error_ratio": 0.0, - "p50_ms": 15.25, - "p95_ms": 99.41, - "p99_ms": 181.16 + "p50_ms": 76.66, + "p95_ms": 219.09, + "p99_ms": 621.22 }, "during_action": { - "seconds": 0.54, - "successful_rps": 44.3, - "errors": 0, - "error_ratio": 0.0, - "p50_ms": 89.69, - "p95_ms": 102.09, - "p99_ms": 183.92 + "seconds": 0.75, + "successful_rps": 49.1, + "errors": 1, + "error_ratio": 0.0263, + "p50_ms": 61.57, + "p95_ms": 101.94, + "p99_ms": 129.19 }, "after_action": { - "seconds": 21.48, - "successful_rps": 89.4, + "seconds": 21.3, + "successful_rps": 69.0, "errors": 0, "error_ratio": 0.0, - "p50_ms": 19.64, - "p95_ms": 100.06, - "p99_ms": 169.12 + "p50_ms": 66.17, + "p95_ms": 113.69, + "p99_ms": 196.83 }, - "total_errors": 0, - "last_error_after_action_start_s": 0.0, - "max_gap_between_successful_writes_s": 0.194, - "target_last_served_after_action_start_s": 0.06, + "total_errors": 1, + "last_error_after_action_start_s": 0.21, + "max_gap_between_successful_writes_s": 0.295, + "target_last_served_after_action_start_s": 0.14, "instances_after_action": { - "1ff54c0efa0c": 1921 + "907fb352c5ff": 1470 }, - "confirmed_writes": 1398, + "confirmed_writes": 919, "lost_confirmed": 0, "duplicates": 0, "per_second": [ { "t": 0, - "ok": 96, + "ok": 57, "err": 0 }, { "t": 1, - "ok": 97, + "ok": 46, "err": 0 }, { "t": 2, - "ok": 173, + "ok": 35, "err": 0 }, { "t": 3, - "ok": 80, + "ok": 51, "err": 0 }, { "t": 4, - "ok": 89, + "ok": 19, "err": 0 }, { "t": 5, - "ok": 145, + "ok": 22, "err": 0 }, { "t": 6, - "ok": 82, + "ok": 35, "err": 0 }, { "t": 7, - "ok": 87, + "ok": 64, "err": 0 }, { "t": 8, - "ok": 42, - "err": 0 + "ok": 52, + "err": 1 }, { "t": 9, - "ok": 82, + "ok": 32, "err": 0 }, { "t": 10, - "ok": 73, + "ok": 32, "err": 0 }, { "t": 11, - "ok": 44, + "ok": 91, "err": 0 }, { "t": 12, - "ok": 97, - "err": 0 - }, - { - "t": 13, - "ok": 117, - "err": 0 - }, - { - "t": 14, - "ok": 56, - "err": 0 - }, - { - "t": 15, "ok": 98, "err": 0 }, { - "t": 16, - "ok": 119, + "t": 13, + "ok": 54, "err": 0 }, { - "t": 17, - "ok": 75, - "err": 0 - }, - { - "t": 18, - "ok": 92, - "err": 0 - }, - { - "t": 19, - "ok": 129, - "err": 0 - }, - { - "t": 20, + "t": 14, "ok": 65, "err": 0 }, + { + "t": 15, + "ok": 104, + "err": 0 + }, + { + "t": 16, + "ok": 64, + "err": 0 + }, + { + "t": 17, + "ok": 61, + "err": 0 + }, + { + "t": 18, + "ok": 119, + "err": 0 + }, + { + "t": 19, + "ok": 64, + "err": 0 + }, + { + "t": 20, + "ok": 26, + "err": 0 + }, { "t": 21, - "ok": 60, + "ok": 53, "err": 0 }, { "t": 22, - "ok": 121, - "err": 0 - }, - { - "t": 23, "ok": 99, "err": 0 }, + { + "t": 23, + "ok": 66, + "err": 0 + }, { "t": 24, - "ok": 55, + "ok": 41, "err": 0 }, { "t": 25, - "ok": 121, + "ok": 84, "err": 0 }, { "t": 26, - "ok": 112, + "ok": 80, "err": 0 }, { @@ -194,12 +194,12 @@ }, { "t": 28, - "ok": 107, + "ok": 66, "err": 0 }, { "t": 29, - "ok": 125, + "ok": 100, "err": 0 }, { diff --git a/evidence/failover-kill-2.json b/evidence/failover-kill-2.json index 46fc2cdd..9a2bba0f 100644 --- a/evidence/failover-kill-2.json +++ b/evidence/failover-kill-2.json @@ -1,205 +1,205 @@ { "label": "kill-2", "action_script": "scripts/kill-one.sh", - "target_instance": "1ff54c0efa0c", + "target_instance": "907fb352c5ff", "replicas_observed_before": 2, "concurrency": 4, "workload": "closed loop, 50% POST message (retry same key on failure) / 50% GET history, timeout 3 s", - "started_at_utc": "14:53:22", - "duration_seconds": 30.06, + "started_at_utc": "13:08:44", + "duration_seconds": 30.07, "action_window_seconds": [ 8.0, - 8.88 + 8.61 ], "action_stdout": [ - "killed api container 1ff54c0efa0c at 14:53:31" + "killed api container 907fb352c5ff at 13:08:53" ], "before": { "seconds": 8.0, - "successful_rps": 118.8, + "successful_rps": 111.6, "errors": 0, "error_ratio": 0.0, - "p50_ms": 16.36, - "p95_ms": 94.03, - "p99_ms": 162.45 + "p50_ms": 20.77, + "p95_ms": 91.77, + "p99_ms": 128.68 }, "during_action": { - "seconds": 0.88, - "successful_rps": 23.8, - "errors": 1, - "error_ratio": 0.0455, - "p50_ms": 135.56, - "p95_ms": 192.0, - "p99_ms": 198.94 - }, - "after_action": { - "seconds": 21.18, - "successful_rps": 74.2, + "seconds": 0.6, + "successful_rps": 52.9, "errors": 0, "error_ratio": 0.0, - "p50_ms": 63.46, - "p95_ms": 104.13, - "p99_ms": 193.24 + "p50_ms": 68.94, + "p95_ms": 129.28, + "p99_ms": 131.72 }, - "total_errors": 1, - "last_error_after_action_start_s": 0.13, - "max_gap_between_successful_writes_s": 0.289, - "target_last_served_after_action_start_s": 0.11, + "after_action": { + "seconds": 21.46, + "successful_rps": 78.2, + "errors": 0, + "error_ratio": 0.0, + "p50_ms": 37.23, + "p95_ms": 101.67, + "p99_ms": 167.24 + }, + "total_errors": 0, + "last_error_after_action_start_s": 0.0, + "max_gap_between_successful_writes_s": 0.195, + "target_last_served_after_action_start_s": 0.12, "instances_after_action": { - "fcae2c6047af": 1571 + "50bf23d8d45c": 1679 }, - "confirmed_writes": 1273, + "confirmed_writes": 1304, "lost_confirmed": 0, "duplicates": 0, "per_second": [ { "t": 0, - "ok": 122, + "ok": 101, "err": 0 }, { "t": 1, - "ok": 64, + "ok": 99, "err": 0 }, { "t": 2, - "ok": 165, + "ok": 156, "err": 0 }, { "t": 3, - "ok": 153, + "ok": 113, "err": 0 }, { "t": 4, - "ok": 80, + "ok": 64, "err": 0 }, { "t": 5, - "ok": 141, + "ok": 137, "err": 0 }, { "t": 6, - "ok": 163, + "ok": 150, "err": 0 }, { "t": 7, - "ok": 63, - "err": 0 - }, - { - "t": 8, - "ok": 24, - "err": 1 - }, - { - "t": 9, - "ok": 67, - "err": 0 - }, - { - "t": 10, - "ok": 69, - "err": 0 - }, - { - "t": 11, - "ok": 33, - "err": 0 - }, - { - "t": 12, - "ok": 22, - "err": 0 - }, - { - "t": 13, - "ok": 57, - "err": 0 - }, - { - "t": 14, - "ok": 62, - "err": 0 - }, - { - "t": 15, - "ok": 34, - "err": 0 - }, - { - "t": 16, "ok": 73, "err": 0 }, { - "t": 17, - "ok": 113, + "t": 8, + "ok": 71, "err": 0 }, { - "t": 18, - "ok": 85, + "t": 9, + "ok": 90, "err": 0 }, { - "t": 19, + "t": 10, "ok": 66, "err": 0 }, + { + "t": 11, + "ok": 60, + "err": 0 + }, + { + "t": 12, + "ok": 99, + "err": 0 + }, + { + "t": 13, + "ok": 93, + "err": 0 + }, + { + "t": 14, + "ok": 42, + "err": 0 + }, + { + "t": 15, + "ok": 91, + "err": 0 + }, + { + "t": 16, + "ok": 105, + "err": 0 + }, + { + "t": 17, + "ok": 54, + "err": 0 + }, + { + "t": 18, + "ok": 82, + "err": 0 + }, + { + "t": 19, + "ok": 103, + "err": 0 + }, { "t": 20, - "ok": 112, + "ok": 72, "err": 0 }, { "t": 21, - "ok": 87, + "ok": 61, "err": 0 }, { "t": 22, - "ok": 50, + "ok": 88, "err": 0 }, { "t": 23, - "ok": 120, + "ok": 78, "err": 0 }, { "t": 24, - "ok": 110, + "ok": 43, "err": 0 }, { "t": 25, - "ok": 47, + "ok": 97, "err": 0 }, { "t": 26, - "ok": 102, + "ok": 111, "err": 0 }, { "t": 27, - "ok": 113, + "ok": 55, "err": 0 }, { "t": 28, - "ok": 58, + "ok": 74, "err": 0 }, { "t": 29, - "ok": 84, + "ok": 72, "err": 0 }, { diff --git a/evidence/failover-stop-1.json b/evidence/failover-stop-1.json index 500f1c15..3f156541 100644 --- a/evidence/failover-stop-1.json +++ b/evidence/failover-stop-1.json @@ -1,205 +1,205 @@ { "label": "stop-1", "action_script": "scripts/stop-one.sh", - "target_instance": "fcae2c6047af", + "target_instance": "50bf23d8d45c", "replicas_observed_before": 2, "concurrency": 4, "workload": "closed loop, 50% POST message (retry same key on failure) / 50% GET history, timeout 3 s", - "started_at_utc": "14:51:21", - "duration_seconds": 30.05, + "started_at_utc": "13:06:39", + "duration_seconds": 30.08, "action_window_seconds": [ 8.0, - 12.13 + 12.03 ], "action_stdout": [ - "stopped api container fcae2c6047af at 14:51:33" + "stopped api container 50bf23d8d45c at 13:06:51" ], "before": { "seconds": 8.0, - "successful_rps": 130.6, + "successful_rps": 125.8, "errors": 0, "error_ratio": 0.0, - "p50_ms": 16.95, - "p95_ms": 86.35, - "p99_ms": 202.12 + "p50_ms": 20.79, + "p95_ms": 86.47, + "p99_ms": 97.44 }, "during_action": { - "seconds": 4.13, - "successful_rps": 79.1, + "seconds": 4.03, + "successful_rps": 64.2, "errors": 0, "error_ratio": 0.0, - "p50_ms": 33.06, - "p95_ms": 100.93, - "p99_ms": 304.83 + "p50_ms": 50.03, + "p95_ms": 180.99, + "p99_ms": 193.96 }, "after_action": { - "seconds": 17.92, - "successful_rps": 93.5, + "seconds": 18.05, + "successful_rps": 74.0, "errors": 0, "error_ratio": 0.0, - "p50_ms": 19.79, - "p95_ms": 98.76, - "p99_ms": 108.11 + "p50_ms": 55.45, + "p95_ms": 104.68, + "p99_ms": 184.58 }, "total_errors": 0, "last_error_after_action_start_s": 0.0, - "max_gap_between_successful_writes_s": 0.401, - "target_last_served_after_action_start_s": 0.99, + "max_gap_between_successful_writes_s": 0.277, + "target_last_served_after_action_start_s": 1.34, "instances_after_action": { - "1ff54c0efa0c": 1676 + "907fb352c5ff": 1335 }, - "confirmed_writes": 1525, + "confirmed_writes": 1301, "lost_confirmed": 0, "duplicates": 0, "per_second": [ { "t": 0, - "ok": 146, - "err": 0 - }, - { - "t": 1, - "ok": 36, - "err": 0 - }, - { - "t": 2, - "ok": 164, - "err": 0 - }, - { - "t": 3, - "ok": 181, - "err": 0 - }, - { - "t": 4, - "ok": 82, - "err": 0 - }, - { - "t": 5, - "ok": 153, - "err": 0 - }, - { - "t": 6, "ok": 170, "err": 0 }, + { + "t": 1, + "ok": 146, + "err": 0 + }, + { + "t": 2, + "ok": 70, + "err": 0 + }, + { + "t": 3, + "ok": 140, + "err": 0 + }, + { + "t": 4, + "ok": 157, + "err": 0 + }, + { + "t": 5, + "ok": 76, + "err": 0 + }, + { + "t": 6, + "ok": 100, + "err": 0 + }, { "t": 7, - "ok": 112, + "ok": 147, "err": 0 }, { "t": 8, - "ok": 104, + "ok": 109, "err": 0 }, { "t": 9, - "ok": 93, + "ok": 37, "err": 0 }, { "t": 10, - "ok": 79, + "ok": 44, "err": 0 }, { "t": 11, - "ok": 41, - "err": 0 - }, - { - "t": 12, - "ok": 111, - "err": 0 - }, - { - "t": 13, - "ok": 106, - "err": 0 - }, - { - "t": 14, - "ok": 49, - "err": 0 - }, - { - "t": 15, - "ok": 115, - "err": 0 - }, - { - "t": 16, - "ok": 129, - "err": 0 - }, - { - "t": 17, "ok": 66, "err": 0 }, + { + "t": 12, + "ok": 64, + "err": 0 + }, + { + "t": 13, + "ok": 38, + "err": 0 + }, + { + "t": 14, + "ok": 105, + "err": 0 + }, + { + "t": 15, + "ok": 88, + "err": 0 + }, + { + "t": 16, + "ok": 43, + "err": 0 + }, + { + "t": 17, + "ok": 71, + "err": 0 + }, { "t": 18, - "ok": 96, + "ok": 90, "err": 0 }, { "t": 19, - "ok": 129, + "ok": 68, "err": 0 }, { "t": 20, - "ok": 82, + "ok": 49, "err": 0 }, { "t": 21, - "ok": 81, + "ok": 89, "err": 0 }, { "t": 22, - "ok": 123, + "ok": 92, "err": 0 }, { "t": 23, - "ok": 86, + "ok": 43, "err": 0 }, { "t": 24, - "ok": 77, + "ok": 104, "err": 0 }, { "t": 25, - "ok": 126, + "ok": 111, "err": 0 }, { "t": 26, - "ok": 80, + "ok": 43, "err": 0 }, { "t": 27, - "ok": 45, + "ok": 46, "err": 0 }, { "t": 28, - "ok": 94, + "ok": 100, "err": 0 }, { "t": 29, - "ok": 88, + "ok": 91, "err": 0 }, { diff --git a/evidence/failover-stop-2.json b/evidence/failover-stop-2.json index aef6a8fc..d030ff68 100644 --- a/evidence/failover-stop-2.json +++ b/evidence/failover-stop-2.json @@ -1,110 +1,110 @@ { "label": "stop-2", "action_script": "scripts/stop-one.sh", - "target_instance": "1ff54c0efa0c", + "target_instance": "907fb352c5ff", "replicas_observed_before": 2, "concurrency": 4, "workload": "closed loop, 50% POST message (retry same key on failure) / 50% GET history, timeout 3 s", - "started_at_utc": "14:52:02", + "started_at_utc": "13:07:21", "duration_seconds": 30.02, "action_window_seconds": [ 8.0, - 12.04 + 12.11 ], "action_stdout": [ - "stopped api container 1ff54c0efa0c at 14:52:14" + "stopped api container 907fb352c5ff at 13:07:33" ], "before": { "seconds": 8.0, - "successful_rps": 149.2, + "successful_rps": 57.5, "errors": 0, "error_ratio": 0.0, - "p50_ms": 14.55, - "p95_ms": 80.93, - "p99_ms": 92.48 + "p50_ms": 37.56, + "p95_ms": 184.85, + "p99_ms": 281.42 }, "during_action": { - "seconds": 4.04, - "successful_rps": 108.0, + "seconds": 4.11, + "successful_rps": 73.2, "errors": 0, "error_ratio": 0.0, - "p50_ms": 17.34, - "p95_ms": 96.15, - "p99_ms": 105.53 + "p50_ms": 40.14, + "p95_ms": 112.8, + "p99_ms": 183.93 }, "after_action": { - "seconds": 17.98, - "successful_rps": 87.9, + "seconds": 17.9, + "successful_rps": 67.1, "errors": 0, "error_ratio": 0.0, - "p50_ms": 21.55, - "p95_ms": 100.26, - "p99_ms": 112.06 + "p50_ms": 67.58, + "p95_ms": 108.51, + "p99_ms": 204.16 }, "total_errors": 0, "last_error_after_action_start_s": 0.0, - "max_gap_between_successful_writes_s": 0.389, - "target_last_served_after_action_start_s": 0.87, + "max_gap_between_successful_writes_s": 0.28, + "target_last_served_after_action_start_s": 0.75, "instances_after_action": { - "fcae2c6047af": 1581 + "50bf23d8d45c": 1201 }, - "confirmed_writes": 1606, + "confirmed_writes": 982, "lost_confirmed": 0, "duplicates": 0, "per_second": [ { "t": 0, - "ok": 191, + "ok": 81, "err": 0 }, { "t": 1, - "ok": 60, + "ok": 50, "err": 0 }, { "t": 2, - "ok": 182, + "ok": 29, "err": 0 }, { "t": 3, - "ok": 190, + "ok": 38, "err": 0 }, { "t": 4, - "ok": 85, + "ok": 69, "err": 0 }, { "t": 5, - "ok": 198, + "ok": 59, "err": 0 }, { "t": 6, - "ok": 202, + "ok": 60, "err": 0 }, { "t": 7, - "ok": 86, + "ok": 74, "err": 0 }, { "t": 8, - "ok": 182, + "ok": 105, "err": 0 }, { "t": 9, - "ok": 122, + "ok": 36, "err": 0 }, { "t": 10, - "ok": 40, + "ok": 61, "err": 0 }, { @@ -114,92 +114,92 @@ }, { "t": 12, - "ok": 103, + "ok": 65, "err": 0 }, { "t": 13, - "ok": 68, + "ok": 44, "err": 0 }, { "t": 14, - "ok": 68, + "ok": 95, "err": 0 }, { "t": 15, - "ok": 122, + "ok": 98, "err": 0 }, { "t": 16, - "ok": 94, + "ok": 40, "err": 0 }, { "t": 17, - "ok": 67, - "err": 0 - }, - { - "t": 18, - "ok": 112, - "err": 0 - }, - { - "t": 19, - "ok": 92, - "err": 0 - }, - { - "t": 20, - "ok": 42, - "err": 0 - }, - { - "t": 21, - "ok": 115, - "err": 0 - }, - { - "t": 22, - "ok": 104, - "err": 0 - }, - { - "t": 23, - "ok": 53, - "err": 0 - }, - { - "t": 24, - "ok": 102, - "err": 0 - }, - { - "t": 25, - "ok": 121, - "err": 0 - }, - { - "t": 26, - "ok": 57, - "err": 0 - }, - { - "t": 27, "ok": 86, "err": 0 }, + { + "t": 18, + "ok": 105, + "err": 0 + }, + { + "t": 19, + "ok": 71, + "err": 0 + }, + { + "t": 20, + "ok": 51, + "err": 0 + }, + { + "t": 21, + "ok": 105, + "err": 0 + }, + { + "t": 22, + "ok": 85, + "err": 0 + }, + { + "t": 23, + "ok": 44, + "err": 0 + }, + { + "t": 24, + "ok": 69, + "err": 0 + }, + { + "t": 25, + "ok": 46, + "err": 0 + }, + { + "t": 26, + "ok": 29, + "err": 0 + }, + { + "t": 27, + "ok": 26, + "err": 0 + }, { "t": 28, - "ok": 94, + "ok": 66, "err": 0 }, { "t": 29, - "ok": 81, + "ok": 83, "err": 0 }, {