diff --git a/Makefile b/Makefile index c24ef38..b420acf 100644 --- a/Makefile +++ b/Makefile @@ -60,9 +60,11 @@ ps: logs: docker compose logs --tail 50 api lb -# Вернуть остановленные реплики (после make test-failover): запустить всё, что должно работать. +# Вернуть остановленные реплики (после make test-failover): запустить всё, что должно работать, +# и дождаться, пока HAProxy снова возьмёт в работу все реплики. restore: docker compose up -d --wait + $(PYTHON) student-tests/stand.py # ---------- собственные проверки lab1–lab2 (теперь через балансировщик) ---------- diff --git a/REPORT.md b/REPORT.md index df4813f..6190a37 100644 --- a/REPORT.md +++ b/REPORT.md @@ -3,7 +3,7 @@ - Автор, группа: Гаджиев Нухбала, БВТ2303 - Целевая оценка; выбранный трек 5, если нужен: 4, трек 5 не выбран - Commit/PR: https://gitea.privcloud.tech/mtusi2026/mtusi2026lab3/pulls/9 -- Использованные источники, библиотеки и помощь ИИ: всё из lab2 (FastAPI, uvicorn, pydantic, psycopg 3 + psycopg-pool, argon2-cffi, valkey-py; версии в requirements.txt); образы haproxy:3.2.25-alpine, python:3.12.8-slim-bookworm, postgres:17.10-bookworm, valkey/valkey:8.1.9; документация HAProxy 3.2 (resolvers, server-template, http-check, retries, observe), Docker Compose (deploy.replicas и resources, depends_on с condition, healthcheck), PostgreSQL (INSERT ... ON CONFLICT, уникальные ограничения). ИИ использовался только как вспомогательный ресурс: для оценки решения, написания комментариев к коду и составления текстовых документов. +- Использованные источники, библиотеки и помощь ИИ: всё из lab2 (FastAPI, uvicorn, pydantic, psycopg 3 + psycopg-pool, argon2-cffi, valkey-py; версии в requirements.txt); образы haproxy:3.2.25-alpine, python:3.12.8-slim-bookworm, postgres:17.10-bookworm, valkey/valkey:8.1.9; документация HAProxy 3.2 (resolvers, server-template, http-check, retries, observe), Docker Compose (deploy.replicas и resources, depends_on с condition, healthcheck), PostgreSQL (INSERT ... ON CONFLICT, уникальные ограничения). ИИ использовался как вспомогательный ресурс: для оценки решения, написания комментариев к коду и составления текстовых документов. ## Запуск из чистого clone @@ -21,7 +21,7 @@ make ps # api x2, lb, postgres, valkey: healthy; make check PYTHON=python make test PYTHON=python make test-failover ACTION_SCRIPT=scripts/stop-one.cmd PYTHON=python # Linux/macOS: scripts/stop-one.sh -make restore # вернуть остановленную реплику +make restore PYTHON=python # вернуть реплику и дождаться её в HAProxy make test-persistence ACTION_SCRIPT=scripts/restart.cmd PYTHON=python # Linux/macOS: scripts/restart.sh ``` @@ -31,7 +31,7 @@ make test-persistence ACTION_SCRIPT=scripts/restart.cmd PYTHON=python # Linux/m Безопасная остановка: `make down` (контейнеры удаляются, volume `pgdata` остаётся). Намеренное удаление учебных данных: `docker compose down -v`, затем `rm -rf secrets` и заново `sh scripts/init-secrets.sh`. -Почему у hook два варианта: тест запускает hook напрямую, без shell, а Python на Windows не запускает `.sh` (WinError 193). Поэтому есть `scripts/stop-one.cmd` и `scripts/restart.cmd` для Windows и `.sh` для Linux/macOS. Логика stop-one одна (`scripts/stop_one.py`), оба варианта вызывают её. Остановленную реплику hook оставляет остановленной, вернуть её: `make restore` (= `docker compose up -d --wait`). +Почему у hook два варианта: тест запускает hook напрямую, без shell, а Python на Windows не запускает `.sh` (WinError 193). Поэтому есть `scripts/stop-one.cmd` и `scripts/restart.cmd` для Windows и `.sh` для Linux/macOS. Логика stop-one одна (`scripts/stop_one.py`), оба варианта вызывают её. Остановленную реплику hook оставляет остановленной, вернуть её: `make restore PYTHON=python` (`docker compose up -d --wait`, затем ожидание, пока HAProxy снова возьмёт в работу все реплики). ## Архитектура и решения @@ -71,7 +71,7 @@ migrate (одноразовый): применяет migrations/*.sql до ст - Плановая остановка (`docker stop`, SIGTERM): реплика сразу отвечает 503 на `/health/ready`, но ещё 3 с обслуживает запросы (`SHUTDOWN_DRAIN_SECONDS`); HAProxy за это время выводит её. Потом uvicorn закрывает приём и доделывает начатые запросы (не дольше 8 с: ожидание пула 3 с + statement_timeout 5 с). Docker ждёт 15 с (`stop_grace_period`), затем SIGKILL. Hook ждёт не дольше 8 с, поэтому укладывается в 10 с теста. - Таймауты согласованы снизу вверх: запрос к БД ≤ 8 с < `timeout server 15s` в HAProxy < 15 с `stop_grace_period`; `timeout connect 1s`. - HAProxy повторяет запрос только при ошибке соединения (запрос ещё не ушёл) и на другой реплике (`retries 2`, `option redispatch`). Уже отправленный POST сам не повторяет: это делает клиент с тем же `Idempotency-Key`. -- Аварийный режим: если готовых реплик нет совсем (например, недоступна PostgreSQL), запросы идут в API через резервные слоты `fallback`. Клиент получает ответ самого API (503 в формате контракта, с `X-Request-Id` и `X-Instance-Id`), а `/health/live` отвечает 200. +- Запросы получают только реплики, прошедшие проверку готовности, резервных серверов без проверки нет. Если не готова ни одна реплика (например, недоступна PostgreSQL), балансировщик сам отвечает 503 и запрос до API не передаёт, даже если реплика могла бы ответить из кэша. Ответы самого балансировщика (503, 502, 504) отдаются в формате ошибки контракта с `X-Request-Id`; `X-Instance-Id` у них нет, потому что ни одна реплика их не создавала. Миграции. `migrate` запускается после healthy PostgreSQL, применяет новые файлы (учёт в `schema_migrations`, `pg_advisory_lock` от двух одновременных запусков) и завершается. `api` стартует только после его успешного завершения (`depends_on: condition: service_completed_successfully`). Миграция 004 только добавляет столбцы, которые могут быть NULL, поэтому совместима с уже работающей версией: старый код пишет сообщения без ключа. Порядок обновления: сначала `docker compose run --rm migrate`, потом замена реплик по одной (`make rolling-update`). @@ -97,6 +97,7 @@ migrate (одноразовый): применяет migrations/*.sql до ст | --- | --- | --- | --- | | Публичный smoke | make test | PASS: lab3 public API scenario (в том числе повтор с ключом, 409, 400 без ключа) | evidence/test.txt | | Структура skeleton и контракт не изменены | make check | PASS: offline skeleton structure | evidence/check.txt | +| Замечание к MR: резервные слоты fallback без проверки обходили readiness | убраны из infra/haproxy/haproxy.cfg; make failure-postgres; make check-stack | PostgreSQL остановлена: HAProxy за 2,5–2,8 с вывел обе реплики (изнутри контейнеров live 200, ready 503); /users/me с действующим токеном из кэша через LB — 503 от балансировщика без X-Instance-Id, до реплики не дошёл; запись не сохранилась; check-stack: в backend нет резервных серверов и серверов без проверки. На старом конфиге тот же тест падает (/users/me — 200) | evidence/failure-postgres.txt, evidence/stack.txt | | 3: стенд в compose.yaml, одна команда; ≥2 API, одна точка входа, общая БД и общий кэш сессий | docker compose up -d --build --wait; make check-stack | 2 реплики api без портов; опубликован только lb на 127.0.0.1; одна postgres и один valkey | evidence/stack.txt | | 3: запросы одного пользователя обслуживают разные реплики без повторного входа (X-Instance-Id) | make student-test (test_one_session_is_served_by_every_replica), make demo | 20 запросов с одним токеном — 2 разных X-Instance-Id по 10 раз; это ID запущенных контейнеров api | evidence/student-test.txt | | 3: доступ через LB — основной маршрут | все тесты на BASE_URL=http://127.0.0.1:8080 (HAProxy) | порт наружу есть только у lb | evidence/stack.txt | @@ -126,31 +127,31 @@ migrate (одноразовый): применяет migrations/*.sql до ст | Реплика | Отказ | Вывод из LB, с | Ошибок (коды) | Ошибки закончились через, с | Записей/с до → после | p95 записи после, мс | Возврат в LB после `docker start`, с | Потери / дубли | | --- | --- | --- | --- | --- | --- | --- | --- | --- | -| 4e5560c6d072 | stop | 0.83 | 0 (-) | 0.0 | 231.0 → 112.4 | 78.0 | 4.01 | 0 / 0 (подтверждено 1817) | -| 4e5560c6d072 | kill | 0.2 | 4 (502: 4) | 0.11 | 184.7 → 98.0 | 93.0 | 4.01 | 0 / 0 (подтверждено 1536) | -| 7740e49a1d8c | stop | 1.27 | 0 (-) | 0.0 | 204.0 → 110.7 | 78.0 | 4.91 | 0 / 0 (подтверждено 1719) | -| 7740e49a1d8c | kill | 0.17 | 2 (502: 2) | 0.11 | 151.7 → 103.7 | 78.0 | 4.17 | 0 / 0 (подтверждено 1492) | +| 1c773748bc05 | stop | 1.16 | 0 (-) | 0.0 | 114.7 → 65.9 | 125.0 | 4.5 | 0 / 0 (подтверждено 1006) | +| 1c773748bc05 | kill | 0.11 | 1 (502: 1) | 0.11 | 151.3 → 70.3 | 109.0 | 5.64 | 0 / 0 (подтверждено 1160) | +| aa3dac85e7ed | stop | 1.59 | 0 (-) | 0.0 | 104.0 → 57.8 | 141.0 | 3.97 | 0 / 0 (подтверждено 892) | +| aa3dac85e7ed | kill | 0.25 | 1 (502: 1) | 0.14 | 155.3 → 79.7 | 94.0 | 4.25 | 0 / 0 (подтверждено 1266) | -Rolling update под той же нагрузкой (`make rolling-update`, evidence/rolling-update.json): версия dev → rolling-20261015-000949, 2 реплики заменены по одной за 22.59 с (4e5560c6d072 → b021c4a75186: новая готова через 6.75 с, шаг 11.38 с; 7740e49a1d8c → a1fe17dd4bd2: новая готова через 6.11 с, шаг 11.2 с). Записей/с до: 162.3, во время замены: 144.2; ошибок: 0 (-); p95 78.0 мс, максимум 250.0 мс; подтверждено 4260 сообщений, потерь и дублей нет. +Rolling update под той же нагрузкой (`make rolling-update`, evidence/rolling-update.json): версия dev → rolling-20261015-193851, 2 реплики заменены по одной за 22.38 с (1c773748bc05 → e8baa1b553a1: новая готова через 6.64 с, шаг 11.8 с; aa3dac85e7ed → db0d1f669f44: новая готова через 5.89 с, шаг 10.55 с). Записей/с до: 104.3, во время замены: 138.7; ошибок: 0 (-); p95 63.0 мс, максимум 312.0 мс; подтверждено 3867 сообщений, потерь и дублей нет. -Публичный генератор нагрузки (`make load-profile` = `tests/load.py`, closed loop, 4 потока, 30 с, 2 реплики): 210.145 успешных POST/с, ошибок 0 (доля 0.0), задержка успешных: p50 16.0 мс, p95 47.0 мс, p99 78.0 мс. +Публичный генератор нагрузки (`make load-profile` = `tests/load.py`, closed loop, 4 потока, 30 с, 2 реплики): 130.05 успешных POST/с, ошибок 0 (доля 0.0), задержка успешных: p50 16.0 мс, p95 78.0 мс, p99 141.0 мс. | Сервис | CPU, % макс. (100 % = 1 ядро) | RAM макс. / лимит, МиБ | | --- | --- | --- | -| api | 103.4 | 140 / 512 | -| api | 98.2 | 94 / 512 | -| lb | 25.5 | 16 / 128 | -| postgres | 31.5 | 49 / 512 | -| valkey | 6.7 | 8 / 128 | +| api | 97.5 | 83 / 512 | +| api | 90.2 | 122 / 512 | +| lb | 24.2 | 20 / 128 | +| postgres | 31.1 | 52 / 512 | +| valkey | 9.6 | 8 / 128 | | Воздействие | Что ожидаем | Что наблюдали | Время восстановления / потеря данных | | --- | --- | --- | --- | -| `docker stop` одной реплики (по очереди каждой) | реплика сама уходит из балансировки до выхода; ошибок нет | ошибок всего 0 за 2 прогона; HAProxy вывел реплику не позже 1.27 с; остановленная реплика после остановки не отвечала | ошибок не было; потерь и дублей 0 | -| `docker kill` одной реплики (по очереди каждой) | несколько 502 у запросов, начатых на ней; клиент повторяет с тем же ключом | ошибок всего 6 за 2 прогона; HAProxy вывел реплику не позже 0.2 с; остановленная реплика после остановки не отвечала | ошибки закончились не позже 0.11 с после отказа; потерь и дублей 0 | -| Rolling update 2 реплик под нагрузкой | замена по одной без простоя | ошибок 0, записей/с 144.2 | 22.59 с на замену; потерь и дублей 0 | -| Перезапуск всего стенда (`make persistence`, hook restart) | данные и действующий токен сохраняются | PASS: те же контейнеры с новым временем старта, прежний токен работает | 18.5 с на весь тест (hook + готовность); потерь нет | +| `docker stop` одной реплики (по очереди каждой) | реплика сама уходит из балансировки до выхода; ошибок нет | ошибок всего 0 за 2 прогона; HAProxy вывел реплику не позже 1.59 с; остановленная реплика после остановки не отвечала | ошибок не было; потерь и дублей 0 | +| `docker kill` одной реплики (по очереди каждой) | несколько 502 у запросов, начатых на ней; клиент повторяет с тем же ключом | ошибок всего 2 за 2 прогона; HAProxy вывел реплику не позже 0.25 с; остановленная реплика после остановки не отвечала | ошибки закончились не позже 0.14 с после отказа; потерь и дублей 0 | +| Rolling update 2 реплик под нагрузкой | замена по одной без простоя | ошибок 0, записей/с 138.7 | 22.38 с на замену; потерь и дублей 0 | +| Перезапуск всего стенда (`make persistence`, hook restart) | данные и действующий токен сохраняются | PASS: те же контейнеры с новым временем старта, прежний токен работает | 19.6 с на весь тест (hook + готовность); потерь нет | | `docker compose stop valkey` | API работает без кэша | ready 200; вход, сообщения и logout работают через PostgreSQL | кэш снова включается за 1–2 с после start; потерь нет | -| `docker compose stop postgres` | 503 без подробностей, аноним не доверенный | через балансировщик (слоты fallback): ready 503, бизнес-запросы 503, без токена 401 | после start прежний токен и данные на месте; запросы во время отказа не сохранены (503) | +| `docker compose stop postgres` | неготовые реплики исключены из маршрутизации, клиенту 503 | HAProxy вывел обе реплики (ready 503, live 200); запрос с действующим токеном из кэша -> 503 от балансировщика, до реплики не дошёл; запись не сохранилась | после start прежний токен и данные на месте; запросы во время отказа не сохранены (503) | | `docker compose pause valkey`, logout, `unpause` | отозванный токен не оживает ни на одной реплике | после unpause отозванный токен всегда 401 | поколение кэша сменилось после возвращения Valkey; отзыв не потерян | @@ -165,4 +166,5 @@ Rolling update под той же нагрузкой (`make rolling-update`, evi - `X-Instance-Id` раскрывает ID контейнера; в lab7 его нужно заменить случайным alias. - Ключи идемпотентности хранятся вместе с сообщениями бессрочно, индекс растёт вместе с числом сообщений. - Общее поколение кэша закрывает сценарий «отзыв во время сбоя Valkey» для всех реплик, которые заметили сбой. Если сбой Valkey короче интервала проверки (1 с) и logout пришёлся ровно на него, реплика, не заметившая сбой, теоретически может до следующей проверки другой реплики (≤ 1 с) доверять старой записи. +- Если PostgreSQL недоступна, через балансировщик недоступно всё, включая `/health/live` (готовых реплик нет, HAProxy отвечает 503). Что сами реплики живы, видно изнутри контейнеров и по статистике HAProxy. - API подключается к PostgreSQL владельцем базы, Basic идёт по HTTP — только для локального стенда (минимальные права и TLS — lab7). \ No newline at end of file diff --git a/evidence/db-test.txt b/evidence/db-test.txt index 434455c..c7cee46 100644 --- a/evidence/db-test.txt +++ b/evidence/db-test.txt @@ -2,18 +2,18 @@ docker compose --profile tools run --rm db-test Container mtusi-lab3-postgres-1 Running Container mtusi-lab3-postgres-1 Waiting Container mtusi-lab3-postgres-1 Healthy - Container mtusi-lab3-db-test-run-20693dcae707 Creating - Container mtusi-lab3-db-test-run-20693dcae707 Created + Container mtusi-lab3-db-test-run-4288ad929232 Creating + Container mtusi-lab3-db-test-run-4288ad929232 Created test_concurrent_registration_has_one_winner (test_store.StoreIntegrationTest.test_concurrent_registration_has_one_winner) ... 20 параллельных create_user: 1 создан, 19 получили Conflict (409) ok -test_concurrent_same_idempotency_key_creates_one_row (test_store.StoreIntegrationTest.test_concurrent_same_idempotency_key_creates_one_row) ... +test_concurrent_same_idempotency_key_creates_one_row (test_store.StoreIntegrationTest.test_concurrent_same_idempotency_key_creates_one_row) ... ok +test_create_chat_rolls_back_when_failing_midway (test_store.StoreIntegrationTest.test_create_chat_rolls_back_when_failing_midway) ... 20 одновременных add_message с одним ключом: 1 строка, 1 новое + 19 повторов с тем же сообщением -ok -test_create_chat_rolls_back_when_failing_midway (test_store.StoreIntegrationTest.test_create_chat_rolls_back_when_failing_midway) ... ok -test_database_rejects_message_from_non_member (test_store.StoreIntegrationTest.test_database_rejects_message_from_non_member) ... - чат с несуществующим участником: транзакция откатилась, строк chats/chat_members не осталось + чат с несуществующим участником: транзакция откатилась, строк chats/chat_members не осталось +ok +test_database_rejects_message_from_non_member (test_store.StoreIntegrationTest.test_database_rejects_message_from_non_member) ... INSERT сообщения от не-участника напрямую в БД: ForeignKeyViolation ok test_migrations_rerun_is_noop (test_store.StoreIntegrationTest.test_migrations_rerun_is_noop) ... @@ -22,11 +22,11 @@ ok test_old_version_insert_without_key_still_works (test_store.StoreIntegrationTest.test_old_version_insert_without_key_still_works) ... INSERT как в lab2 (без ключа) после миграции 004 работает: старая версия совместима со схемой ok -test_same_key_other_body_is_conflict (test_store.StoreIntegrationTest.test_same_key_other_body_is_conflict) ... ok - +test_same_key_other_body_is_conflict (test_store.StoreIntegrationTest.test_same_key_other_body_is_conflict) ... тот же ключ с другим телом: Conflict (409), в базе по-прежнему одна строка +ok ---------------------------------------------------------------------- -Ran 7 tests in 0.259s +Ran 7 tests in 0.493s OK diff --git a/evidence/expiry.txt b/evidence/expiry.txt index e6926d4..8978e44 100644 --- a/evidence/expiry.txt +++ b/evidence/expiry.txt @@ -3,20 +3,20 @@ docker compose --profile ttl up -d --wait api-short-ttl Container mtusi-lab3-valkey-1 Running Container mtusi-lab3-api-short-ttl-1 Creating Container mtusi-lab3-api-short-ttl-1 Created - Container mtusi-lab3-valkey-1 Waiting Container mtusi-lab3-postgres-1 Waiting - Container mtusi-lab3-postgres-1 Healthy + Container mtusi-lab3-valkey-1 Waiting Container mtusi-lab3-valkey-1 Healthy + Container mtusi-lab3-postgres-1 Healthy Container mtusi-lab3-api-short-ttl-1 Starting Container mtusi-lab3-api-short-ttl-1 Started - Container mtusi-lab3-postgres-1 Waiting Container mtusi-lab3-valkey-1 Waiting Container mtusi-lab3-api-short-ttl-1 Waiting + Container mtusi-lab3-postgres-1 Waiting Container mtusi-lab3-valkey-1 Healthy Container mtusi-lab3-postgres-1 Healthy Container mtusi-lab3-api-short-ttl-1 Healthy python student-tests/expiry.py; status=$?; docker compose --profile ttl rm -sf api-short-ttl >/dev/null 2>&1; exit $status -session issued by short-TTL API, expires in 1.99s +session issued by short-TTL API, expires in 1.98s before expiry: GET /users/me -> 200 (short API twice, main API once) after expiry: GET /users/me -> 401 on both instances PASS: session expired after SESSION_TTL_SECONDS; cache did not extend it diff --git a/evidence/explain-history.txt b/evidence/explain-history.txt index 36557fc..42a51e2 100644 --- a/evidence/explain-history.txt +++ b/evidence/explain-history.txt @@ -2,7 +2,7 @@ docker compose exec -T postgres psql -X -q -U messenger -d messenger -v ON_ERROR === Объём данных messages_total | messages_in_big_chat ----------------+---------------------- - 21635 | 12000 + 39193 | 12000 === Индекс истории (migrations/001_core.sql) @@ -14,63 +14,63 @@ docker compose exec -T postgres psql -X -q -U messenger -d messenger -v ON_ERROR === 1. Первая страница (limit=50, приложение просит 51 строку, чтобы понять, есть ли следующая) QUERY PLAN --------------------------------------------------------------------------------------------------------- - Limit (actual time=0.016..0.030 rows=51 loops=1) - Buffers: shared hit=4 + Limit (actual time=0.016..0.031 rows=51 loops=1) + Buffers: shared hit=5 -> Index Scan using messages_chat_history_idx on messages (actual time=0.015..0.026 rows=51 loops=1) - Index Cond: (chat_id = 'e4e1b497-87b7-4320-9a40-27873d99fc1a'::uuid) - Buffers: shared hit=4 + Index Cond: (chat_id = 'c4170f65-25c8-486b-a880-dcf11a354bca'::uuid) + Buffers: shared hit=5 Planning: - Buffers: shared hit=7 - Planning Time: 0.139 ms - Execution Time: 0.050 ms + Buffers: shared hit=6 + Planning Time: 0.186 ms + Execution Time: 0.054 ms === 2. Страница из середины истории по keyset-курсору (после 6000-го сообщения) QUERY PLAN ------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------ - Limit (actual time=0.009..0.029 rows=51 loops=1) - Buffers: shared hit=5 - -> Index Scan using messages_chat_history_idx on messages (actual time=0.009..0.025 rows=51 loops=1) - Index Cond: ((chat_id = 'e4e1b497-87b7-4320-9a40-27873d99fc1a'::uuid) AND (ROW(created_at, id) > ROW('2026-01-01 01:40:00+00'::timestamp with time zone, '509a5d7d-2d2f-4322-8b64-938949155ce0'::uuid))) - Buffers: shared hit=5 - Planning Time: 0.087 ms - Execution Time: 0.059 ms + Limit (actual time=0.012..0.031 rows=51 loops=1) + Buffers: shared hit=6 + -> Index Scan using messages_chat_history_idx on messages (actual time=0.011..0.026 rows=51 loops=1) + Index Cond: ((chat_id = 'c4170f65-25c8-486b-a880-dcf11a354bca'::uuid) AND (ROW(created_at, id) > ROW('2026-01-01 01:40:00+00'::timestamp with time zone, '4cf0e1fe-ddbf-4da7-b5d3-e610ab7325b9'::uuid))) + Buffers: shared hit=6 + Planning Time: 0.105 ms + Execution Time: 0.115 ms === 3. Для сравнения: та же страница через OFFSET (так приложение НЕ делает) QUERY PLAN ----------------------------------------------------------------------------------------------------------- - Limit (actual time=1.583..1.600 rows=51 loops=1) - Buffers: shared hit=127 - -> Index Scan using messages_chat_history_idx on messages (actual time=0.021..1.393 rows=6051 loops=1) - Index Cond: (chat_id = 'e4e1b497-87b7-4320-9a40-27873d99fc1a'::uuid) - Buffers: shared hit=127 - Planning Time: 0.089 ms - Execution Time: 1.621 ms + Limit (actual time=1.711..1.729 rows=51 loops=1) + Buffers: shared hit=169 + -> Index Scan using messages_chat_history_idx on messages (actual time=0.025..1.504 rows=6051 loops=1) + Index Cond: (chat_id = 'c4170f65-25c8-486b-a880-dcf11a354bca'::uuid) + Buffers: shared hit=169 + Planning Time: 0.112 ms + Execution Time: 1.751 ms === 4. Для сравнения: запрос 2 без индекса (индекс удалён только внутри этой транзакции) QUERY PLAN ----------------------------------------------------------------------------------------------------------------------------------------------------- - Limit (actual time=2.654..2.660 rows=51 loops=1) - Buffers: shared hit=172 - -> Sort (actual time=2.653..2.655 rows=51 loops=1) + Limit (actual time=4.045..4.053 rows=51 loops=1) + Buffers: shared hit=180 + -> Sort (actual time=4.044..4.047 rows=51 loops=1) Sort Key: created_at, id Sort Method: top-N heapsort Memory: 31kB - Buffers: shared hit=172 - -> Bitmap Heap Scan on messages (actual time=0.782..1.755 rows=6000 loops=1) - Recheck Cond: (chat_id = 'e4e1b497-87b7-4320-9a40-27873d99fc1a'::uuid) - Filter: (ROW(created_at, id) > ROW('2026-01-01 01:40:00+00'::timestamp with time zone, '509a5d7d-2d2f-4322-8b64-938949155ce0'::uuid)) + Buffers: shared hit=180 + -> Bitmap Heap Scan on messages (actual time=0.996..2.398 rows=6000 loops=1) + Recheck Cond: (chat_id = 'c4170f65-25c8-486b-a880-dcf11a354bca'::uuid) + Filter: (ROW(created_at, id) > ROW('2026-01-01 01:40:00+00'::timestamp with time zone, '4cf0e1fe-ddbf-4da7-b5d3-e610ab7325b9'::uuid)) Rows Removed by Filter: 6000 - Heap Blocks: exact=161 - Buffers: shared hit=172 - -> Bitmap Index Scan on messages_idempotency_unique (actual time=0.201..0.202 rows=12000 loops=1) - Index Cond: (chat_id = 'e4e1b497-87b7-4320-9a40-27873d99fc1a'::uuid) - Buffers: shared hit=11 + Heap Blocks: exact=168 + Buffers: shared hit=180 + -> Bitmap Index Scan on messages_idempotency_unique (actual time=0.253..0.253 rows=12000 loops=1) + Index Cond: (chat_id = 'c4170f65-25c8-486b-a880-dcf11a354bca'::uuid) + Buffers: shared hit=12 Planning: Buffers: shared hit=5 - Planning Time: 0.097 ms - Execution Time: 2.681 ms + Planning Time: 0.126 ms + Execution Time: 4.078 ms === ROLLBACK: синтетические данные удалены, индекс на месте diff --git a/evidence/failover-metrics.json b/evidence/failover-metrics.json index 056c1e3..338aea5 100644 --- a/evidence/failover-metrics.json +++ b/evidence/failover-metrics.json @@ -10,160 +10,160 @@ }, "runs": [ { - "replica": "4e5560c6d072", + "replica": "1c773748bc05", "mode": "stop", - "command_seconds": 4.11, - "lb_excluded_after_seconds": 0.83, + "command_seconds": 4.56, + "lb_excluded_after_seconds": 1.16, "errors": 0, "error_codes": {}, "errors_stopped_after_seconds": 0.0, "before": { "seconds": 3.0, - "write_rps": 231.0, - "reads": 42, - "errors": 0, - "error_codes": {}, - "write_p50_ms": 16.0, - "write_p95_ms": 32.0, - "write_max_ms": 109.0 - }, - "after": { - "seconds": 10.0, - "write_rps": 112.4, - "reads": 101, + "write_rps": 114.7, + "reads": 34, "errors": 0, "error_codes": {}, "write_p50_ms": 31.0, - "write_p95_ms": 78.0, - "write_max_ms": 282.0 + "write_p95_ms": 94.0, + "write_max_ms": 172.0 + }, + "after": { + "seconds": 10.0, + "write_rps": 65.9, + "reads": 87, + "errors": 0, + "error_codes": {}, + "write_p50_ms": 47.0, + "write_p95_ms": 125.0, + "write_max_ms": 250.0 }, "stopped_replica_answers_after_stop": 0, "integrity": { - "confirmed_writes": 1817, - "messages_in_history": 1817, + "confirmed_writes": 1006, + "messages_in_history": 1006, "duplicates": 0, "lost": 0 }, - "rejoin_seconds": 4.01 + "rejoin_seconds": 4.5 }, { - "replica": "4e5560c6d072", + "replica": "1c773748bc05", "mode": "kill", - "command_seconds": 0.75, - "lb_excluded_after_seconds": 0.2, - "errors": 4, + "command_seconds": 0.84, + "lb_excluded_after_seconds": 0.11, + "errors": 1, "error_codes": { - "502": 4 + "502": 1 }, "errors_stopped_after_seconds": 0.11, "before": { "seconds": 3.0, - "write_rps": 184.7, - "reads": 39, + "write_rps": 151.3, + "reads": 38, "errors": 0, "error_codes": {}, - "write_p50_ms": 16.0, + "write_p50_ms": 31.0, "write_p95_ms": 47.0, - "write_max_ms": 94.0 - }, - "after": { - "seconds": 10.0, - "write_rps": 98.0, - "reads": 84, - "errors": 4, - "error_codes": { - "502": 4 - }, - "write_p50_ms": 32.0, - "write_p95_ms": 93.0, - "write_max_ms": 156.0 - }, - "stopped_replica_answers_after_stop": 0, - "integrity": { - "confirmed_writes": 1536, - "messages_in_history": 1536, - "duplicates": 0, - "lost": 0 - }, - "rejoin_seconds": 4.01 - }, - { - "replica": "7740e49a1d8c", - "mode": "stop", - "command_seconds": 4.24, - "lb_excluded_after_seconds": 1.27, - "errors": 0, - "error_codes": {}, - "errors_stopped_after_seconds": 0.0, - "before": { - "seconds": 3.0, - "write_rps": 204.0, - "reads": 40, - "errors": 0, - "error_codes": {}, - "write_p50_ms": 16.0, - "write_p95_ms": 32.0, "write_max_ms": 109.0 }, "after": { "seconds": 10.0, - "write_rps": 110.7, - "reads": 102, - "errors": 0, - "error_codes": {}, - "write_p50_ms": 31.0, - "write_p95_ms": 78.0, - "write_max_ms": 125.0 - }, - "stopped_replica_answers_after_stop": 0, - "integrity": { - "confirmed_writes": 1719, - "messages_in_history": 1719, - "duplicates": 0, - "lost": 0 - }, - "rejoin_seconds": 4.91 - }, - { - "replica": "7740e49a1d8c", - "mode": "kill", - "command_seconds": 0.83, - "lb_excluded_after_seconds": 0.17, - "errors": 2, - "error_codes": { - "502": 2 - }, - "errors_stopped_after_seconds": 0.11, - "before": { - "seconds": 3.0, - "write_rps": 151.7, - "reads": 42, - "errors": 0, - "error_codes": {}, - "write_p50_ms": 16.0, - "write_p95_ms": 78.0, - "write_max_ms": 109.0 - }, - "after": { - "seconds": 10.0, - "write_rps": 103.7, - "reads": 103, - "errors": 2, + "write_rps": 70.3, + "reads": 93, + "errors": 1, "error_codes": { - "502": 2 + "502": 1 }, - "write_p50_ms": 31.0, - "write_p95_ms": 78.0, + "write_p50_ms": 47.0, + "write_p95_ms": 109.0, "write_max_ms": 1031.0 }, "stopped_replica_answers_after_stop": 0, "integrity": { - "confirmed_writes": 1492, - "messages_in_history": 1492, + "confirmed_writes": 1160, + "messages_in_history": 1160, "duplicates": 0, "lost": 0 }, - "rejoin_seconds": 4.17 + "rejoin_seconds": 5.64 + }, + { + "replica": "aa3dac85e7ed", + "mode": "stop", + "command_seconds": 4.78, + "lb_excluded_after_seconds": 1.59, + "errors": 0, + "error_codes": {}, + "errors_stopped_after_seconds": 0.0, + "before": { + "seconds": 3.0, + "write_rps": 104.0, + "reads": 33, + "errors": 0, + "error_codes": {}, + "write_p50_ms": 31.0, + "write_p95_ms": 78.0, + "write_max_ms": 234.0 + }, + "after": { + "seconds": 10.0, + "write_rps": 57.8, + "reads": 78, + "errors": 0, + "error_codes": {}, + "write_p50_ms": 63.0, + "write_p95_ms": 141.0, + "write_max_ms": 265.0 + }, + "stopped_replica_answers_after_stop": 0, + "integrity": { + "confirmed_writes": 892, + "messages_in_history": 892, + "duplicates": 0, + "lost": 0 + }, + "rejoin_seconds": 3.97 + }, + { + "replica": "aa3dac85e7ed", + "mode": "kill", + "command_seconds": 0.94, + "lb_excluded_after_seconds": 0.25, + "errors": 1, + "error_codes": { + "502": 1 + }, + "errors_stopped_after_seconds": 0.14, + "before": { + "seconds": 3.0, + "write_rps": 155.3, + "reads": 38, + "errors": 0, + "error_codes": {}, + "write_p50_ms": 31.0, + "write_p95_ms": 47.0, + "write_max_ms": 78.0 + }, + "after": { + "seconds": 10.0, + "write_rps": 79.7, + "reads": 95, + "errors": 1, + "error_codes": { + "502": 1 + }, + "write_p50_ms": 47.0, + "write_p95_ms": 94.0, + "write_max_ms": 1094.0 + }, + "stopped_replica_answers_after_stop": 0, + "integrity": { + "confirmed_writes": 1266, + "messages_in_history": 1266, + "duplicates": 0, + "lost": 0 + }, + "rejoin_seconds": 4.25 } ] } diff --git a/evidence/failover-metrics.txt b/evidence/failover-metrics.txt index cf5c74c..66adb1d 100644 --- a/evidence/failover-metrics.txt +++ b/evidence/failover-metrics.txt @@ -1,25 +1,25 @@ python student-tests/failover_metrics.py -api replicas: ['4e5560c6d072', '7740e49a1d8c']; load: 4 writers without pauses + 1 reader, client timeout 2 s, retry with the same Idempotency-Key; 3 s before and 10 s after the failure ---- stop 4e5560c6d072 ... - docker stop: 4.11 s; HAProxy excluded it after 0.83 s; errors: 0 {}, last error ended 0.0 s after the failure - write RPS before 231.0 -> after 112.4; p95 after 78.0 ms, max 282.0 ms; answers from the stopped replica after stop: 0 - confirmed 1817, in history 1817, lost 0, duplicates 0; back in the balancer 4.01 s after docker start ---- kill 4e5560c6d072 ... - docker kill: 0.75 s; HAProxy excluded it after 0.2 s; errors: 4 {'502': 4}, last error ended 0.11 s after the failure - write RPS before 184.7 -> after 98.0; p95 after 93.0 ms, max 156.0 ms; answers from the stopped replica after stop: 0 - confirmed 1536, in history 1536, lost 0, duplicates 0; back in the balancer 4.01 s after docker start ---- stop 7740e49a1d8c ... - docker stop: 4.24 s; HAProxy excluded it after 1.27 s; errors: 0 {}, last error ended 0.0 s after the failure - write RPS before 204.0 -> after 110.7; p95 after 78.0 ms, max 125.0 ms; answers from the stopped replica after stop: 0 - confirmed 1719, in history 1719, lost 0, duplicates 0; back in the balancer 4.91 s after docker start ---- kill 7740e49a1d8c ... - docker kill: 0.83 s; HAProxy excluded it after 0.17 s; errors: 2 {'502': 2}, last error ended 0.11 s after the failure - write RPS before 151.7 -> after 103.7; p95 after 78.0 ms, max 1031.0 ms; answers from the stopped replica after stop: 0 - confirmed 1492, in history 1492, lost 0, duplicates 0; back in the balancer 4.17 s after docker start +api replicas: ['1c773748bc05', 'aa3dac85e7ed']; load: 4 writers without pauses + 1 reader, client timeout 2 s, retry with the same Idempotency-Key; 3 s before and 10 s after the failure +--- stop 1c773748bc05 ... + docker stop: 4.56 s; HAProxy excluded it after 1.16 s; errors: 0 {}, last error ended 0.0 s after the failure + write RPS before 114.7 -> after 65.9; p95 after 125.0 ms, max 250.0 ms; answers from the stopped replica after stop: 0 + confirmed 1006, in history 1006, lost 0, duplicates 0; back in the balancer 4.5 s after docker start +--- kill 1c773748bc05 ... + docker kill: 0.84 s; HAProxy excluded it after 0.11 s; errors: 1 {'502': 1}, last error ended 0.11 s after the failure + write RPS before 151.3 -> after 70.3; p95 after 109.0 ms, max 1031.0 ms; answers from the stopped replica after stop: 0 + confirmed 1160, in history 1160, lost 0, duplicates 0; back in the balancer 5.64 s after docker start +--- stop aa3dac85e7ed ... + docker stop: 4.78 s; HAProxy excluded it after 1.59 s; errors: 0 {}, last error ended 0.0 s after the failure + write RPS before 104.0 -> after 57.8; p95 after 141.0 ms, max 265.0 ms; answers from the stopped replica after stop: 0 + confirmed 892, in history 892, lost 0, duplicates 0; back in the balancer 3.97 s after docker start +--- kill aa3dac85e7ed ... + docker kill: 0.94 s; HAProxy excluded it after 0.25 s; errors: 1 {'502': 1}, last error ended 0.14 s after the failure + write RPS before 155.3 -> after 79.7; p95 after 94.0 ms, max 1094.0 ms; answers from the stopped replica after stop: 0 + confirmed 1266, in history 1266, lost 0, duplicates 0; back in the balancer 4.25 s after docker start replica mode cmd,s lb_out,s errors errors_end,s rps_before rps_after p95_after,ms rejoin,s -4e5560c6d072 stop 4.11 0.83 0 0.0 231.0 112.4 78.0 4.01 -4e5560c6d072 kill 0.75 0.2 4 0.11 184.7 98.0 93.0 4.01 -7740e49a1d8c stop 4.24 1.27 0 0.0 204.0 110.7 78.0 4.91 -7740e49a1d8c kill 0.83 0.17 2 0.11 151.7 103.7 78.0 4.17 +1c773748bc05 stop 4.56 1.16 0 0.0 114.7 65.9 125.0 4.5 +1c773748bc05 kill 0.84 0.11 1 0.11 151.3 70.3 109.0 5.64 +aa3dac85e7ed stop 4.78 1.59 0 0.0 104.0 57.8 141.0 3.97 +aa3dac85e7ed kill 0.94 0.25 1 0.14 155.3 79.7 94.0 4.25 PASS: every replica was stopped (stop, kill) and restored; no lost or duplicated messages; saved evidence/failover-metrics.json diff --git a/evidence/failover.txt b/evidence/failover.txt index f65872a..30a627c 100644 --- a/evidence/failover.txt +++ b/evidence/failover.txt @@ -1,48 +1,48 @@ python student-tests/run_failover.py -hook: scripts/stop-one.cmd; api replicas: ['4e5560c6d072', '7740e49a1d8c'] +hook: scripts/stop-one.cmd; api replicas: ['1c773748bc05', 'aa3dac85e7ed'] === run 1: containers before (HAProxy: api1 UP, api2 UP) SERVICE CONTAINER STATE STARTED AT (UTC) -api 4e5560c6d072 running (healthy) 2026-10-14T20:46:50.376 -api 7740e49a1d8c running (healthy) 2026-10-14T20:46:50.691 -lb 91c0051bd4c8 running (healthy) 2026-10-14T20:46:51.195 -migrate 523965b912bb exited 2026-10-14T20:46:48.669 -postgres 5c16b9b684f2 running (healthy) 2026-10-14T21:05:32.785 -valkey c74935587700 running (healthy) 2026-10-14T21:05:11.672 +api 1c773748bc05 running (healthy) 2026-10-15T16:32:38.776 +api aa3dac85e7ed running (healthy) 2026-10-15T16:32:38.423 +lb f9c8bda9ea4c running (healthy) 2026-10-15T16:32:39.190 +migrate 7420f3f1ddda exited 2026-10-15T16:32:47.434 +postgres 5c16b9b684f2 running (healthy) 2026-10-15T16:35:06.670 +valkey c74935587700 running (healthy) 2026-10-15T16:34:57.760 Executing explicit failover hook; hook output suppressed to avoid leaking secrets. -{"observed_instances_before": 2, "successful_writes": 124, "failed_attempts": 0, "first_recovery_seconds": 4.437} -PASS: failover preserved confirmed data and existing session. Hook scope needs operator evidence. -containers after (HAProxy: api2 UP) -SERVICE CONTAINER STATE STARTED AT (UTC) -api 4e5560c6d072 running (healthy) 2026-10-14T20:46:50.376 -api 7740e49a1d8c exited 2026-10-14T20:46:50.691 -lb 91c0051bd4c8 running (healthy) 2026-10-14T20:46:51.195 -migrate 523965b912bb exited 2026-10-14T20:46:48.669 -postgres 5c16b9b684f2 running (healthy) 2026-10-14T21:05:32.785 -valkey c74935587700 running (healthy) 2026-10-14T21:05:11.672 -the hook stopped 7740e49a1d8c (X-Instance-Id of that replica = container ID); other api containers, postgres, valkey and lb kept running -restored: docker start 7740e49a1d8c -> healthy and back in HAProxy (api1 UP, api2 UP) - -=== run 2: containers before (HAProxy: api1 UP, api2 UP) -SERVICE CONTAINER STATE STARTED AT (UTC) -api 4e5560c6d072 running (healthy) 2026-10-14T20:46:50.376 -api 7740e49a1d8c running (healthy) 2026-10-14T21:07:12.761 -lb 91c0051bd4c8 running (healthy) 2026-10-14T20:46:51.195 -migrate 523965b912bb exited 2026-10-14T20:46:48.669 -postgres 5c16b9b684f2 running (healthy) 2026-10-14T21:05:32.785 -valkey c74935587700 running (healthy) 2026-10-14T21:05:11.672 -Executing explicit failover hook; hook output suppressed to avoid leaking secrets. -{"observed_instances_before": 2, "successful_writes": 124, "failed_attempts": 0, "first_recovery_seconds": 4.594} +{"observed_instances_before": 2, "successful_writes": 125, "failed_attempts": 0, "first_recovery_seconds": 5.703} PASS: failover preserved confirmed data and existing session. Hook scope needs operator evidence. containers after (HAProxy: api1 UP) SERVICE CONTAINER STATE STARTED AT (UTC) -api 4e5560c6d072 exited 2026-10-14T20:46:50.376 -api 7740e49a1d8c running (healthy) 2026-10-14T21:07:12.761 -lb 91c0051bd4c8 running (healthy) 2026-10-14T20:46:51.195 -migrate 523965b912bb exited 2026-10-14T20:46:48.669 -postgres 5c16b9b684f2 running (healthy) 2026-10-14T21:05:32.785 -valkey c74935587700 running (healthy) 2026-10-14T21:05:11.672 -the hook stopped 4e5560c6d072 (X-Instance-Id of that replica = container ID); other api containers, postgres, valkey and lb kept running -restored: docker start 4e5560c6d072 -> healthy and back in HAProxy (api1 UP, api2 UP) +api 1c773748bc05 running (healthy) 2026-10-15T16:32:38.776 +api aa3dac85e7ed exited 2026-10-15T16:32:38.423 +lb f9c8bda9ea4c running (healthy) 2026-10-15T16:32:39.190 +migrate 7420f3f1ddda exited 2026-10-15T16:32:47.434 +postgres 5c16b9b684f2 running (healthy) 2026-10-15T16:35:06.670 +valkey c74935587700 running (healthy) 2026-10-15T16:34:57.760 +the hook stopped aa3dac85e7ed (X-Instance-Id of that replica = container ID); other api containers, postgres, valkey and lb kept running +restored: docker start aa3dac85e7ed -> healthy and back in HAProxy (api1 UP, api2 UP) + +=== run 2: containers before (HAProxy: api1 UP, api2 UP) +SERVICE CONTAINER STATE STARTED AT (UTC) +api 1c773748bc05 running (healthy) 2026-10-15T16:32:38.776 +api aa3dac85e7ed running (healthy) 2026-10-15T16:36:08.417 +lb f9c8bda9ea4c running (healthy) 2026-10-15T16:32:39.190 +migrate 7420f3f1ddda exited 2026-10-15T16:32:47.434 +postgres 5c16b9b684f2 running (healthy) 2026-10-15T16:35:06.670 +valkey c74935587700 running (healthy) 2026-10-15T16:34:57.760 +Executing explicit failover hook; hook output suppressed to avoid leaking secrets. +{"observed_instances_before": 2, "successful_writes": 125, "failed_attempts": 0, "first_recovery_seconds": 4.843} +PASS: failover preserved confirmed data and existing session. Hook scope needs operator evidence. +containers after (HAProxy: api2 UP) +SERVICE CONTAINER STATE STARTED AT (UTC) +api 1c773748bc05 exited 2026-10-15T16:32:38.776 +api aa3dac85e7ed running (healthy) 2026-10-15T16:36:08.417 +lb f9c8bda9ea4c running (healthy) 2026-10-15T16:32:39.190 +migrate 7420f3f1ddda exited 2026-10-15T16:32:47.434 +postgres 5c16b9b684f2 running (healthy) 2026-10-15T16:35:06.670 +valkey c74935587700 running (healthy) 2026-10-15T16:34:57.760 +the hook stopped 1c773748bc05 (X-Instance-Id of that replica = container ID); other api containers, postgres, valkey and lb kept running +restored: docker start 1c773748bc05 -> healthy and back in HAProxy (api1 UP, api2 UP) PASS: public failover test passed 2 times; every api replica was stopped once and restored diff --git a/evidence/failure-postgres.txt b/evidence/failure-postgres.txt index bb141d2..80b46c4 100644 --- a/evidence/failure-postgres.txt +++ b/evidence/failure-postgres.txt @@ -1,12 +1,11 @@ python student-tests/dependency_failure.py postgres stopping postgres (docker compose stop postgres) -/health/live -> 200: процесс жив -/health/ready -> 503 (1000 ms): без PostgreSQL обслуживать нельзя -бизнес-запросы с действующим токеном -> 503 unavailable (без SQL и stack trace в ответе) -без токена -> 401: аноним не становится доверенным -неизвестный токен -> 503: не подтверждается ни кэшем, ни базой -вход -> 503: сессию без базы не выдаём -регистрация -> 503 +HAProxy вывел все реплики из балансировки через 2.8 с после остановки PostgreSQL (api1 DOWN, api2 DOWN) +реплика 1c773748bc05 изнутри контейнера: /health/live -> 200, /health/ready -> 503 (жива, но не готова) +реплика aa3dac85e7ed изнутри контейнера: /health/live -> 200, /health/ready -> 503 (жива, но не готова) +GET /users/me с действующим токеном (он есть в кэше) -> 503 от балансировщика, без X-Instance-Id: до неготовой реплики запрос не дошёл +бизнес-запросы (список чатов, история, отправка сообщения) -> 503 от балансировщика +без токена, регистрация и /health/ready через балансировщик -> 503: успешного ответа нет ни у кого starting postgres again after recovery: прежний токен работает, подтверждённые сообщения на месте -PASS: postgres outage handled without trusting anonymous requests +PASS: postgres outage: not ready replicas were excluded by the balancer, no request reached them, nothing was stored; data and the existing token survived diff --git a/evidence/failure-valkey.txt b/evidence/failure-valkey.txt index bdcd3c6..abec5ce 100644 --- a/evidence/failure-valkey.txt +++ b/evidence/failure-valkey.txt @@ -1,7 +1,7 @@ python student-tests/dependency_failure.py valkey stopping valkey (docker compose stop valkey) -/health/ready -> 200 (0 ms): Valkey не критичен, API готов -existing token: GET /users/me -> 200 (4016 ms), сессия проверена по PostgreSQL (этот запрос и обнаружил сбой кэша) +/health/ready -> 200 (15 ms): Valkey не критичен, API готов +existing token: GET /users/me -> 200 (0 ms), сессия проверена по PostgreSQL (этот запрос и обнаружил сбой кэша) POST message -> 201, история читается register + login new user -> 201 logout -> 204, затем тот же токен -> 401 (отзыв записан в PostgreSQL) @@ -9,4 +9,4 @@ logout -> 204, затем тот же токен -> 401 (отзыв записа через 6 с, ещё 10 x GET /users/me: max 31 ms (повторные попытки — в фоне) starting valkey again after recovery: прежний токен работает, подтверждённые сообщения на месте -PASS: valkey outage handled without trusting anonymous requests +PASS: valkey outage handled without the cache; revoked tokens stay revoked diff --git a/evidence/load-profile.txt b/evidence/load-profile.txt index fa55551..d7f746f 100644 --- a/evidence/load-profile.txt +++ b/evidence/load-profile.txt @@ -3,24 +3,24 @@ python student-tests/load_profile.py "lab": 3, "workload": "closed-loop POST messages; no automatic retries", "requested_duration_seconds": 30.0, - "elapsed_seconds": 30.203, + "elapsed_seconds": 30.25, "concurrency": 4, - "successful_requests": 6347, + "successful_requests": 3934, "failed_requests": 0, "error_ratio": 0.0, - "successful_rps": 210.145, + "successful_rps": 130.05, "successful_latency_ms": { "p50": 16.0, - "p95": 47.0, - "p99": 78.0 + "p95": 78.0, + "p99": 141.0 }, "note": "Latency percentiles cover successes only. Timeouts/errors are counted separately; closed-loop has coordinated omission and client overhead." } service cpu % max RAM max / limit, MiB -api 103.4 139.6 / 512 -api 98.2 93.8 / 512 -lb 25.5 15.8 / 128 -postgres 31.5 49.0 / 512 -valkey 6.7 8.2 / 128 +api 97.5 83.3 / 512 +api 90.2 122.3 / 512 +lb 24.2 19.6 / 128 +postgres 31.1 51.5 / 512 +valkey 9.6 8.3 / 128 PASS: load profile saved to evidence/load.json and evidence/load-stats.json diff --git a/evidence/load-stats.json b/evidence/load-stats.json index 2609815..bffc688 100644 --- a/evidence/load-stats.json +++ b/evidence/load-stats.json @@ -4,32 +4,32 @@ "containers": [ { "service": "api", - "cpu_percent_max": 103.4, - "mem_mib_max": 139.6, + "cpu_percent_max": 97.47, + "mem_mib_max": 83.3, "mem_limit_mib": 512 }, { "service": "api", - "cpu_percent_max": 98.18, - "mem_mib_max": 93.8, + "cpu_percent_max": 90.24, + "mem_mib_max": 122.3, "mem_limit_mib": 512 }, { "service": "lb", - "cpu_percent_max": 25.48, - "mem_mib_max": 15.8, + "cpu_percent_max": 24.22, + "mem_mib_max": 19.6, "mem_limit_mib": 128 }, { "service": "postgres", - "cpu_percent_max": 31.52, - "mem_mib_max": 49.0, + "cpu_percent_max": 31.15, + "mem_mib_max": 51.5, "mem_limit_mib": 512 }, { "service": "valkey", - "cpu_percent_max": 6.71, - "mem_mib_max": 8.2, + "cpu_percent_max": 9.56, + "mem_mib_max": 8.3, "mem_limit_mib": 128 } ] diff --git a/evidence/load.json b/evidence/load.json index f58a77c..d929179 100644 --- a/evidence/load.json +++ b/evidence/load.json @@ -2,16 +2,16 @@ "lab": 3, "workload": "closed-loop POST messages; no automatic retries", "requested_duration_seconds": 30.0, - "elapsed_seconds": 30.203, + "elapsed_seconds": 30.25, "concurrency": 4, - "successful_requests": 6347, + "successful_requests": 3934, "failed_requests": 0, "error_ratio": 0.0, - "successful_rps": 210.145, + "successful_rps": 130.05, "successful_latency_ms": { "p50": 16.0, - "p95": 47.0, - "p99": 78.0 + "p95": 78.0, + "p99": 141.0 }, "note": "Latency percentiles cover successes only. Timeouts/errors are counted separately; closed-loop has coordinated omission and client overhead." } diff --git a/evidence/persistence.txt b/evidence/persistence.txt index 98222c4..3674d42 100644 --- a/evidence/persistence.txt +++ b/evidence/persistence.txt @@ -2,25 +2,25 @@ python student-tests/run_persistence.py hook: scripts/restart.cmd === containers before SERVICE CONTAINER STATE STARTED AT (UTC) -api 4e5560c6d072 running (healthy) 2026-10-14T21:07:35.489 -api 7740e49a1d8c running (healthy) 2026-10-14T21:07:12.761 -lb 91c0051bd4c8 running (healthy) 2026-10-14T20:46:51.195 -migrate 523965b912bb exited 2026-10-14T20:46:48.669 -postgres 5c16b9b684f2 running (healthy) 2026-10-14T21:05:32.785 -valkey c74935587700 running (healthy) 2026-10-14T21:05:11.672 +api 1c773748bc05 running (healthy) 2026-10-15T16:36:31.798 +api aa3dac85e7ed running (healthy) 2026-10-15T16:36:08.417 +lb f9c8bda9ea4c running (healthy) 2026-10-15T16:32:39.190 +migrate 7420f3f1ddda exited 2026-10-15T16:32:47.434 +postgres 5c16b9b684f2 running (healthy) 2026-10-15T16:35:06.670 +valkey c74935587700 running (healthy) 2026-10-15T16:34:57.760 Executing explicit persistence hook; hook output suppressed to avoid leaking secrets. PASS: persistence preserved confirmed data and existing session. Hook scope needs operator evidence. -=== containers after (test took 18.5 s: hook + waiting for readiness + data checks) +=== containers after (test took 19.6 s: hook + waiting for readiness + data checks) SERVICE CONTAINER STATE STARTED AT (UTC) -api 4e5560c6d072 running (healthy) 2026-10-14T21:07:56.102 -api 7740e49a1d8c running (healthy) 2026-10-14T21:07:56.434 -lb 91c0051bd4c8 running (healthy) 2026-10-14T21:08:00.229 -migrate 523965b912bb exited 2026-10-14T21:07:54.122 -postgres 5c16b9b684f2 running (healthy) 2026-10-14T21:07:48.620 -valkey c74935587700 running (healthy) 2026-10-14T21:07:48.474 -api 7740e49a1d8c: same container, start time 21:07:12 -> 21:07:56 -api 4e5560c6d072: same container, start time 21:07:35 -> 21:07:56 -lb 91c0051bd4c8: same container, start time 20:46:51 -> 21:08:00 -postgres 5c16b9b684f2: same container, start time 21:05:32 -> 21:07:48 -valkey c74935587700: same container, start time 21:05:11 -> 21:07:48 +api 1c773748bc05 running (healthy) 2026-10-15T16:36:52.431 +api aa3dac85e7ed running (healthy) 2026-10-15T16:36:52.088 +lb f9c8bda9ea4c running (healthy) 2026-10-15T16:36:56.814 +migrate 7420f3f1ddda exited 2026-10-15T16:36:50.153 +postgres 5c16b9b684f2 running (healthy) 2026-10-15T16:36:44.391 +valkey c74935587700 running (healthy) 2026-10-15T16:36:44.221 +api aa3dac85e7ed: same container, start time 16:36:08 -> 16:36:52 +api 1c773748bc05: same container, start time 16:36:31 -> 16:36:52 +lb f9c8bda9ea4c: same container, start time 16:32:39 -> 16:36:56 +postgres 5c16b9b684f2: same container, start time 16:35:06 -> 16:36:44 +valkey c74935587700: same container, start time 16:34:57 -> 16:36:44 PASS: api replicas, postgres, valkey and lb were restarted (same containers and volumes, new start time); data and the existing token survived diff --git a/evidence/race.txt b/evidence/race.txt index 629de38..3efd948 100644 --- a/evidence/race.txt +++ b/evidence/race.txt @@ -1,5 +1,5 @@ python student-tests/race.py -messages: sent 100 from 10 parallel clients in 0.88s +messages: sent 100 from 10 parallel clients in 1.55s messages: read 100 in 4 pages, unique ids: 100 PASS: 100 concurrent messages stored without loss or duplicates registration: 20 parallel requests for one username -> 201 x1, 409 x19 diff --git a/evidence/rolling-update.json b/evidence/rolling-update.json index 3bf5573..dc62d7b 100644 --- a/evidence/rolling-update.json +++ b/evidence/rolling-update.json @@ -1,6 +1,6 @@ { "from_version": "dev", - "to_version": "rolling-20261015-000949", + "to_version": "rolling-20261015-193851", "replicas": 2, "profile": { "writers": 4, @@ -9,42 +9,42 @@ }, "steps": [ { - "old": "4e5560c6d072", - "new": "b021c4a75186", - "new_ready_seconds": 6.75, - "step_seconds": 11.38 + "old": "1c773748bc05", + "new": "e8baa1b553a1", + "new_ready_seconds": 6.64, + "step_seconds": 11.8 }, { - "old": "7740e49a1d8c", - "new": "a1fe17dd4bd2", - "new_ready_seconds": 6.11, - "step_seconds": 11.2 + "old": "aa3dac85e7ed", + "new": "db0d1f669f44", + "new_ready_seconds": 5.89, + "step_seconds": 10.55 } ], - "update_seconds": 22.59, + "update_seconds": 22.38, "before": { "seconds": 3.0, - "write_rps": 162.3, - "reads": 34, + "write_rps": 104.3, + "reads": 33, "errors": 0, "error_codes": {}, - "write_p50_ms": 16.0, - "write_p95_ms": 78.0, - "write_max_ms": 203.0 + "write_p50_ms": 31.0, + "write_p95_ms": 94.0, + "write_max_ms": 157.0 }, "during": { - "seconds": 22.59, - "write_rps": 144.2, - "reads": 266, + "seconds": 22.38, + "write_rps": 138.7, + "reads": 277, "errors": 0, "error_codes": {}, "write_p50_ms": 16.0, - "write_p95_ms": 78.0, - "write_max_ms": 250.0 + "write_p95_ms": 63.0, + "write_max_ms": 312.0 }, "integrity": { - "confirmed_writes": 4260, - "messages_in_history": 4260, + "confirmed_writes": 3867, + "messages_in_history": 3867, "duplicates": 0, "lost": 0 } diff --git a/evidence/rolling-update.txt b/evidence/rolling-update.txt index aa4afc9..1f252b1 100644 --- a/evidence/rolling-update.txt +++ b/evidence/rolling-update.txt @@ -1,10 +1,10 @@ python student-tests/rolling_update.py -old replicas ['4e5560c6d072', '7740e49a1d8c'], version dev; building version rolling-20261015-000949 -image built in 3.0 s +old replicas ['1c773748bc05', 'aa3dac85e7ed'], version dev; building version rolling-20261015-193851 +image built in 3.8 s migrations (one run, before replacing replicas): Миграции: новых нет, схема актуальна -replaced 4e5560c6d072 -> b021c4a75186: new replica healthy and UP in HAProxy after 6.8 s, then the old one drained and stopped; step 11.38 s (HAProxy: api1 UP, api2 DOWN, api3 UP) -replaced 7740e49a1d8c -> a1fe17dd4bd2: new replica healthy and UP in HAProxy after 6.1 s, then the old one drained and stopped; step 11.2 s (HAProxy: api1 DOWN, api2 UP, api3 UP) -now: replicas ['a1fe17dd4bd2', 'b021c4a75186'], versions ['rolling-20261015-000949'] -under load: write RPS before 162.3, during the update 144.2; errors 0 {}; p95 78.0 ms, max 250.0 ms; update took 22.6 s -confirmed 4260, in history 4260, lost 0, duplicates 0 +replaced 1c773748bc05 -> e8baa1b553a1: new replica healthy and UP in HAProxy after 6.6 s, then the old one drained and stopped; step 11.8 s (HAProxy: api1 DOWN, api2 UP, api3 UP) +replaced aa3dac85e7ed -> db0d1f669f44: new replica healthy and UP in HAProxy after 5.9 s, then the old one drained and stopped; step 10.55 s (HAProxy: api1 UP, api2 DOWN, api3 UP) +now: replicas ['db0d1f669f44', 'e8baa1b553a1'], versions ['rolling-20261015-193851'] +under load: write RPS before 104.3, during the update 138.7; errors 0 {}; p95 63.0 ms, max 312.0 ms; update took 22.4 s +confirmed 3867, in history 3867, lost 0, duplicates 0 PASS: all 2 replicas replaced one by one under load, 0 errors, no lost or duplicated messages; saved evidence/rolling-update.json diff --git a/evidence/stack.txt b/evidence/stack.txt index 07e7301..dbd67b7 100644 --- a/evidence/stack.txt +++ b/evidence/stack.txt @@ -2,33 +2,35 @@ python student-tests/check_stack.py docker: 29.6.2 compose: 5.3.1 container_name: not set for any service (replicas of one service are possible) -api replicas running: 2 -> ['4e5560c6d072', '7740e49a1d8c'] (deploy.replicas = 2) +api replicas running: 2 -> ['1c773748bc05', 'aa3dac85e7ed'] (deploy.replicas = 2) service container cpus memory published ports networks -api 4e5560c6d072 1.00 512Mi - backend, edge +api 1c773748bc05 1.00 512Mi - backend, edge postgres 5c16b9b684f2 1.00 512Mi - backend -api 7740e49a1d8c 1.00 512Mi - backend, edge -lb 91c0051bd4c8 0.50 128Mi 127.0.0.1:8080->8080/tcp, 127.0.0.1:8081->8081/tcp, 127.0.0.1:8404->8404/tcp edge +api aa3dac85e7ed 1.00 512Mi - backend, edge valkey c74935587700 0.50 128Mi - backend +lb f9c8bda9ea4c 0.50 128Mi 127.0.0.1:8080->8080/tcp, 127.0.0.1:8081->8081/tcp, 127.0.0.1:8404->8404/tcp edge published: only lb, only on 127.0.0.1 (api replicas have no ports) +balancer: every api server is under the /health/ready check, no backup servers -> api1 UP (L7OK), api2 UP (L7OK) limits: every running container has CPU and RAM limits networks: lb -> edge; api -> edge + backend; postgres, valkey -> backend (internal: no way out) secrets: api -> cache_url, database_url; migrate -> database_url; lb -> none; postgres -> postgres_password; valkey -> valkey_acl images: lb haproxy:3.2.25-alpine; api mtusi-messenger:lab3; postgres postgres:17.10-bookworm; valkey valkey/valkey:8.1.9 -PASS: one entry point (lb on 127.0.0.1), >= 2 api replicas without ports and container_name, CPU/RAM limits everywhere, stores only on the internal network +PASS: one entry point (lb on 127.0.0.1), >= 2 api replicas without ports and container_name, only ready replicas get traffic, CPU/RAM limits everywhere, stores only on the internal network docker compose ps -a --format "table {{.Service}}\t{{.ID}}\t{{.Status}}" SERVICE CONTAINER ID STATUS -api 4e5560c6d072 Up 17 minutes (healthy) -api 7740e49a1d8c Up 17 minutes (healthy) -lb 91c0051bd4c8 Up 17 minutes (healthy) -migrate 523965b912bb Exited (0) 17 minutes ago -postgres 5c16b9b684f2 Up 17 minutes (healthy) -valkey c74935587700 Up 17 minutes (healthy) -migrate-1 | 2026-10-14 20:46:49,990 INFO messenger.db: Миграции применены: 001_core, 002_sessions, 003_text_as_bytes, 004_message_idempotency -api-2 | 2026-10-14 20:46:52,427 INFO messenger.db: Схема БД актуальна (миграции применены сервисом migrate) -api-2 | 2026-10-14 20:46:52,430 INFO messenger: Реплика 7740e49a1d8c запущена: версия dev, env=lab, TTL сессии=3600 c, кэш сессий: Valkey -api-1 | 2026-10-14 20:46:52,226 INFO messenger.db: Схема БД актуальна (миграции применены сервисом migrate) -api-1 | 2026-10-14 20:46:52,229 INFO messenger: Реплика 4e5560c6d072 запущена: версия dev, env=lab, TTL сессии=3600 c, кэш сессий: Valkey +api aa3dac85e7ed Up About a minute (healthy) +api 1c773748bc05 Up About a minute (healthy) +lb f9c8bda9ea4c Up About a minute (healthy) +migrate 7420f3f1ddda Exited (0) About a minute ago +postgres 5c16b9b684f2 Up 30 seconds (healthy) +valkey c74935587700 Up 8 minutes (healthy) +api-3 | 2026-10-15 16:32:41,372 INFO messenger.db: Схема БД актуальна (миграции применены сервисом migrate) +api-3 | 2026-10-15 16:32:41,376 INFO messenger: Реплика aa3dac85e7ed запущена: версия dev, env=lab, TTL сессии=3600 c, кэш сессий: Valkey +migrate-1 | 2026-10-15 16:32:37,955 INFO messenger.db: Миграции: новых нет, схема актуальна +migrate-1 | 2026-10-15 16:32:49,046 INFO messenger.db: Миграции: новых нет, схема актуальна +api-4 | 2026-10-15 16:32:41,595 INFO messenger.db: Схема БД актуальна (миграции применены сервисом migrate) +api-4 | 2026-10-15 16:32:41,600 INFO messenger: Реплика 1c773748bc05 запущена: версия dev, env=lab, TTL сессии=3600 c, кэш сессий: Valkey .gitignore:2:.env .env .gitignore:5:secrets/ secrets/database_url diff --git a/evidence/student-test.txt b/evidence/student-test.txt index 9ca670e..7086c04 100644 --- a/evidence/student-test.txt +++ b/evidence/student-test.txt @@ -37,19 +37,19 @@ test_replay_through_another_replica_returns_same_message (test_idempotency.Idemp test_same_key_other_body_is_409 (test_idempotency.IdempotencyTest.test_same_key_other_body_is_409) ... ok ---------------------------------------------------------------------- -Ran 36 tests in 6.481s +Ran 36 tests in 11.028s OK X-Instance-Id есть в health, 404, 401 и 400 - logout через одну реплику -> 401 на ['4e5560c6d072', '7740e49a1d8c'] + logout через одну реплику -> 401 на ['1c773748bc05', 'aa3dac85e7ed'] - 20 x GET /users/me с одним токеном -> реплики {'7740e49a1d8c': 10, '4e5560c6d072': 10}; это ID запущенных контейнеров api, повторный вход не нужен + 20 x GET /users/me с одним токеном -> реплики {'aa3dac85e7ed': 10, '1c773748bc05': 10}; это ID запущенных контейнеров api, повторный вход не нужен - 10 x GET /users/me через реплики {'7740e49a1d8c': 5, '4e5560c6d072': 5}: попаданий в кэш +20, промахов +0 — кэш общий + 10 x GET /users/me через реплики {'aa3dac85e7ed': 5, '1c773748bc05': 5}: попаданий в кэш +20, промахов +0 — кэш общий - сообщение записала реплика 7740e49a1d8c, сразу прочитали ['4e5560c6d072', '7740e49a1d8c'] + сообщение записала реплика aa3dac85e7ed, сразу прочитали ['1c773748bc05', 'aa3dac85e7ed'] с тем же ключом: сначала 400 (пустой текст), потом 201 — ошибка ключ не заняла @@ -61,10 +61,10 @@ OK 10 одновременных разных тел с одним ключом: 201 x1, 409 x9, в истории 1 сообщение - 20 одновременных POST с одним ключом через реплики {'7740e49a1d8c': 10, '4e5560c6d072': 10}: все 201 с одним id, в истории 1 сообщение + 20 одновременных POST с одним ключом через реплики {'1c773748bc05': 10, 'aa3dac85e7ed': 10}: все 201 с одним id, в истории 1 сообщение повтор: посторонний -> 404, после logout -> 401, после нового входа -> то же сообщение - 1 запрос + 4 повтора через реплики ['4e5560c6d072', '7740e49a1d8c']: 201 и то же сообщение, в истории 1 + 1 запрос + 4 повтора через реплики ['1c773748bc05', 'aa3dac85e7ed']: 201 и то же сообщение, в истории 1 другой текст с тем же ключом -> 409 conflict, второе сообщение не создано diff --git a/evidence/valkey.txt b/evidence/valkey.txt index f61aacb..cc8955f 100644 --- a/evidence/valkey.txt +++ b/evidence/valkey.txt @@ -1,8 +1,8 @@ docker compose exec -T valkey valkey-cli --user health --pass none --no-auth-warning dbsize 6 docker compose exec -T valkey valkey-cli --user health --pass none --no-auth-warning info stats | grep -E "keyspace_(hits|misses)" -keyspace_hits:106 -keyspace_misses:4 +keyspace_hits:105 +keyspace_misses:1 docker compose exec -T valkey valkey-cli --user health --pass none --no-auth-warning get sess:anything NOPERM User health has no permissions to run the 'get' command diff --git a/infra/haproxy/haproxy.cfg b/infra/haproxy/haproxy.cfg index 268a34b..4e4238d 100644 --- a/infra/haproxy/haproxy.cfg +++ b/infra/haproxy/haproxy.cfg @@ -41,6 +41,13 @@ defaults # POST сообщения повторяет клиент с тем же Idempotency-Key. retries 2 option redispatch 1 + # Ошибки, которые создаёт сам балансировщик (нет ни одной готовой реплики — 503, реплика оборвала + # соединение — 502, не ответила вовремя — 504), отдаются в формате ошибки из контракта + # с X-Request-Id. X-Instance-Id у них нет: ни одна реплика API этот ответ не создавала. + unique-id-format %[uuid] + http-error status 503 content-type application/json lf-string '{"error":{"code":"unavailable","message":"Нет готовой реплики API, повторите запрос позже","request_id":"%[unique-id]"}}' hdr X-Request-Id "%[unique-id]" + http-error status 502 content-type application/json lf-string '{"error":{"code":"unavailable","message":"Реплика API оборвала соединение, повторите запрос","request_id":"%[unique-id]"}}' hdr X-Request-Id "%[unique-id]" + http-error status 504 content-type application/json lf-string '{"error":{"code":"unavailable","message":"Реплика API не ответила вовремя, повторите запрос","request_id":"%[unique-id]"}}' hdr X-Request-Id "%[unique-id]" frontend api_in bind :8080 @@ -55,13 +62,10 @@ backend api # До 6 реплик (обычно 2, во время rolling update 3); пустые слоты стоят в MAINT. # Проверка раз в 1 с, при смене состояния раз в 0,5 с; 2 неудачи подряд -> DOWN, 2 удачи -> UP. # observe layer4: первая же ошибка соединения у живого запроса сразу выводит реплику из балансировки. + # Запросы получают ТОЛЬКО реплики, прошедшие проверку готовности. Резервных слотов без проверки нет: + # если не готова ни одна реплика (например, недоступна PostgreSQL), балансировщик сам отвечает 503 + # и никуда запрос не передаёт, даже если реплика могла бы ответить из кэша. server-template api 6 api:8080 check inter 1s fastinter 500ms downinter 2s fall 2 rise 2 observe layer4 error-limit 1 on-error mark-down resolvers docker resolve-prefer ipv4 init-addr none - # Аварийный режим: если НИ ОДНА реплика не готова (например, недоступна PostgreSQL), запросы всё - # равно идут в API. Клиент получает ответ самого API (503 в формате контракта, с X-Request-Id - # и X-Instance-Id), а /health/live отвечает 200. Пока готова хоть одна реплика, слоты не используются. - # allow-dup-ip: те же адреса, что у основных слотов (по умолчанию HAProxy запрещает повтор адреса). - server-template fallback 6 api:8080 backup resolvers docker resolve-prefer ipv4 resolve-opts allow-dup-ip init-addr none - option allbackups # Второй вход только для проверки истечения сессии (make expiry): API с SESSION_TTL_SECONDS=2 # (сервис api-short-ttl, профиль ttl). Он тоже доступен только через балансировщик. diff --git a/student-tests/check_stack.py b/student-tests/check_stack.py index 6be6dd6..e252496 100644 --- a/student-tests/check_stack.py +++ b/student-tests/check_stack.py @@ -3,6 +3,8 @@ make check-stack (= python student-tests/check_stack.py) - не меньше 2 работающих реплик api, у них нет опубликованных портов (обойти балансировщик нельзя); +- в балансировщике каждая реплика под проверкой готовности, резервных серверов без проверки нет + (неготовая реплика не получает запросы ни при каких условиях); - ни у одного сервиса нет container_name (иначе нельзя запустить несколько реплик одного сервиса); - наружу опубликован только балансировщик и только на 127.0.0.1; - у каждого работающего контейнера есть лимиты CPU и RAM; @@ -13,7 +15,7 @@ import json from helpers import check, run -from stand import api_containers, compose_config, compose_output, docker, inspect +from stand import api_containers, compose_config, compose_output, docker, inspect, lb_rows def main(): @@ -55,6 +57,16 @@ def main(): check(published.get("lb") and all(b.startswith("127.0.0.1:") for b in published["lb"]), "the balancer must be published on 127.0.0.1 only") print("published: only lb, only on 127.0.0.1 (api replicas have no ports)") + + servers = lb_rows("api") + backups = [row["svname"] for row in servers if row.get("bck") == "1"] + unchecked = [row["svname"] for row in servers + if not row.get("status", "").startswith("MAINT") and not row.get("check_status")] + check(not backups, f"backup servers in the balancer: {backups}") + check(not unchecked, f"servers without a readiness check in the balancer: {unchecked}") + in_use = [f"{row['svname']} {row['status']} ({row['check_status']})" for row in servers + if not row.get("status", "").startswith("MAINT")] + print(f"balancer: every api server is under the /health/ready check, no backup servers -> {', '.join(in_use)}") print("limits: every running container has CPU and RAM limits") def nets_of(name): @@ -76,7 +88,7 @@ def main(): print("secrets: " + "; ".join(f"{name} -> {', '.join(wanted) or 'none'}" for name, wanted in expected.items())) print("images: " + "; ".join(f"{name} {services[name]['image']}" for name in ("lb", "api", "postgres", "valkey"))) print("PASS: one entry point (lb on 127.0.0.1), >= 2 api replicas without ports and container_name, " - "CPU/RAM limits everywhere, stores only on the internal network") + "only ready replicas get traffic, CPU/RAM limits everywhere, stores only on the internal network") if __name__ == "__main__": diff --git a/student-tests/dependency_failure.py b/student-tests/dependency_failure.py index 7307b2b..c7b1a62 100644 --- a/student-tests/dependency_failure.py +++ b/student-tests/dependency_failure.py @@ -4,15 +4,22 @@ и запускает контейнер обратно (docker compose start). Volumes не трогаются. valkey — кэш недоступен: API обходит его и работает через PostgreSQL; logout действует сразу. -postgres — источник истины недоступен: API отвечает ограниченной ошибкой 503 (без деталей), - /health/ready = 503, аноним и неизвестный токен НЕ получают успешный ответ. - После запуска БД прежний токен и данные снова доступны. +postgres — источник истины недоступен: обе реплики не готовы (/health/ready = 503), и балансировщик + исключает их из маршрутизации. Даже запрос с действующим токеном, который реплика могла бы + подтвердить из кэша Valkey, через балансировщик получает 503 и до реплики не доходит + (замечание к MR: раньше резервные слоты без проверки пропускали его, и он получал 200). + Сами реплики при этом живы (/health/live = 200 изнутри контейнера). + Запись во время отказа не сохраняется. После запуска БД прежний токен и данные доступны. """ import sys import time import uuid -from helpers import Client, basic, check, compose, idempotency, read_history, run, wait_ready +from helpers import Client, check, compose, idempotency, read_history, run, wait_ready +from stand import api_containers, lb_summary, lb_up_count, replica_status, try_call + +LB_EXCLUDE_TIMEOUT_SECONDS = 15 +LOST_TEXT = "во время отказа PostgreSQL, не должно сохраниться " + uuid.uuid4().hex def timed(fn): @@ -46,27 +53,49 @@ def valkey_down(api, alice, bob, chat): return carol +def refused_by_lb(method, path, token=None, body=None, headers=None): + """Запрос через балансировщик: ждём 503 от САМОГО балансировщика в формате ошибки контракта. + + Признак того, что запрос не дошёл до реплики API: в ответе нет X-Instance-Id + (его ставит каждая реплика), а X-Request-Id и request_id в теле — от балансировщика. + """ + reply = try_call(method, path, token=token, body=body, headers=headers, timeout=5) + check(reply is not None, f"{method} {path}: no response from the balancer") + check(reply.status == 503, f"{method} {path}: expected 503 from the balancer, got {reply.status}") + check(not reply.instance, f"{method} {path}: answered by a NOT READY API replica {reply.instance}") + error = (reply.json or {}).get("error") or {} + check(error.get("code") == "unavailable", f"{method} {path}: wrong error format {reply.json}") + check(error.get("request_id") and error["request_id"] == reply.headers.get("x-request-id"), + f"{method} {path}: request_id differs from X-Request-Id") + + def postgres_down(api, alice, chat): - api.call("GET", "/health/live", schema="Health") - print("/health/live -> 200: процесс жив") - _, ms = timed(lambda: api.call("GET", "/health/ready", 503)) - print(f"/health/ready -> 503 ({ms:.0f} ms): без PostgreSQL обслуживать нельзя") - for method, path in (("GET", "/api/v1/chats"), ("GET", f"/api/v1/chats/{chat['id']}/messages")): - error = api.call(method, path, 503, actor=alice)["json"]["error"] - check(error["code"] == "unavailable", "expected unavailable error code") - api.call("POST", f"/api/v1/chats/{chat['id']}/messages", 503, actor=alice, body={"text": "не сохранится"}, - headers=idempotency()) - print("бизнес-запросы с действующим токеном -> 503 unavailable (без SQL и stack trace в ответе)") - api.call("GET", "/api/v1/users/me", 401) - print("без токена -> 401: аноним не становится доверенным") - status = api.call("GET", "/api/v1/users/me", [401, 503], headers={"Authorization": "Bearer " + "x" * 43})["status"] - print(f"неизвестный токен -> {status}: не подтверждается ни кэшем, ни базой") - status = api.call("POST", "/api/v1/auth/sessions", [401, 503], - headers={"Authorization": basic("nobody", "Some-password-1")})["status"] - print(f"вход -> {status}: сессию без базы не выдаём") - api.call("POST", "/api/v1/users", 503, - body={"username": "pg_" + uuid.uuid4().hex[:10], "display_name": "x", "password": "Pg-down-password"}) - print("регистрация -> 503") + started = time.monotonic() + while lb_up_count() > 0: + check(time.monotonic() - started < LB_EXCLUDE_TIMEOUT_SECONDS, + f"HAProxy still routes to a replica {LB_EXCLUDE_TIMEOUT_SECONDS} s after the failure") + time.sleep(0.2) + print(f"HAProxy вывел все реплики из балансировки через {time.monotonic() - started:.1f} с " + f"после остановки PostgreSQL ({lb_summary()})") + for container in api_containers(): + live, ready = replica_status(container, "/health/live"), replica_status(container, "/health/ready") + check(live == 200 and ready == 503, f"replica {container[:12]}: live {live}, ready {ready}") + print(f"реплика {container[:12]} изнутри контейнера: /health/live -> {live}, /health/ready -> {ready} " + f"(жива, но не готова)") + # Главное (замечание к MR): токен alice лежит в кэше Valkey, и реплика могла бы ответить 200 без базы. + refused_by_lb("GET", "/api/v1/users/me", token=alice["token"]) + print("GET /users/me с действующим токеном (он есть в кэше) -> 503 от балансировщика, без X-Instance-Id: " + "до неготовой реплики запрос не дошёл") + refused_by_lb("GET", "/api/v1/chats", token=alice["token"]) + refused_by_lb("GET", f"/api/v1/chats/{chat['id']}/messages", token=alice["token"]) + refused_by_lb("POST", f"/api/v1/chats/{chat['id']}/messages", token=alice["token"], + body={"text": LOST_TEXT}, headers=idempotency()) + print("бизнес-запросы (список чатов, история, отправка сообщения) -> 503 от балансировщика") + refused_by_lb("GET", "/api/v1/users/me") + refused_by_lb("POST", "/api/v1/users", body={"username": "pg_" + uuid.uuid4().hex[:10], + "display_name": "x", "password": "Pg-down-password"}) + refused_by_lb("GET", "/health/ready") + print("без токена, регистрация и /health/ready через балансировщик -> 503: успешного ответа нет ни у кого") def main(): @@ -75,6 +104,8 @@ def main(): api = Client() alice, bob, _eve, chat = api.bootstrap() before = api.message(alice, chat, "до отказа " + target)["json"] + for _ in range(4): # запись о сессии alice точно лежит в общем кэше Valkey + api.call("GET", "/api/v1/users/me", actor=alice, schema="User") print(f"stopping {target} (docker compose stop {target})") compose("stop", target) @@ -90,11 +121,16 @@ def main(): wait_ready(api) history, _ = read_history(api, alice, chat["id"]) check(before in history, "message confirmed before the outage is lost or changed") + check(all(m["text"] != LOST_TEXT for m in history), "a write refused during the outage was stored") api.call("GET", "/api/v1/users/me", actor=alice, schema="User") if target == "valkey": api.call("GET", "/api/v1/users/me", 401, actor=carol) # отозванный токен не «воскрес» из кэша print("after recovery: прежний токен работает, подтверждённые сообщения на месте") - print(f"PASS: {target} outage handled without trusting anonymous requests") + if target == "postgres": + print("PASS: postgres outage: not ready replicas were excluded by the balancer, no request reached them, " + "nothing was stored; data and the existing token survived") + else: + print("PASS: valkey outage handled without the cache; revoked tokens stay revoked") if __name__ == "__main__": diff --git a/student-tests/expiry.py b/student-tests/expiry.py index f14b5f7..9e022bd 100644 --- a/student-tests/expiry.py +++ b/student-tests/expiry.py @@ -13,12 +13,15 @@ import os import time import uuid -from helpers import Client, check, login, run +from helpers import Client, check, login, run, wait_ready def main(): short = Client(os.environ.get("BASE_URL_TTL", "http://127.0.0.1:8081")) main_api = Client() + # Контейнер уже healthy, но балансировщику нужно ещё пару секунд: найти его по DNS + # и пройти 2 проверки готовности. Ждём готовности именно через балансировщик (:8081). + wait_ready(short, seconds=60) body = {"username": "ttl_" + uuid.uuid4().hex[:12], "display_name": "TTL", "password": "Ttl-password-123"} short.call("POST", "/api/v1/users", 201, body=body, schema="User") session = login(short, body["username"], body["password"]) diff --git a/student-tests/report_tables.py b/student-tests/report_tables.py index 0c8025f..0c06a72 100644 --- a/student-tests/report_tables.py +++ b/student-tests/report_tables.py @@ -106,8 +106,10 @@ def impacts(failover, rolling): ("failure-valkey.txt", "`docker compose stop valkey`", "API работает без кэша", "ready 200; вход, сообщения и logout работают через PostgreSQL", "кэш снова включается за 1–2 с после start; потерь нет"), - ("failure-postgres.txt", "`docker compose stop postgres`", "503 без подробностей, аноним не доверенный", - "через балансировщик (слоты fallback): ready 503, бизнес-запросы 503, без токена 401", + ("failure-postgres.txt", "`docker compose stop postgres`", + "неготовые реплики исключены из маршрутизации, клиенту 503", + "HAProxy вывел обе реплики (ready 503, live 200); запрос с действующим токеном из кэша -> 503 " + "от балансировщика, до реплики не дошёл; запись не сохранилась", "после start прежний токен и данные на месте; запросы во время отказа не сохранены (503)"), ("failure-valkey-pause.txt", "`docker compose pause valkey`, logout, `unpause`", "отозванный токен не оживает ни на одной реплике", "после unpause отозванный токен всегда 401", diff --git a/student-tests/stand.py b/student-tests/stand.py index 9fdcdfb..24e451c 100644 --- a/student-tests/stand.py +++ b/student-tests/stand.py @@ -121,21 +121,23 @@ def ps_table(): # ---------- балансировщик ---------- -def lb_servers(backend="api"): - """Слоты backend в HAProxy (страница статистики, CSV): {имя: статус}, например {'api1': 'UP'}.""" +def lb_rows(backend="api"): + """Строки статистики HAProxy (CSV) по серверам backend: имя, статус, backup-флаг, результат проверки.""" with urllib.request.urlopen(LB_STATS_URL, timeout=2) as reply: rows = list(csv.reader(io.StringIO(reply.read().decode("utf-8", "replace")))) header = [name.lstrip("# ") for name in rows[0]] - servers = {} - for row in rows[1:]: - item = dict(zip(header, row)) - if item.get("pxname") == backend and item.get("svname") not in ("FRONTEND", "BACKEND"): - servers[item["svname"]] = item.get("status", "") - return servers + items = [dict(zip(header, row)) for row in rows[1:]] + return [item for item in items + if item.get("pxname") == backend and item.get("svname") not in ("FRONTEND", "BACKEND")] + + +def lb_servers(backend="api"): + """Слоты backend в HAProxy: {имя: статус}, например {'api1': 'UP'}.""" + return {item["svname"]: item.get("status", "") for item in lb_rows(backend)} def lb_up_count(): - """Сколько основных слотов (api1..api6, без аварийных fallback) HAProxy держит в балансировке (UP).""" + """Сколько реплик (слоты api1..api6) HAProxy держит в балансировке (UP).""" return sum(1 for name, status in lb_servers().items() if name.startswith("api") and status.startswith("UP")) @@ -164,9 +166,28 @@ def wait_balanced(replicas, seconds=90): time.sleep(0.5) +def replica_status(container, path): + """Код ответа реплики на GET path изнутри её контейнера, в обход балансировщика. + + Так видно состояние самой реплики (жива ли, готова ли), когда балансировщик её уже исключил. + Одна строка без переводов строк: так команда одинаково передаётся и на Windows, и на Linux. + """ + code = ("import http.client as h; c = h.HTTPConnection('127.0.0.1', 8080, timeout=5); " + f"c.request('GET', '{path}'); print(c.getresponse().status)") + return int(docker("exec", container, "python", "-c", code)) + + def valkey_stats(): """keyspace_hits и keyspace_misses Valkey (пользователь health без пароля: только info/ping/dbsize).""" output = compose_output("exec", "-T", "valkey", "valkey-cli", "--user", "health", "--pass", "none", "--no-auth-warning", "info", "stats") stats = dict(line.strip().split(":", 1) for line in output.splitlines() if line.startswith("keyspace_")) return int(stats["keyspace_hits"]), int(stats["keyspace_misses"]) + + +if __name__ == "__main__": + # make restore: после `docker compose up -d --wait` дождаться, пока HAProxy вернёт в работу + # ВСЕ запущенные реплики (DNS + 2 удачные проверки готовности — ещё несколько секунд). + replicas = len(api_containers()) + wait_balanced(replicas) + print(f"all {replicas} api replicas are healthy and UP in HAProxy: {lb_summary()}")