From 287a61c704a9f1dbabf5523832aa0fb5e021d194 Mon Sep 17 00:00:00 2001 From: roman Date: Thu, 1 Oct 2026 22:07:35 +0300 Subject: [PATCH] docs: re-shoot Valkey outage and restart evidence Evidence from d7c9a59: Valkey stop adds 97 ms (one reconnect), pause 207 ms, 30 concurrent commands stay within 201 ms, and restarting Valkey alone no longer switches the cache off. REPORT.md and the skill describe the retry on a dropped connection. Co-Authored-By: Claude Opus 5.5 --- .claude/skills/run-mtusi-messenger/SKILL.md | 5 +- REPORT.md | 34 +++--- evidence/cache/flush-restart.md | 63 +++++------ evidence/cache/outage.md | 112 +++++++++++--------- openspec/changes/membership-cache/tasks.md | 2 +- 5 files changed, 118 insertions(+), 98 deletions(-) diff --git a/.claude/skills/run-mtusi-messenger/SKILL.md b/.claude/skills/run-mtusi-messenger/SKILL.md index 59908ca6..176cc421 100644 --- a/.claude/skills/run-mtusi-messenger/SKILL.md +++ b/.claude/skills/run-mtusi-messenger/SKILL.md @@ -221,8 +221,9 @@ make lint # ruff; затрагивает и dr недоступен: `docker compose ps postgres`, `make start_db`. Запросы к API в это время получают 503 `unavailable`, после возврата Postgres проходят без рестарта сервера. -- **В логе `warning` «Cache is unavailable»** — Valkey остановлен, - завис или перезапускался: `docker compose ps valkey`, `make +- **В логе `warning` «Cache is unavailable»** — Valkey остановлен или + завис (рестарт Valkey отказом не считается: клиент один раз + переоткрывает соединение): `docker compose ps valkey`, `make start_cache`. Ответы при этом те же (из Postgres), `/health/ready` — 200; через `[cache] retry_after_seconds` (5 с) после возврата Valkey — `info` «Cache is available again». diff --git a/REPORT.md b/REPORT.md index 765d602f..1bfc518a 100644 --- a/REPORT.md +++ b/REPORT.md @@ -289,21 +289,25 @@ Redis / Valkey выбран Valkey 9.1, клиент — redis-py (`redis.asynci Восстановление из backup (трек 2) откатывает базу, и в кэше остаются карточки чатов, созданных после снятия backup. Поэтому процедура восстановления заканчивается `FLUSHALL` (change `track2-backup-restore`). -- **Отказ Valkey — обход, а не ошибка.** Клиент без повторов - (`Retry(NoBackoff(), 0)`) с таймаутом 0,2 с. redis-py по умолчанию - повторяет команду с backoff, и замороженный Valkey держал бы запрос - 6,27 с, а остановленный — 3,98 с (замер перед выбором). При ошибке +- **Отказ Valkey — обход, а не ошибка.** Вся команда кэша — ожидание + пула, соединение и ответ — ограничена 0,2 с (`asyncio.timeout`). + redis-py по умолчанию повторяет команду с backoff, и замороженный + Valkey держал бы запрос 6,27 с, а остановленный — 3,98 с (замер перед + выбором). Поэтому повтор один и только на обрыв соединения + (`ConnectionError`), без паузы; таймаут не повторяется. При ошибке `Cache` возвращает промах, запрос идёт в Postgres с тем же ответом, а кэш пропускается 5 с (`[cache] retry_after_seconds`). В журнал — один `warning` «Cache is unavailable» на отказ и `info` «Cache is available again» при возврате. Аутентификация от кэша не зависит, поэтому анонимного доступа отказ не открывает. Пул соединений — `BlockingConnectionPool` на 10: при всплеске запрос ждёт свободное - соединение до 0,2 с, а не считает здоровый Valkey отказавшим. + соединение, а не считает здоровый Valkey отказавшим. - **Flush и рестарт.** Persistence выключен (`save ""`, `appendonly no`), volume нет: после `FLUSHALL` или рестарта кэш пуст и заполняется при чтении, данные и сессии в Postgres не страдают. `scripts/restart.sh` - перезапускает и Valkey. + перезапускает и Valkey. Рестарт одного Valkey при работающем API + отказом не считается: соединение пула, закрытое сервером, повтор + открывает заново. - **Эффект** (`evidence/cache/hits.md`): из 50 чтений одной карточки Postgres читает таблицу `chats` один раз, без кэша — 50 раз. Время ответа на этом стенде почти то же (1,6 против 1,7 мс в медиане): @@ -361,8 +365,8 @@ Valkey приходят из `environment` compose. В compose нет литер | Конфигурация из `.env`, без литералов адреса и порта Postgres в compose | `POSTGRES_PORT` и `POSTGRES_OUT_PORT` изменены в `.env`, `make run_docker`, `make run_dev` | оба способа запуска подключились к новому порту, compose не правился | `evidence/storage/postgres-port.md` | | Порты и пароль Valkey из `.env` | `VALKEY_PORT`, `VALKEY_OUT_PORT` и `VALKEY_PASSWORD` изменены в `.env`, `make run_docker`, `driver.py start` | сервер слушает новый порт, публикация только на `127.0.0.1`; docker и консоль пишут карточки в кэш; прежний пароль — `WRONGPASS`, без пароля — `NOAUTH`; compose не правился | `evidence/cache/config.md` | | Уровень 4: Redis/Valkey с ролью, источником истины, expiry и инвалидацией | 50 чтений одной карточки; `TTL` ключа; `INFO stats` | новый чат в кэше сразу после commit, `TTL` 3600 с; 50 чтений — одно чтение таблицы `chats` и 49 попаданий, без кэша — 50 чтений таблицы; ключи `make test_isolated` под своим префиксом | `evidence/cache/hits.md`; роль и политика — раздел «Кэш Valkey» | -| Уровень 4: недоступность Redis/Valkey — корректный обход кэша | `docker compose stop` / `pause` / `start` / `unpause valkey` | ответы 200 / 201 / 200 с теми же телами, `/health/ready` 200; зависший Valkey — +0,2 с к одному запросу, дальше 5 с без обращений; после возврата кэш работает без рестарта API; один `warning` и одно `info` на отказ, пароля в журнале нет | `evidence/cache/outage.md` | -| Flush и рестарт кэша | `FLUSHALL`, `docker compose restart valkey`, `scripts/restart.sh` | ответы те же, кэш заполняется при чтении; рестарт одного Valkey при работающем API — 5 с без кэша | `evidence/cache/flush-restart.md` | +| Уровень 4: недоступность Redis/Valkey — корректный обход кэша | `docker compose stop` / `pause` / `start` / `unpause valkey` | ответы 200 / 201 / 200 с теми же телами, `/health/ready` 200; отказ добавляет к одному запросу не больше 0,2 с (остановленный — 97 мс, зависший — 207 мс; 30 одновременных — до 201 мс), дальше 5 с без обращений; после возврата кэш работает без рестарта API; один `warning` и одно `info` на отказ, пароля в журнале нет | `evidence/cache/outage.md` | +| Flush и рестарт кэша | `FLUSHALL`, `docker compose restart valkey`, `scripts/restart.sh` | ответы те же, кэш заполняется при чтении; рестарт одного Valkey при работающем API — без отказа: старое соединение пула переоткрыто повтором | `evidence/cache/flush-restart.md` | | Уровень 4: ограниченный пул и таймауты | пул из одного соединения, Postgres на паузе | второй запрос — 503 через 1 с (`pool_timeout`), первый — 503 через 6 + 2 с | `evidence/storage/pool-timeout.md` | | Уровень 4: таймаут запроса и логи без содержимого сообщений | `messages` под `ACCESS EXCLUSIVE`, `POST` сообщения | 503 через 5 с по `statement_timeout`; в журнале SQL и причина, параметры скрыты (`hide_parameters`), текста сообщения нет; до исправления он там был | `evidence/storage/statement-timeout.md` | | Уровень 4: недоступность БД | `docker compose stop` и `pause postgres` | 503 `unavailable` без деталей, `/health/live` 200, после возврата — без рестарта API | `evidence/storage/db-unavailable.md` | @@ -388,11 +392,11 @@ Valkey приходят из `environment` compose. В compose нет литер | `migrate` завершился ошибкой | API не стартует | `api` в состоянии `Created`, `up` — код 1 | `make run_docker` с верной базой — сразу | | `scripts/restart.sh` (API и Postgres) | данные и порядок на месте | hook 3,5 с, готовность через 1 с после него | потерь нет | | `make test-persistence` с тем же hook | прежний токен работает | `PASS`, вся проверка 4,9 с | сессии и данные на месте | -| `scripts/restart.sh` (API, Postgres и Valkey) | данные и сессии на месте, кэш пуст | hook 3,7 с, готовность через 1 с; `DBSIZE` Valkey 0, первое чтение снова пишет карточку | потерь нет; кэш теряется штатно | -| `docker compose stop valkey` | те же ответы из Postgres, ready 200 | 200 / 201 / 200 за 5–8 мс, ready 200; один `warning` | после `start` — через окно пропуска 5 с, без рестарта API | -| `docker compose pause valkey` (кэш завис) | +таймаут клиента к одному запросу | первый запрос 212 мс, следующие 3–10 мс; ready 200 | после `unpause` — через 5 с | +| `scripts/restart.sh` (API, Postgres и Valkey) | данные и сессии на месте, кэш пуст | hook 3,6 с, готовность через 1 с; `DBSIZE` Valkey 0, первое чтение снова пишет карточку | потерь нет; кэш теряется штатно | +| `docker compose stop valkey` | те же ответы из Postgres, ready 200, не больше 0,2 с добавки | первый запрос 97 мс (повтор на обрыв и неразрешимое имя `valkey`), следующие 2–7 мс; ready 200; один `warning` | после `start` — через окно пропуска 5 с, без рестарта API | +| `docker compose pause valkey` (кэш завис) | +срок команды 0,2 с к одному запросу | первый запрос 207 мс, следующие 3–10 мс; 30 одновременных команд — 200–201 мс; ready 200 | после `unpause` — через 5 с | | `FLUSHALL` | тот же ответ, кэш заполняется | 200, ключ снова есть | — | -| `docker compose restart valkey` при работающем API | тот же ответ | 200; старое соединение пула закрыто сервером — `warning`, 5 с без кэша | через 5 с кэш снова работает | +| `docker compose restart valkey` при работающем API | тот же ответ, без отказа | 200 за 6 мс, ключ сразу записан; `warning` нет — повтор переоткрыл соединение, закрытое сервером. До правки клиента (`cae4b09`): `warning` и 5 с без кэша | сразу | | срок сессии 2 с (`AUTH__SESSION_TTL_SECONDS=2`) | 401 после срока, запросы не продлевают | первый 401 через 2,1 с при запросах каждые 0,5 с | — | | Postgres остановлен, токен действующий | 503, не 401 | 503 `unavailable` на `/users/me` и на вход | после `start` тот же токен — 200 | | миграция к паролям на базе лабы 1 | данные без паролей удалены, это видно в журнале | `warning` с числом 225, `password_hash` NOT NULL | данные лабы 1 удалены намеренно (синтетические) | @@ -425,9 +429,9 @@ Valkey приходят из `environment` compose. В compose нет литер менять участников или удалять чаты, понадобится удаление ключа в той же операции. Правка базы в обход API (восстановление из backup) требует `FLUSHALL`. -- После рестарта одного Valkey при работающем API первая команда по - старому соединению пула считается отказом: 5 с запросы идут в - Postgres. Ответы верные; повторов в клиенте нет намеренно. +- После отказа Valkey кэш пропускается 5 с, даже если Valkey вернулся + раньше: запросы этого окна идут в Postgres. Срок — настройка + `[cache] retry_after_seconds`. - Valkey один, без реплик: его потеря не теряет данных, но снимает разгрузку Postgres до возврата. - Не реализовано: автоматические проверки истечения и отказов, EXPLAIN diff --git a/evidence/cache/flush-restart.md b/evidence/cache/flush-restart.md index 6bdf4e3c..e432b784 100644 --- a/evidence/cache/flush-restart.md +++ b/evidence/cache/flush-restart.md @@ -3,10 +3,10 @@ | | | |---|---| | Спеки | `chat-cache` «Очистка кэша»; `container-run` «Рестарт hook-ом», «Публичная проверка сохранности» | -| Change | `membership-cache`, задача 6.1 | -| Дата | 2026-10-01 18:24–18:25 UTC | -| Commit | `cae4b09` | -| Стенд | `make run_docker`: postgres, valkey, migrate, api; API на `127.0.0.1:8080` | +| Change | `membership-cache`, задачи 6.1 и 7.3 (пересъёмка после правки клиента по verify) | +| Дата | 2026-10-01 18:41–18:43 UTC | +| Commit | `d7c9a59` | +| Стенд | `make run_docker`: postgres, valkey, migrate, api; API на `127.0.0.1:8080`; клиент — один повтор только на `ConnectionError` | | Хост | Docker Desktop 29.8.1, macOS arm64; ВМ Docker: 12 CPU, 7 GiB RAM; лимиты контейнерам не задавались | | Клиент | разовый stdlib-скрипт; пароли, токены и тексты сообщений синтетические и в файл не попадают | @@ -19,7 +19,7 @@ alice создала чат с bob и отправила сообщение; д |---|---|---|---|---| | до | `EXISTS` ключа карточки | | | 1 | | `FLUSHALL` | | | | `OK`, `DBSIZE` = 0 | -| после | `GET /chats/{id}` (bob) | 200 | 4,0 мс | карточка та же: да; `EXISTS` = 1 | +| после | `GET /chats/{id}` (bob) | 200 | 5,6 мс | карточка та же: да; `EXISTS` = 1 | После очистки первое чтение — промах: карточка прочитана из Postgres и снова записана в кэш. @@ -27,47 +27,50 @@ alice создала чат с bob и отправила сообщение; д ## 2. Рестарт одного Valkey, API работает `docker compose restart valkey`: `StartedAt` valkey -2026-10-01T18:24:22Z → 2026-10-01T18:24:42Z, API не перезапускался. +2026-10-01T18:41:59Z → 2026-10-01T18:42:38Z, API не перезапускался. | Шаг | Запрос | Статус | Время | Проверка | |---|---|---|---|---| -| сразу | `GET /chats/{id}` (bob) | 200 | 4,7 мс | карточка та же: да; `EXISTS` = 0 | -| через 5,5 с | `GET /chats/{id}` (bob) | 200 | 16,0 мс | карточка та же: да; `EXISTS` = 1 | +| сразу | `GET /chats/{id}` (bob) | 200 | 6,4 мс | карточка та же: да; `EXISTS` = 1 | +| через 5,5 с | `GET /chats/{id}` (bob) | 200 | 12,7 мс | карточка та же: да; `EXISTS` = 1 | -Журнал API, записи модуля `cache`: +Соединение пула, открытое до рестарта, сервер закрыл. Первая команда +по нему получила `ConnectionError`, клиент один раз переподключился, и +карточка сразу записана в новый, пустой Valkey. Отказа и пропуска кэша +нет. -```json -{"level": "warning", "event": "Cache is unavailable", "error_type": "ConnectionError", "error": "Connection closed by server."} -{"level": "info", "event": "Cache is available again"} -``` - -Соединение пула, открытое до рестарта, закрыто сервером. Первая команда -по нему получает `ConnectionError`, и клиент без повторов считает это -отказом: 5 с запросы идут в Postgres, потом кэш заполняется снова. -Ответ при этом верный (design change `membership-cache`, Risks). +До правки клиента (commit `cae4b09`) тот же шаг давал `warning` +«Cache is unavailable» (`Connection closed by server.`), `EXISTS` = 0 +сразу после рестарта и 5 с без кэша. Повтор тогда не выполнялся: +асинхронному соединению передавался синхронный `redis.retry.Retry` +(design change `membership-cache`, Context). ## 3. `scripts/restart.sh` -Код выхода 0, 3,7 с; `/health/ready` — 200 через 1,0 с после hook. Вывод +Код выхода 0, 3,6 с; `/health/ready` — 200 через 1,0 с после hook. Вывод hook — только строки docker compose о контейнерах, без секретов. | Контейнер | `StartedAt` до | `StartedAt` после | Перезапущен | |---|---|---|---| -| `mtusi-lab2-api-1` | 2026-10-01T18:19:00.849150168Z | 2026-10-01T18:24:52.988069095Z | да | -| `mtusi-lab2-postgres-1` | 2026-10-01T17:52:55.41017243Z | 2026-10-01T18:24:50.045676468Z | да | -| `mtusi-lab2-valkey-1` | 2026-10-01T18:24:42.324143381Z | 2026-10-01T18:24:50.095422718Z | да | +| `mtusi-lab2-api-1` | 2026-10-01T18:42:02.25699246Z | 2026-10-01T18:42:48.676966093Z | да | +| `mtusi-lab2-postgres-1` | 2026-10-01T18:41:59.380395917Z | 2026-10-01T18:42:45.713779008Z | да | +| `mtusi-lab2-valkey-1` | 2026-10-01T18:42:38.113193504Z | 2026-10-01T18:42:45.7841883Z | да | `DBSIZE` Valkey после рестарта — 0: persistence выключен, кэш пуст. | Шаг | Запрос | Статус | Время | Проверка | |---|---|---|---|---| -| тем же токеном | `GET /chats/{id}` (bob) | 200 | 15,7 мс | карточка та же: да; `EXISTS` = 1 | -| | `GET …/messages` (bob) | 200 | 8,2 мс | сообщение на месте: да | +| тем же токеном | `GET /chats/{id}` (bob) | 200 | 16,2 мс | карточка та же: да; `EXISTS` = 1 | +| | `GET …/messages` (bob) | 200 | 8,1 мс | сообщение на месте: да | -API перезапускался вместе с Valkey, его пул новый: записей «Cache is -unavailable» после hook нет. +## 4. Журнал API: записи модуля `cache` -## 4. Публичная проверка сохранности +За разделы 1–3 записей модуля `cache` нет: ни `FLUSHALL`, ни рестарт +Valkey, ни hook отказом не стали. + +## 5. Публичная проверка сохранности + +Отдельный запуск на том же стенде, 18:41 UTC: ```text $ make test-persistence ACTION_SCRIPT=scripts/restart.sh # exit 0, 5 с @@ -75,7 +78,7 @@ python3 tests/resilience.py --mode persistence --action-script "scripts/restart. Executing explicit persistence hook; hook output suppressed to avoid leaking secrets. PASS: persistence preserved confirmed data and existing session. Hook scope needs operator evidence. $ docker compose ps -mtusi-lab2-api-1 Up 1 second (healthy) +mtusi-lab2-api-1 Up 1 second (health: starting) mtusi-lab2-postgres-1 Up 4 seconds (healthy) mtusi-lab2-valkey-1 Up 4 seconds (healthy) ``` @@ -86,8 +89,8 @@ mtusi-lab2-valkey-1 Up 4 seconds (healthy) - После `FLUSHALL` и после рестарта Valkey ответы те же, кэш заново заполняется при чтении. +- Рестарт одного Valkey при работающем API отказом не считается: старое + соединение пула переоткрывается повтором, кэш работает сразу. - `scripts/restart.sh` перезапускает API, Postgres и Valkey. Данные и сессии в Postgres сохраняются, прежний токен работает; кэш после рестарта пуст, и это штатно. -- Рестарт одного Valkey при работающем API стоит одного `warning` и 5 с - без кэша. diff --git a/evidence/cache/outage.md b/evidence/cache/outage.md index 124adfce..14d57c61 100644 --- a/evidence/cache/outage.md +++ b/evidence/cache/outage.md @@ -3,10 +3,10 @@ | | | |---|---| | Спеки | `chat-cache` «Valkey остановлен», «Valkey завис», «Valkey вернулся»; `health` «Кэш недоступен»; `service-configuration` «Пароль Valkey не в журнале» | -| Change | `membership-cache`, задача 6.1 | -| Дата | 2026-10-01 18:24 UTC | -| Commit | `cae4b09` | -| Стенд | `make run_docker`: postgres, valkey, migrate, api; API на `127.0.0.1:8080`; `[cache] timeout_seconds = 0.2`, `retry_after_seconds = 5` | +| Change | `membership-cache`, задачи 6.1 и 7.3 (пересъёмка после правки клиента по verify) | +| Дата | 2026-10-01 18:41 UTC | +| Commit | `d7c9a59` | +| Стенд | `make run_docker`: postgres, valkey, migrate, api; API на `127.0.0.1:8080`; `[cache] timeout_seconds = 0.2`, `retry_after_seconds = 5`; клиент — один повтор только на `ConnectionError`, вся команда под `asyncio.timeout` 0,2 с | | Хост | Docker Desktop 29.8.1, macOS arm64; ВМ Docker: 12 CPU, 7 GiB RAM; лимиты контейнерам не задавались | | Клиент | разовый stdlib-скрипт; пароли, токены и тексты сообщений синтетические и в файл не попадают | @@ -15,38 +15,44 @@ change `failure-checks`. Здесь — ручной прогон тех же с На каждом шаге: bob читает чат, alice пишет сообщение, bob читает историю, затем `GET /health/ready`. «Карточка та же» — тело ответа -совпадает с ответом на создание чата. +совпадает с ответом на создание чата. Первый запрос — сразу после +старта API, отсюда его 22,8 мс. ## 1. Остановлен и вернулся | Шаг | Запрос | Статус | Время | Проверка | |---|---|---|---|---| -| Valkey работает | `GET /chats/{id}` (bob) | 200 | 2,8 мс | карточка та же: да | -| | `POST …/messages` (alice) | 201 | 2,6 мс | | -| | `GET …/messages` (bob) | 200 | 2,0 мс | все отправленные (1): да | +| Valkey работает | `GET /chats/{id}` (bob) | 200 | 22,8 мс | карточка та же: да | +| | `POST …/messages` (alice) | 201 | 4,0 мс | | +| | `GET …/messages` (bob) | 200 | 3,5 мс | все отправленные (1): да | | | `GET /health/ready` | 200 | 1,3 мс | | -| `docker compose stop valkey` | `GET /chats/{id}` (bob) | 200 | 6,0 мс | карточка та же: да | -| | `POST …/messages` (alice) | 201 | 7,9 мс | | -| | `GET …/messages` (bob) | 200 | 6,3 мс | все отправленные (2): да | -| | `GET /health/ready` | 200 | 4,3 мс | | -| остановлен, повтор | `GET /chats/{id}` (bob) | 200 | 5,3 мс | карточка та же: да | -| | `POST …/messages` (alice) | 201 | 8,4 мс | | -| | `GET …/messages` (bob) | 200 | 3,6 мс | все отправленные (3): да | -| | `GET /health/ready` | 200 | 1,9 мс | | -| `start valkey`, сразу | `GET /chats/{id}` (bob) | 200 | 3,9 мс | карточка та же: да | -| | `POST …/messages` (alice) | 201 | 3,6 мс | | -| | `GET …/messages` (bob) | 200 | 2,5 мс | все отправленные (4): да | -| | `GET /health/ready` | 200 | 1,5 мс | | -| `start valkey`, через 5,5 с | `GET /chats/{id}` (bob) | 200 | 16,6 мс | карточка та же: да | -| | `POST …/messages` (alice) | 201 | 10,8 мс | | -| | `GET …/messages` (bob) | 200 | 4,4 мс | все отправленные (5): да | +| `docker compose stop valkey` | `GET /chats/{id}` (bob) | 200 | **97,0 мс** | карточка та же: да | +| | `POST …/messages` (alice) | 201 | 6,5 мс | | +| | `GET …/messages` (bob) | 200 | 2,5 мс | все отправленные (2): да | +| | `GET /health/ready` | 200 | 1,4 мс | | +| остановлен, повтор | `GET /chats/{id}` (bob) | 200 | 1,8 мс | карточка та же: да | +| | `POST …/messages` (alice) | 201 | 2,6 мс | | +| | `GET …/messages` (bob) | 200 | 2,1 мс | все отправленные (3): да | +| | `GET /health/ready` | 200 | 1,1 мс | | +| `start valkey`, сразу | `GET /chats/{id}` (bob) | 200 | 3,4 мс | карточка та же: да | +| | `POST …/messages` (alice) | 201 | 3,4 мс | | +| | `GET …/messages` (bob) | 200 | 2,8 мс | все отправленные (4): да | | | `GET /health/ready` | 200 | 2,7 мс | | +| `start valkey`, через 5,5 с | `GET /chats/{id}` (bob) | 200 | 5,2 мс | карточка та же: да | +| | `POST …/messages` (alice) | 201 | 4,4 мс | | +| | `GET …/messages` (bob) | 200 | 2,4 мс | все отправленные (5): да | +| | `GET /health/ready` | 200 | 1,9 мс | | -Остановленный Valkey отказывает сразу: к времени ответа он добавляет -единицы миллисекунд. Сразу после `start` запросы ещё идут мимо кэша: -не кончилось окно пропуска (5 с). Через 5,5 с ключ карточки снова в -кэше (`EXISTS` = 1): Valkey без persistence вернулся пустым, и первое -чтение записало карточку заново. +97 мс первого запроса после `stop` — цена повтора на обрыв. Сервер +закрыл соединение пула, клиент один раз переподключается, а имя +`valkey` у остановленного контейнера DNS сети compose не резолвит +(«Name or service not known») около 90 мс. Предел — 0,2 с на команду. +Следующие запросы в окне пропуска к Valkey не обращаются. + +Сразу после `start` запросы ещё идут мимо кэша: окно пропуска (5 с) не +кончилось. Через 5,5 с ключ карточки снова в кэше (`EXISTS` = 1): +Valkey без persistence вернулся пустым, и первое чтение записало +карточку заново. ## 2. Завис и вернулся @@ -55,26 +61,30 @@ change `failure-checks`. Здесь — ручной прогон тех же с | Шаг | Запрос | Статус | Время | Проверка | |---|---|---|---|---| -| `pause valkey` | `GET /chats/{id}` (bob) | 200 | **211,7 мс** | карточка та же: да | -| | `POST …/messages` (alice) | 201 | 10,5 мс | | -| | `GET …/messages` (bob) | 200 | 6,5 мс | все отправленные (6): да | -| | `GET /health/ready` | 200 | 2,5 мс | | -| завис, повтор | `GET /chats/{id}` (bob) | 200 | 3,5 мс | карточка та же: да | -| | `POST …/messages` (alice) | 201 | 4,5 мс | | -| | `GET …/messages` (bob) | 200 | 3,4 мс | все отправленные (7): да | -| | `GET /health/ready` | 200 | 1,9 мс | | -| `unpause`, через 5,5 с | `GET /chats/{id}` (bob) | 200 | 6,9 мс | карточка та же: да | -| | `POST …/messages` (alice) | 201 | 4,8 мс | | -| | `GET …/messages` (bob) | 200 | 2,7 мс | все отправленные (8): да | +| `pause valkey` | `GET /chats/{id}` (bob) | 200 | **206,6 мс** | карточка та же: да | +| | `POST …/messages` (alice) | 201 | 10,3 мс | | +| | `GET …/messages` (bob) | 200 | 5,9 мс | все отправленные (6): да | +| | `GET /health/ready` | 200 | 2,8 мс | | +| завис, повтор | `GET /chats/{id}` (bob) | 200 | 3,4 мс | карточка та же: да | +| | `POST …/messages` (alice) | 201 | 4,3 мс | | +| | `GET …/messages` (bob) | 200 | 3,2 мс | все отправленные (7): да | | | `GET /health/ready` | 200 | 1,6 мс | | +| `unpause`, через 5,5 с | `GET /chats/{id}` (bob) | 200 | 4,4 мс | карточка та же: да | +| | `POST …/messages` (alice) | 201 | 3,4 мс | | +| | `GET …/messages` (bob) | 200 | 2,6 мс | все отправленные (8): да | +| | `GET /health/ready` | 200 | 1,4 мс | | -Таймаут клиента (0,2 с) получил только первый запрос после отказа. -Следующие в окне пропуска к Valkey не обращались. После `unpause` -`keyspace_hits` вырос на 3: чтение чата и две проверки членства снова -идут из кэша. API за прогон не перезапускался. +Таймаут команды (0,2 с) получил только первый запрос после отказа: +таймаут не повторяется. Следующие запросы в окне пропуска к Valkey не +обращались. После `unpause` `keyspace_hits` вырос на 3: чтение чата и +две проверки членства снова идут из кэша. API за прогон не +перезапускался. -Для сравнения: redis-py с повторами по умолчанию держал такой запрос -6,27 с (design change `membership-cache`, Context). +Тот же клиент разовым скриптом против Valkey стенда: 30 одновременных +команд при `pause` (пул на 10) — 200,1–201,4 мс каждая; `asyncio.timeout` +держит предел и при всплеске. Для сравнения: redis-py с повторами по +умолчанию держал одну команду 6,27 с (design change `membership-cache`, +Context). ## 3. Журнал API: записи модуля `cache` @@ -82,14 +92,15 @@ change `failure-checks`. Здесь — ручной прогон тех же с `level`, `event`, `error_type`, `error`: ```json -{"level": "warning", "event": "Cache is unavailable", "error_type": "ConnectionError", "error": "Connection closed by server."} +{"level": "warning", "event": "Cache is unavailable", "error_type": "ConnectionError", "error": "Error -2 connecting to valkey:6379. Name or service not known."} {"level": "info", "event": "Cache is available again"} -{"level": "warning", "event": "Cache is unavailable", "error_type": "TimeoutError", "error": "Timeout reading from valkey:6379"} +{"level": "warning", "event": "Cache is unavailable", "error_type": "TimeoutError", "error": "TimeoutError()"} {"level": "info", "event": "Cache is available again"} ``` На каждый отказ — один `warning` и одно `info` при возврате, хотя -неудачных обращений и проб было больше. Записей `error` за прогон — 0. +неудачных обращений и проб было больше. `TimeoutError()` — срок команды +из `asyncio.timeout`, у него нет текста. Записей `error` за прогон — 0. Значение пароля Valkey в журнале API за прогон не встречается (поиск по значению из `.env`). @@ -99,6 +110,7 @@ change `failure-checks`. Здесь — ручной прогон тех же с телами, история полная, без 500 и без анонимного доступа. - `/health/ready` от Valkey не зависит: 200 при остановленном и замороженном кэше. -- Зависший Valkey добавляет к одному запросу таймаут клиента (0,2 с), - дальше кэш пропускается 5 с без обращений. +- Отказ добавляет к одному запросу не больше 0,2 с (остановленный — + 97 мс, зависший — 207 мс), дальше кэш пропускается 5 с без + обращений. - После возврата Valkey кэш снова используется без рестарта API. diff --git a/openspec/changes/membership-cache/tasks.md b/openspec/changes/membership-cache/tasks.md index 3f095835..71fe59c6 100644 --- a/openspec/changes/membership-cache/tasks.md +++ b/openspec/changes/membership-cache/tasks.md @@ -125,7 +125,7 @@ Risks), `infra.md`, `AGENTS.md`, комментарии `[cache] timeout_seconds`, `REPORT.md`. Проверка: `grep -rn "без повторов" .claude AGENTS.md REPORT.md` — нет утверждений, что повторов нет совсем. -- [ ] 7.3 `make lint`, `make test_isolated`; после подтверждения — +- [x] 7.3 `make lint`, `make test_isolated`; после подтверждения — commit фикса. Затем с него переснять `evidence/cache/outage.md` и `evidence/cache/flush-restart.md`, обновить строки `REPORT.md` и после подтверждения закоммитить.