Evidence from d7c9a59: Valkey stop adds 97 ms (one reconnect), pause
207 ms, 30 concurrent commands stay within 201 ms, and restarting Valkey
alone no longer switches the cache off. REPORT.md and the skill describe
the retry on a dropped connection.
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
8.0 KiB
Отказ Valkey: остановлен, завис, вернулся
| Спеки | chat-cache «Valkey остановлен», «Valkey завис», «Valkey вернулся»; health «Кэш недоступен»; service-configuration «Пароль Valkey не в журнале» |
| Change | membership-cache, задачи 6.1 и 7.3 (пересъёмка после правки клиента по verify) |
| Дата | 2026-10-01 18:41 UTC |
| Commit | d7c9a59 |
| Стенд | make run_docker: postgres, valkey, migrate, api; API на 127.0.0.1:8080; [cache] timeout_seconds = 0.2, retry_after_seconds = 5; клиент — один повтор только на ConnectionError, вся команда под asyncio.timeout 0,2 с |
| Хост | Docker Desktop 29.8.1, macOS arm64; ВМ Docker: 12 CPU, 7 GiB RAM; лимиты контейнерам не задавались |
| Клиент | разовый stdlib-скрипт; пароли, токены и тексты сообщений синтетические и в файл не попадают |
Автоматическая проверка отказа Valkey требует особого стенда и входит в
change failure-checks. Здесь — ручной прогон тех же сценариев.
На каждом шаге: bob читает чат, alice пишет сообщение, bob читает
историю, затем GET /health/ready. «Карточка та же» — тело ответа
совпадает с ответом на создание чата. Первый запрос — сразу после
старта API, отсюда его 22,8 мс.
1. Остановлен и вернулся
| Шаг | Запрос | Статус | Время | Проверка |
|---|---|---|---|---|
| Valkey работает | GET /chats/{id} (bob) |
200 | 22,8 мс | карточка та же: да |
POST …/messages (alice) |
201 | 4,0 мс | ||
GET …/messages (bob) |
200 | 3,5 мс | все отправленные (1): да | |
GET /health/ready |
200 | 1,3 мс | ||
docker compose stop valkey |
GET /chats/{id} (bob) |
200 | 97,0 мс | карточка та же: да |
POST …/messages (alice) |
201 | 6,5 мс | ||
GET …/messages (bob) |
200 | 2,5 мс | все отправленные (2): да | |
GET /health/ready |
200 | 1,4 мс | ||
| остановлен, повтор | GET /chats/{id} (bob) |
200 | 1,8 мс | карточка та же: да |
POST …/messages (alice) |
201 | 2,6 мс | ||
GET …/messages (bob) |
200 | 2,1 мс | все отправленные (3): да | |
GET /health/ready |
200 | 1,1 мс | ||
start valkey, сразу |
GET /chats/{id} (bob) |
200 | 3,4 мс | карточка та же: да |
POST …/messages (alice) |
201 | 3,4 мс | ||
GET …/messages (bob) |
200 | 2,8 мс | все отправленные (4): да | |
GET /health/ready |
200 | 2,7 мс | ||
start valkey, через 5,5 с |
GET /chats/{id} (bob) |
200 | 5,2 мс | карточка та же: да |
POST …/messages (alice) |
201 | 4,4 мс | ||
GET …/messages (bob) |
200 | 2,4 мс | все отправленные (5): да | |
GET /health/ready |
200 | 1,9 мс |
97 мс первого запроса после stop — цена повтора на обрыв. Сервер
закрыл соединение пула, клиент один раз переподключается, а имя
valkey у остановленного контейнера DNS сети compose не резолвит
(«Name or service not known») около 90 мс. Предел — 0,2 с на команду.
Следующие запросы в окне пропуска к Valkey не обращаются.
Сразу после start запросы ещё идут мимо кэша: окно пропуска (5 с) не
кончилось. Через 5,5 с ключ карточки снова в кэше (EXISTS = 1):
Valkey без persistence вернулся пустым, и первое чтение записало
карточку заново.
2. Завис и вернулся
docker compose pause valkey: контейнер заморожен, соединения
принимаются, ответа нет.
| Шаг | Запрос | Статус | Время | Проверка |
|---|---|---|---|---|
pause valkey |
GET /chats/{id} (bob) |
200 | 206,6 мс | карточка та же: да |
POST …/messages (alice) |
201 | 10,3 мс | ||
GET …/messages (bob) |
200 | 5,9 мс | все отправленные (6): да | |
GET /health/ready |
200 | 2,8 мс | ||
| завис, повтор | GET /chats/{id} (bob) |
200 | 3,4 мс | карточка та же: да |
POST …/messages (alice) |
201 | 4,3 мс | ||
GET …/messages (bob) |
200 | 3,2 мс | все отправленные (7): да | |
GET /health/ready |
200 | 1,6 мс | ||
unpause, через 5,5 с |
GET /chats/{id} (bob) |
200 | 4,4 мс | карточка та же: да |
POST …/messages (alice) |
201 | 3,4 мс | ||
GET …/messages (bob) |
200 | 2,6 мс | все отправленные (8): да | |
GET /health/ready |
200 | 1,4 мс |
Таймаут команды (0,2 с) получил только первый запрос после отказа:
таймаут не повторяется. Следующие запросы в окне пропуска к Valkey не
обращались. После unpause keyspace_hits вырос на 3: чтение чата и
две проверки членства снова идут из кэша. API за прогон не
перезапускался.
Тот же клиент разовым скриптом против Valkey стенда: 30 одновременных
команд при pause (пул на 10) — 200,1–201,4 мс каждая; asyncio.timeout
держит предел и при всплеске. Для сравнения: redis-py с повторами по
умолчанию держал одну команду 6,27 с (design change membership-cache,
Context).
3. Журнал API: записи модуля cache
docker compose logs --no-log-prefix --since <начало прогона> api, поля
level, event, error_type, error:
{"level": "warning", "event": "Cache is unavailable", "error_type": "ConnectionError", "error": "Error -2 connecting to valkey:6379. Name or service not known."}
{"level": "info", "event": "Cache is available again"}
{"level": "warning", "event": "Cache is unavailable", "error_type": "TimeoutError", "error": "TimeoutError()"}
{"level": "info", "event": "Cache is available again"}
На каждый отказ — один warning и одно info при возврате, хотя
неудачных обращений и проб было больше. TimeoutError() — срок команды
из asyncio.timeout, у него нет текста. Записей error за прогон — 0.
Значение пароля Valkey в журнале API за прогон не встречается (поиск
по значению из .env).
Вывод
- Отказ Valkey — промах кэша, а не ошибка: ответы 200 и 201 с теми же телами, история полная, без 500 и без анонимного доступа.
/health/readyот Valkey не зависит: 200 при остановленном и замороженном кэше.- Отказ добавляет к одному запросу не больше 0,2 с (остановленный — 97 мс, зависший — 207 мс), дальше кэш пропускается 5 с без обращений.
- После возврата Valkey кэш снова используется без рестарта API.