Files
mtusi2026lab2/evidence/cache/outage.md
T
ricoromaandClaude Opus 5.5 287a61c704 docs: re-shoot Valkey outage and restart evidence
Evidence from d7c9a59: Valkey stop adds 97 ms (one reconnect), pause
207 ms, 30 concurrent commands stay within 201 ms, and restarting Valkey
alone no longer switches the cache off. REPORT.md and the skill describe
the retry on a dropped connection.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
2026-10-01 22:07:35 +03:00

8.0 KiB
Raw Blame History

Отказ Valkey: остановлен, завис, вернулся

Спеки chat-cache «Valkey остановлен», «Valkey завис», «Valkey вернулся»; health «Кэш недоступен»; service-configuration «Пароль Valkey не в журнале»
Change membership-cache, задачи 6.1 и 7.3 (пересъёмка после правки клиента по verify)
Дата 2026-10-01 18:41 UTC
Commit d7c9a59
Стенд make run_docker: postgres, valkey, migrate, api; API на 127.0.0.1:8080; [cache] timeout_seconds = 0.2, retry_after_seconds = 5; клиент — один повтор только на ConnectionError, вся команда под asyncio.timeout 0,2 с
Хост Docker Desktop 29.8.1, macOS arm64; ВМ Docker: 12 CPU, 7 GiB RAM; лимиты контейнерам не задавались
Клиент разовый stdlib-скрипт; пароли, токены и тексты сообщений синтетические и в файл не попадают

Автоматическая проверка отказа Valkey требует особого стенда и входит в change failure-checks. Здесь — ручной прогон тех же сценариев.

На каждом шаге: bob читает чат, alice пишет сообщение, bob читает историю, затем GET /health/ready. «Карточка та же» — тело ответа совпадает с ответом на создание чата. Первый запрос — сразу после старта API, отсюда его 22,8 мс.

1. Остановлен и вернулся

Шаг Запрос Статус Время Проверка
Valkey работает GET /chats/{id} (bob) 200 22,8 мс карточка та же: да
POST …/messages (alice) 201 4,0 мс
GET …/messages (bob) 200 3,5 мс все отправленные (1): да
GET /health/ready 200 1,3 мс
docker compose stop valkey GET /chats/{id} (bob) 200 97,0 мс карточка та же: да
POST …/messages (alice) 201 6,5 мс
GET …/messages (bob) 200 2,5 мс все отправленные (2): да
GET /health/ready 200 1,4 мс
остановлен, повтор GET /chats/{id} (bob) 200 1,8 мс карточка та же: да
POST …/messages (alice) 201 2,6 мс
GET …/messages (bob) 200 2,1 мс все отправленные (3): да
GET /health/ready 200 1,1 мс
start valkey, сразу GET /chats/{id} (bob) 200 3,4 мс карточка та же: да
POST …/messages (alice) 201 3,4 мс
GET …/messages (bob) 200 2,8 мс все отправленные (4): да
GET /health/ready 200 2,7 мс
start valkey, через 5,5 с GET /chats/{id} (bob) 200 5,2 мс карточка та же: да
POST …/messages (alice) 201 4,4 мс
GET …/messages (bob) 200 2,4 мс все отправленные (5): да
GET /health/ready 200 1,9 мс

97 мс первого запроса после stop — цена повтора на обрыв. Сервер закрыл соединение пула, клиент один раз переподключается, а имя valkey у остановленного контейнера DNS сети compose не резолвит («Name or service not known») около 90 мс. Предел — 0,2 с на команду. Следующие запросы в окне пропуска к Valkey не обращаются.

Сразу после start запросы ещё идут мимо кэша: окно пропуска (5 с) не кончилось. Через 5,5 с ключ карточки снова в кэше (EXISTS = 1): Valkey без persistence вернулся пустым, и первое чтение записало карточку заново.

2. Завис и вернулся

docker compose pause valkey: контейнер заморожен, соединения принимаются, ответа нет.

Шаг Запрос Статус Время Проверка
pause valkey GET /chats/{id} (bob) 200 206,6 мс карточка та же: да
POST …/messages (alice) 201 10,3 мс
GET …/messages (bob) 200 5,9 мс все отправленные (6): да
GET /health/ready 200 2,8 мс
завис, повтор GET /chats/{id} (bob) 200 3,4 мс карточка та же: да
POST …/messages (alice) 201 4,3 мс
GET …/messages (bob) 200 3,2 мс все отправленные (7): да
GET /health/ready 200 1,6 мс
unpause, через 5,5 с GET /chats/{id} (bob) 200 4,4 мс карточка та же: да
POST …/messages (alice) 201 3,4 мс
GET …/messages (bob) 200 2,6 мс все отправленные (8): да
GET /health/ready 200 1,4 мс

Таймаут команды (0,2 с) получил только первый запрос после отказа: таймаут не повторяется. Следующие запросы в окне пропуска к Valkey не обращались. После unpause keyspace_hits вырос на 3: чтение чата и две проверки членства снова идут из кэша. API за прогон не перезапускался.

Тот же клиент разовым скриптом против Valkey стенда: 30 одновременных команд при pause (пул на 10) — 200,1–201,4 мс каждая; asyncio.timeout держит предел и при всплеске. Для сравнения: redis-py с повторами по умолчанию держал одну команду 6,27 с (design change membership-cache, Context).

3. Журнал API: записи модуля cache

docker compose logs --no-log-prefix --since <начало прогона> api, поля level, event, error_type, error:

{"level": "warning", "event": "Cache is unavailable", "error_type": "ConnectionError", "error": "Error -2 connecting to valkey:6379. Name or service not known."}
{"level": "info", "event": "Cache is available again"}
{"level": "warning", "event": "Cache is unavailable", "error_type": "TimeoutError", "error": "TimeoutError()"}
{"level": "info", "event": "Cache is available again"}

На каждый отказ — один warning и одно info при возврате, хотя неудачных обращений и проб было больше. TimeoutError() — срок команды из asyncio.timeout, у него нет текста. Записей error за прогон — 0. Значение пароля Valkey в журнале API за прогон не встречается (поиск по значению из .env).

Вывод

  • Отказ Valkey — промах кэша, а не ошибка: ответы 200 и 201 с теми же телами, история полная, без 500 и без анонимного доступа.
  • /health/ready от Valkey не зависит: 200 при остановленном и замороженном кэше.
  • Отказ добавляет к одному запросу не больше 0,2 с (остановленный — 97 мс, зависший — 207 мс), дальше кэш пропускается 5 с без обращений.
  • После возврата Valkey кэш снова используется без рестарта API.