12 KiB
Кэш чатов: экономия SQL и отказ Redis
Условия и изменения
Эксперимент выполнен 2026-11-06T09:34:40.942506Z — 2026-11-06T09:34:47.751055Z (UTC, Москва UTC+3).
Базовый commit: 8d44c745358f131ac2836ac05153af687bcf6bc0. Проверялась сборка из изменённого рабочего дерева, включая ранее незакоммиченные изменения пользователя; этот commit сам по себе не содержит проверенную реализацию.
API image ID: sha256:9d4af3c2a5c8209475eb195bf04598b843208527f7278af64326fcc4fd7423ec.
Стенд: Docker Engine 29.7.2, linux/aarch64; CPUs=14; memory_bytes=8320954368; доступно примерно 7,75 GiB памяти Docker VM. У API, PostgreSQL и Redis отдельные ограничения CPU/RAM не заданы (Memory=0, NanoCpus=0, CpuQuota=0, CpuPeriod=0). Redis 8.2.11, PostgreSQL image postgres:17.11-alpine3.23, сборка контейнера Go 1.27.2, локально go version go1.27.0 darwin/arm64. go-redis v9.23.0.
В GetForMember оставлены Info-события chat_cache_hit, chat_cache_miss, chat_db_lookup. errors.Is(err, redis.Nil) отличает обычный промах от ошибки чтения chat_cache_read_error уровня Warn. Проверка MemberIDs выполняется до возврата кэшированного чата. Ошибки чтения и записи Redis не мешают получить чат из PostgreSQL.
Стартовый PING Redis больше не останавливает приложение при ошибке; зависимость API от Redis в Compose удалена. PostgreSQL остаётся обязательной зависимостью. В go-redis установлены DialTimeout, ReadTimeout, WriteTimeout, PoolTimeout по 200 мс; MaxRetries=-1, DialerRetries=1, ContextTimeoutEnabled=true. Каждый GET/SET кэша и стартовый PING получает отдельный дочерний контекст с бюджетом 300 мс. Контекст обращения к PostgreSQL остаётся исходным. При GET и последующем SET возможны два отдельных бюджета кэша; это не общий таймаут всего HTTP-запроса.
Методика и команды
Перед экспериментом успешно выполнены go build ./... из service/, docker compose --env-file .env config --quiet и docker compose --env-file .env up -d --build api redis. Новые тесты не добавлялись.
Через API зарегистрированы три уникальных синтетических пользователя alice, bob и eve. Через POST /api/v1/auth/sessions с Basic-аутентификацией получены действующие Bearer session tokens. В этом API используется поле token ответа создания сессии. Создан один чат с alice и bob; eve в него не входит. Пароли и токены хранились только в памяти процесса проверки; ответы создания сессий не сохранялись. Созданные пользователи и чат остались на локальном стенде.
Тестовый чат: cf51691d-995d-497d-a361-6d0e5685943c. Redis DB: 0, ключ: chat:cf51691d-995d-497d-a361-6d0e5685943c.
Профиль: один последовательный поток, 9 GET одного чата, без нагрузки от экспериментального клиента параллельно. Это функциональная демонстрация, а не измерение пропускной способности или процентилей задержки.
Для удаления ровно одного ключа использовалась команда ниже. Пароль разворачивается внутри контейнера и не передаётся значением в аргументах хостовой команды:
docker compose --env-file .env exec -T redis sh -c \
'REDISCLI_AUTH="$REDIS_PASSWORD" exec redis-cli --no-auth-warning -n 0 DEL "$1"' \
redis-cli chat:cf51691d-995d-497d-a361-6d0e5685943c
Первый DEL вернул 0: новый чат ещё не был закэширован. Затем выполнены два GET участником и один GET посторонним. Запросы имели вид:
curl -sS -D - -o /dev/null \
-H "Authorization: Bearer $SESSION_TOKEN" \
http://127.0.0.1:8080/api/v1/chats/cf51691d-995d-497d-a361-6d0e5685943c
SESSION_TOKEN здесь — локальная переменная с действующей сессией нужного пользователя; её значение не включается в отчёт. Реальный прогон выполнялся HTTP-клиентом Python с таймаутом 5 секунд и замером через монотонные часы. У каждого ответа записаны статус, длительность и X-Request-Id. Все успешные ответы GET сравнены с полным объектом созданного чата, расхождений нет.
Затем выполнена последовательность:
docker compose --env-file .env stop redis
# GET участником: 200 из PostgreSQL.
docker compose --env-file .env up -d --no-deps --force-recreate api
# /health/ready: 200; GET прежним Bearer-токеном: 200 при остановленном Redis.
docker compose --env-file .env start redis
# Дождаться PONG; GET: cache hit без перезапуска API.
# Повторить DEL одного ключа, затем два GET участником и один GET посторонним.
docker compose --env-file .env ps -a
До остановки EXISTS ключа вернул 1, после запуска Redis — 1. Повторный DEL вернул 1. Ключ пережил корректный stop/start с включёнными AOF (appendonly yes, appendfsync everysec) и сохранённым volume. Это наблюдение для корректной остановки, а не доказательство сохранности при аварийном отключении питания. Удалялись только указанные тестовые ключи; volumes не удалялись.
Фактические результаты
| Этап | HTTP | Время клиента, мс | События API |
|---|---|---|---|
| Пустой кэш, участник | 200 | 52.955 | miss → db_lookup |
| Заполненный кэш, участник | 200 | 60.433 | hit, без db_lookup |
| Заполненный кэш, посторонний | 404 | 50.171 | hit, без db_lookup |
| Redis остановлен | 200 | 56.076 | read_error → db_lookup; ошибка SET |
| API пересоздан без Redis | 200 | 72.418 | read_error → db_lookup; ошибка SET |
| Redis восстановлен, API не перезапускался | 200 | 48.239 | hit, без db_lookup |
| После восстановления и DEL | 200 | 57.662 | miss → db_lookup |
| Повтор после заполнения | 200 | 60.97 | hit, без db_lookup |
| Посторонний после восстановления | 404 | 64.866 | hit, без db_lookup |
Здесь hit, miss, read_error, db_lookup соответствуют событиям chat_cache_hit, chat_cache_miss, chat_cache_read_error, chat_db_lookup. При остановленном контейнере Docker DNS возвращал lookup redis ... no such host; это ошибка подключения, а не redis.Nil. В этих запросах зафиксированы также ошибки записи кэша, но клиент получил корректный чат.
При старте API без Redis записано предупреждение redis unavailable at startup; continuing without cache, затем HTTP server started. Готовность проверена через HTTP, поэтому промежуточный статус Docker health: starting в журнале не означает, что запросы ещё не обслуживались.
CSV запросов содержит точные времена и request IDs. Журнал API и состояния контейнеров содержит отобранные строки исходных логов по временным окнам каждого последовательного запроса. События кэша содержат chat_id; HTTP-статусы и request IDs взяты непосредственно из ответов и находятся в CSV. Журнал не является полным дампом логов контейнеров.
Что доказано и ограничения
Первый GET вызывает ChatsRepo.GetForMember, выполняющий один SQL SELECT чата с проверкой членства. Повторный GET возвращается из Redis до вызова репозитория. Таким образом, пара GET участника выполняет один запрос чтения чата вместо двух: один запрос сэкономлен. После восстановления Redis это подтверждено повторно. Число вызовов установлено по диагностическим веткам кода; серверный SQL-трейс или pg_stat_statements в этом эксперименте не собирались.
Каждый авторизованный GET отдельно проверяет сессию в PostgreSQL (VerifySession → refreshTokensRepo.GetByID), включая попадание в кэш. Поэтому отсутствие chat_db_lookup не означает отсутствие любых SQL-запросов. Время второго запроса в этой короткой серии не уменьшилось; демонстрация подтверждает экономию чтений чата, а не ускорение HTTP.
Посторонний пользователь получил 404 при заполненном кэше до и после отказа. API обслуживает запросы и запускается при недоступном Redis; после восстановления Redis тот же клиент возобновляет работу. Проверялось отключение через stop, а не зависшее соединение или потеря пакетов, поэтому наблюдаемые 56–72 мс не доказывают верхнюю границу задержки для всех сетевых отказов.
Текущий кэш хранит чат без TTL (SET с expiration=0). Для существующего API без изменения состава участников это не менялось; при добавлении такого изменения потребуется инвалидация кэша, чтобы кэшированная проверка доступа не устаревала.
Общие keyspace_hits/keyspace_misses Redis в доказательство отдельных GET не использовались: они включают обращения других клиентов.
Справочники: таймауты и повторы go-redis, Redis INFO, Docker Compose stop, Docker Compose start.