Files
mtusi2026lab2/evidence/cache-stampede
2026-11-06 13:11:04 +03:00
..
2026-11-06 13:11:04 +03:00
2026-11-06 13:11:04 +03:00
2026-11-06 13:11:04 +03:00
2026-11-06 13:11:04 +03:00

Cache stampede: воспроизведение, исправление и сравнение

Результат и гипотеза

При одновременном GET одного чата несколько запросов видят пустой Redis и независимо выполняют один и тот же SELECT PostgreSQL. Гипотеза: объединение таких загрузок через singleflight сократит число SQL-запросов чтения чата до одного на наплыв одного пользователя.

В завершённом сравнении 308 SELECT чата до исправления → 10 после для одинаковых 10 наплывов по 32 GET: снижение на 96.75%, в среднем 30.8 → 1.0 SELECT на наплыв. До исправления получалось 27–32 чтения на наплыв, после — ровно одно в каждом из 10 прогонов.

Проверки сессий отдельно выполнили 320 SELECT в каждой серии. С учётом этих двух видов SELECT общее число уменьшилось с 628 до 330, на 47.45%. Это измерения pg_stat_statements, а не оценка по числу HTTP-запросов или логов.

Стенд и идентификация

  • Время: 2026-11-06T09:49:37.903672Z — 2026-11-06T09:50:20.072991Z UTC (Москва UTC+3).
  • Базовый commit: 8d44c745358f131ac2836ac05153af687bcf6bc0; проверялось изменённое рабочее дерево с ранее незакоммиченными изменениями пользователя. Этот commit сам по себе не содержит проверяемую реализацию.
  • Baseline image ID: sha256:9c289d3a5a1043411647917239ec36394a5950203d03bb2c40e8dc1ff59da9cc.
  • Fixed image ID: sha256:98776dbb15c7e0b2827a1fb96ac04a96dc48dd584a1076f71847b80cb36bc332.
  • Docker Engine 29.7.2; linux/aarch64 CPUs=14 memory_bytes=8320954368. Docker VM имеет примерно 7,75 GiB памяти; отдельных лимитов CPU/RAM у сервисов нет. Одна API-реплика; Go 1.27.2 в Dockerfile; PostgreSQL 17.11, Redis 8.2.11, go-redis v9.23.0, golang.org/x/sync v0.23.0.
  • Тестовый чат: f6da90da-8c90-4044-b1f6-29d41b5081c0. Один новый чат с двумя синтетическими участниками; третий пользователь в него не входит. Создано одно синтетическое сообщение. Существующие пользовательские данные не удалялись; экспериментальные записи остаются в PostgreSQL.

SHA-256 исходника сервиса, go.mod и скрипта, параметры запуска и ограничения контейнера сохранены в summary.json. До/после использовались те же чат, пользователи и сессии. Для сбора SQL-статистики PostgreSQL временно запускался с shared_preload_libraries=pg_stat_statements; расширение отсутствовало до эксперимента и было создано только на время измерения.

Изменение реализации

В GetForMember быстрый путь Redis сохранён. На промахе запросы объединяются singleflight.Group.DoChan по ключу (ChatID, UserID). SQL GetForMember зависит от пользователя, поэтому объединять его результаты только по ChatID нельзя: отказ постороннего мог бы попасть участнику.

Внутри общей загрузки Redis проверяется повторно, затем при необходимости читается PostgreSQL и заполняется кэш. Каждый ожидающий запрос учитывает собственную отмену; общая загрузка использует context.WithoutCancel и отдельный таймаут 2 секунды. Отмена первого клиента не срывает загрузку для остальных. Перед возвратом проверяется MemberIDs. Ошибки загрузки не сохраняются после завершения singleflight; ошибки Redis по-прежнему обходятся через PostgreSQL. Таймауты Redis из предыдущей работы сохранены.

HTTP-контракт и SQL-схема приложения не менялись. Модуль x/sync уже был в зависимостях; версия не обновлялась. Точная разница с baseline сохранена в singleflight.patch.

Повторяемая методика

Запускать на локальном стенде без постороннего трафика. Требуются Docker Compose, Python 3.9+ и подготовленные .env и сертификаты по инструкции проекта. Скрипт создаёт синтетические учётные записи; пароли и Bearer-токены остаются только в памяти и не попадают в файлы или аргументы процессов.

Для повторного сравнения из итогового исходного дерева сначала подготовить baseline в отдельной временной копии. Обратный patch применяется только в копии:

baseline_dir=$(mktemp -d)
tar --exclude='.git' --exclude='.env*' --exclude='certs' --exclude='.venv' \
  -cf - . | tar -xf - -C "$baseline_dir"
(cd "$baseline_dir" && git apply --reverse evidence/cache-stampede/singleflight.patch)
docker build -t mtusi-messenger:stampede-before "$baseline_dir"
docker compose --env-file .env build api
docker image tag mtusi-messenger:lab2 mtusi-messenger:stampede-after
docker compose --env-file .env up -d --no-build
python3 scripts/cache_stampede.py \
  --before-image mtusi-messenger:stampede-before \
  --after-image mtusi-messenger:stampede-after \
  --concurrency 32 --repetitions 10 --lock-ms 200

Скрипт временно включает pg_stat_statements через отдельный Compose override в системном временном каталоге и переключает образы API без изменения основного Compose. Перезапуск PostgreSQL сохраняет volume. Глобальный сброс SQL-статистики не используется: для каждого прогона снимаются значения calls до и после отдельно для SELECT чата и SELECT сессии, с фильтром по БД и нормализованной форме запроса. Значения параметров SQL не выгружаются. Снимки, query IDs и разности находятся в JSON. Диагностические chat_db_lookup в журнале служат дополнительным подтверждением.

Перед каждым холодным прогоном удаляется только chat:<экспериментальный ChatID> в настроенной Redis DB. Все 32 потока сначала обращаются к /health/live, затем ожидают общего барьера. Отдельная транзакция предварительно получает LOCK TABLE chats IN ACCESS EXCLUSIVE MODE; через 200 мс после барьера выполняется ROLLBACK. Это моделирует медленное чтение чатов и делает одновременные промахи воспроизводимыми. Session SELECT таблицу chats не использует. Блокировка освобождается в finally; дополнительно действует пятисекундный idle_in_transaction_session_timeout.

Блокировка относится ко всей таблице chats, а не только к тестовому чату: во время этих коротких окон прочие операции с этой таблицей также будут ждать. Поэтому методика предназначена для локального стенда. В приложение искусственные задержки не добавлены.

Для каждого образа выполнены 10 холодных наплывов по 32 GET и 5 тёплых наплывов по 32 GET без блокировки. Между группами выдерживается пауза 300 мс; создание пользователей, переключение образа, сбор статистики и паузы не входят в длительность HTTP-запросов. Часы клиента монотонные; HTTP timeout — 5 секунд. Все 200-ответы сравнены с полным объектом созданного чата.

SQL и задержки до/после

Перцентили ниже вычислены методом ближайшего ранга по всем запросам соответствующей серии; это не среднее перцентилей отдельных прогонов. Основная таблица исключает дополнительные функциональные сценарии и прогон после рестарта Redis.

Версия и режим Прогоны / GET SELECT чата SELECT сессии p50 / p95 / p99, мс Ошибки
До: пустой кэш, 200 мс 10 / 320 308 320 208.124 / 215.502 / 260.385 0
До: заполненный кэш 5 / 160 0 160 138.915 / 161.038 / 172.568 0
После: пустой кэш, 200 мс 10 / 320 10 320 207.056 / 209.568 / 210.032 0
После: заполненный кэш 5 / 160 0 160 136.467 / 172.304 / 200.266 0

Полные длительности, статусы, корректность ответов и request IDs находятся в requests.csv; по каждому наплыву JSON содержит перцентили, время завершения группы и successful batch RPS. Batch RPS не учитывает паузы и подготовку и не является доказательством устойчивой пропускной способности.

В холодной серии p50 почти одинаков: основную задержку задаёт общее ожидание блокировки. p99 в этом запуске уменьшился с 260,385 до 210,032 мс, однако один порядок запуска «до → после» не доказывает устойчивое ускорение. У тёплой серии p95 вырос с 161,038 до 172,304 мс, хотя SQL чтения чата в обеих версиях равен нулю. Нагрузка проверок сессии, включая bcrypt-проверку токена, осталась; шум и порядок запуска не контролировались отдельными случайными перестановками. Надёжный результат эксперимента — подавление дублирующихся SELECT чата, а не универсальное сокращение задержки каждого запроса.

Ресурсы

docker stats --no-stream собирался параллельно одинаково для обеих фаз. Ниже максимальные наблюдавшиеся значения выборки; CPU более 100% означает использование нескольких ядер. Выборка включает холодные и тёплые серии и интервалы между ними, это не точный мгновенный пик.

Фаза Контейнер Выборок Максимум CPU Максимум MemUsage
До api 8 280.69% 140.30 MiB
До mtusi2026lab2-postgres-1 8 5.44% 52.64 MiB
До mtusi2026lab2-redis-1 8 1.97% 11.29 MiB
После api 8 213.82% 19.36 MiB
После mtusi2026lab2-postgres-1 8 5.44% 48.31 MiB
После mtusi2026lab2-redis-1 8 1.84% 11.21 MiB

У baseline перед замерами регистрировались пользователи, тогда как после переключения на исправленную версию использовались готовые данные. Поэтому различие занятой памяти API нельзя приписать singleflight: подготовка, состояние heap и GC различаются. Значения приведены для описания условий, без вывода об экономии RAM.

Доступ, отмена, read-after-write и рестарт

Дополнительный смешанный холодный наплыв: 12 запросов от двух участников и постороннего; участники получили 200, посторонний — 404, ошибок ответов нет. Выполнено 3 SELECT чата — разные пользователи имеют разные ключи singleflight. При заполненном кэше та же группа выполнила 0 SELECT чата с теми же статусами.

В сценарии отмены первый HTTP-клиент дошёл до заблокированного SELECT, затем его соединение было закрыто. Следующий клиент того же пользователя получил 200 после освобождения блокировки; серверная статистика показала один SELECT чата на оба запроса. Общая загрузка пережила отмену инициатора.

Сразу после создания чат прочитан другим участником без расхождений. После подтверждённого POST сообщения другой участник сразу прочитал историю и нашёл ID созданного сообщения. История сообщений не кэшируется; источником истины остаётся PostgreSQL.

При stop redis GET вернул 200 из PostgreSQL за 62,674 мс. После start redis ключ сохранился: EXISTS до/после вернул 1 / 1. Это корректный stop/start с AOF и сохранённым volume, а не проверка аварийного отключения питания. ID контейнера API не изменился; прежние сессии продолжили работать. Сообщение снова найдено в истории. После удаления тестового ключа дополнительный наплыв 32 GET выполнил один SELECT чата, 32 SELECT сессии и завершился без ошибок.

Проверка HTTP Время клиента, мс
chat_created 201 50.800
before_chat_read_after_create 200 50.977
after_chat_read_after_create 200 60.209
leader_cancelled_survivor_succeeded 200 104.652
message_committed 201 79.656
read_after_write 200 50.551
redis_unavailable 200 62.674
redis_recovered 200 48.701
message_after_restart 200 46.597

В конце скрипт удалил созданное им расширение, вернул исходный запуск PostgreSQL без preload, восстановил обычный Compose с исправленным API и запущенным Redis. restored_preload пуст, extension_restored=true; volumes не удалялись. Итоговые состояния контейнеров и диагностические записи находятся в api.log. Логи содержат только выбранные события экспериментального чата и состояния контейнеров, без тел запросов и ответов создания сессий.

Ограничения и вывод

Защита подавляет одновременные загрузки одинаковой пары (ChatID, UserID) внутри одной API-реплики. Для наплыва разных пользователей или нескольких реплик может выполняться несколько SELECT; распределённой блокировки нет. Отрицательные ответы не кэшируются. Чат хранится в Redis без TTL; обязательный API не изменяет состав участников. При добавлении таких изменений понадобится инвалидация.

Функциональные проверки read-after-write выполнены на имеющемся стенде с одной API-репликой, а не на многорепличной конфигурации. Данные небольшие; 200 мс созданы блокировкой, а не измерены как естественная задержка production-БД. Сравнение не оценивает предел throughput, поведение при сетевом blackhole или все требования оценки «5».

Сборка go build -mod=readonly ./... прошла локально с GOCACHE во временном каталоге и в Docker. git diff --check прошёл. Новые unit-тесты не добавлялись; скрипт является воспроизводимым инструментом эксперимента. Реализация и эксперимент подготовлены с помощью ИИ Codex.

Источники: singleflight, PostgreSQL 17 pg_stat_statements, требования трека в README, контракт read-after-write.