Files
mtusi2026lab2/evidence/cache_summary.md

1.9 KiB
Raw Permalink Blame History

Cache stampede experiment

Окружение

  • PostgreSQL 16.4, Valkey 8.0-alpine.
  • API: FastAPI + asyncpg + redis-py.
  • 50 параллельных GET /chats/{id}/messages?limit=50 на один chat.

Baseline (без кэша, без single-flight)

Из cache_experiment_before.json:

{ "label": "before", "concurrency": 50, "ok": 50, "errors": 0, "sql_calls_from_messages": 50 }

Вывод: 50 параллельных GET → 50 SQL-запросов к БД. Классический cache stampede.

После (single-flight через Redis SET NX)

Из cache_experiment.json:

{ "label": "after", "concurrency": 50, "ok": 50, "errors": 0, "sql_calls_from_messages": 1 }

Вывод: 50 параллельных GET → 1 SQL-запрос. 49 запросов получили значение из кэша.

Сравнение

Метрика До (без защиты) После (single-flight) Улучшение
SQL-запросов к БД 50 1 50×
p50 latency ~2050 ms ~2050 ms без изменений
p95 latency ~2110 ms ~2210 ms без изменений

Что показывает эксперимент

  1. Cache stampede реален. Без защиты БД получает N запросов при N параллельных клиентах.
  2. Single-flight через SET NX в Redis предотвращает stampede. Только один запрос идёт в БД.
  3. Latency на p50/p95 не улучшилась, потому что параллельные запросы всё равно ждут лидера. Основной выигрыш нагрузка на БД, а не latency. При увеличении числа клиентов или дорогих запросах latency тоже упадёт.