forked from mtusi2026/mtusi2026lab3
1.9 KiB
1.9 KiB
Cache stampede experiment
Окружение
- PostgreSQL 16.4, Valkey 8.0-alpine.
- API: FastAPI + asyncpg + redis-py.
- 50 параллельных GET /chats/{id}/messages?limit=50 на один chat.
Baseline (без кэша, без single-flight)
Из cache_experiment_before.json:
{ "label": "before", "concurrency": 50, "ok": 50, "errors": 0, "sql_calls_from_messages": 50 }
Вывод: 50 параллельных GET → 50 SQL-запросов к БД. Классический cache stampede.
После (single-flight через Redis SET NX)
Из cache_experiment.json:
{ "label": "after", "concurrency": 50, "ok": 50, "errors": 0, "sql_calls_from_messages": 1 }
Вывод: 50 параллельных GET → 1 SQL-запрос. 49 запросов получили значение из кэша.
Сравнение
| Метрика | До (без защиты) | После (single-flight) | Улучшение |
|---|---|---|---|
| SQL-запросов к БД | 50 | 1 | 50× |
| p50 latency | ~2050 ms | ~2050 ms | без изменений |
| p95 latency | ~2110 ms | ~2210 ms | без изменений |
Что показывает эксперимент
- Cache stampede реален. Без защиты БД получает N запросов при N параллельных клиентах.
- Single-flight через
SET NXв Redis предотвращает stampede. Только один запрос идёт в БД. - Latency на p50/p95 не улучшилась, потому что параллельные запросы всё равно ждут лидера. Основной выигрыш нагрузка на БД, а не latency. При увеличении числа клиентов или дорогих запросах latency тоже упадёт.