forked from mtusi2026/mtusi2026lab2
48 lines
1.9 KiB
Markdown
48 lines
1.9 KiB
Markdown
# Cache stampede experiment
|
||
|
||
## Окружение
|
||
- PostgreSQL 16.4, Valkey 8.0-alpine.
|
||
- API: FastAPI + asyncpg + redis-py.
|
||
- 50 параллельных GET /chats/{id}/messages?limit=50 на один chat.
|
||
|
||
## Baseline (без кэша, без single-flight)
|
||
|
||
Из `cache_experiment_before.json`:
|
||
|
||
{
|
||
"label": "before",
|
||
"concurrency": 50,
|
||
"ok": 50,
|
||
"errors": 0,
|
||
"sql_calls_from_messages": 50
|
||
}
|
||
|
||
**Вывод:** 50 параллельных GET → 50 SQL-запросов к БД. Классический cache stampede.
|
||
|
||
## После (single-flight через Redis SET NX)
|
||
|
||
Из `cache_experiment.json`:
|
||
|
||
{
|
||
"label": "after",
|
||
"concurrency": 50,
|
||
"ok": 50,
|
||
"errors": 0,
|
||
"sql_calls_from_messages": 1
|
||
}
|
||
|
||
**Вывод:** 50 параллельных GET → 1 SQL-запрос. 49 запросов получили значение из кэша.
|
||
|
||
## Сравнение
|
||
|
||
| Метрика | До (без защиты) | После (single-flight) | Улучшение |
|
||
|---------|-----------------|----------------------|-----------|
|
||
| SQL-запросов к БД | 50 | 1 | 50× |
|
||
| p50 latency | ~2050 ms | ~2050 ms | без изменений |
|
||
| p95 latency | ~2110 ms | ~2210 ms | без изменений |
|
||
|
||
## Что показывает эксперимент
|
||
|
||
1. **Cache stampede** реален. Без защиты БД получает N запросов при N параллельных клиентах.
|
||
2. **Single-flight** через `SET NX` в Redis предотвращает stampede. Только один запрос идёт в БД.
|
||
3. **Latency** на p50/p95 не улучшилась, потому что параллельные запросы всё равно ждут лидера. Основной выигрыш **нагрузка на БД**, а не latency. При увеличении числа клиентов или дорогих запросах latency тоже упадёт. |