forked from mtusi2026/mtusi2026lab2
fixed read-after-write after failed cache invalidation and API restart
This commit is contained in:
@@ -24,6 +24,7 @@ make test-persistence ACTION_SCRIPT=scripts/restart.sh
|
||||
cd app && go test ./... # unit/HTTP; интеграционные и e2e пропускаются
|
||||
sh scripts/integration-tests.sh # гонка username, rollback, кэш (PostgreSQL + valkey-cache)
|
||||
sh scripts/failures-tests.sh # уровень 4: пароль, logout, expiry, отказы → evidence/failures.txt
|
||||
# если 127.0.0.1:8080 занят другим процессом: sh scripts/failures-tests.sh 'http://[::1]:8080'
|
||||
sh scripts/explain.sh # EXPLAIN → evidence/explain.txt
|
||||
sh scripts/migrations-check.sh # миграции с нуля и повторно → evidence/migrations.txt
|
||||
sh scripts/persistence-evidence.sh # persistence + StartedAt до/после → evidence/persistence.txt
|
||||
@@ -53,7 +54,7 @@ migrate (goose, одноразовый) ─▶ postgres до старта api
|
||||
|
||||
**Из lab1** перенесены роутер, middleware (request id, recover, логи, лимиты), валидация, формат ошибок, keyset-курсоры. **Изменено:** хранилище — PostgreSQL; Basic только на `POST /auth/sessions`, далее opaque Bearer; `X-User-Id` не читается.
|
||||
|
||||
**Схема** (`migrations/0000{1..4}`): `users` (UNIQUE username, CHECK формата), `chats`, `chat_members` (PK `(chat_id, user_id)`, индекс `(user_id, chat_id)`), `messages` (FK `(chat_id, sender_id) → chat_members` — отправитель обязан быть участником на уровне БД; индекс `(chat_id, created_at, id)` под keyset).
|
||||
**Схема** (`migrations/0000{1..6}`): `users` (UNIQUE username, CHECK формата), `chats`, `chat_members` (PK `(chat_id, user_id)`, индекс `(user_id, chat_id)`), `messages` (FK `(chat_id, sender_id) → chat_members` — отправитель обязан быть участником на уровне БД; индекс `(chat_id, created_at, id)` под keyset). `00005` — экранирование U+0000 в текстовых полях, `00006` — `cache_invalidations` (долг инвалидации кэша, см. трек 1).
|
||||
|
||||
**Транзакции.** Создание чата — одна транзакция `INSERT chats` + `INSERT chat_members SELECT unnest(...)`; неизвестный участник → FK → rollback → 400. Регистрация — один `INSERT`, гонку решает UNIQUE (→ 409). Сообщение — один `INSERT`, членство проверяет FK. COMMIT с `synchronous_commit=on` переживает падение процесса PostgreSQL, но не потерю диска.
|
||||
|
||||
@@ -84,7 +85,7 @@ migrate (goose, одноразовый) ─▶ postgres до старта api
|
||||
| **Уровень 3** | | | |
|
||||
| Публичный smoke | `make test` | `PASS: lab2 public API scenario` | `evidence/checks.txt` |
|
||||
| Данные и сессии переживают рестарт API и всех хранилищ | `make test-persistence ACTION_SCRIPT=scripts/restart.sh` | PASS; `StartedAt` всех 4 контейнеров новый, volumes те же | `evidence/persistence.txt` |
|
||||
| PK/FK, UNIQUE username, миграции с нуля и повторно | `scripts/migrations-check.sh` | 4 миграции на пустом volume; повтор — `no migrations to run`, строк столько же | `evidence/migrations.txt` |
|
||||
| PK/FK, UNIQUE username, миграции с нуля и повторно | `scripts/migrations-check.sh` | 6 миграций на пустом volume; повтор — `no migrations to run`, строк столько же | `evidence/migrations.txt` |
|
||||
| Атомарное создание чата | `TestCreateChatRollback` | неизвестный участник → 400, таблицы без изменений | `evidence/integration-tests.txt` |
|
||||
| Basic только на вход, Bearer на остальном, `X-User-Id` не даёт доступ | `TestFailures`, `TestAuth_BearerRequired` | X-User-Id → 401; Basic на `/users/me` → 401 | `evidence/failures.txt` |
|
||||
| Expiry и logout | `TestFailures` | TTL=2: 200 → 401; logout 204 → 401 | `evidence/failures.txt` |
|
||||
@@ -104,6 +105,7 @@ migrate (goose, одноразовый) ─▶ postgres до старта api
|
||||
| SQL и latency до/после | `scripts/track1.sh` | SQL на чтение 2,014 → 0,0034; p95 28,5 → 14,4 мс | `evidence/track1/summary.md` |
|
||||
| Read-after-write | `cachebench` | `safe`: 0 нарушений на 826 552 проверках | `evidence/track1/*.json` |
|
||||
| Восстановление после рестарта кэша | `track1.sh`: stop/start и pause/unpause под нагрузкой | 0 ошибок, 0 stale | `evidence/track1/summary.md` |
|
||||
| Read-after-write: `DEL` не удался, затем рестарт API | `TestFailures` (pause кэша → 201 → `restart api`), `TestReadAfterWrite_InvalidationFailedThenRestart` | сообщение с 201 есть в первом же чтении после рестарта; без `cache_invalidations` — отсутствует до 30 с | `evidence/failures.txt`, `evidence/integration-tests.txt` |
|
||||
|
||||
## Эксперименты и отказы
|
||||
|
||||
@@ -111,7 +113,9 @@ migrate (goose, одноразовый) ─▶ postgres до старта api
|
||||
|
||||
**Гипотеза.** Классический cache-aside (`naive`: прочитать БД → положить в кэш; после COMMIT удалить ключи) на горячем чате (1) нарушает read-after-write — читатель кладёт в кэш снимок, прочитанный до COMMIT, уже после удаления ключей; (2) даёт stampede. Версионные ключи + singleflight + lock (`safe`) устраняют оба эффекта.
|
||||
|
||||
**Защита** (`app/internal/cache/history.go`). Страница лежит под `hc:page:{chat}:{ver}:…`, `ver` — случайные 64 бита. Запись: COMMIT → `DEL hc:ver:{chat}` → 201. Снимок, прочитанный до COMMIT, попадает только под старую версию, которую никто не прочитает. Версия случайная, поэтому её потеря (LRU, рестарт) — только промах. Stampede: `singleflight` в процессе + `SET NX PX 500` lock между репликами. Доступ проверяется до выдачи страницы. При отказе кэша — breaker и чтение из PostgreSQL; несработавший `DEL` повторяется каждые 200 мс, чат до этого читается мимо кэша. Ошибка кэша не превращает подтверждённую запись в 503.
|
||||
**Защита** (`app/internal/cache/history.go`). Страница лежит под `hc:page:{chat}:{ver}:…`, `ver` — случайные 64 бита. Запись: COMMIT → `DEL hc:ver:{chat}` → 201. Снимок, прочитанный до COMMIT, попадает только под старую версию, которую никто не прочитает. Версия случайная, поэтому её потеря (LRU, рестарт) — только промах. Stampede: `singleflight` в процессе + `SET NX PX 500` lock между репликами. Доступ проверяется до выдачи страницы. При отказе кэша — breaker и чтение из PostgreSQL. Ошибка кэша не превращает подтверждённую запись в 503.
|
||||
|
||||
**Неудачный `DEL` и рестарт API.** Если `DEL hc:ver:{chat}` не прошёл, старая версия и её страницы остаются в Valkey. Раньше долг помнила только память процесса: после рестарта API кэш отдавал страницу без подтверждённого сообщения до истечения TTL (30 с). Теперь до ответа 201 долг записывается в PostgreSQL — `INSERT … ON CONFLICT DO UPDATE` в `cache_invalidations (chat_id, gen)`. Чат с долгом читается мимо кэша; повтор каждые 200 мс делает `DEL`, затем `DELETE … WHERE gen = $2`. При старте API долги загружаются из PostgreSQL, и пока загрузка не удалась, мимо кэша читаются все чаты. `gen` берётся из общей последовательности, а запись в памяти получает новый номер при каждом сбое: повтор, начатый до нового сбоя, не снимает его ни в памяти, ни в таблице (`TestRetryDoesNotDropNewerFailure`, `TestPendingInvalidationCAS`). Цена — один upsert в PostgreSQL только на запись, у которой не прошёл `DEL`; в штатном режиме лишних запросов нет.
|
||||
|
||||
**Методика.** `REPEATS=3 DURATION=30s sh scripts/track1.sh`: для каждого режима API пересоздаётся с нужным `HISTORY_CACHE` и `FILL_DELAY` (0 или 20 мс — расширенное окно гонки), кэш очищается. `cachebench` в той же Docker-сети создаёт чат со 150 сообщениями; 3 с прогрева, 30 с замера. 32 читателя в closed loop опрашивают хвост истории; 2 писателя раз в 100 мс пишут и сразу читают (RAW). Каждое полное чтение хвоста сверяется со всеми сообщениями, получившими 201 до его начала (stale read). SQL — `pg_stat_statements`, hit/miss — `INFO stats`, CPU/RAM — `docker stats`.
|
||||
|
||||
@@ -131,7 +135,7 @@ CPU postgres: off 175 % → naive 8 % → safe 3 %; RAM api ≤74 MiB, postgres
|
||||
|
||||
**Выводы.** Stale read воспроизведён во всех 6 прогонах `naive`, в том числе без fault injection; в `safe` — 0 на 826 552 проверках. В `safe` SQL страницы ≈ числу записей (одно заполнение на инвалидацию при 32 читателях); в `naive` при окне 20 мс — в 19 раз больше. Относительно `off` кэш снимает ~99,8 % SQL чтения, пропускная способность ×2, p95 почти вдвое ниже. Цена — +1 обращение к Valkey на чтение и +1 `DEL` на запись.
|
||||
|
||||
**Ограничения.** Один host, closed-loop генератор (coordinated omission): абсолютные RPS не переносимы, устойчивы SQL на чтение и наличие/отсутствие нарушений. Доказана одна реплика API. Не закрыто окно: `DEL` не удался, а другая реплика (lab3) видит кэш — устаревание ≤ TTL страницы 30 с.
|
||||
**Ограничения.** Один host, closed-loop генератор (coordinated omission): абсолютные RPS не переносимы, устойчивы SQL на чтение и наличие/отсутствие нарушений. Доказана одна реплика API.
|
||||
|
||||
### Отказы
|
||||
|
||||
@@ -143,11 +147,11 @@ CPU postgres: off 175 % → naive 8 % → safe 3 %; RAM api ≤74 MiB, postgres
|
||||
| `stop valkey-cache` | обход кэша | ready 200, запись 201, чтение из PostgreSQL | без ошибок; кэш холодный |
|
||||
| stop/start кэша под нагрузкой | 0 ошибок, 0 stale | 153 522 чтения, 0 ошибок, 0 stale | без потерь |
|
||||
| pause/unpause кэша под нагрузкой | 0 stale при сохранённых старых страницах | 160 911 чтений, 0 ошибок, 0 stale; p95 записи 211 мс (таймаут `DEL`) | отложенные инвалидации выполнены до первого чтения из кэша |
|
||||
| pause кэша → запись 201 → `restart api` → unpause | сообщение видно сразу | 3 чтения после рестарта, сообщение в каждом; в логе `invalidation deferred gen=…` → `pending invalidations loaded chats=1` | долг из `cache_invalidations` погашен после unpause |
|
||||
|
||||
## Ограничения и следующие шаги
|
||||
|
||||
- Один Docker-host, без реплик PostgreSQL/Valkey: потеря host или volume — потеря данных и сессий.
|
||||
- `appendfsync everysec`: при аварии теряется до ~1 с входов/logout; отозванная сессия может «воскреснуть» до `expires_at`. `always` убирает окно ценой задержки.
|
||||
- Кэш: окно ≤30 с при неудачном `DEL` и нескольких репликах или падении API до повтора. Полностью закрыла бы его версия в PostgreSQL в той же транзакции — не реализовано.
|
||||
- `ListChats` использует `$2 IS NULL OR …`; при большом числе чатов на пользователя запрос стоит разделить, как для истории.
|
||||
- `valkey-cache` получает анонимный volume из образа, но с `--save "" --appendonly no` он пуст.
|
||||
|
||||
@@ -72,6 +72,7 @@ func main() {
|
||||
defer hcClient.Close()
|
||||
hc := cache.New(storage.Messages, hcClient, cache.Options{
|
||||
Mode: cfg.HistoryCache.Mode,
|
||||
Outbox: storage.Messages,
|
||||
PageTTL: time.Duration(cfg.HistoryCache.PageTTLSeconds) * time.Second,
|
||||
FillDelay: time.Duration(cfg.HistoryCache.FillDelayMs) * time.Millisecond,
|
||||
Logger: logger,
|
||||
|
||||
@@ -136,6 +136,23 @@ func compose(t *testing.T, env map[string]string, args ...string) {
|
||||
}
|
||||
}
|
||||
|
||||
// waitHealthy ждёт healthcheck сервиса: после unpause он остаётся unhealthy
|
||||
// до следующей успешной проверки, и compose up --wait сразу падает.
|
||||
func waitHealthy(t *testing.T, service string) {
|
||||
t.Helper()
|
||||
deadline := time.Now().Add(30 * time.Second)
|
||||
for time.Now().Before(deadline) {
|
||||
cmd := exec.Command("docker", "compose", "--env-file", ".env", "ps", "--format", "{{.Health}}", service)
|
||||
cmd.Dir = root
|
||||
out, _ := cmd.Output()
|
||||
if strings.TrimSpace(string(out)) == "healthy" {
|
||||
return
|
||||
}
|
||||
time.Sleep(500 * time.Millisecond)
|
||||
}
|
||||
t.Fatalf("%s не стал healthy за 30 с", service)
|
||||
}
|
||||
|
||||
func randHex(n int) string {
|
||||
b := make([]byte, n)
|
||||
_, _ = rand.Read(b)
|
||||
@@ -326,4 +343,34 @@ func TestFailures(t *testing.T) {
|
||||
t.Error("ожидали две одинаковые полные страницы с сообщением, записанным при упавшем кэше")
|
||||
}
|
||||
})
|
||||
|
||||
t.Run("инвалидация не удалась, API перезапущен: сообщение с 201 сразу видно в истории", func(t *testing.T) {
|
||||
// Прогреваем страницу в кэше, затем замораживаем Valkey-кэш: данные
|
||||
// (и старая версия) остаются, но DEL версии падает по таймауту.
|
||||
c.call(http.MethodGet, messagesPath+"?limit=100", token, nil, nil)
|
||||
c.call(http.MethodGet, messagesPath+"?limit=100", token, nil, nil)
|
||||
compose(t, nil, "pause", "valkey-cache")
|
||||
paused := true
|
||||
t.Cleanup(func() {
|
||||
if paused {
|
||||
compose(t, nil, "unpause", "valkey-cache")
|
||||
}
|
||||
waitHealthy(t, "valkey-cache")
|
||||
})
|
||||
send := c.call(http.MethodPost, messagesPath, token, map[string]string{"text": "до рестарта API"}, nil)
|
||||
if send.status != 201 {
|
||||
t.Fatalf("ожидали 201, получили %d", send.status)
|
||||
}
|
||||
compose(t, nil, "restart", "api")
|
||||
c.waitReady(t)
|
||||
compose(t, nil, "unpause", "valkey-cache")
|
||||
paused = false
|
||||
for i := 0; i < 3; i++ {
|
||||
list := c.call(http.MethodGet, messagesPath+"?limit=100", token, nil, nil)
|
||||
if list.status != 200 || !slices.Contains(list.itemIDs(), send.str("id")) {
|
||||
t.Fatalf("чтение %d после рестарта: status %d, подтверждённого сообщения нет в истории", i+1, list.status)
|
||||
}
|
||||
time.Sleep(300 * time.Millisecond)
|
||||
}
|
||||
})
|
||||
}
|
||||
|
||||
Vendored
+104
-24
@@ -35,8 +35,17 @@ type Source interface {
|
||||
HistoryPage(ctx context.Context, chatID, cursor string, limit int) (domain.Page[domain.Message], error)
|
||||
}
|
||||
|
||||
// Outbox хранит долг инвалидации в источнике истины, чтобы он пережил
|
||||
// рестарт API. Без него отложенная инвалидация живёт только в памяти.
|
||||
type Outbox interface {
|
||||
AddPendingInvalidation(ctx context.Context, chatID string) (int64, error)
|
||||
PendingInvalidations(ctx context.Context) (map[string]int64, error)
|
||||
ResolvePendingInvalidation(ctx context.Context, chatID string, gen int64) error
|
||||
}
|
||||
|
||||
type Options struct {
|
||||
Mode string
|
||||
Outbox Outbox
|
||||
PageTTL time.Duration
|
||||
LockTTL time.Duration
|
||||
FillDelay time.Duration
|
||||
@@ -45,6 +54,14 @@ type Options struct {
|
||||
|
||||
var _ store.MessageStore = (*Messages)(nil)
|
||||
|
||||
// pendingEntry — несброшенная версия чата. seq меняется при каждом новом
|
||||
// сбое: повтор снимает запись, только если seq не изменился с его снимка.
|
||||
// gen — поколение строки в Outbox (0 — не записана).
|
||||
type pendingEntry struct {
|
||||
seq uint64
|
||||
gen int64
|
||||
}
|
||||
|
||||
type Messages struct {
|
||||
src Source
|
||||
rdb *redis.Client
|
||||
@@ -53,9 +70,13 @@ type Messages struct {
|
||||
log *slog.Logger
|
||||
|
||||
downUntil atomic.Int64
|
||||
// loaded: долг инвалидации из Outbox прочитан. До этого любой чат может
|
||||
// иметь устаревшую версию, поэтому все чтения идут мимо кэша.
|
||||
loaded atomic.Bool
|
||||
|
||||
mu sync.Mutex
|
||||
pending map[string]struct{}
|
||||
pending map[string]pendingEntry
|
||||
seq uint64
|
||||
stop chan struct{}
|
||||
done chan struct{}
|
||||
}
|
||||
@@ -85,10 +106,11 @@ func New(src Source, rdb *redis.Client, opt Options) *Messages {
|
||||
rdb: rdb,
|
||||
opt: opt,
|
||||
log: opt.Logger,
|
||||
pending: make(map[string]struct{}),
|
||||
pending: make(map[string]pendingEntry),
|
||||
stop: make(chan struct{}),
|
||||
done: make(chan struct{}),
|
||||
}
|
||||
m.loaded.Store(opt.Outbox == nil || opt.Mode != ModeSafe)
|
||||
go m.retryLoop()
|
||||
return m
|
||||
}
|
||||
@@ -136,7 +158,7 @@ func (m *Messages) AddMessage(ctx context.Context, callerID, chatID, text string
|
||||
case ModeSafe:
|
||||
if err := m.rdb.Del(ictx, verKey(chatID)).Err(); err != nil {
|
||||
m.markDown(err)
|
||||
m.addPending(chatID)
|
||||
m.addPending(ictx, chatID)
|
||||
}
|
||||
}
|
||||
return msg, nil
|
||||
@@ -285,15 +307,39 @@ func (m *Messages) fill(ctx context.Context, key, chatID, cursor string, limit i
|
||||
return page, nil
|
||||
}
|
||||
|
||||
func (m *Messages) addPending(chatID string) {
|
||||
// addPending вызывается до ответа 201: после него чат читается мимо кэша,
|
||||
// пока версия не будет сброшена, в том числе после рестарта API.
|
||||
func (m *Messages) addPending(ctx context.Context, chatID string) {
|
||||
m.markPending(chatID, 0)
|
||||
if m.opt.Outbox == nil {
|
||||
m.log.Warn("history cache invalidation deferred", slog.String("chat_id", chatID))
|
||||
return
|
||||
}
|
||||
gen, err := m.opt.Outbox.AddPendingInvalidation(ctx, chatID)
|
||||
if err != nil {
|
||||
m.log.Error("history cache invalidation deferred in memory only, lost on restart",
|
||||
slog.String("chat_id", chatID), slog.Any("err", err))
|
||||
return
|
||||
}
|
||||
m.markPending(chatID, gen)
|
||||
m.log.Warn("history cache invalidation deferred",
|
||||
slog.String("chat_id", chatID), slog.Int64("gen", gen))
|
||||
}
|
||||
|
||||
// markPending всегда выдаёт новый seq, чтобы повтор, начатый раньше, не снял
|
||||
// запись. gen не уменьшается.
|
||||
func (m *Messages) markPending(chatID string, gen int64) {
|
||||
m.mu.Lock()
|
||||
m.pending[chatID] = struct{}{}
|
||||
m.seq++
|
||||
e := m.pending[chatID]
|
||||
e.seq = m.seq
|
||||
e.gen = max(e.gen, gen)
|
||||
m.pending[chatID] = e
|
||||
m.mu.Unlock()
|
||||
m.log.Warn("history cache invalidation deferred", slog.String("chat_id", chatID))
|
||||
}
|
||||
|
||||
func (m *Messages) bypass(chatID string) bool {
|
||||
if m.isDown() {
|
||||
if m.isDown() || !m.loaded.Load() {
|
||||
return true
|
||||
}
|
||||
m.mu.Lock()
|
||||
@@ -302,36 +348,70 @@ func (m *Messages) bypass(chatID string) bool {
|
||||
return ok
|
||||
}
|
||||
|
||||
func (m *Messages) loadPending() {
|
||||
ctx, cancel := context.WithTimeout(context.Background(), time.Second)
|
||||
defer cancel()
|
||||
rows, err := m.opt.Outbox.PendingInvalidations(ctx)
|
||||
if err != nil {
|
||||
m.log.Warn("history cache: pending invalidations not loaded, bypassing", slog.Any("err", err))
|
||||
return
|
||||
}
|
||||
for id, gen := range rows {
|
||||
m.markPending(id, gen)
|
||||
}
|
||||
m.loaded.Store(true)
|
||||
if len(rows) > 0 {
|
||||
m.log.Info("history cache: pending invalidations loaded", slog.Int("chats", len(rows)))
|
||||
}
|
||||
}
|
||||
|
||||
func (m *Messages) retryLoop() {
|
||||
defer close(m.done)
|
||||
t := time.NewTicker(retryInterval)
|
||||
defer t.Stop()
|
||||
for {
|
||||
if !m.loaded.Load() {
|
||||
m.loadPending()
|
||||
}
|
||||
m.retryPending()
|
||||
select {
|
||||
case <-m.stop:
|
||||
return
|
||||
case <-t.C:
|
||||
}
|
||||
m.mu.Lock()
|
||||
chats := make([]string, 0, len(m.pending))
|
||||
for id := range m.pending {
|
||||
chats = append(chats, id)
|
||||
}
|
||||
m.mu.Unlock()
|
||||
for _, id := range chats {
|
||||
ctx, cancel := context.WithTimeout(context.Background(), time.Second)
|
||||
err := m.rdb.Del(ctx, verKey(id)).Err()
|
||||
cancel()
|
||||
if err != nil {
|
||||
break
|
||||
}
|
||||
m.mu.Lock()
|
||||
delete(m.pending, id)
|
||||
m.mu.Unlock()
|
||||
}
|
||||
}
|
||||
}
|
||||
|
||||
func (m *Messages) retryPending() {
|
||||
m.mu.Lock()
|
||||
chats := make(map[string]pendingEntry, len(m.pending))
|
||||
for id, e := range m.pending {
|
||||
chats[id] = e
|
||||
}
|
||||
m.mu.Unlock()
|
||||
for id, e := range chats {
|
||||
ctx, cancel := context.WithTimeout(context.Background(), time.Second)
|
||||
err := m.rdb.Del(ctx, verKey(id)).Err()
|
||||
if err == nil && e.gen > 0 {
|
||||
err = m.opt.Outbox.ResolvePendingInvalidation(ctx, id, e.gen)
|
||||
}
|
||||
cancel()
|
||||
if err != nil {
|
||||
return
|
||||
}
|
||||
m.resolved(id, e)
|
||||
}
|
||||
}
|
||||
|
||||
// resolved снимает запись, если после снимка e не было нового сбоя.
|
||||
func (m *Messages) resolved(chatID string, e pendingEntry) {
|
||||
m.mu.Lock()
|
||||
if m.pending[chatID].seq == e.seq {
|
||||
delete(m.pending, chatID)
|
||||
}
|
||||
m.mu.Unlock()
|
||||
}
|
||||
|
||||
func (m *Messages) isDown() bool {
|
||||
return time.Now().UnixNano() < m.downUntil.Load()
|
||||
}
|
||||
|
||||
Vendored
+159
@@ -264,3 +264,162 @@ func TestCacheDown_Bypass(t *testing.T) {
|
||||
t.Fatalf("обход кэша не должен пропускать постороннего: %v", err)
|
||||
}
|
||||
}
|
||||
|
||||
type fakeOutbox struct {
|
||||
mu sync.Mutex
|
||||
rows map[string]int64
|
||||
seq int64 // как cache_invalidations_gen_seq: gen не повторяется
|
||||
loadErr error
|
||||
}
|
||||
|
||||
func (f *fakeOutbox) AddPendingInvalidation(_ context.Context, chatID string) (int64, error) {
|
||||
f.mu.Lock()
|
||||
defer f.mu.Unlock()
|
||||
f.seq++
|
||||
f.rows[chatID] = f.seq
|
||||
return f.seq, nil
|
||||
}
|
||||
|
||||
func (f *fakeOutbox) PendingInvalidations(context.Context) (map[string]int64, error) {
|
||||
f.mu.Lock()
|
||||
defer f.mu.Unlock()
|
||||
if f.loadErr != nil {
|
||||
return nil, f.loadErr
|
||||
}
|
||||
out := make(map[string]int64, len(f.rows))
|
||||
for k, v := range f.rows {
|
||||
out[k] = v
|
||||
}
|
||||
return out, nil
|
||||
}
|
||||
|
||||
func (f *fakeOutbox) ResolvePendingInvalidation(_ context.Context, chatID string, gen int64) error {
|
||||
f.mu.Lock()
|
||||
defer f.mu.Unlock()
|
||||
if f.rows[chatID] == gen {
|
||||
delete(f.rows, chatID)
|
||||
}
|
||||
return nil
|
||||
}
|
||||
|
||||
func (f *fakeOutbox) len() int {
|
||||
f.mu.Lock()
|
||||
defer f.mu.Unlock()
|
||||
return len(f.rows)
|
||||
}
|
||||
|
||||
// Сброс версии не удался, процесс API перезапущен: новый процесс не знает о
|
||||
// долге из памяти, но обязан отдать подтверждённое сообщение сразу.
|
||||
func TestReadAfterWrite_InvalidationFailedThenRestart(t *testing.T) {
|
||||
ctx := context.Background()
|
||||
c := testClient(t)
|
||||
src := &fakeSource{}
|
||||
outbox := &fakeOutbox{rows: map[string]int64{}}
|
||||
chat := "chat-restart"
|
||||
opts := Options{
|
||||
Mode: ModeSafe,
|
||||
Outbox: outbox,
|
||||
PageTTL: time.Minute,
|
||||
Logger: slog.New(slog.NewTextHandler(io.Discard, nil)),
|
||||
}
|
||||
|
||||
warm := New(src, c, opts)
|
||||
if _, err := warm.ListMessages(ctx, member, chat, "", 50); err != nil {
|
||||
t.Fatal(err)
|
||||
}
|
||||
warm.Close()
|
||||
|
||||
dead := redis.NewClient(&redis.Options{
|
||||
Addr: "127.0.0.1:1", DialTimeout: 50 * time.Millisecond, MaxRetries: -1,
|
||||
})
|
||||
t.Cleanup(func() { dead.Close() })
|
||||
before := New(src, dead, opts)
|
||||
msg, err := before.AddMessage(ctx, member, chat, "подтверждено 201")
|
||||
if err != nil {
|
||||
t.Fatal(err)
|
||||
}
|
||||
before.Close() // рестарт: память процесса потеряна, старая версия в Valkey жива
|
||||
if outbox.len() != 1 {
|
||||
t.Fatalf("долг инвалидации не записан в Outbox")
|
||||
}
|
||||
|
||||
after := New(src, c, opts)
|
||||
t.Cleanup(after.Close)
|
||||
page, err := after.ListMessages(ctx, member, chat, "", 50)
|
||||
if err != nil || !contains(page, msg.ID) {
|
||||
t.Fatalf("после рестарта подтверждённое сообщение не видно: err=%v", err)
|
||||
}
|
||||
|
||||
deadline := time.Now().Add(2 * time.Second)
|
||||
for outbox.len() != 0 || after.bypass(chat) {
|
||||
if time.Now().After(deadline) {
|
||||
t.Fatal("отложенная инвалидация не выполнена после рестарта")
|
||||
}
|
||||
time.Sleep(20 * time.Millisecond)
|
||||
}
|
||||
for i := 0; i < 2; i++ { // промах, затем попадание с новой версией
|
||||
page, err = after.ListMessages(ctx, member, chat, "", 50)
|
||||
if err != nil || !contains(page, msg.ID) {
|
||||
t.Fatalf("чтение через кэш после инвалидации: err=%v", err)
|
||||
}
|
||||
}
|
||||
}
|
||||
|
||||
func TestBypassUntilOutboxLoaded(t *testing.T) {
|
||||
outbox := &fakeOutbox{rows: map[string]int64{}, loadErr: errors.New("db down")}
|
||||
h := New(&fakeSource{}, redis.NewClient(&redis.Options{Addr: "127.0.0.1:1"}), Options{
|
||||
Mode: ModeSafe,
|
||||
Outbox: outbox,
|
||||
Logger: slog.New(slog.NewTextHandler(io.Discard, nil)),
|
||||
})
|
||||
defer h.Close()
|
||||
time.Sleep(3 * retryInterval)
|
||||
if !h.bypass("any") {
|
||||
t.Fatal("пока долг из Outbox не прочитан, кэш не должен отдавать страницы")
|
||||
}
|
||||
outbox.mu.Lock()
|
||||
outbox.loadErr = nil
|
||||
outbox.mu.Unlock()
|
||||
deadline := time.Now().Add(2 * time.Second)
|
||||
for h.bypass("any") {
|
||||
if time.Now().After(deadline) {
|
||||
t.Fatal("после загрузки Outbox чтение через кэш не включилось")
|
||||
}
|
||||
time.Sleep(20 * time.Millisecond)
|
||||
}
|
||||
}
|
||||
|
||||
// Повтор сбросил версию и снял строку Outbox, но до того, как он снял запись
|
||||
// из памяти, новая запись снова не смогла сбросить версию. Запись в памяти и
|
||||
// строка Outbox должны остаться, иначе ответ 201 придёт при устаревшем кэше.
|
||||
func TestRetryDoesNotDropNewerFailure(t *testing.T) {
|
||||
ctx := context.Background()
|
||||
outbox := &fakeOutbox{rows: map[string]int64{}}
|
||||
h := New(&fakeSource{}, redis.NewClient(&redis.Options{Addr: "127.0.0.1:1"}), Options{
|
||||
Mode: ModeSafe,
|
||||
Outbox: outbox,
|
||||
Logger: slog.New(slog.NewTextHandler(io.Discard, nil)),
|
||||
})
|
||||
h.Close() // повтор ведём вручную
|
||||
h.loaded.Store(true)
|
||||
chat := "chat-retry-race"
|
||||
|
||||
h.addPending(ctx, chat)
|
||||
snap := h.pending[chat] // снимок повтора; DEL версии прошёл
|
||||
if err := outbox.ResolvePendingInvalidation(ctx, chat, snap.gen); err != nil {
|
||||
t.Fatal(err)
|
||||
}
|
||||
h.addPending(ctx, chat) // новый сбой DEL до ответа 201
|
||||
h.resolved(chat, snap)
|
||||
|
||||
if !h.bypass(chat) {
|
||||
t.Fatal("повтор снял запись о более новом сбое")
|
||||
}
|
||||
if rows, _ := outbox.PendingInvalidations(ctx); rows[chat] <= snap.gen {
|
||||
t.Fatalf("строка Outbox: gen=%d, ожидался новый gen > %d", rows[chat], snap.gen)
|
||||
}
|
||||
h.resolved(chat, h.pending[chat])
|
||||
if h.bypass(chat) {
|
||||
t.Fatal("актуальный повтор должен снять запись")
|
||||
}
|
||||
}
|
||||
|
||||
@@ -175,3 +175,45 @@ func TestNULRoundTrip(t *testing.T) {
|
||||
}
|
||||
}
|
||||
}
|
||||
|
||||
func TestPendingInvalidationCAS(t *testing.T) {
|
||||
d, _ := testDB(t)
|
||||
ctx := context.Background()
|
||||
u, _ := d.CreateUser(ctx, "pi_"+suffix(), "U", "$argon2id$test")
|
||||
chat, err := d.CreateChat(ctx, u.ID, "pi-"+suffix(), []string{u.ID})
|
||||
if err != nil {
|
||||
t.Fatal(err)
|
||||
}
|
||||
g1, err := d.AddPendingInvalidation(ctx, chat.ID)
|
||||
if err != nil {
|
||||
t.Fatal(err)
|
||||
}
|
||||
g2, err := d.AddPendingInvalidation(ctx, chat.ID)
|
||||
if err != nil || g2 <= g1 {
|
||||
t.Fatalf("gen %d → %d, err=%v; ожидался рост", g1, g2, err)
|
||||
}
|
||||
// Повтор, начатый до второго сбоя, не должен снять новый долг.
|
||||
if err := d.ResolvePendingInvalidation(ctx, chat.ID, g1); err != nil {
|
||||
t.Fatal(err)
|
||||
}
|
||||
rows, err := d.PendingInvalidations(ctx)
|
||||
if err != nil || rows[chat.ID] != g2 {
|
||||
t.Fatalf("после устаревшего resolve: %v, err=%v; ожидался gen %d", rows[chat.ID], err, g2)
|
||||
}
|
||||
if err := d.ResolvePendingInvalidation(ctx, chat.ID, g2); err != nil {
|
||||
t.Fatal(err)
|
||||
}
|
||||
rows, _ = d.PendingInvalidations(ctx)
|
||||
if _, ok := rows[chat.ID]; ok {
|
||||
t.Fatal("актуальный resolve не удалил запись")
|
||||
}
|
||||
// Новый сбой после удаления строки: gen не начинается заново, иначе
|
||||
// запоздалый повтор с g1 снял бы и его.
|
||||
g3, err := d.AddPendingInvalidation(ctx, chat.ID)
|
||||
if err != nil || g3 <= g2 {
|
||||
t.Fatalf("gen после удаления строки = %d, err=%v; ожидался > %d", g3, err, g2)
|
||||
}
|
||||
if err := d.ResolvePendingInvalidation(ctx, chat.ID, g3); err != nil {
|
||||
t.Fatal(err)
|
||||
}
|
||||
}
|
||||
|
||||
@@ -0,0 +1,63 @@
|
||||
package db
|
||||
|
||||
import (
|
||||
"context"
|
||||
|
||||
"github.com/jackc/pgx/v5"
|
||||
)
|
||||
|
||||
// AddPendingInvalidation фиксирует, что версия кэша чата не сброшена.
|
||||
// Возвращает поколение записи для последующего compare-and-delete.
|
||||
func (m *Messages) AddPendingInvalidation(ctx context.Context, chatID string) (int64, error) {
|
||||
ctx, cancel := m.withTimeout(ctx)
|
||||
defer cancel()
|
||||
|
||||
var gen int64
|
||||
err := m.pool.QueryRow(ctx, `
|
||||
INSERT INTO cache_invalidations (chat_id) VALUES ($1)
|
||||
ON CONFLICT (chat_id) DO UPDATE
|
||||
SET gen = nextval('cache_invalidations_gen_seq'), updated_at = now()
|
||||
RETURNING gen`,
|
||||
chatID,
|
||||
).Scan(&gen)
|
||||
if err != nil {
|
||||
return 0, mapErr(err)
|
||||
}
|
||||
return gen, nil
|
||||
}
|
||||
|
||||
func (m *Messages) PendingInvalidations(ctx context.Context) (map[string]int64, error) {
|
||||
ctx, cancel := m.withTimeout(ctx)
|
||||
defer cancel()
|
||||
|
||||
rows, err := m.pool.Query(ctx, `SELECT chat_id::text, gen FROM cache_invalidations`)
|
||||
if err != nil {
|
||||
return nil, mapErr(err)
|
||||
}
|
||||
out := map[string]int64{}
|
||||
var (
|
||||
id string
|
||||
gen int64
|
||||
)
|
||||
_, err = pgx.ForEachRow(rows, []any{&id, &gen}, func() error {
|
||||
out[id] = gen
|
||||
return nil
|
||||
})
|
||||
if err != nil {
|
||||
return nil, mapErr(err)
|
||||
}
|
||||
return out, nil
|
||||
}
|
||||
|
||||
// ResolvePendingInvalidation удаляет запись, только если с момента чтения
|
||||
// не случилось нового сбоя (gen не изменился).
|
||||
func (m *Messages) ResolvePendingInvalidation(ctx context.Context, chatID string, gen int64) error {
|
||||
ctx, cancel := m.withTimeout(ctx)
|
||||
defer cancel()
|
||||
|
||||
_, err := m.pool.Exec(ctx,
|
||||
`DELETE FROM cache_invalidations WHERE chat_id = $1 AND gen = $2`,
|
||||
chatID, gen,
|
||||
)
|
||||
return mapErr(err)
|
||||
}
|
||||
+20
-18
@@ -1,38 +1,40 @@
|
||||
# sh scripts/failures-tests.sh (2026-10-29T07:49:41Z, Darwin arm64, Docker 29.2.1)
|
||||
# sh scripts/failures-tests.sh (2026-10-29T12:08:14Z, Darwin arm64, Docker 29.2.1)
|
||||
=== RUN TestFailures
|
||||
=== RUN TestFailures/неверный_пароль_→_401_Basic,_неотличим_от_неизвестного_username
|
||||
failures_test.go:180: статусы 401/401, challenge "Basic realm=\"messenger\", charset=\"UTF-8\""
|
||||
failures_test.go:197: статусы 401/401, challenge "Basic realm=\"messenger\", charset=\"UTF-8\""
|
||||
=== RUN TestFailures/X-User-Id_без_Bearer_→_401
|
||||
failures_test.go:192: status 401
|
||||
failures_test.go:209: status 401
|
||||
=== RUN TestFailures/Basic_на_бизнес-endpoint_→_401
|
||||
failures_test.go:200: status 401
|
||||
failures_test.go:217: status 401
|
||||
=== RUN TestFailures/logout_→_204,_тот_же_токен_→_401,_повторный_logout_→_401,_другая_сессия_жива
|
||||
failures_test.go:214: статусы [204 401 401 200]
|
||||
failures_test.go:231: статусы [204 401 401 200]
|
||||
=== RUN TestFailures/expiry_при_SESSION_TTL_SECONDS=2:_200_сразу,_401_через_3_с
|
||||
failures_test.go:243: expires_at через 1.5 с, статусы 200 → 401
|
||||
failures_test.go:259: expires_at через 1.1 с, статусы 200 → 401
|
||||
=== RUN TestFailures/Valkey_сессий_остановлен:_Bearer_→_503,_без_токена_→_401,_вход_→_503,_ready_→_503
|
||||
failures_test.go:258: me 503, anon 401, login 503, ready 503
|
||||
failures_test.go:273: me 503, anon 401, login 503, ready 503
|
||||
=== RUN TestFailures/Valkey_сессий_восстановлен:_прежний_токен_снова_действителен_(AOF)
|
||||
failures_test.go:269: ready через 0.1 с после start, me 200
|
||||
failures_test.go:284: ready через 0.1 с после start, me 200
|
||||
=== RUN TestFailures/PostgreSQL_остановлен:_чтение/запись_→_503_без_деталей,_ready_→_503
|
||||
failures_test.go:287: list 503 (кэш может отдать страницу), send 503, ready 503, утечка деталей: false
|
||||
failures_test.go:301: list 503 (кэш может отдать страницу), send 503, ready 503, утечка деталей: false
|
||||
=== RUN TestFailures/PostgreSQL_восстановлен:_запись_201_тем_же_токеном
|
||||
failures_test.go:300: ready через 0.6 с после start, send 201
|
||||
failures_test.go:314: ready через 0.6 с после start, send 201
|
||||
=== RUN TestFailures/Valkey-кэш_остановлен:_ready_200,_запись_201,_чтение_200_из_PostgreSQL_с_новым_сообщением
|
||||
failures_test.go:316: ready 200, send 201, list 200, сообщений 2
|
||||
failures_test.go:328: ready 200, send 201, list 200, сообщений 2
|
||||
=== RUN TestFailures/Valkey-кэш_восстановлен:_история_полная_и_одинаковая_при_промахе_и_попадании
|
||||
failures_test.go:329: статусы 200/200, сообщений 2
|
||||
--- PASS: TestFailures (28.04s)
|
||||
failures_test.go:341: статусы 200/200, сообщений 2
|
||||
=== RUN TestFailures/инвалидация_не_удалась,_API_перезапущен:_сообщение_с_201_сразу_видно_в_истории
|
||||
--- PASS: TestFailures (34.73s)
|
||||
--- PASS: TestFailures/неверный_пароль_→_401_Basic,_неотличим_от_неизвестного_username (0.04s)
|
||||
--- PASS: TestFailures/X-User-Id_без_Bearer_→_401 (0.00s)
|
||||
--- PASS: TestFailures/Basic_на_бизнес-endpoint_→_401 (0.00s)
|
||||
--- PASS: TestFailures/logout_→_204,_тот_же_токен_→_401,_повторный_logout_→_401,_другая_сессия_жива (0.02s)
|
||||
--- PASS: TestFailures/expiry_при_SESSION_TTL_SECONDS=2:_200_сразу,_401_через_3_с (17.30s)
|
||||
--- PASS: TestFailures/expiry_при_SESSION_TTL_SECONDS=2:_200_сразу,_401_через_3_с (17.20s)
|
||||
--- PASS: TestFailures/Valkey_сессий_остановлен:_Bearer_→_503,_без_токена_→_401,_вход_→_503,_ready_→_503 (0.43s)
|
||||
--- PASS: TestFailures/Valkey_сессий_восстановлен:_прежний_токен_снова_действителен_(AOF) (0.14s)
|
||||
--- PASS: TestFailures/PostgreSQL_остановлен:_чтение/запись_→_503_без_деталей,_ready_→_503 (0.25s)
|
||||
--- PASS: TestFailures/PostgreSQL_восстановлен:_запись_201_тем_же_токеном (0.64s)
|
||||
--- PASS: TestFailures/Valkey-кэш_остановлен:_ready_200,_запись_201,_чтение_200_из_PostgreSQL_с_новым_сообщением (0.33s)
|
||||
--- PASS: TestFailures/PostgreSQL_остановлен:_чтение/запись_→_503_без_деталей,_ready_→_503 (0.23s)
|
||||
--- PASS: TestFailures/PostgreSQL_восстановлен:_запись_201_тем_же_токеном (0.65s)
|
||||
--- PASS: TestFailures/Valkey-кэш_остановлен:_ready_200,_запись_201,_чтение_200_из_PostgreSQL_с_новым_сообщением (0.31s)
|
||||
--- PASS: TestFailures/Valkey-кэш_восстановлен:_история_полная_и_одинаковая_при_промахе_и_попадании (7.15s)
|
||||
--- PASS: TestFailures/инвалидация_не_удалась,_API_перезапущен:_сообщение_с_201_сразу_видно_в_истории (6.78s)
|
||||
PASS
|
||||
ok gitflic.ru/project/relationskatie/mtusi2026lab1-ashchkl/e2e 28.195s
|
||||
ok gitflic.ru/project/relationskatie/mtusi2026lab1-ashchkl/e2e 35.042s
|
||||
|
||||
@@ -3,19 +3,21 @@
|
||||
--- PASS: TestUsernameRace (0.02s)
|
||||
=== RUN TestCreateChatRollback
|
||||
integration_test.go:116: неизвестный участник → 400, chats/chat_members без изменений; валидный вызов создаёт 1 чат
|
||||
--- PASS: TestCreateChatRollback (0.01s)
|
||||
--- PASS: TestCreateChatRollback (0.02s)
|
||||
=== RUN TestMessageRequiresMembership
|
||||
--- PASS: TestMessageRequiresMembership (0.01s)
|
||||
=== RUN TestNULRoundTrip
|
||||
--- PASS: TestNULRoundTrip (0.07s)
|
||||
--- PASS: TestNULRoundTrip (0.08s)
|
||||
=== RUN TestPendingInvalidationCAS
|
||||
--- PASS: TestPendingInvalidationCAS (0.01s)
|
||||
PASS
|
||||
ok gitflic.ru/project/relationskatie/mtusi2026lab1-ashchkl/internal/store/db 0.861s
|
||||
ok gitflic.ru/project/relationskatie/mtusi2026lab1-ashchkl/internal/store/db 0.316s
|
||||
=== RUN TestReadAfterWrite_FillRace
|
||||
=== RUN TestReadAfterWrite_FillRace/naive
|
||||
history_test.go:141: naive: чтение после подтверждённой записи stale=true
|
||||
=== RUN TestReadAfterWrite_FillRace/safe
|
||||
history_test.go:141: safe: чтение после подтверждённой записи stale=false
|
||||
--- PASS: TestReadAfterWrite_FillRace (0.33s)
|
||||
--- PASS: TestReadAfterWrite_FillRace (0.32s)
|
||||
--- PASS: TestReadAfterWrite_FillRace/naive (0.11s)
|
||||
--- PASS: TestReadAfterWrite_FillRace/safe (0.22s)
|
||||
=== RUN TestStampede_SQLCount
|
||||
@@ -23,8 +25,8 @@ ok gitflic.ru/project/relationskatie/mtusi2026lab1-ashchkl/internal/store/db 0
|
||||
history_test.go:184: naive: 50 одновременных промахов → 50 запросов страницы в БД
|
||||
=== RUN TestStampede_SQLCount/safe
|
||||
history_test.go:184: safe: 50 одновременных промахов → 1 запросов страницы в БД
|
||||
--- PASS: TestStampede_SQLCount (0.13s)
|
||||
--- PASS: TestStampede_SQLCount/naive (0.07s)
|
||||
--- PASS: TestStampede_SQLCount (0.14s)
|
||||
--- PASS: TestStampede_SQLCount/naive (0.08s)
|
||||
--- PASS: TestStampede_SQLCount/safe (0.06s)
|
||||
=== RUN TestAccessCheckedBeforeCache
|
||||
--- PASS: TestAccessCheckedBeforeCache (0.01s)
|
||||
@@ -32,5 +34,11 @@ ok gitflic.ru/project/relationskatie/mtusi2026lab1-ashchkl/internal/store/db 0
|
||||
--- PASS: TestCacheLossIsOnlyMiss (0.01s)
|
||||
=== RUN TestCacheDown_Bypass
|
||||
--- PASS: TestCacheDown_Bypass (0.00s)
|
||||
=== RUN TestReadAfterWrite_InvalidationFailedThenRestart
|
||||
--- PASS: TestReadAfterWrite_InvalidationFailedThenRestart (0.03s)
|
||||
=== RUN TestBypassUntilOutboxLoaded
|
||||
--- PASS: TestBypassUntilOutboxLoaded (0.81s)
|
||||
=== RUN TestRetryDoesNotDropNewerFailure
|
||||
--- PASS: TestRetryDoesNotDropNewerFailure (0.00s)
|
||||
PASS
|
||||
ok gitflic.ru/project/relationskatie/mtusi2026lab1-ashchkl/internal/cache 1.621s
|
||||
ok gitflic.ru/project/relationskatie/mtusi2026lab1-ashchkl/internal/cache 1.637s
|
||||
|
||||
+23
-20
@@ -1,23 +1,25 @@
|
||||
# Миграции (2026-10-29T11:33:55Z)
|
||||
# Миграции (2026-10-29T12:09:22Z)
|
||||
|
||||
## 1. С нуля (проект mtusi-lab2-fresh, пустой volume)
|
||||
Container mtusi-lab2-fresh-postgres-1 Healthy
|
||||
volume: mtusi-lab2-fresh_pgdata
|
||||
2026/10/29 11:34:02 OK 00001_create_users_table.sql (2.16ms)
|
||||
2026/10/29 11:34:02 OK 00002_create_chats_table.sql (1.07ms)
|
||||
2026/10/29 11:34:02 OK 00003_create_chat_members_table.sql (1.56ms)
|
||||
2026/10/29 11:34:02 OK 00004_create_messages_table.sql (1.74ms)
|
||||
2026/10/29 11:34:02 OK 00005_escape_nul_in_text.sql (1.64ms)
|
||||
2026/10/29 11:34:02 goose: successfully migrated database to version: 5
|
||||
List of relations
|
||||
Schema | Name | Type | Owner
|
||||
--------+------------------+-------+-----------
|
||||
public | chat_members | table | messenger
|
||||
public | chats | table | messenger
|
||||
public | goose_db_version | table | messenger
|
||||
public | messages | table | messenger
|
||||
public | users | table | messenger
|
||||
(5 rows)
|
||||
2026/10/29 12:09:29 OK 00001_create_users_table.sql (1.98ms)
|
||||
2026/10/29 12:09:29 OK 00002_create_chats_table.sql (1.48ms)
|
||||
2026/10/29 12:09:29 OK 00003_create_chat_members_table.sql (1.65ms)
|
||||
2026/10/29 12:09:29 OK 00004_create_messages_table.sql (2.28ms)
|
||||
2026/10/29 12:09:29 OK 00005_escape_nul_in_text.sql (2.79ms)
|
||||
2026/10/29 12:09:29 OK 00006_create_cache_invalidations_table.sql (1.8ms)
|
||||
2026/10/29 12:09:29 goose: successfully migrated database to version: 6
|
||||
List of relations
|
||||
Schema | Name | Type | Owner
|
||||
--------+---------------------+-------+-----------
|
||||
public | cache_invalidations | table | messenger
|
||||
public | chat_members | table | messenger
|
||||
public | chats | table | messenger
|
||||
public | goose_db_version | table | messenger
|
||||
public | messages | table | messenger
|
||||
public | users | table | messenger
|
||||
(6 rows)
|
||||
|
||||
0|t
|
||||
1|t
|
||||
@@ -25,12 +27,13 @@ volume: mtusi-lab2-fresh_pgdata
|
||||
3|t
|
||||
4|t
|
||||
5|t
|
||||
6|t
|
||||
### повторный migrate на том же свежем volume
|
||||
2026/10/29 11:34:03 goose: no migrations to run. current version: 5
|
||||
2026/10/29 12:09:30 goose: no migrations to run. current version: 6
|
||||
Volume mtusi-lab2-fresh_pgdata Removed
|
||||
Network mtusi-lab2-fresh_default Removed
|
||||
|
||||
## 2. Повторный migrate на рабочем стенде (volume mtusi-lab2_pgdata сохраняется)
|
||||
до: 54 26 37 95882
|
||||
2026/10/29 11:34:04 goose: no migrations to run. current version: 5
|
||||
после: 54 26 37 95882
|
||||
до: 86 54 66 95925
|
||||
2026/10/29 12:09:32 goose: no migrations to run. current version: 6
|
||||
после: 86 54 66 95925
|
||||
|
||||
@@ -0,0 +1,23 @@
|
||||
-- Отложенная инвалидация кэша истории. Если после COMMIT сообщения сброс
|
||||
-- версии чата в Valkey не удался, строка фиксирует долг до ответа 201 и
|
||||
-- переживает рестарт API. gen берётся из общей последовательности и при
|
||||
-- каждом новом сбое получает ещё не выданное значение: строку удаляет только
|
||||
-- тот повтор, который видел актуальный gen (compare-and-delete). Счётчик
|
||||
-- внутри строки не годится: после удаления строки он начался бы снова с 1.
|
||||
|
||||
-- +goose Up
|
||||
-- +goose StatementBegin
|
||||
CREATE SEQUENCE cache_invalidations_gen_seq;
|
||||
|
||||
CREATE TABLE cache_invalidations (
|
||||
chat_id uuid PRIMARY KEY REFERENCES chats (id) ON DELETE CASCADE,
|
||||
gen bigint NOT NULL DEFAULT nextval('cache_invalidations_gen_seq'),
|
||||
updated_at timestamptz NOT NULL DEFAULT now()
|
||||
);
|
||||
-- +goose StatementEnd
|
||||
|
||||
-- +goose Down
|
||||
-- +goose StatementBegin
|
||||
DROP TABLE IF EXISTS cache_invalidations;
|
||||
DROP SEQUENCE IF EXISTS cache_invalidations_gen_seq;
|
||||
-- +goose StatementEnd
|
||||
@@ -11,4 +11,4 @@ TEST_HISTORY_CACHE_URL="redis://:$(cat secrets/valkey_cache_password)@127.0.0.1:
|
||||
export TEST_DATABASE_URL TEST_HISTORY_CACHE_URL
|
||||
|
||||
cd app
|
||||
exec go test -count=1 -v -run 'TestUsernameRace|TestCreateChatRollback|TestMessageRequiresMembership|TestReadAfterWrite|TestStampede|TestAccessChecked|TestNULRoundTrip|TestCacheLoss|TestCacheDown' ./internal/store/db/ ./internal/cache/
|
||||
exec go test -count=1 -v -run 'TestUsernameRace|TestCreateChatRollback|TestMessageRequiresMembership|TestReadAfterWrite|TestStampede|TestAccessChecked|TestNULRoundTrip|TestCacheLoss|TestCacheDown|TestPendingInvalidation|TestBypassUntil|TestRetryDoesNot' ./internal/store/db/ ./internal/cache/
|
||||
|
||||
@@ -15,17 +15,17 @@ counts='SELECT (SELECT count(*) FROM users) AS users, (SELECT count(*) FROM chat
|
||||
echo "## 1. С нуля (проект mtusi-lab2-fresh, пустой volume)"
|
||||
fresh up -d --wait postgres 2>&1 | tail -n 1
|
||||
docker volume ls --filter name=mtusi-lab2-fresh --format "volume: {{.Name}}"
|
||||
fresh run --rm migrate 2>&1 | grep -E "OK|goose|no migrations" || true
|
||||
fresh run --rm --build migrate 2>&1 | grep -E " OK | goose: " || true
|
||||
fresh exec -T postgres psql -U messenger -d messenger -c '\dt'
|
||||
fresh exec -T postgres psql -U messenger -d messenger -At -c "SELECT version_id, is_applied FROM goose_db_version ORDER BY id"
|
||||
echo "### повторный migrate на том же свежем volume"
|
||||
fresh run --rm migrate 2>&1 | grep -E "OK|goose|no migrations" || true
|
||||
fresh run --rm migrate 2>&1 | grep -E " OK | goose: " || true
|
||||
fresh down -v 2>&1 | tail -n 2
|
||||
|
||||
echo
|
||||
echo "## 2. Повторный migrate на рабочем стенде (volume mtusi-lab2_pgdata сохраняется)"
|
||||
echo "до: $(main exec -T postgres psql -U messenger -d messenger -At -F ' ' -c "$counts")"
|
||||
main run --rm migrate 2>&1 | grep -E "OK|goose|no migrations" || true
|
||||
main run --rm --build migrate 2>&1 | grep -E " OK | goose: " || true
|
||||
echo "после: $(main exec -T postgres psql -U messenger -d messenger -At -F ' ' -c "$counts")"
|
||||
} > "$OUT" 2>&1
|
||||
cat "$OUT"
|
||||
|
||||
Reference in New Issue
Block a user