114 lines
4.0 KiB
Go
114 lines
4.0 KiB
Go
// Package store, queue.go — брокер Redis Streams для заданий обработки (лаба 5).
|
||
//
|
||
// Почему Redis Streams, а не Pub/Sub: поток хранит сообщения (durable при AOF),
|
||
// consumer group даёт at-least-once доставку и явный ack, XAUTOCLAIM возвращает
|
||
// сообщения упавшего потребителя. В очередь идут только ID (jobs.schema.json).
|
||
package store
|
||
|
||
import (
|
||
"context"
|
||
"encoding/json"
|
||
"fmt"
|
||
"log/slog"
|
||
"strings"
|
||
"time"
|
||
|
||
"github.com/redis/go-redis/v9"
|
||
|
||
"mtusi-messenger/internal/model"
|
||
)
|
||
|
||
const (
|
||
// QueueStreamKey — имя потока заданий.
|
||
QueueStreamKey = "messenger:attachment-jobs"
|
||
// QueueGroup — consumer group worker'ов.
|
||
QueueGroup = "workers"
|
||
// queueMaxLen — приблизительный потолок длины потока (защита от разрастания).
|
||
queueMaxLen = 10000
|
||
)
|
||
|
||
// Queue — обёртка над Redis Streams.
|
||
type Queue struct {
|
||
rdb *redis.Client
|
||
log *slog.Logger
|
||
}
|
||
|
||
func NewQueue(rdb *redis.Client, log *slog.Logger) *Queue {
|
||
return &Queue{rdb: rdb, log: log}
|
||
}
|
||
|
||
// Ensure — идемпотентное создание потока и consumer group.
|
||
func (q *Queue) Ensure(ctx context.Context) error {
|
||
err := q.rdb.XGroupCreateMkStream(ctx, QueueStreamKey, QueueGroup, "0").Err()
|
||
if err != nil && !strings.Contains(err.Error(), "BUSYGROUP") {
|
||
return fmt.Errorf("create consumer group: %w", err)
|
||
}
|
||
return nil
|
||
}
|
||
|
||
// Publish — добавить сообщение в поток (publisher confirm = успех XADD).
|
||
func (q *Queue) Publish(ctx context.Context, msg model.JobMessage) (string, error) {
|
||
b, err := json.Marshal(msg)
|
||
if err != nil {
|
||
return "", fmt.Errorf("marshal job message: %w", err)
|
||
}
|
||
id, err := q.rdb.XAdd(ctx, &redis.XAddArgs{
|
||
Stream: QueueStreamKey,
|
||
MaxLen: queueMaxLen,
|
||
Approx: true,
|
||
Values: map[string]any{"payload": string(b)},
|
||
}).Result()
|
||
if err != nil {
|
||
return "", fmt.Errorf("xadd: %w", err)
|
||
}
|
||
return id, nil
|
||
}
|
||
|
||
// Consume — читать новые сообщения группы (BLOCK, COUNT 1: ограниченный prefetch).
|
||
func (q *Queue) Consume(ctx context.Context, consumer string, block time.Duration) ([]redis.XMessage, error) {
|
||
res, err := q.rdb.XReadGroup(ctx, &redis.XReadGroupArgs{
|
||
Group: QueueGroup,
|
||
Consumer: consumer,
|
||
Streams: []string{QueueStreamKey, ">"},
|
||
Count: 1,
|
||
Block: block,
|
||
}).Result()
|
||
if err == redis.Nil {
|
||
return nil, nil
|
||
}
|
||
if err != nil {
|
||
return nil, fmt.Errorf("xreadgroup: %w", err)
|
||
}
|
||
var out []redis.XMessage
|
||
for _, s := range res {
|
||
out = append(out, s.Messages...)
|
||
}
|
||
return out, nil
|
||
}
|
||
|
||
// Ack — подтвердить устойчивую обработку (после COMMIT результата в БД).
|
||
func (q *Queue) Ack(ctx context.Context, msgID string) error {
|
||
return q.rdb.XAck(ctx, QueueStreamKey, QueueGroup, msgID).Err()
|
||
}
|
||
|
||
// ReclaimStale — забрать сообщения, которые держит упавший потребитель
|
||
// (minIdle больше lease TTL, чтобы не перехватывать живую долгую обработку).
|
||
// Второе возвращаемое значение XAutoClaim — курсор следующей страницы PEL;
|
||
// мы его игнорируем, потому что периодический цикл воркера сканирует PEL
|
||
// с начала ("0-0") малыми порциями (Count), и очередь зависших сообщений
|
||
// дренируется за несколько циклов.
|
||
func (q *Queue) ReclaimStale(ctx context.Context, consumer string, minIdle time.Duration) ([]redis.XMessage, error) {
|
||
msgs, _, err := q.rdb.XAutoClaim(ctx, &redis.XAutoClaimArgs{
|
||
Stream: QueueStreamKey,
|
||
Group: QueueGroup,
|
||
Consumer: consumer,
|
||
MinIdle: minIdle,
|
||
Start: "0-0",
|
||
Count: 4,
|
||
}).Result()
|
||
if err != nil {
|
||
return nil, fmt.Errorf("xautoclaim: %w", err)
|
||
}
|
||
return msgs, nil
|
||
}
|