Files
mtusi2026lab5/src/internal/store/queue.go
T
2026-11-13 10:34:18 +03:00

114 lines
4.0 KiB
Go
Raw Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
// Package store, queue.go — брокер Redis Streams для заданий обработки (лаба 5).
//
// Почему Redis Streams, а не Pub/Sub: поток хранит сообщения (durable при AOF),
// consumer group даёт at-least-once доставку и явный ack, XAUTOCLAIM возвращает
// сообщения упавшего потребителя. В очередь идут только ID (jobs.schema.json).
package store
import (
"context"
"encoding/json"
"fmt"
"log/slog"
"strings"
"time"
"github.com/redis/go-redis/v9"
"mtusi-messenger/internal/model"
)
const (
// QueueStreamKey — имя потока заданий.
QueueStreamKey = "messenger:attachment-jobs"
// QueueGroup — consumer group worker'ов.
QueueGroup = "workers"
// queueMaxLen — приблизительный потолок длины потока (защита от разрастания).
queueMaxLen = 10000
)
// Queue — обёртка над Redis Streams.
type Queue struct {
rdb *redis.Client
log *slog.Logger
}
func NewQueue(rdb *redis.Client, log *slog.Logger) *Queue {
return &Queue{rdb: rdb, log: log}
}
// Ensure — идемпотентное создание потока и consumer group.
func (q *Queue) Ensure(ctx context.Context) error {
err := q.rdb.XGroupCreateMkStream(ctx, QueueStreamKey, QueueGroup, "0").Err()
if err != nil && !strings.Contains(err.Error(), "BUSYGROUP") {
return fmt.Errorf("create consumer group: %w", err)
}
return nil
}
// Publish — добавить сообщение в поток (publisher confirm = успех XADD).
func (q *Queue) Publish(ctx context.Context, msg model.JobMessage) (string, error) {
b, err := json.Marshal(msg)
if err != nil {
return "", fmt.Errorf("marshal job message: %w", err)
}
id, err := q.rdb.XAdd(ctx, &redis.XAddArgs{
Stream: QueueStreamKey,
MaxLen: queueMaxLen,
Approx: true,
Values: map[string]any{"payload": string(b)},
}).Result()
if err != nil {
return "", fmt.Errorf("xadd: %w", err)
}
return id, nil
}
// Consume — читать новые сообщения группы (BLOCK, COUNT 1: ограниченный prefetch).
func (q *Queue) Consume(ctx context.Context, consumer string, block time.Duration) ([]redis.XMessage, error) {
res, err := q.rdb.XReadGroup(ctx, &redis.XReadGroupArgs{
Group: QueueGroup,
Consumer: consumer,
Streams: []string{QueueStreamKey, ">"},
Count: 1,
Block: block,
}).Result()
if err == redis.Nil {
return nil, nil
}
if err != nil {
return nil, fmt.Errorf("xreadgroup: %w", err)
}
var out []redis.XMessage
for _, s := range res {
out = append(out, s.Messages...)
}
return out, nil
}
// Ack — подтвердить устойчивую обработку (после COMMIT результата в БД).
func (q *Queue) Ack(ctx context.Context, msgID string) error {
return q.rdb.XAck(ctx, QueueStreamKey, QueueGroup, msgID).Err()
}
// ReclaimStale — забрать сообщения, которые держит упавший потребитель
// (minIdle больше lease TTL, чтобы не перехватывать живую долгую обработку).
// Второе возвращаемое значение XAutoClaim — курсор следующей страницы PEL;
// мы его игнорируем, потому что периодический цикл воркера сканирует PEL
// с начала ("0-0") малыми порциями (Count), и очередь зависших сообщений
// дренируется за несколько циклов.
func (q *Queue) ReclaimStale(ctx context.Context, consumer string, minIdle time.Duration) ([]redis.XMessage, error) {
msgs, _, err := q.rdb.XAutoClaim(ctx, &redis.XAutoClaimArgs{
Stream: QueueStreamKey,
Group: QueueGroup,
Consumer: consumer,
MinIdle: minIdle,
Start: "0-0",
Count: 4,
}).Result()
if err != nil {
return nil, fmt.Errorf("xautoclaim: %w", err)
}
return msgs, nil
}