worker: пауза перед requeue при неудачном claim (не исчерпывать x-delivery-limit), внеочередное чтение секрета при 28P01

This commit is contained in:
2026-11-12 20:12:58 +03:00
parent b862899b97
commit a414221d75
2 changed files with 43 additions and 0 deletions
+27
View File
@@ -15,6 +15,7 @@ import (
"flag"
"fmt"
"github.com/charawein/mtusi2026lab7/internal/service"
"github.com/jackc/pgx/v5/pgconn"
"io"
"log/slog"
"os"
@@ -179,6 +180,7 @@ func runWorker(ctx context.Context, cfg config.Config, repo *postgres.PipelineRe
MaxBytes: cfg.MaxUploadBytes, MaxPixels: cfg.MaxImagePixels, PixelBudget: cfg.PixelBudget,
WebPQuality: cfg.WebPQuality, RetryBase: cfg.RetryBaseDelay, RetryMax: cfg.RetryMaxDelay,
FaultPoints: faultPoints(), FaultDir: faultDir(), DeleteStaging: true,
ClaimRetryDelay: envDuration("CLAIM_RETRY_DELAY", 3*time.Second), OnClaimError: onDBError,
})
slog.Info("worker starting", "event", "worker.start", "owner", owner, "concurrency", cfg.WorkerConcurrency, "lease", cfg.JobTimeout)
// Ёмкость worker (saturation = messenger.worker.busy / capacity).
@@ -458,3 +460,28 @@ func faultDir() string {
}
return os.TempDir()
}
// onDBError: PostgreSQL отверг пароль роли (28P01 — оператор ротировал его раньше,
// чем наступило плановое обновление секрета) → внеочередное чтение из OpenBao.
func onDBError(ctx context.Context, err error) {
if platformRef == nil || platformRef.Secrets == nil || err == nil {
return
}
var pe *pgconn.PgError
authFailed := errors.As(err, &pe) && pe.Code == "28P01"
// Ошибка установления соединения pgx не всегда отдаёт PgError через errors.As.
if !authFailed && !strings.Contains(err.Error(), "SQLSTATE 28P01") {
return
}
if platformRef.Secrets.SyncNow(ctx) {
slog.InfoContext(ctx, "db credentials refreshed after auth error", "event", "secrets.db_auth_retry",
"version", platformRef.Secrets.Version())
}
}
func envDuration(k string, def time.Duration) time.Duration {
if d, err := time.ParseDuration(os.Getenv(k)); err == nil && d >= 0 {
return d
}
return def
}
+16
View File
@@ -65,6 +65,13 @@ type Config struct {
FaultPoints map[string]bool
FaultDir string
DeleteStaging bool
// ClaimRetryDelay — пауза перед возвратом сообщения в очередь, если claim не удался
// (БД недоступна, пароль роли ротирован). Без неё redelivery идёт ~раз в секунду и
// quorum-очередь (x-delivery-limit=10) уводит сообщение в DLQ за ~10 s сбоя.
ClaimRetryDelay time.Duration
// OnClaimError — реакция платформы на ошибку БД (внеочередное чтение секрета при
// отказе аутентификации); nil — нет.
OnClaimError func(ctx context.Context, err error)
}
type Worker struct {
@@ -188,6 +195,15 @@ func (w *Worker) Handle(ctx context.Context, body []byte) Decision {
if err != nil {
log.WarnContext(ctx, "claim failed, requeue", "event", "job.claim_failed", "err", err)
outcome = "requeue"
if w.cfg.OnClaimError != nil {
w.cfg.OnClaimError(ctx, err)
}
if w.cfg.ClaimRetryDelay > 0 {
select {
case <-ctx.Done():
case <-time.After(w.cfg.ClaimRetryDelay):
}
}
return Requeue
}
switch claim {