worker: пауза перед requeue при неудачном claim (не исчерпывать x-delivery-limit), внеочередное чтение секрета при 28P01
This commit is contained in:
@@ -15,6 +15,7 @@ import (
|
||||
"flag"
|
||||
"fmt"
|
||||
"github.com/charawein/mtusi2026lab7/internal/service"
|
||||
"github.com/jackc/pgx/v5/pgconn"
|
||||
"io"
|
||||
"log/slog"
|
||||
"os"
|
||||
@@ -179,6 +180,7 @@ func runWorker(ctx context.Context, cfg config.Config, repo *postgres.PipelineRe
|
||||
MaxBytes: cfg.MaxUploadBytes, MaxPixels: cfg.MaxImagePixels, PixelBudget: cfg.PixelBudget,
|
||||
WebPQuality: cfg.WebPQuality, RetryBase: cfg.RetryBaseDelay, RetryMax: cfg.RetryMaxDelay,
|
||||
FaultPoints: faultPoints(), FaultDir: faultDir(), DeleteStaging: true,
|
||||
ClaimRetryDelay: envDuration("CLAIM_RETRY_DELAY", 3*time.Second), OnClaimError: onDBError,
|
||||
})
|
||||
slog.Info("worker starting", "event", "worker.start", "owner", owner, "concurrency", cfg.WorkerConcurrency, "lease", cfg.JobTimeout)
|
||||
// Ёмкость worker (saturation = messenger.worker.busy / capacity).
|
||||
@@ -458,3 +460,28 @@ func faultDir() string {
|
||||
}
|
||||
return os.TempDir()
|
||||
}
|
||||
|
||||
// onDBError: PostgreSQL отверг пароль роли (28P01 — оператор ротировал его раньше,
|
||||
// чем наступило плановое обновление секрета) → внеочередное чтение из OpenBao.
|
||||
func onDBError(ctx context.Context, err error) {
|
||||
if platformRef == nil || platformRef.Secrets == nil || err == nil {
|
||||
return
|
||||
}
|
||||
var pe *pgconn.PgError
|
||||
authFailed := errors.As(err, &pe) && pe.Code == "28P01"
|
||||
// Ошибка установления соединения pgx не всегда отдаёт PgError через errors.As.
|
||||
if !authFailed && !strings.Contains(err.Error(), "SQLSTATE 28P01") {
|
||||
return
|
||||
}
|
||||
if platformRef.Secrets.SyncNow(ctx) {
|
||||
slog.InfoContext(ctx, "db credentials refreshed after auth error", "event", "secrets.db_auth_retry",
|
||||
"version", platformRef.Secrets.Version())
|
||||
}
|
||||
}
|
||||
|
||||
func envDuration(k string, def time.Duration) time.Duration {
|
||||
if d, err := time.ParseDuration(os.Getenv(k)); err == nil && d >= 0 {
|
||||
return d
|
||||
}
|
||||
return def
|
||||
}
|
||||
|
||||
@@ -65,6 +65,13 @@ type Config struct {
|
||||
FaultPoints map[string]bool
|
||||
FaultDir string
|
||||
DeleteStaging bool
|
||||
// ClaimRetryDelay — пауза перед возвратом сообщения в очередь, если claim не удался
|
||||
// (БД недоступна, пароль роли ротирован). Без неё redelivery идёт ~раз в секунду и
|
||||
// quorum-очередь (x-delivery-limit=10) уводит сообщение в DLQ за ~10 s сбоя.
|
||||
ClaimRetryDelay time.Duration
|
||||
// OnClaimError — реакция платформы на ошибку БД (внеочередное чтение секрета при
|
||||
// отказе аутентификации); nil — нет.
|
||||
OnClaimError func(ctx context.Context, err error)
|
||||
}
|
||||
|
||||
type Worker struct {
|
||||
@@ -188,6 +195,15 @@ func (w *Worker) Handle(ctx context.Context, body []byte) Decision {
|
||||
if err != nil {
|
||||
log.WarnContext(ctx, "claim failed, requeue", "event", "job.claim_failed", "err", err)
|
||||
outcome = "requeue"
|
||||
if w.cfg.OnClaimError != nil {
|
||||
w.cfg.OnClaimError(ctx, err)
|
||||
}
|
||||
if w.cfg.ClaimRetryDelay > 0 {
|
||||
select {
|
||||
case <-ctx.Done():
|
||||
case <-time.After(w.cfg.ClaimRetryDelay):
|
||||
}
|
||||
}
|
||||
return Requeue
|
||||
}
|
||||
switch claim {
|
||||
|
||||
Reference in New Issue
Block a user