From 996e305ea4b2ee37a9a5b06791e4a41a6404d4fa Mon Sep 17 00:00:00 2001 From: =?UTF-8?q?=D0=93=D0=BE=D0=BB=D0=B8=D0=BA=D0=BE=D0=B2=20Maximillian?= =?UTF-8?q?=20=D0=90=D0=BD=D1=82=D0=BE=D0=BD?= Date: Tue, 10 Nov 2026 15:28:20 +0300 Subject: [PATCH] feat(worker): lab5 add exponential backoff retries and permanent error classification --- backend/cmd/worker/main.go | 2 +- backend/internal/domain/jobcodes.go | 10 +++ backend/internal/worker/pipeline.go | 104 +++++++++++++++++++++------- 3 files changed, 91 insertions(+), 25 deletions(-) create mode 100644 backend/internal/domain/jobcodes.go diff --git a/backend/cmd/worker/main.go b/backend/cmd/worker/main.go index 3708be5..3870ce8 100644 --- a/backend/cmd/worker/main.go +++ b/backend/cmd/worker/main.go @@ -58,7 +58,7 @@ func main() { } defer ch.Close() - // Prefetch: сколько сообщений worker берет разом (защита от перегрузки) + // Сколько сообщений worker берет разом (защита от перегрузки) ch.Qos(2, 0, false) q, err := ch.QueueDeclare("attachments.process", true, false, false, false, nil) diff --git a/backend/internal/domain/jobcodes.go b/backend/internal/domain/jobcodes.go new file mode 100644 index 0000000..5078d61 --- /dev/null +++ b/backend/internal/domain/jobcodes.go @@ -0,0 +1,10 @@ +package domain + +const ( + JobErrorDecodeFailed = "decode_failed" + JobErrorTooLarge = "too_large" + JobErrorUnsupportedFormat = "unsupported_format" + JobErrorStorage = "storage_error" + JobErrorInternal = "internal_error" + JobErrorRetryExhausted = "retry_exhausted" +) diff --git a/backend/internal/worker/pipeline.go b/backend/internal/worker/pipeline.go index ea7e011..fbc98d8 100644 --- a/backend/internal/worker/pipeline.go +++ b/backend/internal/worker/pipeline.go @@ -3,9 +3,11 @@ package worker import ( "bytes" "context" + "encoding/json" "fmt" "io" "log" + "math/rand" "time" "high-loud-apps-labs/internal/domain" @@ -13,18 +15,30 @@ import ( ) type Pipeline struct { - jobs domain.AttachmentJobRepository - store domain.ObjectStorage - variants domain.AttachmentVariantRepository - lease time.Duration + jobs domain.AttachmentJobRepository + store domain.ObjectStorage + variants domain.AttachmentVariantRepository + failedJobs domain.FailedJobRepository + outbox domain.OutboxRepository + lease time.Duration + maxRetries int } -func NewPipeline(jobs domain.AttachmentJobRepository, store domain.ObjectStorage, variants domain.AttachmentVariantRepository) *Pipeline { +func NewPipeline( + jobs domain.AttachmentJobRepository, + store domain.ObjectStorage, + variants domain.AttachmentVariantRepository, + failedJobs domain.FailedJobRepository, + outbox domain.OutboxRepository, +) *Pipeline { return &Pipeline{ - jobs: jobs, - store: store, - variants: variants, - lease: 5 * time.Minute, + jobs: jobs, + store: store, + variants: variants, + failedJobs: failedJobs, + outbox: outbox, + lease: 5 * time.Minute, + maxRetries: 5, } } @@ -47,41 +61,35 @@ func (p *Pipeline) Process(ctx context.Context, attachmentID string) error { // 2. Скачиваем оригинал из staging rc, _, _, err := p.store.Get(jobCtx, a.StagingKey) if err != nil { - _ = p.jobs.FailJob(context.Background(), a.ID, "storage_error") - return fmt.Errorf("скачивание staging: %w", err) + return p.handleFailure(a, fmt.Errorf("скачивание staging: %w", err), false) } defer rc.Close() buf, err := io.ReadAll(rc) if err != nil { - _ = p.jobs.FailJob(context.Background(), a.ID, "storage_error") - return fmt.Errorf("чтение staging: %w", err) + return p.handleFailure(a, fmt.Errorf("чтение staging: %w", err), false) } // 3. Генерируем все варианты (Thumbnail, Crop, Optimized) log.Printf("worker: генерация вариантов для %s", a.ID) thumbMeta, thumbData, err := imaging.Thumbnail(a.ID, buf) if err != nil { - _ = p.jobs.FailJob(context.Background(), a.ID, "decode_failed") - return fmt.Errorf("генерация thumbnail: %w", err) + return p.handleFailure(a, fmt.Errorf("генерация thumbnail: %w", err), true) } cropMeta, cropData, err := imaging.Crop(a.ID, buf) if err != nil { - _ = p.jobs.FailJob(context.Background(), a.ID, "decode_failed") - return fmt.Errorf("генерация crop: %w", err) + return p.handleFailure(a, fmt.Errorf("генерация crop: %w", err), true) } webpMeta, webpData, err := imaging.Optimized(a.ID, buf) if err != nil { - _ = p.jobs.FailJob(context.Background(), a.ID, "decode_failed") - return fmt.Errorf("генерация webp: %w", err) + return p.handleFailure(a, fmt.Errorf("генерация webp: %w", err), true) } // 4. Сохраняем оригинал в финальный prefix (chats/...) if err := p.store.Put(jobCtx, a.ObjectKey, bytes.NewReader(buf), int64(len(buf)), a.ContentType); err != nil { - _ = p.jobs.FailJob(context.Background(), a.ID, "storage_error") - return fmt.Errorf("загрузка оригинала: %w", err) + return p.handleFailure(a, fmt.Errorf("загрузка оригинала: %w", err), false) } // 5. Загружаем все сгенерированные варианты в S3 @@ -102,8 +110,7 @@ func (p *Pipeline) Process(ctx context.Context, attachmentID string) error { } if err := p.store.Put(jobCtx, key, bytes.NewReader(data), v.SizeBytes, v.ContentType); err != nil { - _ = p.jobs.FailJob(context.Background(), a.ID, "storage_error") - return fmt.Errorf("загрузка варианта %s: %w", v.Name, err) + return p.handleFailure(a, fmt.Errorf("загрузка варианта %s: %w", v.Name, err), false) } v.ObjectKey = key } @@ -111,7 +118,7 @@ func (p *Pipeline) Process(ctx context.Context, attachmentID string) error { // 6. Фиксируем результат в БД (переводим в ready) ok, err := p.jobs.CompleteJob(jobCtx, a.ID, a.PipelineVersion, variants) if err != nil { - return fmt.Errorf("фиксация в БД: %w", err) + return p.handleFailure(a, fmt.Errorf("фиксация в БД: %w", err), false) } if !ok { log.Printf("worker: версия устарела или статус изменился, пропускаем %s", a.ID) @@ -121,3 +128,52 @@ func (p *Pipeline) Process(ctx context.Context, attachmentID string) error { log.Printf("worker: успешно завершено %s", a.ID) return nil } + +func (p *Pipeline) handleFailure(a *domain.Attachment, err error, isPermanent bool) error { + // Если исчерпаны попытки или ошибка постоянная (например, битый файл) + if isPermanent || a.Attempts >= p.maxRetries { + reason := domain.JobErrorInternal + if a.Attempts >= p.maxRetries { + reason = domain.JobErrorRetryExhausted + } else if isPermanent { + reason = domain.JobErrorDecodeFailed + } + + log.Printf("worker: финальная ошибка для %s (попытка %d): %v", a.ID, a.Attempts, err) + + // Используем context.Background(), чтобы запись в БД прошла даже при истекшем jobCtx + _ = p.jobs.FailJob(context.Background(), a.ID, reason) + _ = p.failedJobs.Record(context.Background(), &domain.FailedJob{ + AttachmentID: a.ID, + ReasonCode: reason, + Attempts: a.Attempts, + }) + return nil + } + + // Временная ошибка - делаем Retry с backoff + log.Printf("worker: временная ошибка для %s, попытка %d: %v", a.ID, a.Attempts, err) + + // Экспоненциальный backoff: 2^attempts секунд + случайный jitter (0-1000 мс) + backoff := time.Duration(1<