From 295371c326ae2feae0afd6b1800992de318aff01 Mon Sep 17 00:00:00 2001 From: =?UTF-8?q?=D0=93=D0=BE=D0=BB=D0=B8=D0=BA=D0=BE=D0=B2=20Maximillian?= =?UTF-8?q?=20=D0=90=D0=BD=D1=82=D0=BE=D0=BD?= Date: Mon, 9 Nov 2026 19:12:21 +0300 Subject: [PATCH] feat(worker): lab5 generate all variants and enforce execution timeout --- backend/internal/worker/pipeline.go | 66 +++++++++++++++++++++-------- 1 file changed, 49 insertions(+), 17 deletions(-) diff --git a/backend/internal/worker/pipeline.go b/backend/internal/worker/pipeline.go index 3dc5b13..ea7e011 100644 --- a/backend/internal/worker/pipeline.go +++ b/backend/internal/worker/pipeline.go @@ -24,15 +24,18 @@ func NewPipeline(jobs domain.AttachmentJobRepository, store domain.ObjectStorage jobs: jobs, store: store, variants: variants, - lease: 5 * time.Minute, // Lease на 5 минут, чтобы избежать дублей + lease: 5 * time.Minute, } } func (p *Pipeline) Process(ctx context.Context, attachmentID string) error { log.Printf("worker: начало обработки %s", attachmentID) + jobCtx, cancel := context.WithTimeout(ctx, 30*time.Second) + defer cancel() + // 1. Забираем задачу (защита от дублей). Если уже взята или готова — nil. - a, err := p.jobs.ClaimForProcessing(ctx, attachmentID, p.lease) + a, err := p.jobs.ClaimForProcessing(jobCtx, attachmentID, p.lease) if err != nil { return fmt.Errorf("захват задачи: %w", err) } @@ -41,43 +44,72 @@ func (p *Pipeline) Process(ctx context.Context, attachmentID string) error { return nil // no-op } - // 2. Скачиваем оригинал из staging (куда его положил API) - rc, _, _, err := p.store.Get(ctx, a.StagingKey) + // 2. Скачиваем оригинал из staging + rc, _, _, err := p.store.Get(jobCtx, a.StagingKey) if err != nil { - _ = p.jobs.FailJob(ctx, a.ID, "storage_error") + _ = p.jobs.FailJob(context.Background(), a.ID, "storage_error") return fmt.Errorf("скачивание staging: %w", err) } defer rc.Close() buf, err := io.ReadAll(rc) if err != nil { - _ = p.jobs.FailJob(ctx, a.ID, "storage_error") + _ = p.jobs.FailJob(context.Background(), a.ID, "storage_error") return fmt.Errorf("чтение staging: %w", err) } - // 3. Генерируем thumbnail + // 3. Генерируем все варианты (Thumbnail, Crop, Optimized) + log.Printf("worker: генерация вариантов для %s", a.ID) thumbMeta, thumbData, err := imaging.Thumbnail(a.ID, buf) if err != nil { - _ = p.jobs.FailJob(ctx, a.ID, "decode_failed") + _ = p.jobs.FailJob(context.Background(), a.ID, "decode_failed") return fmt.Errorf("генерация thumbnail: %w", err) } + cropMeta, cropData, err := imaging.Crop(a.ID, buf) + if err != nil { + _ = p.jobs.FailJob(context.Background(), a.ID, "decode_failed") + return fmt.Errorf("генерация crop: %w", err) + } + + webpMeta, webpData, err := imaging.Optimized(a.ID, buf) + if err != nil { + _ = p.jobs.FailJob(context.Background(), a.ID, "decode_failed") + return fmt.Errorf("генерация webp: %w", err) + } + // 4. Сохраняем оригинал в финальный prefix (chats/...) - if err := p.store.Put(ctx, a.ObjectKey, bytes.NewReader(buf), int64(len(buf)), a.ContentType); err != nil { - _ = p.jobs.FailJob(ctx, a.ID, "storage_error") + if err := p.store.Put(jobCtx, a.ObjectKey, bytes.NewReader(buf), int64(len(buf)), a.ContentType); err != nil { + _ = p.jobs.FailJob(context.Background(), a.ID, "storage_error") return fmt.Errorf("загрузка оригинала: %w", err) } - // 5. Сохраняем thumbnail в S3 - thumbKey := fmt.Sprintf("%s/thumbnail", a.ObjectKey) - if err := p.store.Put(ctx, thumbKey, bytes.NewReader(thumbData), thumbMeta.SizeBytes, thumbMeta.ContentType); err != nil { - _ = p.jobs.FailJob(ctx, a.ID, "storage_error") - return fmt.Errorf("загрузка thumbnail: %w", err) + // 5. Загружаем все сгенерированные варианты в S3 + variants := []domain.AttachmentVariant{*thumbMeta, *cropMeta, *webpMeta} + + for i := range variants { + v := &variants[i] + key := fmt.Sprintf("%s/%s", a.ObjectKey, v.Name) + + var data []byte + switch v.Name { + case domain.VariantThumbnail: + data = thumbData + case domain.VariantCrop: + data = cropData + case domain.VariantOptimized: + data = webpData + } + + if err := p.store.Put(jobCtx, key, bytes.NewReader(data), v.SizeBytes, v.ContentType); err != nil { + _ = p.jobs.FailJob(context.Background(), a.ID, "storage_error") + return fmt.Errorf("загрузка варианта %s: %w", v.Name, err) + } + v.ObjectKey = key } - thumbMeta.ObjectKey = thumbKey // 6. Фиксируем результат в БД (переводим в ready) - ok, err := p.jobs.CompleteJob(ctx, a.ID, a.PipelineVersion, []domain.AttachmentVariant{*thumbMeta}) + ok, err := p.jobs.CompleteJob(jobCtx, a.ID, a.PipelineVersion, variants) if err != nil { return fmt.Errorf("фиксация в БД: %w", err) }