feat(worker): lab5 generate all variants and enforce execution timeout

This commit is contained in:
Голиков Maximillian Антон
2026-11-09 19:12:21 +03:00
parent 9b28579031
commit 295371c326
+49 -17
View File
@@ -24,15 +24,18 @@ func NewPipeline(jobs domain.AttachmentJobRepository, store domain.ObjectStorage
jobs: jobs,
store: store,
variants: variants,
lease: 5 * time.Minute, // Lease на 5 минут, чтобы избежать дублей
lease: 5 * time.Minute,
}
}
func (p *Pipeline) Process(ctx context.Context, attachmentID string) error {
log.Printf("worker: начало обработки %s", attachmentID)
jobCtx, cancel := context.WithTimeout(ctx, 30*time.Second)
defer cancel()
// 1. Забираем задачу (защита от дублей). Если уже взята или готова — nil.
a, err := p.jobs.ClaimForProcessing(ctx, attachmentID, p.lease)
a, err := p.jobs.ClaimForProcessing(jobCtx, attachmentID, p.lease)
if err != nil {
return fmt.Errorf("захват задачи: %w", err)
}
@@ -41,43 +44,72 @@ func (p *Pipeline) Process(ctx context.Context, attachmentID string) error {
return nil // no-op
}
// 2. Скачиваем оригинал из staging (куда его положил API)
rc, _, _, err := p.store.Get(ctx, a.StagingKey)
// 2. Скачиваем оригинал из staging
rc, _, _, err := p.store.Get(jobCtx, a.StagingKey)
if err != nil {
_ = p.jobs.FailJob(ctx, a.ID, "storage_error")
_ = p.jobs.FailJob(context.Background(), a.ID, "storage_error")
return fmt.Errorf("скачивание staging: %w", err)
}
defer rc.Close()
buf, err := io.ReadAll(rc)
if err != nil {
_ = p.jobs.FailJob(ctx, a.ID, "storage_error")
_ = p.jobs.FailJob(context.Background(), a.ID, "storage_error")
return fmt.Errorf("чтение staging: %w", err)
}
// 3. Генерируем thumbnail
// 3. Генерируем все варианты (Thumbnail, Crop, Optimized)
log.Printf("worker: генерация вариантов для %s", a.ID)
thumbMeta, thumbData, err := imaging.Thumbnail(a.ID, buf)
if err != nil {
_ = p.jobs.FailJob(ctx, a.ID, "decode_failed")
_ = p.jobs.FailJob(context.Background(), a.ID, "decode_failed")
return fmt.Errorf("генерация thumbnail: %w", err)
}
cropMeta, cropData, err := imaging.Crop(a.ID, buf)
if err != nil {
_ = p.jobs.FailJob(context.Background(), a.ID, "decode_failed")
return fmt.Errorf("генерация crop: %w", err)
}
webpMeta, webpData, err := imaging.Optimized(a.ID, buf)
if err != nil {
_ = p.jobs.FailJob(context.Background(), a.ID, "decode_failed")
return fmt.Errorf("генерация webp: %w", err)
}
// 4. Сохраняем оригинал в финальный prefix (chats/...)
if err := p.store.Put(ctx, a.ObjectKey, bytes.NewReader(buf), int64(len(buf)), a.ContentType); err != nil {
_ = p.jobs.FailJob(ctx, a.ID, "storage_error")
if err := p.store.Put(jobCtx, a.ObjectKey, bytes.NewReader(buf), int64(len(buf)), a.ContentType); err != nil {
_ = p.jobs.FailJob(context.Background(), a.ID, "storage_error")
return fmt.Errorf("загрузка оригинала: %w", err)
}
// 5. Сохраняем thumbnail в S3
thumbKey := fmt.Sprintf("%s/thumbnail", a.ObjectKey)
if err := p.store.Put(ctx, thumbKey, bytes.NewReader(thumbData), thumbMeta.SizeBytes, thumbMeta.ContentType); err != nil {
_ = p.jobs.FailJob(ctx, a.ID, "storage_error")
return fmt.Errorf("загрузка thumbnail: %w", err)
// 5. Загружаем все сгенерированные варианты в S3
variants := []domain.AttachmentVariant{*thumbMeta, *cropMeta, *webpMeta}
for i := range variants {
v := &variants[i]
key := fmt.Sprintf("%s/%s", a.ObjectKey, v.Name)
var data []byte
switch v.Name {
case domain.VariantThumbnail:
data = thumbData
case domain.VariantCrop:
data = cropData
case domain.VariantOptimized:
data = webpData
}
if err := p.store.Put(jobCtx, key, bytes.NewReader(data), v.SizeBytes, v.ContentType); err != nil {
_ = p.jobs.FailJob(context.Background(), a.ID, "storage_error")
return fmt.Errorf("загрузка варианта %s: %w", v.Name, err)
}
v.ObjectKey = key
}
thumbMeta.ObjectKey = thumbKey
// 6. Фиксируем результат в БД (переводим в ready)
ok, err := p.jobs.CompleteJob(ctx, a.ID, a.PipelineVersion, []domain.AttachmentVariant{*thumbMeta})
ok, err := p.jobs.CompleteJob(jobCtx, a.ID, a.PipelineVersion, variants)
if err != nil {
return fmt.Errorf("фиксация в БД: %w", err)
}