feat(worker): lab5 generate all variants and enforce execution timeout
This commit is contained in:
@@ -24,15 +24,18 @@ func NewPipeline(jobs domain.AttachmentJobRepository, store domain.ObjectStorage
|
||||
jobs: jobs,
|
||||
store: store,
|
||||
variants: variants,
|
||||
lease: 5 * time.Minute, // Lease на 5 минут, чтобы избежать дублей
|
||||
lease: 5 * time.Minute,
|
||||
}
|
||||
}
|
||||
|
||||
func (p *Pipeline) Process(ctx context.Context, attachmentID string) error {
|
||||
log.Printf("worker: начало обработки %s", attachmentID)
|
||||
|
||||
jobCtx, cancel := context.WithTimeout(ctx, 30*time.Second)
|
||||
defer cancel()
|
||||
|
||||
// 1. Забираем задачу (защита от дублей). Если уже взята или готова — nil.
|
||||
a, err := p.jobs.ClaimForProcessing(ctx, attachmentID, p.lease)
|
||||
a, err := p.jobs.ClaimForProcessing(jobCtx, attachmentID, p.lease)
|
||||
if err != nil {
|
||||
return fmt.Errorf("захват задачи: %w", err)
|
||||
}
|
||||
@@ -41,43 +44,72 @@ func (p *Pipeline) Process(ctx context.Context, attachmentID string) error {
|
||||
return nil // no-op
|
||||
}
|
||||
|
||||
// 2. Скачиваем оригинал из staging (куда его положил API)
|
||||
rc, _, _, err := p.store.Get(ctx, a.StagingKey)
|
||||
// 2. Скачиваем оригинал из staging
|
||||
rc, _, _, err := p.store.Get(jobCtx, a.StagingKey)
|
||||
if err != nil {
|
||||
_ = p.jobs.FailJob(ctx, a.ID, "storage_error")
|
||||
_ = p.jobs.FailJob(context.Background(), a.ID, "storage_error")
|
||||
return fmt.Errorf("скачивание staging: %w", err)
|
||||
}
|
||||
defer rc.Close()
|
||||
|
||||
buf, err := io.ReadAll(rc)
|
||||
if err != nil {
|
||||
_ = p.jobs.FailJob(ctx, a.ID, "storage_error")
|
||||
_ = p.jobs.FailJob(context.Background(), a.ID, "storage_error")
|
||||
return fmt.Errorf("чтение staging: %w", err)
|
||||
}
|
||||
|
||||
// 3. Генерируем thumbnail
|
||||
// 3. Генерируем все варианты (Thumbnail, Crop, Optimized)
|
||||
log.Printf("worker: генерация вариантов для %s", a.ID)
|
||||
thumbMeta, thumbData, err := imaging.Thumbnail(a.ID, buf)
|
||||
if err != nil {
|
||||
_ = p.jobs.FailJob(ctx, a.ID, "decode_failed")
|
||||
_ = p.jobs.FailJob(context.Background(), a.ID, "decode_failed")
|
||||
return fmt.Errorf("генерация thumbnail: %w", err)
|
||||
}
|
||||
|
||||
cropMeta, cropData, err := imaging.Crop(a.ID, buf)
|
||||
if err != nil {
|
||||
_ = p.jobs.FailJob(context.Background(), a.ID, "decode_failed")
|
||||
return fmt.Errorf("генерация crop: %w", err)
|
||||
}
|
||||
|
||||
webpMeta, webpData, err := imaging.Optimized(a.ID, buf)
|
||||
if err != nil {
|
||||
_ = p.jobs.FailJob(context.Background(), a.ID, "decode_failed")
|
||||
return fmt.Errorf("генерация webp: %w", err)
|
||||
}
|
||||
|
||||
// 4. Сохраняем оригинал в финальный prefix (chats/...)
|
||||
if err := p.store.Put(ctx, a.ObjectKey, bytes.NewReader(buf), int64(len(buf)), a.ContentType); err != nil {
|
||||
_ = p.jobs.FailJob(ctx, a.ID, "storage_error")
|
||||
if err := p.store.Put(jobCtx, a.ObjectKey, bytes.NewReader(buf), int64(len(buf)), a.ContentType); err != nil {
|
||||
_ = p.jobs.FailJob(context.Background(), a.ID, "storage_error")
|
||||
return fmt.Errorf("загрузка оригинала: %w", err)
|
||||
}
|
||||
|
||||
// 5. Сохраняем thumbnail в S3
|
||||
thumbKey := fmt.Sprintf("%s/thumbnail", a.ObjectKey)
|
||||
if err := p.store.Put(ctx, thumbKey, bytes.NewReader(thumbData), thumbMeta.SizeBytes, thumbMeta.ContentType); err != nil {
|
||||
_ = p.jobs.FailJob(ctx, a.ID, "storage_error")
|
||||
return fmt.Errorf("загрузка thumbnail: %w", err)
|
||||
// 5. Загружаем все сгенерированные варианты в S3
|
||||
variants := []domain.AttachmentVariant{*thumbMeta, *cropMeta, *webpMeta}
|
||||
|
||||
for i := range variants {
|
||||
v := &variants[i]
|
||||
key := fmt.Sprintf("%s/%s", a.ObjectKey, v.Name)
|
||||
|
||||
var data []byte
|
||||
switch v.Name {
|
||||
case domain.VariantThumbnail:
|
||||
data = thumbData
|
||||
case domain.VariantCrop:
|
||||
data = cropData
|
||||
case domain.VariantOptimized:
|
||||
data = webpData
|
||||
}
|
||||
|
||||
if err := p.store.Put(jobCtx, key, bytes.NewReader(data), v.SizeBytes, v.ContentType); err != nil {
|
||||
_ = p.jobs.FailJob(context.Background(), a.ID, "storage_error")
|
||||
return fmt.Errorf("загрузка варианта %s: %w", v.Name, err)
|
||||
}
|
||||
v.ObjectKey = key
|
||||
}
|
||||
thumbMeta.ObjectKey = thumbKey
|
||||
|
||||
// 6. Фиксируем результат в БД (переводим в ready)
|
||||
ok, err := p.jobs.CompleteJob(ctx, a.ID, a.PipelineVersion, []domain.AttachmentVariant{*thumbMeta})
|
||||
ok, err := p.jobs.CompleteJob(jobCtx, a.ID, a.PipelineVersion, variants)
|
||||
if err != nil {
|
||||
return fmt.Errorf("фиксация в БД: %w", err)
|
||||
}
|
||||
|
||||
Reference in New Issue
Block a user