Files
mtusi2026lab6/backend/cmd/worker/main.go
T

174 lines
4.8 KiB
Go

package main
import (
"context"
"encoding/json"
"log"
"log/slog"
"os"
"os/signal"
"syscall"
"time"
amqp "github.com/rabbitmq/amqp091-go"
"go.opentelemetry.io/otel/attribute"
"go.opentelemetry.io/otel/codes"
"go.opentelemetry.io/otel/trace"
"high-loud-apps-labs/internal/config"
"high-loud-apps-labs/internal/domain"
"high-loud-apps-labs/internal/storage/postgres"
s3store "high-loud-apps-labs/internal/storage/s3"
"high-loud-apps-labs/internal/telemetry"
"high-loud-apps-labs/internal/worker"
)
func main() {
cfg, err := config.Load()
if err != nil {
log.Fatalf("конфигурация: %v", err)
}
instanceID := os.Getenv("INSTANCE_ID")
if instanceID == "" {
instanceID, _ = os.Hostname()
}
tel, err := telemetry.Setup(context.Background(), telemetry.SetupConfig{
ServiceName: "messenger-worker",
ServiceVersion: "1.6.0",
InstanceID: instanceID,
Environment: "lab",
})
if err != nil {
log.Fatalf("телеметрия: %v", err)
}
defer func() {
ctx, cancel := context.WithTimeout(context.Background(), 10*time.Second)
defer cancel()
if err := tel.Shutdown(ctx); err != nil {
log.Printf("остановка телеметрии: %v", err)
}
}()
slog.SetDefault(tel.Logger)
ctx := context.Background()
pool, err := postgres.Connect(ctx, postgres.Config{URL: cfg.DatabaseURL})
if err != nil {
slog.Error("Ошибка подключения к БД", "error", err)
os.Exit(1)
}
defer pool.Close()
registration, err := postgres.ObservePool(pool)
if err != nil {
slog.Warn("Не удалось зарегистрировать метрики пула", "error", err)
} else {
defer registration.Unregister()
}
store := postgres.New(pool)
objectStorage, err := s3store.New(ctx, s3store.Config{
Endpoint: cfg.S3Endpoint,
Bucket: cfg.S3Bucket,
AccessKey: cfg.S3AccessKey,
SecretKey: cfg.S3SecretKey,
UseSSL: cfg.S3UseSSL,
Region: cfg.S3Region,
})
if err != nil {
slog.Error("Ошибка подключения к S3", "error", err)
os.Exit(1)
}
pipeline := worker.NewPipeline(store.Attachments(), objectStorage, store.Variants(), store.FailedJobs(), store.Outbox())
// Цикл переподключения к RabbitMQ
for {
err := runWorker(ctx, cfg, pipeline)
if err == nil {
break // Нормальное завершение по сигналу
}
slog.Error("Ошибка соединения worker, перезапуск через 5 секунд", "error", err)
time.Sleep(5 * time.Second)
}
}
func runWorker(ctx context.Context, cfg *config.Config, pipeline *worker.Pipeline) error {
conn, err := amqp.Dial(cfg.RabbitMQURL)
if err != nil {
return err
}
defer conn.Close()
ch, err := conn.Channel()
if err != nil {
return err
}
defer ch.Close()
ch.Qos(2, 0, false)
q, err := ch.QueueDeclare("attachments.process", true, false, false, false, nil)
if err != nil {
return err
}
msgs, err := ch.Consume(q.Name, "", false, false, false, false, nil)
if err != nil {
return err
}
slog.Info("Worker запущен и слушает очередь")
quit := make(chan os.Signal, 1)
signal.Notify(quit, syscall.SIGINT, syscall.SIGTERM)
defer signal.Stop(quit)
for {
select {
case <-quit:
slog.Info("Worker получил сигнал завершения, останавливаемся...")
return nil
case d, ok := <-msgs:
if !ok {
return context.Canceled // Канал закрыт (соединение разорвано)
}
if err := consume(ctx, d, pipeline); err != nil {
return err
}
}
}
}
func consume(ctx context.Context, d amqp.Delivery, pipeline *worker.Pipeline) (ackErr error) {
headers := make(map[string]string, 2)
for _, key := range []string{"traceparent", "tracestate"} {
if value, ok := d.Headers[key].(string); ok {
headers[key] = value
}
}
ctx, span := telemetry.Tracer("worker").Start(telemetry.ExtractTrace(ctx, headers),
"attachments.process process", trace.WithSpanKind(trace.SpanKindConsumer),
trace.WithAttributes(attribute.String("messaging.system", "rabbitmq"),
attribute.String("messaging.destination.name", "attachments.process")))
defer func() {
if ackErr != nil {
span.SetStatus(codes.Error, "ошибка подтверждения доставки")
}
span.End()
}()
var msg domain.JobMessage
if err := json.Unmarshal(d.Body, &msg); err != nil {
span.SetStatus(codes.Error, "повреждённое сообщение")
slog.ErrorContext(ctx, "Неверный JSON задания", "event", "job.invalid")
return d.Nack(false, false)
}
if err := pipeline.Process(ctx, msg.AttachmentID, msg.PipelineVersion); err != nil {
span.SetStatus(codes.Error, "ошибка обработки")
slog.ErrorContext(ctx, "Повторная доставка задания", "event", "job.requeue")
return d.Nack(false, true)
}
return d.Ack(false)
}