Files
mtusi2026lab6/app/cmd/janitor/main.go
T

105 lines
3.7 KiB
Go

// janitor — очиститель объектов S3 без метаданных. Отдельный сервис со своими credentials S3: API
// не имеет права на листинг, а очиститель не имеет права читать содержимое файлов.
//
// Постоянная работа: janitor. Один проход: janitor -once. Только отчёт: janitor -once -dry-run.
// Настройки: JANITOR_GRACE_SECONDS, JANITOR_INTERVAL_SECONDS, JANITOR_MAX_DELETES, JANITOR_DRY_RUN.
package main
import (
"context"
"encoding/json"
"flag"
"fmt"
"log/slog"
"os"
"os/signal"
"syscall"
"time"
"gitflic.ru/project/relationskatie/mtusi2026lab1-ashchkl/internal/config"
"gitflic.ru/project/relationskatie/mtusi2026lab1-ashchkl/internal/janitor"
"gitflic.ru/project/relationskatie/mtusi2026lab1-ashchkl/internal/logging"
"gitflic.ru/project/relationskatie/mtusi2026lab1-ashchkl/internal/objectstore"
"gitflic.ru/project/relationskatie/mtusi2026lab1-ashchkl/internal/service"
"gitflic.ru/project/relationskatie/mtusi2026lab1-ashchkl/internal/store/db"
)
// passTimeout ограничивает один проход: зависший S3 не должен останавливать очиститель навсегда.
const passTimeout = 10 * time.Minute
func main() {
once := flag.Bool("once", false, "выполнить один проход и завершиться")
dryRun := flag.Bool("dry-run", false, "только отчёт, ничего не удалять")
flag.Parse()
if err := run(*once, *dryRun); err != nil {
fmt.Fprintln(os.Stderr, "janitor:", err)
os.Exit(1)
}
}
func run(once, dryRun bool) error {
cfg, err := config.Load()
if err != nil {
return err
}
logger, err := logging.New(cfg.Logger.Level, cfg.Env, cfg.Version)
if err != nil {
return err
}
ctx, stop := signal.NotifyContext(context.Background(), os.Interrupt, syscall.SIGTERM)
defer stop()
pool, err := db.Connect(ctx, cfg.Database)
if err != nil {
return err
}
storage := db.New(pool, time.Duration(cfg.Database.QueryTimeoutMs)*time.Millisecond)
defer storage.Close()
objects, err := objectstore.NewS3(cfg.S3)
if err != nil {
return err
}
opts := janitor.Options{
Prefix: service.ObjectKeyPrefix,
Grace: time.Duration(cfg.Janitor.GraceSeconds) * time.Second,
MaxDeletes: cfg.Janitor.MaxDeletes,
DryRun: cfg.Janitor.DryRun || dryRun,
Now: time.Now,
Logger: logger,
}
pass := func() error {
passCtx, cancel := context.WithTimeout(ctx, passTimeout)
defer cancel()
report, err := janitor.Run(passCtx, objects, storage.Attachments, opts)
logger.Info("janitor pass", slog.Any("report", report), slog.Duration("elapsed", report.Elapsed), slog.Any("err", err))
if once {
// Машиночитаемый итог для проверок: stdout содержит и этот объект, и строки журнала.
if line, jsonErr := json.Marshal(struct {
Report janitor.Report `json:"janitor_report"`
}{report}); jsonErr == nil {
fmt.Println(string(line))
}
}
return err
}
if once {
return pass()
}
// Первый проход сразу: после простоя очистителя мусор не ждёт ещё один интервал.
ticker := time.NewTicker(time.Duration(cfg.Janitor.IntervalSeconds) * time.Second)
defer ticker.Stop()
for {
// Ошибка прохода не фатальна: S3 или БД вернутся, следующий проход повторит работу.
if err := pass(); err != nil {
logger.Warn("janitor pass failed", slog.Any("err", err))
}
select {
case <-ctx.Done():
return nil
case <-ticker.C:
}
}
}