forked from mtusi2026/mtusi2026lab6
105 lines
3.7 KiB
Go
105 lines
3.7 KiB
Go
// janitor — очиститель объектов S3 без метаданных. Отдельный сервис со своими credentials S3: API
|
|
// не имеет права на листинг, а очиститель не имеет права читать содержимое файлов.
|
|
//
|
|
// Постоянная работа: janitor. Один проход: janitor -once. Только отчёт: janitor -once -dry-run.
|
|
// Настройки: JANITOR_GRACE_SECONDS, JANITOR_INTERVAL_SECONDS, JANITOR_MAX_DELETES, JANITOR_DRY_RUN.
|
|
package main
|
|
|
|
import (
|
|
"context"
|
|
"encoding/json"
|
|
"flag"
|
|
"fmt"
|
|
"log/slog"
|
|
"os"
|
|
"os/signal"
|
|
"syscall"
|
|
"time"
|
|
|
|
"gitflic.ru/project/relationskatie/mtusi2026lab1-ashchkl/internal/config"
|
|
"gitflic.ru/project/relationskatie/mtusi2026lab1-ashchkl/internal/janitor"
|
|
"gitflic.ru/project/relationskatie/mtusi2026lab1-ashchkl/internal/logging"
|
|
"gitflic.ru/project/relationskatie/mtusi2026lab1-ashchkl/internal/objectstore"
|
|
"gitflic.ru/project/relationskatie/mtusi2026lab1-ashchkl/internal/service"
|
|
"gitflic.ru/project/relationskatie/mtusi2026lab1-ashchkl/internal/store/db"
|
|
)
|
|
|
|
// passTimeout ограничивает один проход: зависший S3 не должен останавливать очиститель навсегда.
|
|
const passTimeout = 10 * time.Minute
|
|
|
|
func main() {
|
|
once := flag.Bool("once", false, "выполнить один проход и завершиться")
|
|
dryRun := flag.Bool("dry-run", false, "только отчёт, ничего не удалять")
|
|
flag.Parse()
|
|
if err := run(*once, *dryRun); err != nil {
|
|
fmt.Fprintln(os.Stderr, "janitor:", err)
|
|
os.Exit(1)
|
|
}
|
|
}
|
|
|
|
func run(once, dryRun bool) error {
|
|
cfg, err := config.Load()
|
|
if err != nil {
|
|
return err
|
|
}
|
|
logger, err := logging.New(cfg.Logger.Level, cfg.Env, cfg.Version)
|
|
if err != nil {
|
|
return err
|
|
}
|
|
ctx, stop := signal.NotifyContext(context.Background(), os.Interrupt, syscall.SIGTERM)
|
|
defer stop()
|
|
|
|
pool, err := db.Connect(ctx, cfg.Database)
|
|
if err != nil {
|
|
return err
|
|
}
|
|
storage := db.New(pool, time.Duration(cfg.Database.QueryTimeoutMs)*time.Millisecond)
|
|
defer storage.Close()
|
|
objects, err := objectstore.NewS3(cfg.S3)
|
|
if err != nil {
|
|
return err
|
|
}
|
|
|
|
opts := janitor.Options{
|
|
Prefix: service.ObjectKeyPrefix,
|
|
Grace: time.Duration(cfg.Janitor.GraceSeconds) * time.Second,
|
|
MaxDeletes: cfg.Janitor.MaxDeletes,
|
|
DryRun: cfg.Janitor.DryRun || dryRun,
|
|
Now: time.Now,
|
|
Logger: logger,
|
|
}
|
|
pass := func() error {
|
|
passCtx, cancel := context.WithTimeout(ctx, passTimeout)
|
|
defer cancel()
|
|
report, err := janitor.Run(passCtx, objects, storage.Attachments, opts)
|
|
logger.Info("janitor pass", slog.Any("report", report), slog.Duration("elapsed", report.Elapsed), slog.Any("err", err))
|
|
if once {
|
|
// Машиночитаемый итог для проверок: stdout содержит и этот объект, и строки журнала.
|
|
if line, jsonErr := json.Marshal(struct {
|
|
Report janitor.Report `json:"janitor_report"`
|
|
}{report}); jsonErr == nil {
|
|
fmt.Println(string(line))
|
|
}
|
|
}
|
|
return err
|
|
}
|
|
if once {
|
|
return pass()
|
|
}
|
|
|
|
// Первый проход сразу: после простоя очистителя мусор не ждёт ещё один интервал.
|
|
ticker := time.NewTicker(time.Duration(cfg.Janitor.IntervalSeconds) * time.Second)
|
|
defer ticker.Stop()
|
|
for {
|
|
// Ошибка прохода не фатальна: S3 или БД вернутся, следующий проход повторит работу.
|
|
if err := pass(); err != nil {
|
|
logger.Warn("janitor pass failed", slog.Any("err", err))
|
|
}
|
|
select {
|
|
case <-ctx.Done():
|
|
return nil
|
|
case <-ticker.C:
|
|
}
|
|
}
|
|
}
|