diff --git a/internal/platform/platform.go b/internal/platform/platform.go index 8b89aa3..9307b55 100644 --- a/internal/platform/platform.go +++ b/internal/platform/platform.go @@ -17,6 +17,8 @@ import ( "crypto/tls" "crypto/x509" "fmt" + "io" + "log/slog" "net/url" "os" "strings" @@ -116,7 +118,7 @@ func (p *Platform) Redis(ctx context.Context) (*redis.Client, error) { } // S3 — TLS к MinIO, ключ сервиса из OpenBao. -func (p *Platform) S3() (*storage.S3, error) { +func (p *Platform) S3() (storage.Store, error) { if p.Secrets == nil { return storage.NewS3(p.Cfg.S3Endpoint, p.Cfg.S3Region, p.Cfg.S3Bucket, p.Cfg.S3AccessKey, p.Cfg.S3SecretKey) } @@ -124,8 +126,12 @@ func (p *Platform) S3() (*storage.S3, error) { if err != nil { return nil, err } - return storage.NewS3WithCreds(p.Cfg.S3Endpoint, p.Cfg.S3Region, p.Cfg.S3Bucket, + st, err := storage.NewS3WithCreds(p.Cfg.S3Endpoint, p.Cfg.S3Region, p.Cfg.S3Bucket, credentials.New(&s3Provider{m: p.Secrets}), pool) + if err != nil { + return nil, err + } + return authRetryStore{Store: st, m: p.Secrets}, nil } // BrokerTLS — mTLS к RabbitMQ (пользователь = CN сертификата, SASL EXTERNAL). @@ -163,3 +169,73 @@ func (s *s3Provider) IsExpired() bool { defer s.mu.Unlock() return s.m.Version() != s.ver } + +// authRetryStore: S3 отверг ключ (InvalidAccessKeyId/SignatureDoesNotMatch) → +// внеочередное чтение секрета из OpenBao и один повтор, если версия сменилась. +// Так ротация/отзыв ключа S3 (сначала MinIO, затем KV) не сжигает попытки работ +// в окне до планового обновления секретов (SECRETS_REFRESH). +type authRetryStore struct { + storage.Store + m *secrets.Manager +} + +func (s authRetryStore) retry(ctx context.Context, err error) bool { + if err == nil || !storage.IsAuthError(err) { + return false + } + changed := s.m.SyncNow(ctx) + if changed { + slog.Info("s3 credentials refreshed after auth error", "event", "secrets.s3_auth_retry", "version", s.m.Version()) + } + return changed +} + +func (s authRetryStore) Put(ctx context.Context, key string, r io.Reader, size int64, ct string) error { + err := s.Store.Put(ctx, key, r, size, ct) + if sk, ok := r.(io.Seeker); ok && s.retry(ctx, err) { + if _, serr := sk.Seek(0, io.SeekStart); serr == nil { + return s.Store.Put(ctx, key, r, size, ct) + } + } + return err +} + +func (s authRetryStore) Get(ctx context.Context, key string) (io.ReadCloser, int64, error) { + rc, n, err := s.Store.Get(ctx, key) + if s.retry(ctx, err) { + return s.Store.Get(ctx, key) + } + return rc, n, err +} + +func (s authRetryStore) Stat(ctx context.Context, key string) (storage.Object, error) { + o, err := s.Store.Stat(ctx, key) + if s.retry(ctx, err) { + return s.Store.Stat(ctx, key) + } + return o, err +} + +func (s authRetryStore) Delete(ctx context.Context, key string) error { + err := s.Store.Delete(ctx, key) + if s.retry(ctx, err) { + return s.Store.Delete(ctx, key) + } + return err +} + +func (s authRetryStore) Copy(ctx context.Context, src, dst string) error { + err := s.Store.Copy(ctx, src, dst) + if s.retry(ctx, err) { + return s.Store.Copy(ctx, src, dst) + } + return err +} + +func (s authRetryStore) List(ctx context.Context, prefix string, fn func(storage.Object) error) error { + err := s.Store.List(ctx, prefix, fn) + if s.retry(ctx, err) { + return s.Store.List(ctx, prefix, fn) + } + return err +} diff --git a/internal/secrets/openbao.go b/internal/secrets/openbao.go index fd01312..202c9d5 100644 --- a/internal/secrets/openbao.go +++ b/internal/secrets/openbao.go @@ -44,6 +44,9 @@ type Manager struct { version int lastOK time.Time lastErr string + + syncMu sync.Mutex // фоновый цикл и SyncNow не синхронизируются одновременно + lastSync time.Time } // Config — адрес OpenBao (https), роль cert-auth и путь KV v2 (mount secret). @@ -94,7 +97,11 @@ func (m *Manager) loop(ctx context.Context) { case <-ctx.Done(): return case <-t.C: - if err := m.sync(ctx); err != nil { + m.syncMu.Lock() + err := m.sync(ctx) + m.lastSync = time.Now() + m.syncMu.Unlock() + if err != nil { m.mu.Lock() m.lastErr = err.Error() m.mu.Unlock() @@ -228,6 +235,23 @@ func (m *Manager) call(ctx context.Context, method, path, token string, body any return json.Unmarshal(raw, out) } +// SyncNow — внеочередное чтение секрета, когда зависимость отвергла credentials +// (оператор уже сменил ключ в хранилище, а плановое обновление ещё не наступило). +// Не чаще раза в 2 s: волна ошибок не превращается в волну запросов к OpenBao. +// Возвращает true, если версия секрета изменилась. +func (m *Manager) SyncNow(ctx context.Context) bool { + m.syncMu.Lock() + defer m.syncMu.Unlock() + before := m.Version() + if time.Since(m.lastSync) >= 2*time.Second { + m.lastSync = time.Now() + if err := m.sync(ctx); err != nil { + slog.Warn("secrets sync on auth error failed", "event", "secrets.refresh_failed", "err", err) + } + } + return m.Version() != before +} + // Get — текущее значение ключа (из последней успешной версии). func (m *Manager) Get(key string) string { m.mu.RLock() diff --git a/internal/storage/autherr_test.go b/internal/storage/autherr_test.go new file mode 100644 index 0000000..2029c16 --- /dev/null +++ b/internal/storage/autherr_test.go @@ -0,0 +1,26 @@ +package storage + +import ( + "errors" + "fmt" + "testing" + + "github.com/minio/minio-go/v7" +) + +func TestIsAuthError(t *testing.T) { + wrap := func(code string) error { return fmt.Errorf("s3 put: %w", minio.ErrorResponse{Code: code}) } + for code, want := range map[string]bool{ + "InvalidAccessKeyId": true, // ключ удалён (отзыв) + "SignatureDoesNotMatch": true, // secret key сменён (ротация) + "AccessDenied": false, // отказ политики по префиксу — повтор не поможет + "NoSuchKey": false, + } { + if got := IsAuthError(wrap(code)); got != want { + t.Errorf("%s: got %v, want %v", code, got, want) + } + } + if IsAuthError(errors.New("dial tcp: connection refused")) || IsAuthError(nil) { + t.Error("non-S3 error classified as auth error") + } +} diff --git a/internal/storage/s3.go b/internal/storage/s3.go index a6c1583..afd0de0 100644 --- a/internal/storage/s3.go +++ b/internal/storage/s3.go @@ -74,6 +74,16 @@ func NewS3WithCreds(endpoint, region, bucket string, creds *credentials.Credenti return &S3{client: c, bucket: bucket}, nil } +// IsAuthError — S3 отверг credentials (ключ сменён или удалён). AccessDenied сюда не +// входит: это отказ политики по префиксу, повтор с тем же ключом его не исправит. +func IsAuthError(err error) bool { + var er minio.ErrorResponse + if !errors.As(err, &er) { + return false + } + return er.Code == "InvalidAccessKeyId" || er.Code == "SignatureDoesNotMatch" +} + func isNotFound(err error) bool { code := minio.ToErrorResponse(err).Code return code == "NoSuchKey" || code == "NotFound" diff --git a/scripts/bootstrap.py b/scripts/bootstrap.py index a360fca..7204f85 100644 --- a/scripts/bootstrap.py +++ b/scripts/bootstrap.py @@ -170,7 +170,7 @@ def write_backend_files(creds): 'user default off\n' 'user healthcheck on nopass resetkeys resetchannels -@all +ping +hello +auth\n' 'user api on #%s resetchannels ~session:* ~messages:* ~rl:* -@all +@connection ' - '+get +set +del +ttl +scan +incr +expire +multi +exec +discard +ping\n' + '+get +set +del +ttl +scan +incr +decr +expire +multi +exec +discard +ping\n' 'user operator on #%s ~* &* +@all\n' % (h, ho)) s3 = OP / 's3_users.txt' s3.write_text(''.join('%s %s %s\n' % (s, creds[s]['s3_access_key'], creds[s]['s3_secret_key']) for s in SERVICES))