lab7: при отказе S3 в credentials — внеочередное чтение секрета и повтор; Redis ACL api +decr (возврат слота лимита)
This commit is contained in:
@@ -17,6 +17,8 @@ import (
|
||||
"crypto/tls"
|
||||
"crypto/x509"
|
||||
"fmt"
|
||||
"io"
|
||||
"log/slog"
|
||||
"net/url"
|
||||
"os"
|
||||
"strings"
|
||||
@@ -116,7 +118,7 @@ func (p *Platform) Redis(ctx context.Context) (*redis.Client, error) {
|
||||
}
|
||||
|
||||
// S3 — TLS к MinIO, ключ сервиса из OpenBao.
|
||||
func (p *Platform) S3() (*storage.S3, error) {
|
||||
func (p *Platform) S3() (storage.Store, error) {
|
||||
if p.Secrets == nil {
|
||||
return storage.NewS3(p.Cfg.S3Endpoint, p.Cfg.S3Region, p.Cfg.S3Bucket, p.Cfg.S3AccessKey, p.Cfg.S3SecretKey)
|
||||
}
|
||||
@@ -124,8 +126,12 @@ func (p *Platform) S3() (*storage.S3, error) {
|
||||
if err != nil {
|
||||
return nil, err
|
||||
}
|
||||
return storage.NewS3WithCreds(p.Cfg.S3Endpoint, p.Cfg.S3Region, p.Cfg.S3Bucket,
|
||||
st, err := storage.NewS3WithCreds(p.Cfg.S3Endpoint, p.Cfg.S3Region, p.Cfg.S3Bucket,
|
||||
credentials.New(&s3Provider{m: p.Secrets}), pool)
|
||||
if err != nil {
|
||||
return nil, err
|
||||
}
|
||||
return authRetryStore{Store: st, m: p.Secrets}, nil
|
||||
}
|
||||
|
||||
// BrokerTLS — mTLS к RabbitMQ (пользователь = CN сертификата, SASL EXTERNAL).
|
||||
@@ -163,3 +169,73 @@ func (s *s3Provider) IsExpired() bool {
|
||||
defer s.mu.Unlock()
|
||||
return s.m.Version() != s.ver
|
||||
}
|
||||
|
||||
// authRetryStore: S3 отверг ключ (InvalidAccessKeyId/SignatureDoesNotMatch) →
|
||||
// внеочередное чтение секрета из OpenBao и один повтор, если версия сменилась.
|
||||
// Так ротация/отзыв ключа S3 (сначала MinIO, затем KV) не сжигает попытки работ
|
||||
// в окне до планового обновления секретов (SECRETS_REFRESH).
|
||||
type authRetryStore struct {
|
||||
storage.Store
|
||||
m *secrets.Manager
|
||||
}
|
||||
|
||||
func (s authRetryStore) retry(ctx context.Context, err error) bool {
|
||||
if err == nil || !storage.IsAuthError(err) {
|
||||
return false
|
||||
}
|
||||
changed := s.m.SyncNow(ctx)
|
||||
if changed {
|
||||
slog.Info("s3 credentials refreshed after auth error", "event", "secrets.s3_auth_retry", "version", s.m.Version())
|
||||
}
|
||||
return changed
|
||||
}
|
||||
|
||||
func (s authRetryStore) Put(ctx context.Context, key string, r io.Reader, size int64, ct string) error {
|
||||
err := s.Store.Put(ctx, key, r, size, ct)
|
||||
if sk, ok := r.(io.Seeker); ok && s.retry(ctx, err) {
|
||||
if _, serr := sk.Seek(0, io.SeekStart); serr == nil {
|
||||
return s.Store.Put(ctx, key, r, size, ct)
|
||||
}
|
||||
}
|
||||
return err
|
||||
}
|
||||
|
||||
func (s authRetryStore) Get(ctx context.Context, key string) (io.ReadCloser, int64, error) {
|
||||
rc, n, err := s.Store.Get(ctx, key)
|
||||
if s.retry(ctx, err) {
|
||||
return s.Store.Get(ctx, key)
|
||||
}
|
||||
return rc, n, err
|
||||
}
|
||||
|
||||
func (s authRetryStore) Stat(ctx context.Context, key string) (storage.Object, error) {
|
||||
o, err := s.Store.Stat(ctx, key)
|
||||
if s.retry(ctx, err) {
|
||||
return s.Store.Stat(ctx, key)
|
||||
}
|
||||
return o, err
|
||||
}
|
||||
|
||||
func (s authRetryStore) Delete(ctx context.Context, key string) error {
|
||||
err := s.Store.Delete(ctx, key)
|
||||
if s.retry(ctx, err) {
|
||||
return s.Store.Delete(ctx, key)
|
||||
}
|
||||
return err
|
||||
}
|
||||
|
||||
func (s authRetryStore) Copy(ctx context.Context, src, dst string) error {
|
||||
err := s.Store.Copy(ctx, src, dst)
|
||||
if s.retry(ctx, err) {
|
||||
return s.Store.Copy(ctx, src, dst)
|
||||
}
|
||||
return err
|
||||
}
|
||||
|
||||
func (s authRetryStore) List(ctx context.Context, prefix string, fn func(storage.Object) error) error {
|
||||
err := s.Store.List(ctx, prefix, fn)
|
||||
if s.retry(ctx, err) {
|
||||
return s.Store.List(ctx, prefix, fn)
|
||||
}
|
||||
return err
|
||||
}
|
||||
|
||||
@@ -44,6 +44,9 @@ type Manager struct {
|
||||
version int
|
||||
lastOK time.Time
|
||||
lastErr string
|
||||
|
||||
syncMu sync.Mutex // фоновый цикл и SyncNow не синхронизируются одновременно
|
||||
lastSync time.Time
|
||||
}
|
||||
|
||||
// Config — адрес OpenBao (https), роль cert-auth и путь KV v2 (mount secret).
|
||||
@@ -94,7 +97,11 @@ func (m *Manager) loop(ctx context.Context) {
|
||||
case <-ctx.Done():
|
||||
return
|
||||
case <-t.C:
|
||||
if err := m.sync(ctx); err != nil {
|
||||
m.syncMu.Lock()
|
||||
err := m.sync(ctx)
|
||||
m.lastSync = time.Now()
|
||||
m.syncMu.Unlock()
|
||||
if err != nil {
|
||||
m.mu.Lock()
|
||||
m.lastErr = err.Error()
|
||||
m.mu.Unlock()
|
||||
@@ -228,6 +235,23 @@ func (m *Manager) call(ctx context.Context, method, path, token string, body any
|
||||
return json.Unmarshal(raw, out)
|
||||
}
|
||||
|
||||
// SyncNow — внеочередное чтение секрета, когда зависимость отвергла credentials
|
||||
// (оператор уже сменил ключ в хранилище, а плановое обновление ещё не наступило).
|
||||
// Не чаще раза в 2 s: волна ошибок не превращается в волну запросов к OpenBao.
|
||||
// Возвращает true, если версия секрета изменилась.
|
||||
func (m *Manager) SyncNow(ctx context.Context) bool {
|
||||
m.syncMu.Lock()
|
||||
defer m.syncMu.Unlock()
|
||||
before := m.Version()
|
||||
if time.Since(m.lastSync) >= 2*time.Second {
|
||||
m.lastSync = time.Now()
|
||||
if err := m.sync(ctx); err != nil {
|
||||
slog.Warn("secrets sync on auth error failed", "event", "secrets.refresh_failed", "err", err)
|
||||
}
|
||||
}
|
||||
return m.Version() != before
|
||||
}
|
||||
|
||||
// Get — текущее значение ключа (из последней успешной версии).
|
||||
func (m *Manager) Get(key string) string {
|
||||
m.mu.RLock()
|
||||
|
||||
@@ -0,0 +1,26 @@
|
||||
package storage
|
||||
|
||||
import (
|
||||
"errors"
|
||||
"fmt"
|
||||
"testing"
|
||||
|
||||
"github.com/minio/minio-go/v7"
|
||||
)
|
||||
|
||||
func TestIsAuthError(t *testing.T) {
|
||||
wrap := func(code string) error { return fmt.Errorf("s3 put: %w", minio.ErrorResponse{Code: code}) }
|
||||
for code, want := range map[string]bool{
|
||||
"InvalidAccessKeyId": true, // ключ удалён (отзыв)
|
||||
"SignatureDoesNotMatch": true, // secret key сменён (ротация)
|
||||
"AccessDenied": false, // отказ политики по префиксу — повтор не поможет
|
||||
"NoSuchKey": false,
|
||||
} {
|
||||
if got := IsAuthError(wrap(code)); got != want {
|
||||
t.Errorf("%s: got %v, want %v", code, got, want)
|
||||
}
|
||||
}
|
||||
if IsAuthError(errors.New("dial tcp: connection refused")) || IsAuthError(nil) {
|
||||
t.Error("non-S3 error classified as auth error")
|
||||
}
|
||||
}
|
||||
@@ -74,6 +74,16 @@ func NewS3WithCreds(endpoint, region, bucket string, creds *credentials.Credenti
|
||||
return &S3{client: c, bucket: bucket}, nil
|
||||
}
|
||||
|
||||
// IsAuthError — S3 отверг credentials (ключ сменён или удалён). AccessDenied сюда не
|
||||
// входит: это отказ политики по префиксу, повтор с тем же ключом его не исправит.
|
||||
func IsAuthError(err error) bool {
|
||||
var er minio.ErrorResponse
|
||||
if !errors.As(err, &er) {
|
||||
return false
|
||||
}
|
||||
return er.Code == "InvalidAccessKeyId" || er.Code == "SignatureDoesNotMatch"
|
||||
}
|
||||
|
||||
func isNotFound(err error) bool {
|
||||
code := minio.ToErrorResponse(err).Code
|
||||
return code == "NoSuchKey" || code == "NotFound"
|
||||
|
||||
@@ -170,7 +170,7 @@ def write_backend_files(creds):
|
||||
'user default off\n'
|
||||
'user healthcheck on nopass resetkeys resetchannels -@all +ping +hello +auth\n'
|
||||
'user api on #%s resetchannels ~session:* ~messages:* ~rl:* -@all +@connection '
|
||||
'+get +set +del +ttl +scan +incr +expire +multi +exec +discard +ping\n'
|
||||
'+get +set +del +ttl +scan +incr +decr +expire +multi +exec +discard +ping\n'
|
||||
'user operator on #%s ~* &* +@all\n' % (h, ho))
|
||||
s3 = OP / 's3_users.txt'
|
||||
s3.write_text(''.join('%s %s %s\n' % (s, creds[s]['s3_access_key'], creds[s]['s3_secret_key']) for s in SERVICES))
|
||||
|
||||
Reference in New Issue
Block a user