lab7: при отказе S3 в credentials — внеочередное чтение секрета и повтор; Redis ACL api +decr (возврат слота лимита)

This commit is contained in:
2026-11-12 19:59:49 +03:00
parent 8041d5c02a
commit b862899b97
5 changed files with 140 additions and 4 deletions
+78 -2
View File
@@ -17,6 +17,8 @@ import (
"crypto/tls"
"crypto/x509"
"fmt"
"io"
"log/slog"
"net/url"
"os"
"strings"
@@ -116,7 +118,7 @@ func (p *Platform) Redis(ctx context.Context) (*redis.Client, error) {
}
// S3 — TLS к MinIO, ключ сервиса из OpenBao.
func (p *Platform) S3() (*storage.S3, error) {
func (p *Platform) S3() (storage.Store, error) {
if p.Secrets == nil {
return storage.NewS3(p.Cfg.S3Endpoint, p.Cfg.S3Region, p.Cfg.S3Bucket, p.Cfg.S3AccessKey, p.Cfg.S3SecretKey)
}
@@ -124,8 +126,12 @@ func (p *Platform) S3() (*storage.S3, error) {
if err != nil {
return nil, err
}
return storage.NewS3WithCreds(p.Cfg.S3Endpoint, p.Cfg.S3Region, p.Cfg.S3Bucket,
st, err := storage.NewS3WithCreds(p.Cfg.S3Endpoint, p.Cfg.S3Region, p.Cfg.S3Bucket,
credentials.New(&s3Provider{m: p.Secrets}), pool)
if err != nil {
return nil, err
}
return authRetryStore{Store: st, m: p.Secrets}, nil
}
// BrokerTLS — mTLS к RabbitMQ (пользователь = CN сертификата, SASL EXTERNAL).
@@ -163,3 +169,73 @@ func (s *s3Provider) IsExpired() bool {
defer s.mu.Unlock()
return s.m.Version() != s.ver
}
// authRetryStore: S3 отверг ключ (InvalidAccessKeyId/SignatureDoesNotMatch) →
// внеочередное чтение секрета из OpenBao и один повтор, если версия сменилась.
// Так ротация/отзыв ключа S3 (сначала MinIO, затем KV) не сжигает попытки работ
// в окне до планового обновления секретов (SECRETS_REFRESH).
type authRetryStore struct {
storage.Store
m *secrets.Manager
}
func (s authRetryStore) retry(ctx context.Context, err error) bool {
if err == nil || !storage.IsAuthError(err) {
return false
}
changed := s.m.SyncNow(ctx)
if changed {
slog.Info("s3 credentials refreshed after auth error", "event", "secrets.s3_auth_retry", "version", s.m.Version())
}
return changed
}
func (s authRetryStore) Put(ctx context.Context, key string, r io.Reader, size int64, ct string) error {
err := s.Store.Put(ctx, key, r, size, ct)
if sk, ok := r.(io.Seeker); ok && s.retry(ctx, err) {
if _, serr := sk.Seek(0, io.SeekStart); serr == nil {
return s.Store.Put(ctx, key, r, size, ct)
}
}
return err
}
func (s authRetryStore) Get(ctx context.Context, key string) (io.ReadCloser, int64, error) {
rc, n, err := s.Store.Get(ctx, key)
if s.retry(ctx, err) {
return s.Store.Get(ctx, key)
}
return rc, n, err
}
func (s authRetryStore) Stat(ctx context.Context, key string) (storage.Object, error) {
o, err := s.Store.Stat(ctx, key)
if s.retry(ctx, err) {
return s.Store.Stat(ctx, key)
}
return o, err
}
func (s authRetryStore) Delete(ctx context.Context, key string) error {
err := s.Store.Delete(ctx, key)
if s.retry(ctx, err) {
return s.Store.Delete(ctx, key)
}
return err
}
func (s authRetryStore) Copy(ctx context.Context, src, dst string) error {
err := s.Store.Copy(ctx, src, dst)
if s.retry(ctx, err) {
return s.Store.Copy(ctx, src, dst)
}
return err
}
func (s authRetryStore) List(ctx context.Context, prefix string, fn func(storage.Object) error) error {
err := s.Store.List(ctx, prefix, fn)
if s.retry(ctx, err) {
return s.Store.List(ctx, prefix, fn)
}
return err
}
+25 -1
View File
@@ -44,6 +44,9 @@ type Manager struct {
version int
lastOK time.Time
lastErr string
syncMu sync.Mutex // фоновый цикл и SyncNow не синхронизируются одновременно
lastSync time.Time
}
// Config — адрес OpenBao (https), роль cert-auth и путь KV v2 (mount secret).
@@ -94,7 +97,11 @@ func (m *Manager) loop(ctx context.Context) {
case <-ctx.Done():
return
case <-t.C:
if err := m.sync(ctx); err != nil {
m.syncMu.Lock()
err := m.sync(ctx)
m.lastSync = time.Now()
m.syncMu.Unlock()
if err != nil {
m.mu.Lock()
m.lastErr = err.Error()
m.mu.Unlock()
@@ -228,6 +235,23 @@ func (m *Manager) call(ctx context.Context, method, path, token string, body any
return json.Unmarshal(raw, out)
}
// SyncNow — внеочередное чтение секрета, когда зависимость отвергла credentials
// (оператор уже сменил ключ в хранилище, а плановое обновление ещё не наступило).
// Не чаще раза в 2 s: волна ошибок не превращается в волну запросов к OpenBao.
// Возвращает true, если версия секрета изменилась.
func (m *Manager) SyncNow(ctx context.Context) bool {
m.syncMu.Lock()
defer m.syncMu.Unlock()
before := m.Version()
if time.Since(m.lastSync) >= 2*time.Second {
m.lastSync = time.Now()
if err := m.sync(ctx); err != nil {
slog.Warn("secrets sync on auth error failed", "event", "secrets.refresh_failed", "err", err)
}
}
return m.Version() != before
}
// Get — текущее значение ключа (из последней успешной версии).
func (m *Manager) Get(key string) string {
m.mu.RLock()
+26
View File
@@ -0,0 +1,26 @@
package storage
import (
"errors"
"fmt"
"testing"
"github.com/minio/minio-go/v7"
)
func TestIsAuthError(t *testing.T) {
wrap := func(code string) error { return fmt.Errorf("s3 put: %w", minio.ErrorResponse{Code: code}) }
for code, want := range map[string]bool{
"InvalidAccessKeyId": true, // ключ удалён (отзыв)
"SignatureDoesNotMatch": true, // secret key сменён (ротация)
"AccessDenied": false, // отказ политики по префиксу — повтор не поможет
"NoSuchKey": false,
} {
if got := IsAuthError(wrap(code)); got != want {
t.Errorf("%s: got %v, want %v", code, got, want)
}
}
if IsAuthError(errors.New("dial tcp: connection refused")) || IsAuthError(nil) {
t.Error("non-S3 error classified as auth error")
}
}
+10
View File
@@ -74,6 +74,16 @@ func NewS3WithCreds(endpoint, region, bucket string, creds *credentials.Credenti
return &S3{client: c, bucket: bucket}, nil
}
// IsAuthError — S3 отверг credentials (ключ сменён или удалён). AccessDenied сюда не
// входит: это отказ политики по префиксу, повтор с тем же ключом его не исправит.
func IsAuthError(err error) bool {
var er minio.ErrorResponse
if !errors.As(err, &er) {
return false
}
return er.Code == "InvalidAccessKeyId" || er.Code == "SignatureDoesNotMatch"
}
func isNotFound(err error) bool {
code := minio.ToErrorResponse(err).Code
return code == "NoSuchKey" || code == "NotFound"
+1 -1
View File
@@ -170,7 +170,7 @@ def write_backend_files(creds):
'user default off\n'
'user healthcheck on nopass resetkeys resetchannels -@all +ping +hello +auth\n'
'user api on #%s resetchannels ~session:* ~messages:* ~rl:* -@all +@connection '
'+get +set +del +ttl +scan +incr +expire +multi +exec +discard +ping\n'
'+get +set +del +ttl +scan +incr +decr +expire +multi +exec +discard +ping\n'
'user operator on #%s ~* &* +@all\n' % (h, ho))
s3 = OP / 's3_users.txt'
s3.write_text(''.join('%s %s %s\n' % (s, creds[s]['s3_access_key'], creds[s]['s3_secret_key']) for s in SERVICES))