fix: неопределённый исход MarkReady не удаляет объект; 503 вместо 415 при отказе S3
This commit is contained in:
@@ -78,9 +78,14 @@ func declaredType(h string) (string, bool) {
|
||||
//
|
||||
// Порядок: намерение в PostgreSQL (uploading) → потоковый PUT в S3, параллельно
|
||||
// SHA-256 и структурная проверка изображения → status=ready. 201 возвращается
|
||||
// только после того, как и объект, и метаданные сохранены. Любая ошибка после
|
||||
// записи намерения компенсируется (удаление объекта и намерения); если компенсация
|
||||
// не удалась (упали БД/S3/процесс), остаток убирает reconciler после grace period.
|
||||
// только после того, как и объект, и метаданные сохранены.
|
||||
//
|
||||
// Ошибка до MarkReady (проверка, PUT, обрыв клиента) компенсируется сразу:
|
||||
// удаляются объект и намерение. Ошибка самого MarkReady — неопределённый исход:
|
||||
// UPDATE мог дойти до PostgreSQL и закоммититься позже (так и было в тесте с
|
||||
// паузой БД). Поэтому объект НЕ удаляется: остаётся либо ready+объект
|
||||
// (согласовано), либо uploading+объект — это reconciler уберёт после grace.
|
||||
// Состояние «ready без объекта» таким образом исключено.
|
||||
func (s *AttachmentService) Upload(ctx context.Context, ownerID, chatID, filename, contentType string, body io.Reader, contentLength int64) (*domain.Attachment, error) {
|
||||
parsed, err := uuid.Parse(chatID)
|
||||
if err != nil {
|
||||
@@ -160,9 +165,11 @@ func (s *AttachmentService) Upload(ctx context.Context, ownerID, chatID, filenam
|
||||
a.SizeBytes = size
|
||||
a.SHA256 = sum
|
||||
a.UpdatedAt = nowUTC()
|
||||
if err := s.repo.MarkReady(ctx, a); err != nil {
|
||||
// S3 записан, а БД — нет: объект удаляем, намерение — по возможности.
|
||||
s.compensate(ctx, a, err)
|
||||
// Байты уже сохранены: доводим учёт до конца, даже если клиент отвалился.
|
||||
mctx, cancel := context.WithTimeout(context.WithoutCancel(ctx), 10*time.Second)
|
||||
defer cancel()
|
||||
if err := s.repo.MarkReady(mctx, a); err != nil {
|
||||
s.markReadyFailed(ctx, a, err)
|
||||
return nil, ErrUnavailable
|
||||
}
|
||||
return a, nil
|
||||
@@ -170,6 +177,20 @@ func (s *AttachmentService) Upload(ctx context.Context, ownerID, chatID, filenam
|
||||
|
||||
var errClientBody = errors.New("request body read failed")
|
||||
|
||||
// trackingReader запоминает ошибку чтения, отличную от EOF.
|
||||
type trackingReader struct {
|
||||
r io.Reader
|
||||
err error
|
||||
}
|
||||
|
||||
func (t *trackingReader) Read(p []byte) (int, error) {
|
||||
n, err := t.r.Read(p)
|
||||
if err != nil && err != io.EOF {
|
||||
t.err = err
|
||||
}
|
||||
return n, err
|
||||
}
|
||||
|
||||
type bodyReader struct{ r io.Reader }
|
||||
|
||||
func (b bodyReader) Read(p []byte) (int, error) {
|
||||
@@ -186,7 +207,14 @@ func (s *AttachmentService) putValidated(ctx context.Context, key string, body i
|
||||
pr, pw := io.Pipe()
|
||||
valErr := make(chan error, 1)
|
||||
go func() {
|
||||
_, err := imagecheck.Validate(pr, format, s.maxPixels)
|
||||
tr := &trackingReader{r: pr}
|
||||
_, err := imagecheck.Validate(tr, format, s.maxPixels)
|
||||
if tr.err != nil {
|
||||
// Поток оборвали снаружи (PUT в S3 упал или клиент отвалился):
|
||||
// изображение тут ни при чём, причину определит putErr.
|
||||
valErr <- nil
|
||||
return
|
||||
}
|
||||
if err != nil {
|
||||
pr.CloseWithError(err) // прерывает PUT: дальше писать некуда
|
||||
}
|
||||
@@ -219,6 +247,20 @@ func (s *AttachmentService) putValidated(ctx context.Context, key string, body i
|
||||
return hex.EncodeToString(h.Sum(nil)), nil
|
||||
}
|
||||
|
||||
// markReadyFailed: исход UPDATE неизвестен — объект оставляем. Пробуем убрать
|
||||
// намерение (DELETE ... WHERE status='uploading' безопасен при любом исходе:
|
||||
// если UPDATE уже закоммичен, он ничего не удалит). Если и это не удалось —
|
||||
// uploading+объект уберёт reconciler после grace period.
|
||||
func (s *AttachmentService) markReadyFailed(ctx context.Context, a *domain.Attachment, cause error) {
|
||||
cctx, cancel := context.WithTimeout(context.WithoutCancel(ctx), 10*time.Second)
|
||||
defer cancel()
|
||||
if err := s.repo.DeleteIntent(cctx, a.ID); err != nil {
|
||||
slog.Warn("mark ready failed, intent left for reconciler", "attachment_id", a.ID, "cause", cause.Error(), "err", err)
|
||||
return
|
||||
}
|
||||
slog.Warn("mark ready failed, object left for reconciler", "attachment_id", a.ID, "cause", cause.Error())
|
||||
}
|
||||
|
||||
// compensate убирает следы неудачной загрузки. Работает и после обрыва клиента
|
||||
// (контекст запроса отменён), поэтому использует отдельный контекст.
|
||||
func (s *AttachmentService) compensate(ctx context.Context, a *domain.Attachment, cause error) {
|
||||
|
||||
@@ -0,0 +1,96 @@
|
||||
package service
|
||||
|
||||
import (
|
||||
"bytes"
|
||||
"context"
|
||||
"errors"
|
||||
"image"
|
||||
"image/color"
|
||||
"image/png"
|
||||
"io"
|
||||
"testing"
|
||||
|
||||
"github.com/charawein/mtusi2026lab4/internal/storage"
|
||||
)
|
||||
|
||||
// failingStore читает failAfter байт и падает — как PUT в недоступный S3.
|
||||
type failingStore struct {
|
||||
storage.Store
|
||||
failAfter int64
|
||||
got []byte
|
||||
}
|
||||
|
||||
func (f *failingStore) Put(_ context.Context, _ string, r io.Reader, size int64, _ string) error {
|
||||
if f.failAfter < 0 {
|
||||
b, err := io.ReadAll(r)
|
||||
f.got = b
|
||||
return err
|
||||
}
|
||||
b, err := io.ReadAll(io.LimitReader(r, f.failAfter))
|
||||
f.got = b
|
||||
if err != nil {
|
||||
return err
|
||||
}
|
||||
return errors.New("s3 put: connection refused")
|
||||
}
|
||||
|
||||
type errReader struct{ data []byte }
|
||||
|
||||
func (e *errReader) Read(p []byte) (int, error) {
|
||||
if len(e.data) == 0 {
|
||||
return 0, errors.New("connection reset by peer")
|
||||
}
|
||||
n := copy(p, e.data)
|
||||
e.data = e.data[n:]
|
||||
return n, nil
|
||||
}
|
||||
|
||||
func samplePNG(t *testing.T) []byte {
|
||||
img := image.NewRGBA(image.Rect(0, 0, 200, 150))
|
||||
for y := 0; y < 150; y++ {
|
||||
for x := 0; x < 200; x++ {
|
||||
img.Set(x, y, color.RGBA{uint8(x), uint8(y), uint8(x ^ y), 255})
|
||||
}
|
||||
}
|
||||
var b bytes.Buffer
|
||||
if err := png.Encode(&b, img); err != nil {
|
||||
t.Fatal(err)
|
||||
}
|
||||
return b.Bytes()
|
||||
}
|
||||
|
||||
func TestPutValidatedClassifiesCause(t *testing.T) {
|
||||
data := samplePNG(t)
|
||||
size := int64(len(data))
|
||||
svc := &AttachmentService{maxBytes: 10 << 20, maxPixels: 40_000_000}
|
||||
|
||||
// S3 падает посреди потока: это 503, а не «битое изображение».
|
||||
svc.store = &failingStore{failAfter: size / 3}
|
||||
if _, err := svc.putValidated(context.Background(), "k", bytes.NewReader(data), size, "image/png"); !errors.Is(err, ErrUnavailable) {
|
||||
t.Errorf("s3 failure mid-stream: got %v, want ErrUnavailable", err)
|
||||
}
|
||||
// S3 падает сразу.
|
||||
svc.store = &failingStore{failAfter: 0}
|
||||
if _, err := svc.putValidated(context.Background(), "k", bytes.NewReader(data), size, "image/png"); !errors.Is(err, ErrUnavailable) {
|
||||
t.Errorf("s3 failure at start: got %v, want ErrUnavailable", err)
|
||||
}
|
||||
// Клиент оборвал тело: 400, не 415 и не 503.
|
||||
svc.store = &failingStore{failAfter: -1}
|
||||
if _, err := svc.putValidated(context.Background(), "k", &errReader{data: data[:len(data)/2]}, size, "image/png"); !errors.Is(err, ErrInvalidInput) {
|
||||
t.Errorf("client body error: got %v, want ErrInvalidInput", err)
|
||||
}
|
||||
// Битое изображение при исправном S3: 415.
|
||||
bad := bytes.Clone(data)
|
||||
bad[len(bad)/2] ^= 0xFF
|
||||
svc.store = &failingStore{failAfter: -1}
|
||||
if _, err := svc.putValidated(context.Background(), "k", bytes.NewReader(bad), size, "image/png"); !errors.Is(err, ErrUnsupportedMedia) {
|
||||
t.Errorf("corrupt image: got %v, want ErrUnsupportedMedia", err)
|
||||
}
|
||||
// Всё хорошо: SHA-256 и байты целиком дошли до S3.
|
||||
ok := &failingStore{failAfter: -1}
|
||||
svc.store = ok
|
||||
sum, err := svc.putValidated(context.Background(), "k", bytes.NewReader(data), size, "image/png")
|
||||
if err != nil || len(sum) != 64 || !bytes.Equal(ok.got, data) {
|
||||
t.Errorf("valid upload: sum=%q err=%v bytes_equal=%v", sum, err, bytes.Equal(ok.got, data))
|
||||
}
|
||||
}
|
||||
@@ -137,11 +137,14 @@ def scenario_db_gap(c):
|
||||
time.sleep(max(0, 45 - (time.time() - state.get('paused_at', time.time()))))
|
||||
compose('unpause', 'postgres')
|
||||
wait_ready(c)
|
||||
time.sleep(3) # отложенный UPDATE (если был) успевает закоммититься после unpause
|
||||
rows = psql("SELECT id || ' ' || status FROM attachments WHERE chat_id = '%s'" % chat['id'])
|
||||
objs = mc('mc ls --recursive s3/%s/a/%s/ | wc -l' % (BUCKET, chat['id'])).stdout.strip()
|
||||
status_after = rows.split()[-1] if rows else 'none'
|
||||
check(st != 201, 'upload must not report success when metadata was not committed (got %s)' % st)
|
||||
check(rows.endswith(' uploading'), 'expected one leftover intent, got %r' % rows)
|
||||
check(objs == '0', 'compensation must delete the object, objects=' + objs)
|
||||
# Главный инвариант: нет строки ready без объекта.
|
||||
check(not (status_after == 'ready' and objs == '0'), 'ready row without object: %r objs=%s' % (rows, objs))
|
||||
check(status_after in ('ready', 'uploading', 'none'), 'unexpected state %r' % rows)
|
||||
# Reconciler (короткий grace для теста) убирает брошенное намерение.
|
||||
psql("UPDATE attachments SET updated_at = now() - interval '30 minutes' WHERE chat_id = '%s'" % chat['id'])
|
||||
for _ in range(10):
|
||||
@@ -152,10 +155,14 @@ def scenario_db_gap(c):
|
||||
time.sleep(2)
|
||||
check(r.returncode in (0, 4), 'reconcile failed: ' + r.stderr[-300:])
|
||||
rep = json.loads(r.stdout.strip().splitlines()[-1])
|
||||
after = psql("SELECT count(*) FROM attachments WHERE chat_id = '%s'" % chat['id'])
|
||||
check(after == '0', 'reconciler did not remove stale intent')
|
||||
return {'client_status': st, 'seconds': round(time.time() - t0, 1), 'after_gap': {'rows': rows.split()[-1], 'objects': int(objs)},
|
||||
'reconciler_fixed': rep['fixed'], 'rows_after_reconcile': int(after)}
|
||||
final = psql("SELECT status FROM attachments WHERE chat_id = '%s'" % chat['id'])
|
||||
final_objs = mc('mc ls --recursive s3/%s/a/%s/ | wc -l' % (BUCKET, chat['id'])).stdout.strip()
|
||||
# После reconciler — только согласованные состояния: (ready, 1 объект) или (нет строки, 0 объектов).
|
||||
check((final == 'ready' and final_objs == '1') or (final == '' and final_objs == '0'),
|
||||
'inconsistent after reconcile: row=%r objects=%s' % (final, final_objs))
|
||||
return {'client_status': st, 'seconds': round(time.time() - t0, 1),
|
||||
'after_gap': {'row_status': status_after, 'objects': int(objs)},
|
||||
'reconciler_fixed': rep['fixed'], 'after_reconcile': {'row_status': final or 'none', 'objects': int(final_objs)}}
|
||||
|
||||
|
||||
def scenario_security(c):
|
||||
|
||||
Reference in New Issue
Block a user