fix: неопределённый исход MarkReady не удаляет объект; 503 вместо 415 при отказе S3

This commit is contained in:
2026-11-04 20:54:28 +03:00
parent 3ffd41cf3c
commit 5119d0b5fd
3 changed files with 158 additions and 13 deletions
+49 -7
View File
@@ -78,9 +78,14 @@ func declaredType(h string) (string, bool) {
//
// Порядок: намерение в PostgreSQL (uploading) → потоковый PUT в S3, параллельно
// SHA-256 и структурная проверка изображения → status=ready. 201 возвращается
// только после того, как и объект, и метаданные сохранены. Любая ошибка после
// записи намерения компенсируется (удаление объекта и намерения); если компенсация
// не удалась (упали БД/S3/процесс), остаток убирает reconciler после grace period.
// только после того, как и объект, и метаданные сохранены.
//
// Ошибка до MarkReady (проверка, PUT, обрыв клиента) компенсируется сразу:
// удаляются объект и намерение. Ошибка самого MarkReady — неопределённый исход:
// UPDATE мог дойти до PostgreSQL и закоммититься позже (так и было в тесте с
// паузой БД). Поэтому объект НЕ удаляется: остаётся либо ready+объект
// (согласовано), либо uploading+объект — это reconciler уберёт после grace.
// Состояние «ready без объекта» таким образом исключено.
func (s *AttachmentService) Upload(ctx context.Context, ownerID, chatID, filename, contentType string, body io.Reader, contentLength int64) (*domain.Attachment, error) {
parsed, err := uuid.Parse(chatID)
if err != nil {
@@ -160,9 +165,11 @@ func (s *AttachmentService) Upload(ctx context.Context, ownerID, chatID, filenam
a.SizeBytes = size
a.SHA256 = sum
a.UpdatedAt = nowUTC()
if err := s.repo.MarkReady(ctx, a); err != nil {
// S3 записан, а БД — нет: объект удаляем, намерение — по возможности.
s.compensate(ctx, a, err)
// Байты уже сохранены: доводим учёт до конца, даже если клиент отвалился.
mctx, cancel := context.WithTimeout(context.WithoutCancel(ctx), 10*time.Second)
defer cancel()
if err := s.repo.MarkReady(mctx, a); err != nil {
s.markReadyFailed(ctx, a, err)
return nil, ErrUnavailable
}
return a, nil
@@ -170,6 +177,20 @@ func (s *AttachmentService) Upload(ctx context.Context, ownerID, chatID, filenam
var errClientBody = errors.New("request body read failed")
// trackingReader запоминает ошибку чтения, отличную от EOF.
type trackingReader struct {
r io.Reader
err error
}
func (t *trackingReader) Read(p []byte) (int, error) {
n, err := t.r.Read(p)
if err != nil && err != io.EOF {
t.err = err
}
return n, err
}
type bodyReader struct{ r io.Reader }
func (b bodyReader) Read(p []byte) (int, error) {
@@ -186,7 +207,14 @@ func (s *AttachmentService) putValidated(ctx context.Context, key string, body i
pr, pw := io.Pipe()
valErr := make(chan error, 1)
go func() {
_, err := imagecheck.Validate(pr, format, s.maxPixels)
tr := &trackingReader{r: pr}
_, err := imagecheck.Validate(tr, format, s.maxPixels)
if tr.err != nil {
// Поток оборвали снаружи (PUT в S3 упал или клиент отвалился):
// изображение тут ни при чём, причину определит putErr.
valErr <- nil
return
}
if err != nil {
pr.CloseWithError(err) // прерывает PUT: дальше писать некуда
}
@@ -219,6 +247,20 @@ func (s *AttachmentService) putValidated(ctx context.Context, key string, body i
return hex.EncodeToString(h.Sum(nil)), nil
}
// markReadyFailed: исход UPDATE неизвестен — объект оставляем. Пробуем убрать
// намерение (DELETE ... WHERE status='uploading' безопасен при любом исходе:
// если UPDATE уже закоммичен, он ничего не удалит). Если и это не удалось —
// uploading+объект уберёт reconciler после grace period.
func (s *AttachmentService) markReadyFailed(ctx context.Context, a *domain.Attachment, cause error) {
cctx, cancel := context.WithTimeout(context.WithoutCancel(ctx), 10*time.Second)
defer cancel()
if err := s.repo.DeleteIntent(cctx, a.ID); err != nil {
slog.Warn("mark ready failed, intent left for reconciler", "attachment_id", a.ID, "cause", cause.Error(), "err", err)
return
}
slog.Warn("mark ready failed, object left for reconciler", "attachment_id", a.ID, "cause", cause.Error())
}
// compensate убирает следы неудачной загрузки. Работает и после обрыва клиента
// (контекст запроса отменён), поэтому использует отдельный контекст.
func (s *AttachmentService) compensate(ctx context.Context, a *domain.Attachment, cause error) {
+96
View File
@@ -0,0 +1,96 @@
package service
import (
"bytes"
"context"
"errors"
"image"
"image/color"
"image/png"
"io"
"testing"
"github.com/charawein/mtusi2026lab4/internal/storage"
)
// failingStore читает failAfter байт и падает — как PUT в недоступный S3.
type failingStore struct {
storage.Store
failAfter int64
got []byte
}
func (f *failingStore) Put(_ context.Context, _ string, r io.Reader, size int64, _ string) error {
if f.failAfter < 0 {
b, err := io.ReadAll(r)
f.got = b
return err
}
b, err := io.ReadAll(io.LimitReader(r, f.failAfter))
f.got = b
if err != nil {
return err
}
return errors.New("s3 put: connection refused")
}
type errReader struct{ data []byte }
func (e *errReader) Read(p []byte) (int, error) {
if len(e.data) == 0 {
return 0, errors.New("connection reset by peer")
}
n := copy(p, e.data)
e.data = e.data[n:]
return n, nil
}
func samplePNG(t *testing.T) []byte {
img := image.NewRGBA(image.Rect(0, 0, 200, 150))
for y := 0; y < 150; y++ {
for x := 0; x < 200; x++ {
img.Set(x, y, color.RGBA{uint8(x), uint8(y), uint8(x ^ y), 255})
}
}
var b bytes.Buffer
if err := png.Encode(&b, img); err != nil {
t.Fatal(err)
}
return b.Bytes()
}
func TestPutValidatedClassifiesCause(t *testing.T) {
data := samplePNG(t)
size := int64(len(data))
svc := &AttachmentService{maxBytes: 10 << 20, maxPixels: 40_000_000}
// S3 падает посреди потока: это 503, а не «битое изображение».
svc.store = &failingStore{failAfter: size / 3}
if _, err := svc.putValidated(context.Background(), "k", bytes.NewReader(data), size, "image/png"); !errors.Is(err, ErrUnavailable) {
t.Errorf("s3 failure mid-stream: got %v, want ErrUnavailable", err)
}
// S3 падает сразу.
svc.store = &failingStore{failAfter: 0}
if _, err := svc.putValidated(context.Background(), "k", bytes.NewReader(data), size, "image/png"); !errors.Is(err, ErrUnavailable) {
t.Errorf("s3 failure at start: got %v, want ErrUnavailable", err)
}
// Клиент оборвал тело: 400, не 415 и не 503.
svc.store = &failingStore{failAfter: -1}
if _, err := svc.putValidated(context.Background(), "k", &errReader{data: data[:len(data)/2]}, size, "image/png"); !errors.Is(err, ErrInvalidInput) {
t.Errorf("client body error: got %v, want ErrInvalidInput", err)
}
// Битое изображение при исправном S3: 415.
bad := bytes.Clone(data)
bad[len(bad)/2] ^= 0xFF
svc.store = &failingStore{failAfter: -1}
if _, err := svc.putValidated(context.Background(), "k", bytes.NewReader(bad), size, "image/png"); !errors.Is(err, ErrUnsupportedMedia) {
t.Errorf("corrupt image: got %v, want ErrUnsupportedMedia", err)
}
// Всё хорошо: SHA-256 и байты целиком дошли до S3.
ok := &failingStore{failAfter: -1}
svc.store = ok
sum, err := svc.putValidated(context.Background(), "k", bytes.NewReader(data), size, "image/png")
if err != nil || len(sum) != 64 || !bytes.Equal(ok.got, data) {
t.Errorf("valid upload: sum=%q err=%v bytes_equal=%v", sum, err, bytes.Equal(ok.got, data))
}
}
+13 -6
View File
@@ -137,11 +137,14 @@ def scenario_db_gap(c):
time.sleep(max(0, 45 - (time.time() - state.get('paused_at', time.time()))))
compose('unpause', 'postgres')
wait_ready(c)
time.sleep(3) # отложенный UPDATE (если был) успевает закоммититься после unpause
rows = psql("SELECT id || ' ' || status FROM attachments WHERE chat_id = '%s'" % chat['id'])
objs = mc('mc ls --recursive s3/%s/a/%s/ | wc -l' % (BUCKET, chat['id'])).stdout.strip()
status_after = rows.split()[-1] if rows else 'none'
check(st != 201, 'upload must not report success when metadata was not committed (got %s)' % st)
check(rows.endswith(' uploading'), 'expected one leftover intent, got %r' % rows)
check(objs == '0', 'compensation must delete the object, objects=' + objs)
# Главный инвариант: нет строки ready без объекта.
check(not (status_after == 'ready' and objs == '0'), 'ready row without object: %r objs=%s' % (rows, objs))
check(status_after in ('ready', 'uploading', 'none'), 'unexpected state %r' % rows)
# Reconciler (короткий grace для теста) убирает брошенное намерение.
psql("UPDATE attachments SET updated_at = now() - interval '30 minutes' WHERE chat_id = '%s'" % chat['id'])
for _ in range(10):
@@ -152,10 +155,14 @@ def scenario_db_gap(c):
time.sleep(2)
check(r.returncode in (0, 4), 'reconcile failed: ' + r.stderr[-300:])
rep = json.loads(r.stdout.strip().splitlines()[-1])
after = psql("SELECT count(*) FROM attachments WHERE chat_id = '%s'" % chat['id'])
check(after == '0', 'reconciler did not remove stale intent')
return {'client_status': st, 'seconds': round(time.time() - t0, 1), 'after_gap': {'rows': rows.split()[-1], 'objects': int(objs)},
'reconciler_fixed': rep['fixed'], 'rows_after_reconcile': int(after)}
final = psql("SELECT status FROM attachments WHERE chat_id = '%s'" % chat['id'])
final_objs = mc('mc ls --recursive s3/%s/a/%s/ | wc -l' % (BUCKET, chat['id'])).stdout.strip()
# После reconciler — только согласованные состояния: (ready, 1 объект) или (нет строки, 0 объектов).
check((final == 'ready' and final_objs == '1') or (final == '' and final_objs == '0'),
'inconsistent after reconcile: row=%r objects=%s' % (final, final_objs))
return {'client_status': st, 'seconds': round(time.time() - t0, 1),
'after_gap': {'row_status': status_after, 'objects': int(objs)},
'reconciler_fixed': rep['fixed'], 'after_reconcile': {'row_status': final or 'none', 'objects': int(final_objs)}}
def scenario_security(c):