Трек 2: согласованность PostgreSQL и S3
Гипотеза
Durable intent до S3 PUT, row lock на время PUT/финализации и консервативный reconciler с grace + актуальным HEAD позволяют обнаружить и безопасно убрать остатки незавершённых upload, сохранив подтверждённые и свежие данные. Один COMMIT не делает распределённую транзакцию с S3, поэтому результат проверяется fault-injection.
Протокол upload
- Поток HTTP складывается в ограниченный spool: 256 KiB в RAM, затем временный файл на ограниченном tmpfs; максимум 10 MiB.
- После полного приёма выполняется полная проверка PNG/JPEG. Пиксельный предел применяется до decode. Для JPEG строгий djpeg отвергает предупреждения о повреждении, которые Pillow иногда допускает.
- Создаётся и фиксируется upload_intent с уникальным server key.
- Новая транзакция блокирует intent, выполняет S3 PUT и создаёт ready attachment, удаляет intent, COMMIT.
- Только после успешной фиксации возвращается 201. При неопределённом исходе COMMIT объект немедленно не удаляется.
Reconciler
По умолчанию dry-run. --apply явно разрешает изменения; default grace 3600 секунд. Обход SQL keyset, S3 paginator, page-size 1..1000. Метрики выводятся без credentials и пользовательских текстов.
- Старые intent:
FOR UPDATE SKIP LOCKEDпропускает живой upload. Недавний LastModified объекта защищает его даже при старом intent. При отсутствии ready metadata apply удаляет остаточный объект, затем intent. - Старые S3 objects в server prefix original/: повторно проверяются PostgreSQL и HEAD. Свежие, учтённые и live intent объекты не удаляются. Чужие prefix вне политики удаления.
- Ready metadata без оригинала: актуальный HEAD под row lock; после grace apply меняет status на failed/storage_missing. Метаданные и связи сообщений сохраняются. Reconciler не может восстановить потерянные bytes без backup.
- Полноценные ready вложения, даже пока не прикреплённые к сообщению, не удаляются.
- Audit пишется только в apply. После частично завершённого удаления повторный dry-run не продолжает очистку.
Воспроизведение
Из корня репозитория после make up:
# Исследование получает admin keys только в отдельном profile tools.
# Создаёт отдельные БД и bucket, очищает только их в finally.
docker compose run --rm --no-deps research > evidence/reconcile-repeat-raw.txt 2>&1
В строке RESULT находится JSON с исходными счётчиками, проверками, хешами кода и результатами времени. Основная messenger БД и bucket не очищаются.
Ошибки: настоящий trigger PostgreSQL после PUT; реальная ошибка подключения S3; успешный COMMIT с искусственно потерянным подтверждением; ошибка DELETE PostgreSQL после удаления bytes; ошибка S3 delete. Проверяются повтор, dry-run после сбоя, старый intent со свежим объектом, live row lock, missing used metadata и сохранность подтверждённого оригинала.
Стоимость обхода: 10/100/1000 специально добавленных intact attachment, по три dry-run на точку, page_size=100. Перед каждым размером объекты выдерживаются за границу grace, чтобы fresh-skip не менял профиль работы. Дополнительно остаются несколько fault fixtures; точное число просмотренных metadata/objects записывается в каждой строке. Сервисы прогреты, однопоточный обход; временные БД/bucket используются на том же PostgreSQL/S3 без внешней нагрузки. Это цена выбранной сверки, не HTTP throughput и не производственный SLA.
Память десяти конкурентных upload
uv run --locked python research/upload_memory.py --restart-api --output evidence/upload-memory-repeat.json
Генератор использует настоящие PNG 512×512 и 1700×1700. На каждой точке десять клиентов стартуют через barrier и идут через LB. По одному upload slot на API-реплику, занятые места возвращают контролируемый 429 с Retry-After. Сохраняются status/latency и cgroup current/peak/memory.events, VmHWM API и LB. Проверяются readiness и отсутствие OOM.
Kernel peaks накопительные с момента старта; before/after показаны честно, без приписывания всей памяти image buffer. Регистрация и импорт Argon2 тоже влияют на high-water. Это проверка ограниченной памяти/backpressure, а не доказательство роста максимальной пропускной способности.
Ограничения
Нет атомарной транзакции через обе системы. Консервативная очистка допускает временные остатки до grace и явного apply. Сбой самого S3/БД не интерпретируется как отсутствие объекта. Ручной администратор с правом перезаписи может изменить объект после HEAD; инструмент рассчитан на уникальные immutable server keys штатного API. Один host/LB/PostgreSQL/Seaweed backend остаются SPOF. Нет репликации и внешнего backup в этом эксперименте.