2.8 KiB
PostgreSQL / S3 / broker — ЛР5
flowchart LR
C[Client] --> LB[HAProxy]
LB --> A[API 1/2]
A --> S[Private S3 staging]
A --> P[(PG attachment + job + outbox)]
P --> R[Relay + watchdog]
R --> B[(Valkey Streams + AOF)]
B --> W[Worker 2 bounded child slots]
W --> V[S3 versioned original + 3 variants]
W --> E[(PG fenced atomic publication)]
E --> A
Core: users→sessions; chats↔members; chats→messages; message_attachments имеет составные FK chat/message и chat/attachment. Сессии и idempotency сохраняются в PG; cache не является источником истины. Row locks и unique (user,method,path,key) сохраняют Message+result атомарно.
Attachment хранит свойства original, target pipeline_version и published_version. Jobs unique(attachment_id,pipeline_version), UUID logical ID, state,attempt/cycle,fence,lease/owner,next_at,safeerror. Outbox содержит только schema-valid envelope, due/published. Consumer group хранит pending entries, но окончательные решения находятся в PG. Failed registry — jobs.state=failed.
Результаты: attachment_variants PK(attachment_id,pipeline_version,name), unique object_key; effect_publications PK(attachment_id,pipeline_version). Worker в одной транзакции проверяет target version, fence, live lease и processing, записывает4variants+effect_publication+ready. Object bytes предшествуют COMMIT; дубли могут повторить PUT тех же bytes/keys. Публикацию новой версии нельзя перезаписать старым fence/version.
Upload reservation120s предотвращает поздний COMMIT после GC: row lock плюс проверка expiry нужны и при handoff, и при удалении просроченного reservation. Unconfirmed bytes не становятся accepted jobs сами по себе.
S3: staging objects/staging/<UUID>/original, final
objects/<attachment>/v<version>/{original,thumbnail,crop,optimized}.
Filename — только отображаемое поле, не путь. IAM ограничен messenger/objects/*,
корневые credentials получает только S3/bootstrap. PG содержит metadata/SHA,
а не bytes. Broker envelope содержит ID/version/attempt/time, не storage paths.
pipeline_audit сохраняет explicit operator replay/version; pipeline_events — наблюдаемые решения без secrets. pipeline_faults — test-only single-use hooks, выключены без PIPELINE_FAULTS=1. В production API не имеет broker credentials; test controller появляется только в compose.test.yaml и не публикует портов.